Я регистрирую события в базе данных mySQL и хочу получить три основных события для мониторинга.

Моя таблица eventlog выглядит так:

+----+------------------+---------------------+
| id |    eventname     |      eventdate      |
+----+------------------+---------------------+
|  0 | machine1.started | 2016-09-04 19:22:23 |
|  1 | machine2.reboot  | 2016-09-04 20:23:11 |
|  2 | machine1.stopped | 2016-09-04 20:24:12 |
|  3 | machine1.started | 2016-09-04 20:25:12 |
|  4 | machine1.stopped | 2016-09-04 23:23:16 |
|  5 | machine0.started | 2016-09-04 23:24:00 |
|  6 | machine1.started | 2016-09-04 23:24:16 |
|  7 | machine3.started | 2016-09-04 23:25:00 |
|  8 | machine4.started | 2016-09-04 23:26:00 |
|  9 | cluster.alive    | 2016-09-04 23:30:00 |
| 10 | cluster.alive    | 2016-09-05 11:30:00 |
+----+------------------+---------------------+

Запрос должен в конечном итоге вернуть следующее, удерживая

  • 3 наиболее часто происходящих события (на основе столбцов eventcount, генерируемых функцией mySQL COUNT()), сгруппированные по их eventname
  • только 2 строки, где eventcount = 1, но только если 1 входит в тройку первых eventcounts (поскольку существует много событий, которые происходят просто один раз и, следовательно, перегрузит мой интерфейс)

Пример желаемого результата, основанный на приведенной выше таблице:

+------------+------------------+
| eventcount |    eventname     |
+------------+------------------+
|          3 | machine1.started |
|          2 | machine1.stopped |
|          2 | cluster.alive    |
|          1 | machine0.started |
|          1 | machine2.started |
+------------+------------------+

Обратите внимание, что мне нужны не только 3 возвращаемые строки, но и строки с тремя наивысшими eventcount значениями.

Я много экспериментировал, возился с приведенной ниже строкой запроса, включая множественный выбор и сомнительные условия CASE ... WHEN, но не смог заставить ее работать так, как мне нужно.

SELECT COUNT(id) AS 'eventcount', eventname
FROM eventlog
GROUP BY eventname
ORDER BY eventcount DESC;

Как лучше всего добиться желаемого результата качественно?

5
IggyBlob 5 Сен 2016 в 22:26

5 ответов

Лучший ответ

Вот один из способов сделать это с помощью переменных SQL Fiddle для этого: http://sqlfiddle.com/#!9/b3458b/16

SELECT
  t2.eventcount
  ,t2.eventname
FROM
(
  SELECT
      t.eventname
      ,t.eventcount
      ,@Rank:=IF(@PrevCount=t.eventcount,@Rank,@Rank+1) Rank
      ,@CountRownum:=IF(@PrevCount=t.eventcount,@CountRowNum + 1,1) CountRowNum
      ,@PrevCount:= t.eventcount
    FROM
      (
        SELECT
          l.eventname
          ,COUNT(*) as eventcount
        FROM
          eventlog l
        GROUP BY
          l.eventname
        ORDER BY
          COUNT(*) DESC
      ) t
      CROSS JOIN (SELECT @Rank:=0, @CountRowNum:=0, @PrevCount:=-1) var
    ORDER BY
      t.eventcount DESC
) t2
WHERE
  t2.Rank < 4
  AND NOT (t2.eventcount = 1 AND t2.CountRowNum > 2)
2
Matt 5 Сен 2016 в 19:59

Это должно быть немного реорганизовано, но на данный момент он возвращает правильный ответ:

SELECT eventcount, eventname
FROM
(SELECT el.eventcount, el.eventname
FROM (SELECT COUNT(el.id) AS eventcount, el.eventname
      FROM eventlog el
      GROUP BY el.eventname
     ) el JOIN
     (SELECT counts
      FROM (SELECT DISTINCT COUNT(el.id) as counts
            FROM eventlog el
            GROUP BY el.eventname
           ) el
      ORDER BY counts DESC
      LIMIT 3
     ) el2
     ON el2.counts = el.eventcount
     WHERE el.eventcount != 1
UNION ALL
(SELECT el.eventcount, el.eventname
FROM (SELECT COUNT(el.id) AS eventcount, el.eventname
      FROM eventlog el
      GROUP BY el.eventname
     ) el JOIN
     (SELECT counts
      FROM (SELECT DISTINCT COUNT(el.id) as counts
            FROM eventlog el
            GROUP BY el.eventname
           ) el
      ORDER BY counts DESC
      LIMIT 3
     ) el2
     ON el2.counts = el.eventcount AND el2.counts = 1
     LIMIT 2)) tmp
ORDER BY tmp.eventcount DESC;

SQL Fiddle: http://sqlfiddle.com/#!9/10f0d/92

0
grepsedawk 5 Сен 2016 в 21:05

Такие условия в MySQL болезненны. Один метод использует переменные. Вот метод, который этого не делает:

SELECT el.eventcount, el.eventname
FROM (SELECT COUNT(el.id) AS eventcount, el.eventname
      FROM eventlog el
      GROUP BY el.eventname
     ) el JOIN
     (SELECT cnt
      FROM (SELECT DISTINCT COUNT(el.id) as cnt
            FROM eventlog el
            GROUP BY el.eventname
           ) el
      ORDER BY cnt DESC
      LIMIT 3
     ) ell
     ON ell.cnt = el.eventcount
ORDER BY el.eventcount DESC;

РЕДАКТИРОВАТЬ:

Решение с использованием переменных выглядит следующим образом и включает ограничение на 2 при количестве 1:

SELECT *
FROM (SELECT e.*,
             (@rn1 := if(@c1 = eventcount, @rn1 + 1,
                         if(@c1 := eventcount, 1, 1)
                        )
             ) as rn
      FROM (SELECT e.*,
                   (@rn := if(@c = eventcount, @rn,
                              if(@c := eventcount, @rn + 1, @rn + 1)
                             )
                   ) as rank
            FROM (SELECT COUNT(el.id) AS eventcount, el.eventname
                  FROM eventlog el
                  GROUP BY el.eventname
                 ) e CROSS JOIN
                 (SELECT @c := 0, @rn := 0) params
            ORDER BY eventcount DESC
           ) e CROSS JOIN
           (SELECT @c1 := 0, @rn1 := 0) params
      ORDER BY eventcount DESC
     ) e
WHERE rank <= 3 AND
      (eventcount > 1 OR rn <= 2);

Самый внутренний счетчик перечисляет счетчики. Второй перечисляет в пределах счетчика. На самом деле, их, вероятно, можно объединить в один подзапрос, но с осторожностью.

2
Gordon Linoff 6 Сен 2016 в 01:27

Если вы можете использовать временные таблицы ..

Предварительно рассчитайте количество событий и сохраните результат во временной таблице:

create temporary table tmp_eventcounts
  select eventname, count(1) as eventcount
  from eventlog
  group by eventname
  order by eventcount desc
;

Содержание tmp_eventcounts:

|        eventname | eventcount |
|------------------|------------|
| machine1.started |          3 |
| machine1.stopped |          2 |
|    cluster.alive |          2 |
| machine3.started |          1 |
|  machine2.reboot |          1 |
| machine4.started |          1 |
| machine0.started |          1 |

Выберите 3 первых числа событий и сохраните их в другой временной таблице:

create temporary table tmp_top3counts
  select distinct eventcount
  from tmp_eventcounts
  order by eventcount desc
  limit 3
;

Содержание tmp_top3counts:

| eventcount |
|------------|
|          3 |
|          2 |
|          1 |

Теперь выберите все названия событий с тремя верхними счетчиками событий, но eventcount> 1. Также выберите до двух названий событий с тремя верхними счетчиками событий, но eventcount = 1. Используйте UNION, чтобы объединить два результата:

select eventcount, eventname
from tmp_top3counts
join tmp_eventcounts using(eventcount)
where eventcount > 1
union all (
  select eventcount, eventname
  from tmp_top3counts
  join tmp_eventcounts using(eventcount)
  where eventcount = 1
  limit 2
)
order by eventcount desc;

Результат:

| eventcount |        eventname |
|------------|------------------|
|          3 | machine1.started |
|          2 | machine1.stopped |
|          2 |    cluster.alive |
|          1 |  machine2.reboot |
|          1 | machine3.started |

http://sqlfiddle.com/#!9/b332df/1

Если вы не можете использовать временные таблицы, вы можете заменить их вхождения на их определения и создать очень нечитаемый, но рабочий запрос:

select eventcount, eventname
from (
  select distinct eventcount
  from (
    select eventname, count(1) as eventcount
    from eventlog
    group by eventname
  ) tmp_eventcounts
  order by eventcount desc
  limit 3  
) tmp_top3counts
join (
  select eventname, count(1) as eventcount
  from eventlog
  group by eventname
) tmp_eventcounts using(eventcount)
where eventcount > 1
union all (
  select eventcount, eventname
  from (
    select distinct eventcount
    from (
      select eventname, count(1) as eventcount
      from eventlog
      group by eventname
    ) tmp_eventcounts
    order by eventcount desc
    limit 3
  ) tmp_top3counts
  join (
    select eventname, count(1) as eventcount
    from eventlog
    group by eventname
  ) tmp_eventcounts using(eventcount)
  where eventcount = 1
  limit 2
)
order by eventcount desc;

http://sqlfiddle.com/#!9/2eea6/4 ;-)

Хотя это может показаться безумным, его можно легко создать на PHP:

$tmp_eventcounts = "
    select eventname, count(1) as eventcount
    from eventlog
    group by eventname
";

$tmp_top3counts = "
    select distinct eventcount
    from ( {$tmp_eventcounts} ) tmp_eventcounts
    order by eventcount desc
    limit 3
";

$sql = "
    select eventcount, eventname
    from ( {$tmp_top3counts} )  tmp_top3counts
    join ( {$tmp_eventcounts} ) tmp_eventcounts using(eventcount)
    where eventcount > 1
    union all (
      select eventcount, eventname
      from ( {$tmp_top3counts} )  tmp_top3counts
      join ( {$tmp_eventcounts} ) tmp_eventcounts using(eventcount)
      where eventcount = 1
      limit 2
    )
    order by eventcount desc
";

Примечание. Похоже, MySQL придется снова и снова выполнять одни и те же подзапросы. Но он должен иметь возможность кэшировать результаты и повторно использовать их.

0
Paul Spiegel 5 Сен 2016 в 22:00

Вы можете попробовать это:

SELECT count(eventname), eventname FROM table
group by eventname
HAVING(count(eventname)) > 1
order by count(eventname) DESC
limit 3
-1
Kisaragi 5 Сен 2016 в 19:55