У меня проблемы со скользящей средней в BigQuery / SQL, у меня есть таблица SCORES, и мне нужно сделать 30-дневную скользящую среднюю при группировке данных с использованием пользователей, проблема в том, что мои даты не являются последовательными, например, есть пробелы в этом.

Ниже мой текущий код:

SELECT user, date,
      AVG(score) OVER (PARTITION BY user ORDER BY date)
FROM SCORES;

Я не знаю, как добавить ограничения даты в эту строку и возможно ли это вообще.

Моя текущая таблица выглядит так, но, конечно, с гораздо большим количеством пользователей:

user    date    score
AA  13/02/2018  2.00
AA  15/02/2018  3.00
AA  17/02/2018  4.00
AA  01/03/2018  5.00
AA  28/03/2018  6.00

Тогда мне нужно, чтобы он стал таким:

user    date    score   30D Avg
AA  13/02/2018  2.00    2.00
AA  15/02/2018  3.00    2.50
AA  17/02/2018  4.00    3.00
AA  01/03/2018  5.00    3.50
AA  28/03/2018  6.00    5.50

Где в последней строке, это измерение только в обратном направлении из-за даты (до 30D в обратном направлении), есть ли способ реализовать это в SQL, или я прошу слишком много?

2
bknight 22 Сен 2018 в 16:54

2 ответа

Лучший ответ

Вы хотите использовать range between. Для этого вам понадобится целое число, поэтому:

select s.*,
       avg(score) over (partition by user
                        order by days
                        range between 29 preceding and current row
                       ) as avg_30day
from (select s.*, date_diff(s.date, date('2000-01-01'), day) as days
      from scores s
     ) s;

Альтернативой date_diff() является unix_date():

select s.*,
       avg(score) over (partition by user
                        order by unix_days
                        range between 29 preceding and current row
                       ) as avg_30day
from (select s.*, unix_date(s.date) as unix_days
      from scores s
     ) s;
2
Gordon Linoff 22 Сен 2018 в 14:12

Ниже для BigQuery Standard SQL

#standardSQL
SELECT *,
  AVG(score) OVER (
    PARTITION BY user 
    ORDER BY UNIX_DATE(PARSE_DATE('%d/%m/%Y', date))
    RANGE BETWEEN 29 PRECEDING AND CURRENT ROW
  ) AS avg_30day 
FROM `project.dataset.scores` 

Вы можете протестировать / поиграть с указанным выше, используя фиктивные данные из вашего вопроса

#standardSQL
WITH `project.dataset.scores` AS (
  SELECT 'AA' user, '13/02/2018' date, 2.00 score UNION ALL
  SELECT 'AA', '15/02/2018', 3.00 UNION ALL
  SELECT 'AA', '17/02/2018', 4.00 UNION ALL
  SELECT 'AA', '01/03/2018', 5.00 UNION ALL
  SELECT 'AA', '28/03/2018', 6.00 
)
SELECT *,
  AVG(score) OVER (
    PARTITION BY user 
    ORDER BY UNIX_DATE(PARSE_DATE('%d/%m/%Y', date))
    RANGE BETWEEN 29 PRECEDING AND CURRENT ROW
  ) AS avg_30day 
FROM `project.dataset.scores` 

Результат

Row user    date        score   avg_30day    
1   AA      13/02/2018  2.0     2.0  
2   AA      15/02/2018  3.0     2.5  
3   AA      17/02/2018  4.0     3.0  
4   AA      01/03/2018  5.0     3.5  
5   AA      28/03/2018  6.0     5.5  
0
Mikhail Berlyant 22 Сен 2018 в 15:59