Допустим, у меня есть следующие рамки данных панд:

df = pd.DataFrame({'name':['Dave','Lisa','John',Lisa','Simon','Simon','Simon','Simon','Lisa','Dave','Dave','John','Lisa'],
'date': ['2015-01-31 07:14:39','2014-12-16 22:50:55','2015-04-12 23:29:11','2015-04-08 17:57:29','2015-01-30 03:51:12','2015-02-20 10:33:48','2014-12-15 23:54:03','2014-12-16 19:53:53','2014-12-18 00:15:02','2015-04-01 21:36:55','2015-04-13 23:25:55','2015-02-18 14:10:40','2015-02-27 04:56:33']})

DATAFRAME1

            date            name
0   2015-01-31 07:14:39     Dave
1   2014-12-16 22:50:55     Lisa
2   2015-04-12 23:29:11     John
3   2015-04-08 17:57:29     Lisa
4   2015-01-30 03:51:12     Simon
5   2015-02-20 10:33:48     Simon
6   2014-12-15 23:54:03     Simon
7   2014-12-16 19:53:53     Simon
8   2014-12-18 00:15:02     Lisa
9   2015-04-01 21:36:55     Dave
10  2015-04-13 23:25:55     Dave
11  2015-02-18 14:10:40     John
12  2015-02-27 04:56:33     Lisa

DATAFRAME2

    name           datemax
0   Dave    2015-04-13 23:25:55
1   John    2015-04-12 23:29:11
2   Lisa    2015-04-08 17:57:29
3   Simon   2015-02-20 10:33:48

Где столбцы date и datemax заполнены объектами datetime.

Мне нужно сгруппировать по «имени» в DATAFRAME1, выбрав случайным образом одну из дат, но я хочу, чтобы эта выбранная дата предшествовала «datemax» для этого имени во втором кадре данных (DATAFRAME2).

Реальный фрейм данных, над которым я работаю, намного больше, чем в этом примере, поэтому мне нужен быстрый способ сделать это.

1
Cecilia 16 Дек 2015 в 00:24

3 ответа

Лучший ответ

Сначала я бы склеил все даты, которые не удовлетворяют этим критериям:

In [11]: df.groupby("name")["date"].transform(lambda x: df2a.loc[x.name, "datemax"])
Out[11]:
0    2015-04-13 23:25:55
1    2015-04-08 17:57:29
2    2015-04-12 23:29:11
3    2015-04-08 17:57:29
4    2015-02-20 10:33:48
5    2015-02-20 10:33:48
6    2015-02-20 10:33:48
7    2015-02-20 10:33:48
8    2015-04-08 17:57:29
9    2015-04-13 23:25:55
10   2015-04-13 23:25:55
11   2015-04-12 23:29:11
12   2015-04-08 17:57:29
Name: date, dtype: datetime64[ns]

In [12]: df["date"] < df.groupby("name")["date"].transform(lambda x: df2a.loc[x.name, "datemax"])
Out[12]:
0      True
1      True
2     False
3     False
4      True
5     False
6      True
7      True
8      True
9      True
10    False
11     True
12     True
Name: date, dtype: bool

In [13]: df_old = df[df["date"] < df.groupby("name")["date"].transform(lambda x: df2a.loc[x.name, "datemax"])]

In [14]: df_old
Out[14]:
                  date   name
0  2015-01-31 07:14:39   Dave
1  2014-12-16 22:50:55   Lisa
4  2015-01-30 03:51:12  Simon
6  2014-12-15 23:54:03  Simon
7  2014-12-16 19:53:53  Simon
8  2014-12-18 00:15:02   Lisa
9  2015-04-01 21:36:55   Dave
11 2015-02-18 14:10:40   John
12 2015-02-27 04:56:33   Lisa

Теперь это становится намного проще: выберите случайную строку по имени:

df_old.groupby("name").agg(lambda x: x.iloc[np.random.randint(0,len(x))])

In [21]: df_old.groupby("name").agg(lambda x: x.iloc[np.random.randint(0,len(x))])
Out[21]:
                     date
name
Dave  2015-04-01 21:36:55
John  2015-02-18 14:10:40
Lisa  2014-12-16 22:50:55
Simon 2014-12-15 23:54:03

In [22]: df_old.groupby("name").agg(lambda x: x.iloc[np.random.randint(0,len(x))])
Out[22]:
                     date
name
Dave  2015-01-31 07:14:39
John  2015-02-18 14:10:40
Lisa  2014-12-18 00:15:02
Simon 2014-12-16 19:53:53
3
Community 23 Май 2017 в 12:23

Вы можете использовать pd.DataFrame.sample как

In [697]: idx = df2.set_index('name').datemax

In [698]: (df1.groupby('name')
              .apply(lambda x: x.loc[x.date < idx[x.name]].sample(1))
              .reset_index(drop=True))
Out[698]:
                 date   name
0 2015-04-01 21:36:55   Dave
1 2015-02-18 14:10:40   John
2 2014-12-18 00:15:02   Lisa
3 2014-12-16 19:53:53  Simon
0
Zero 9 Сен 2017 в 07:45

Это мое предложение:

import random

df = pd.DataFrame({'name':['Dave','Lisa','John','Lisa','Simon','Simon','Simon','Simon','Lisa','Dave','Dave','John','Lisa'],'date': ['2015-01-31 07:14:39','2014-12-16 22:50:55','2015-04-12 23:29:11','2015-04-08 17:57:29','2015-01-30 03:51:12','2015-02-20 10:33:48','2014-12-15 23:54:03','2014-12-16 19:53:53','2014-12-18 00:15:02','2015-04-01 21:36:55','2015-04-13 23:25:55','2015-02-18 14:10:40','2015-02-27 04:56:33']})

df.date = [pd.to_datetime(x) for x in df.date]

df2 = pd.DataFrame([['Dave','2015-04-13 23:25:55'],['John','2015-04-12 23:29:11'],['Lisa','2015-04-08 17:57:29'],['Simon','2015-02-20 10:33:48']])

df2.columns = ['name','datemax']

df2.datemax = [pd.to_datetime(x) for x in df2.datemax]

df = df.merge(df2,how='left')

grouped = df.groupby('name')

grouped.apply(lambda x: random.choice([a for a in x['date'].values if a<x['datemax'].values[0]]))

Прошло 18 мс, я думаю, это должно линейно масштабироваться.

1
Ezer K 15 Дек 2015 в 22:15