Предположим следующие DataFrames

Df1 :

id    data1
1     10
2     200
3     3000
4     40000

Df2 :

id1    id2    data2
1      2      210
1      3      3010
1      4      40010
2      3      3200
2      4      40200
3      4      43000

Я хочу новый df3:

id1    id2    data2    data11    data12        
1      2      210      10        200
1      3      3010     10        3000
1      4      40010    10        40000 
2      3      3200     200       3000
2      4      40200    200       40000
3      4      43000    3000      40000

Как правильно достичь этого в пандах?


Изменить: Пожалуйста, не конкретные данные могут быть произвольными. Я выбрал эти конкретные данные, чтобы показать, откуда все происходит, но каждый элемент данных не имеет корреляции с любым другим элементом данных.


Примеры других фреймов, потому что первый не был достаточно понятен:

Df4 :

id    data1
1     a
2     b
3     c
4     d

DF5 :

id1    id2    data2
1      2      e
1      3      f
1      4      g
2      3      h
2      4      i
3      4      j

Я хочу новый df6:

id1    id2    data2    data11    data12        
1      2      e        a         b  
1      3      f        a         c
1      4      g        a         d
2      3      h        b         c
2      4      i        b         d
3      4      j        c         d

Edit2 : Данные 11 и Данные 12 являются просто копией data1 с соответствующим идентификатором id1 или id2

3
Gulzar 30 Июн 2019 в 11:02

5 ответов

Лучший ответ

1.Первое объединение обоих фреймов данных с использованием столбца id1 и id
2. переименовать данные1 как данные11
3. удалить идентификатор столбца
4. Теперь объедините df1 и df3 на id2 и id

df3 = pd.merge(df2,df1,left_on=['id1'],right_on=['id'],how='left')
df3.rename(columns={'data1':'data11'},inplace=True)
df3.drop('id',axis=1,inplace=True)

df3 = pd.merge(d3,df1,left_on=['id2'],right_on=['id'],how='left')
df3.rename(columns={'data1':'data12'},inplace=True)
df3.drop('id',axis=1,inplace=True)

Я надеюсь, что это решит вашу проблему

4
petezurich 30 Июн 2019 в 08:36

Одним из решений вашей проблемы является:

data1 = {'id' : [1,2,3,4],
         'data1' : [10,200,3000,40000]}

data2 = {'id1' : [1,1,1,2,2,3],
         'id2' : [2,3,4,3,4,4],
         'data2' : [210,3010,40010,3200,40200,43000]}

df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)

df1:
id    data1
1     10
2     200
3     3000
4     40000

df2:
id1    id2    data2
1      2      210
1      3      3010
1      4      40010
2      3      3200
2      4      40200
3      4      43000

df3 = df2.set_index('id1').join(df1.set_index('id'))
df3.index.names = ['id1']
df3.reset_index(inplace=True)

final = df3.set_index('id2').join(df1.set_index('id'), rsuffix='2')
final.index.names = ['id2']
final.reset_index(inplace=True)

final[['id1','id2','data2','data1','data12']].sort_values('id1')

output df: 

id1 id2 data2   data1   data12
 1   2    210    10     200
 1   3    3010   10     3000
 1   4    40010  10     40000
 2   3    3200   200    3000
 2   4    40200  200    40000
 3   4    43000  3000   40000

Я надеюсь, что это поможет вам.

2
cody 30 Июн 2019 в 08:56

Использование merge в цикле for с range и f-string

Один из способов обобщить это и сделать его более легко расширяемым при наличии более двух фреймов данных - это использовать list comprehension и цикл for с range.

После этого мы удаляем дубликаты имен столбцов:

dfs = [df2.merge(df1, 
                 left_on=f'id{x+1}', 
                 right_on='id', 
                 how='left').rename(columns={'data1':f'data1{x+1}'}) for x in range(2)]

df = pd.concat(dfs, axis=1).drop('id', axis=1)

df = df.loc[:, ~df.columns.duplicated()]

< Сильный > Выход

   id1  id2  data2  data11  data12
0    1    2    210      10     200
1    1    3   3010      10    3000
2    1    4  40010      10   40000
3    2    3   3200     200    3000
4    2    4  40200     200   40000
5    3    4  43000    3000   40000
2
Erfan 30 Июн 2019 в 09:07

Как @tawab_shakeel упоминал ранее, ваш первый шаг - объединить кадры данных в определенном столбце на основе определенных (SQL) правил объединения; только для того, чтобы вы поняли различные подходы к объединению в определенных столбцах, вот общее руководство. введите описание изображения здесь

Присоединение Dataframes в Pandas

enter image description here

Типы соединения SQL

0
Sumanth Lazarus 30 Июн 2019 в 08:28

Попробуй это:

# merge dataframes, first on id and id1 then on id2
df3 = pd.merge(df1, df2, left_on="id", right_on="id1", how="inner")
df3 = pd.merge(df1, df3, left_on="id", right_on="id2", how="inner")

# rename and reorder columns
cols = [ 'id1', 'id2', 'data2', 'data1_y', 'data1_x']
df3 = df3[cols]

new_cols = ["id1", "id2", "data2", "data11", "data12"]
df3.columns = new_cols

df3.sort_values("id1", inplace=True)

print(df3)

Это распечатывает:

    id1 id2 data2   data11  data12
0   1   2   210     10      200
1   1   3   3010    10      3000
2   1   4   40010   10      40000
3   2   3   3200    200     3000
4   2   4   40200   200     40000
5   3   4   43000   3000    40000
2
petezurich 30 Июн 2019 в 08:46