Python Pandas數據合並pd.merge用法詳解
前言
實現類似SQL的join操作,通過pd.merge()方法可以自由靈活地操作各種邏輯的數據連接、合並等操作
可以將兩個DataFrame或Series合並,最終返回一個合並後的DataFrame
語法
pd.merge(left, right, how = ‘inner', on = None, left_on = None, right_on = None, left_index = False, right_index = False, sort = True, suffixes = (‘_x','_y'), copy = True, indicator = False, validate = None)
參數
left、right:需要連接的兩個DataFrame或Series,一左一右
how:兩個數據連接方式,默認為inner,可設置inner、outer、left或right
on:作為連接鍵的字段,左右數據中都必須存在,否則需要用left_on和right_on來指定
left_on:左表的連接鍵字段
right_on:右表的連接鍵字段
left_index:為True時將左表的索引作為連接鍵,默認為False
right_index:為True時將右表的索引作為連接鍵,默認為False
suffixes:如果左右數據出現重復列,新數據表頭會用此後綴進行區分,默認為_x和_y
1.連接鍵
在數據連接時,如果沒有指定根據哪一列(連接鍵)進行連接,Pandas會自動找到相同列名的列進行連接,並按左邊數據的順序取交集數據。為瞭代碼的可閱讀性和嚴謹性,推薦通過on參數指定連接鍵
import pandas as pd df1 = pd.DataFrame({'a':[1,2],'b':[5,6]}) df2 = pd.DataFrame({'a':[2,1,0],'y':[6,7,8]}) # 按a列進行連接,數據順序取df1的順序 res = pd.merge(df1, df2, on='a')
結果展示
df1
df2
res
2.索引連接
可以直接按索引進行連接,將left_index和right_index設置為True,會以兩個表的索引作為連接鍵
import pandas as pd df1 = pd.DataFrame({'a':[1,2],'b':[5,6]}) df2 = pd.DataFrame({'a':[2,1,0],'y':[6,7,8]}) # 兩個表都有同名的a列,用suffixes參數設置後綴來區分 res = pd.merge(df1, df2, left_index=True, right_index=True, suffixes=('_1','_2'))
結果展示
df1
df2
res
3.多連接鍵
如果在合並數據時需要用多個連接鍵,可以以列表的形式將這些連接鍵傳入on中
import pandas as pd df3 = pd.DataFrame({'a':[1,2],'b':[3,4],'x':[5,6]}) df4 = pd.DataFrame({'a':[1,2,3],'b':[3,4,5],'y':[6,7,8]}) # a和b列中的(1,3)和(2,4)作為連接鍵將兩個數據進行瞭連接 res = pd.merge(df3, df4, on=['a','b'])
結果展示
df3
df4
res
4.連接方法
how參數可以指定數據用哪種方法進行合並,可以設置inner、outer、left或right
默認的方式是inner join,取交集,也就是保留左右表的共同內容;如果是left join,左邊表中所有的內容都會保留;如果是right join,右表全部保留;如果是outer join,則左右表全部保留。關聯不上的內容為NaN
import pandas as pd df3 = pd.DataFrame({'a':[1,2],'b':[3,4],'x':[5,6]}) df4 = pd.DataFrame({'a':[1,2,3],'b':[3,4,5],'y':[6,7,8]}) # 以左表為基表 res1 = pd.merge(df3, df4, how='left', on=['a','b']) # 以右表為基表 res2 = pd.merge(df3, df4, how='right', on=['a','b'])
結果展示
df3
df4
res1
res2
以下是其他的案例:
import pandas as pd df3 = pd.DataFrame({'a':[1,2],'b':[3,4],'x':[5,6]}) df4 = pd.DataFrame({'a':[1,2,3],'b':[3,4,5],'y':[6,7,8]}) # 取兩個表的並集 # pd.merge(left, right, how='outer', on=['key1','key2']) res3 = pd.merge(df3, df4, how='outer', on=['a','b']) # 取兩個表的交集 # pd.merge(left, right, how='inner', on=['key1','key2']) res4 = pd.merge(df3, df4, how='inner', on=['a','b'])
結果展示
df3
df4
res3
res4
一個有重復連接鍵的例子
import pandas as pd left = pd.DataFrame({'A':[1,2],'B':[2,2]}) right = pd.DataFrame({'A':[4,5,6],'B':[2,2,2]}) res = pd.merge(left, right, on='B', how='outer') res1 = pd.merge(left, right, on='B') res2 = pd.merge(left, right, how='outer')
結果展示
left
right
res
res1
res2
5.連接指示
如果想知道數據連接後是左表內容還是右表內容,可以使用indicator參數顯示連接方式
如果將indicator設置為True,則會增加名為_merge的列,顯示這列是從何而來
_merge有以下三個值:
- left_only:隻在左表中
- right_only:隻在右表中
- both:兩個表都有
import pandas as pd df1 = pd.DataFrame({'a':[1,2],'b':[5,6]}) df2 = pd.DataFrame({'a':[2,1,0],'y':[6,7,8]}) # 顯示連接指示列 res = pd.merge(df1, df2, on='a', how='outer', indicator=True)
結果展示
df1
df2
res
總結
到此這篇關於Python Pandas數據合並pd.merge用法的文章就介紹到這瞭,更多相關Pandas數據合並pd.merge內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- Pandas實現Dataframe的合並
- python pandas數據處理教程之合並與拼接
- pandas中DataFrame數據合並連接(merge、join、concat)
- 關於python DataFrame的合並方法總結
- Python數據合並的concat函數與merge函數詳解