關於python DataFrame的合並方法總結

Posted on by

python DataFrame的合並方法

Python的Pandas針對DataFrame,Series提供瞭多個合並函數，通過參數的調整可以輕松實現DatafFrame的合並。

首先，定義3個DataFrame df1,df2,df3，進行concat、merge、append函數的實驗。

df1=pd.DataFrame([[1,2,3],[2,3,4]],columns=['a','b','c'])
df2=pd.DataFrame([[2,3,4],[3,4,5]],columns=['a','b','c'])
df3=pd.DataFrame([[1,2,3],[2,3,4]],columns=['a','b','d'])
df1
   a  b  c
0  1  2  3
1  2  3  4
df2
   a  b  c
0  2  3  4
1  3  4  5
df3
   a  b  d
0  1  2  3
1  2  3  4

#concat函數

pandas中concat函數的完整表達，包含多個參數，常用的有axis,join,ignore_index.

concat函數的第一個參數為objs，一般為一個list列表，包含要合並兩個或多個DataFrame，多個Series

pandas.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
           keys=None, levels=None, names=None, verify_integrity=False,
           copy=True)

1.axis表示合並方向，默認axis=0，兩個DataFrame按照索引方向縱向合並,axis=1則會按照columns橫向合並。

pd.concat([df1,df2],axis=1)
   a  b  c  a  b  c
0  1  2  3  2  3  4
1  2  3  4  3  4  5

2.join表示合並方式，默認join=‘outer’，另外的取值為’inner’,隻合並相同的部分，axis=0時合並結果為相同列名的數據，axis=1時為具有相同索引的數據

pd.concat([df2,df3],axis=0,join='inner')
   a  b
0  2  3
1  3  4
0  1  2
1  2  3
pd.concat([df2,df3],axis=1,join='inner')
   a  b  c  a  b  d
0  2  3  4  1  2  3
1  3  4  5  2  3  4

3.ignore_index表示索引的合並方式，默認為False，會保留原df的索引，如果設置ignore_index=True，合並後的df會重置索引。

pd.concat([df1,df2],ignore_index=True)
   a  b  c
0  1  2  3
1  2  3  4
2  2  3  4
3  3  4  5

#merge函數

merge函數是pandas提供的一種數據庫式的合並方法。

on可以指定合並的列、索引，how則是與數據庫join函數相似，取值為left,right,outer,inner.left,right分別對應left outer join, right outer join.

pandas.merge(left, right, how='inner', on=None, left_on=None, right_on=None,
          left_index=False, right_index=False, sort=False,
          suffixes=('_x', '_y'), copy=True, indicator=False,
          validate=None):

merge函數可以通過pandas.merge(df1,df2)、df1.merge(df2)兩種形式來實現兩個DataFrame的合並,df1.merge(df2)是默認left=self的情況。

df_merge =df1.merge(df3,on=['a','b'])
   a  b  c  d
0  1  2  3  3
1  2  3  4  4

#append函數

append函數是pandas針對DataFrame、Series等數據結構合並提供的函數。

df1.append(self, other, ignore_index=False, verify_integrity=False)

df1.append(df2)與pd.concat([df1,df2],ignore_index=False)具有相同的合並結果

df1.append(df2)
   a  b  c
0  1  2  3
1  2  3  4
0  2  3  4
1  3  4  5

更多使用方法可以參考pandas關於數據合並的官方文檔http://pandas.pydata.org/pandas-docs/stable/merging.html

把兩個dataframe合並成一個

1.merage

result = pd.merge(對象1, 對象2, on='key')

對象1 和 對象2分別為要合並的dataframe，key是在兩個dataframe都存在的列（類似於數據庫表中的主鍵）

2.append

result = df1.append(df2)
result = df1.append([df2, df3])
result = df1.append(df4, ignore_index=True)

3.join

result = left.join(right, on=['key1', 'key2'], how='inner')

4.concat

pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
     keys=None, levels=None, names=None, verify_integrity=False,
     copy=True)
frames = [df1, df2, df3]
result = pd.concat(frames)
result = pd.concat(frames, keys=['x', 'y', 'z'])
result = pd.concat([df1, df4], ignore_index=True)

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。

推薦閱讀：