Python數據分析之 Pandas Dataframe合並和去重操作

Posted on by

一、之 Pandas Dataframe合並

在數據分析中，避免不瞭要從多個數據集中取數據，那就避免不瞭要進行數據的合並，這篇文章就來介紹一下 Dataframe 對象的合並操作。

Pandas 提供瞭merge()方法來進行合並操作，使用語法如下：

pd.merge(left, right, how="inner", on=None, left_on=None, right_on=None,
left_index=False, right_index=False, sort=False)

常用的參數說明：

  • left、right：指定左右兩個要進行合並的 DataFrame 對象
  • how：指定合並類型，可以選擇left、right、outer、inner，此參數可以確定以哪邊（左邊、右邊或者左右共有）的鍵為基準，如果出現匹配失敗的用NaN填充，默認為inner，具體如下：
    • left：代表左連接，以左DataFrame為基準，右側匹配失敗的用NaN填充
    • right：代表右連接，以右DataFrame為基準，左側匹配失敗的用NaN填充
    • inner：代表內連接，取交集
    • outer：代表外連接，取並集，匹配失敗的用NaN填充
  • on：指定用於連接的鍵，也就是列名，傳遞改參數的話，必須保證傳遞的“鍵”在左右兩邊的DataFrame中都存在
  • left_on：指定左側DataFrame中用於連接的鍵
  • right_on：指定右側DataFrame中用於連接的鍵
  • left_index & right_index：表示以行索引作為合並基準，默認為False
  • sort：指定是否按照字典順序通過連接鍵對結果DataFrame進行排序，默認為False

例如，對下面兩個 DataFrame 對象執行合並操作：

import pandas as pd
data = {"name": ["Alice", "Bob", "Cindy", "David"], "age": [25, 23, 28, 24], "gender": ["woman", "man", "woman", "man"]}
df1 = pd.DataFrame(data)
df1

data = {"name": ["Alice", "Bob", "Cindy", "Emilie"], "city": ["beijing", "beijing", "jinan", "shanghai"]}
df2 = pd.DataFrame(data)
df2

使用name作為連接鍵：

merge_pd = pd.merge(df1, df2, on="name")
merge_pd

結果輸出如下：

設置為左連接：

merge_pd = pd.merge(df1, df2, on="name", how="left")
merge_pd

結果輸出如下：

在進行數據分析時，數據的質量可能並不理想，有可能包含一些重復數據，那我們就要進行數據的“去重”操作，刪除重復的數據，保留唯一的數據項，從而提高數據集整體的精確度，同時也可以節省空間、提升讀寫性能等，接下來就來介紹一下 Pandas Dataframe 的去重操作。

二、去重操作

Pandas 提供瞭drop_duplicates()方法進行數據的去重操作，具體使用格式如下：

df.drop_duplicates(subset=None, keep="first", inplace=False, ignore_index=False)

參數說明如下：

  • subset：指定要進行去重的列名，默認為None，可以使用列表指定一個或多個列名
  • keep：有三個參數可選：first、last、False，默認為first，表示隻保留第一次出現的重復項，刪除其餘重復項；last表示隻保留最後一次出現的重復項；False表示刪除所有重復項
  • inplace：是否在原Dataframe對象上進行操作
  • ignore_index：默認為False，設置為True可以重新生成行索引。

例如，對下面 DataFrame 對象進行去重操作：

可以看到該DataFrame 對象中索引為1、3的行是重復的，下面進行去除：

保留第一次出現的重復項：

df.drop_duplicates(inplace=True)
df

結果輸出如下：

刪除所有重復項：

df.drop_duplicates(keep=False, inplace=True)
df

結果輸出如下：

ignore_index參數使用：

df.drop_duplicates(inplace=True, ignore_index=True)
df

ignore_index設置為True後，通過結果可以看到，行索引進行瞭重排。

當然drop_duplicates()方法也可以根據指定列名去重，給subset傳遞參數即可，例如根據name列進行去重：

df.drop_duplicates(subset=["name"], inplace=True)

到此這篇關於Python數據分析之 Pandas Dataframe合並和去重操作的文章就介紹到這瞭,更多相關Pandas Dataframe合並去重內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：