pandas檢查和填充缺失值的N種方法總結
一、構建示例數據
import pandas as pd import numpy as np data = {"ID":[202001, 202002, 202003, 202004, 202005, 202006, 202007, 202008, 202009, 202010], "Chinese":[98, 67, 84, 88, 78, 90, 93, np.nan, 82, 87], "Math":[92, 80, 73, np.nan, 88, 78, 90, 82, 77, 69], "English":[88, 79, 90, 73, 79, 83, 81, np.nan, 71, np.nan] } df = pd.DataFrame(data) df
二、檢查缺失值的n種方法
2.1 確認是否有缺失值的兩種方法
df.isnull().values.any()
True
df.isnull().sum().any()
True
2.2 查看缺失數目和缺失率
df.isnull().sum()
all_data_na = (df.isnull().sum()/len(df))*100 all_data_na = all_data_na.drop(all_data_na[all_data_na == 0].index).sort_values(ascending=False) missing_data = pd.DataFrame({'缺失率' : all_data_na}) missing_data
2.3 查看非缺失值數目
df.info()
df.shape[0] - df.isnull().sum()
df.notnull().sum()
三、缺失值填充三種示例
# 用上下平均值填充English df['English'] = df['English'].fillna(df['English'].interpolate()) df.head(10)
# 用中位數填充value列: df['Math'] = df['Math'].fillna(df['Math'].median()) df.head(10)
# 用-1填充Chinese列: df['Chinese'] = df['Chinese'].fillna(-1) df.head(10)
到此這篇關於pandas檢查和填充缺失值的N種方法總結的文章就介紹到這瞭,更多相關pandas檢查和填充缺失值內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- pandas如何統計某一列或某一行的缺失值數目
- Python機器學習三大件之二pandas
- pandas實現按照多列排序-ascending
- python數據處理67個pandas函數總結看完就用
- pandas數據清洗實現刪除的項目實踐