使用pandas或numpy處理數據中的空值(np.isnan()/pd.isnull())

最近在做數據處理的時候,遇到個讓我欲仙欲死的問題,那就是數據中的空值該如何獲取。

我的目的本來是獲取數據中的所有非零且非空值,然後再計算獲得到的所有數據計算均值,再用均值把0和空值填上。這個操作讓我意識到瞭i is None/np.isnan(i)/i.isnull()之間的差別,再此做簡單介紹:

1.關於np.nan:

先明確一個問題,即空值的產生隻有np.nan()一種方法。

# np.nan()的一些奇妙性質:
 
np.nan == np.nan
>>> False
 
np.isnan(np.nan)
>>> True
 
np.nan is None
>>> False
 
type(np.nan)
>>> float

總結一下:

np.nan不是一個“空”對象,用 i is None判斷是False;

對某個值是否為空值進行判斷,隻能用np.isnan(i)函數,萬萬不可用 i == np.nan()來做,否則你會死的很慘的,因為空值並不能用判斷相等的“==”正確識別(上例前兩條);

np.nan非空對象,其類型為基本數據類型float(是不是很神奇,我也不知道為什麼要這樣設計)

2.np.isnan()和pd.isnull()何時使用:

# 首先創建一個DataFrame:
bb = pd.DataFrame({'a':[0,1,2,np.nan]})
bb
 
>>>     a
    0 0.0
    1 1.0
    2 2.0
    3 NaN
 
# 先測試一下np.isnan()
np.isnan(bb)
>>>     a
    0 False
    1 False
    2 False
    3 True
# 值得一提的是,如果想獲悉整個DataFrame有無空值,可以在此基礎上這樣做:
 
np.isnan(bb).all()
>>> a    False
    dtype: bool          # 這行是指返回值的dtype
 
# 再測試一下isnull()
pd.isnull(bb)
>>>     a
    0 False
    1 False
    2 False
    3 True

由上可見,其實np.isnan()和pd.isnull()都可以對不論是DataFrame、Python list還是僅僅一個數值進行空值檢測。但一般在實際應用中,np.isnan()多用於單個值的檢驗,pd.isnull()用於對一個DataFrame或Series(整體)的檢驗。

此外,根據pandas官方文檔和源代碼,pandas提供的另一個函數pd.isna()與pd.isnull()完全一樣。

上面提到的any()/all()函數,請見pandas文檔:

https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.all.html#pandas.DataFrame.all

https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.any.html#pandas.DataFrame.any

其他與空值檢測或刪除相關的函數還有:notna()、fillna()、dropna()等等。實戰中應靈活使用。

補充:numpy中的nan(判斷一個元素等於nan, 及nan安全函數 )

Nunpy中的NaN

多種方式創建nan(空值)

import numpy as np
np.nan
nan
np.NaN
nan
np.NAN
nan

判斷是否存在空值

x = np.array([1, 1, 8, np.nan, 10])
np.nan in x

False
np.isin(np.nan, x)
array(False)
1 in x
True
np.isin(1, x)
array(True)
np.isnan(x)
array([False, False, False,  True, False])
x[-2] == np.nan, np.isnan(x[-2])
(False, True)

在np中nan需要用isnan這個函數來識別,還要註意:

x
array([ 1.,  1.,  8., nan, 10.])

x 中所有的元素都變成瞭浮點型,這是因為nan是浮點型的。

nan安全函數

np.mean(x)
nan
np.nanmean(x)
5.0

此外max, min, median等都是默認非nan安全的,需要加上nan來標記nan安全。

ps:pandas中是默認nan安全的。

補充:Python 處理DataFrame數據 pd.isnull() np.isnan()的方式

數據處理時,經常會遇到處理數據中的空值,涉及幾個常用函數,pd.isnull(),pd.notnull(),np.isnan(),pd.notna(),pd.isna(),pd.fillna()、pd.dropna()等等.

本文關註pd.isnull(),pd.notnull(),np.isnan(),pd.notna(),pd.isna()。

總結:

由下可知,np.isnan()和pd.isnull()都可以對不論是DataFrame、Python list還是僅僅一個數值進行空值檢測。但一般在實際應用中,np.isnan()多用於單個值的檢驗,pd.isnull()用於對一個DataFrame或Series(整體)的檢驗。

1.pd.isnull()

pd.isnull()可以對不論是DataFrame、Python list還是僅僅一個數值進行空值檢測。但一般在實際應用中,pd.isnull()用於對一個DataFrame或Series(整體)的檢驗。

此外,根據pandas官方文檔和源代碼,pandas提供的另一個函數pd.isna()與pd.isnull()完全一樣。

# 首先創建一個DataFrame:
df = pd.DataFrame({'a':[0,1,2,np.nan]})
df
 
>>>     a
    0 0.0
    1 1.0
    2 2.0
    3 NaN
 
# 測試isnull()
pd.isnull(df)
>>>     a
    0 False
    1 False
    2 False
    3 True
 
# 測試isna()
pd.isna(df)
>>>     a
    0 False
    1 False
    2 False
    3 True
 
# 測試notnull()
pd.notnull(df)
>>>     a
    0 True
    1 True
    2 True
    3 False
 
# 測試notna()
pd.notna(df)
>>>     a
    0 True
    1 True
    2 True
    3 False

2.np.nan()

判斷是否為np.nan()。

np.nan不是一個“空”對象,對某個值是否為空值進行判斷,隻能用np.isnan(i)函數。

np.nan非空對象,其類型為基本數據類型float。

np.nan()可以對不論是DataFrame、Python list還是僅僅一個數值進行空值檢測。但一般在實際應用中,np.nan()多用於單個值的檢驗。

np.nan == np.nan
>>> False
 
np.isnan(np.nan)
>>> True
 
type(np.nan)
>>> float
 
np.nan is None
>>> False
 
np.isnan(df)
>>>     a
    0 False
    1 False
    2 False
    3 True

以上為個人經驗,希望能給大傢一個參考,也希望大傢多多支持WalkonNet。