Pandas中時間序列的處理大全
一、時間序列數據的生成
pd.date_ranges生成時間序列
- time格式:年月日分隔符號可以是”-“,”/”,空格這三種格式(年月日、日月年、月日年都可以);時分秒隻能用”:”分隔,順序隻能是時分秒。
- start:起始時間(time)
- end:終止時間(time)
- periods:期數(int),使用時隻能出現start或者end,兩者不能同時出現
- freq:頻率(numY,num年;numM,num月;numD,num日),詳細參數見下表
頻率別名 | 描述 |
---|---|
B | 工作日頻率 |
C | 自定義工作日頻率 |
D | 日歷日頻率 |
W | 每周頻率 |
M | 每月最後一個日歷日 |
SM | 每半個月最後一個日歷日(15日和月末) |
BM | 每月最後一個工作日 |
CBM | 自定義每月最後一個工作日 |
MS | 每月第一個日歷日 |
SMS | 每半月第一個日歷日(第1和第15) |
BMS | 每月第一個工作日 |
CBMS | 自定義每月第一個工作日 |
Q | 每季度最後一個月的最後一個日歷日 |
BQ | 每季度最後一個月的最後一個工作日 |
QS | 每季度最後一個月的第一個日歷日 |
BQS | 每季度最後一個月的第一個工作日 |
A, Y | 每年的最後一個日歷日 |
BA, BY | 每年的最後一個工作日 |
AS, YS | 每年的第一個日歷日 |
BAS, BYS | 每年的第一個工作日 |
BH | 工作日按“時”計算頻率 |
H | 每小時頻率 |
T, min | 每分鐘頻率 |
S | 每秒頻率 |
L, ms | 毫秒頻率 |
U, us | 微秒頻率 |
N | 納秒頻率 |
import pandas as pd import numpy as np df = pd.DataFrame( data=np.random.randint(1,20,10), index=pd.date_range(start="20/01/2021",periods=10,freq="M"),) print(df)
0
2021-01-31 1
2021-02-28 6
2021-03-31 12
2021-04-30 5
2021-05-31 7
2021-06-30 4
2021-07-31 9
2021-08-31 7
2021-09-30 18
2021-10-31 10
0
count 10.00000
mean 7.90000
std 4.72464
min 1.00000
25% 5.25000
50% 7.00000
75% 9.75000
max 18.00000
二、Pandas設置索引
創建時添加索引
pd.DataFrame(…,index=[],…)
df.set_index使用現有列設置索引
- keys:列名,多個列用[name1,name2]
- drop:設置升序(True)、降序(False)
- inplace:替換原變量(True),不替換(False)
df.set_index(["X"],inplace=True) df.set_index(["X","Y"],inplace=True)
df.reset_index可以還原索引
df.reset_index("X")
三、 時間序列數據的截取
df.truncate過濾數據
- before:過濾之前的數據(time)
- after:過濾之後的數據(time)
- axis:列(columns),行(index)
df.truncate(before="2021-5",after="2021-9")
0
2021-05-31 7
2021-06-30 4
2021-07-31 9
2021-08-31 7
df.loc索引過濾
df.loc["2021-5":]
0
2021-05-31 7
2021-06-30 4
2021-07-31 9
2021-08-31 7
2021-09-30 18
2021-10-31 10
四、Pandas重復值處理
4.1 查詢是否有重復值
duplicated()方法判斷
# 判斷dataframe數據整行是否重復 df.duplicated() # dataframe數據某列是否重復 df.columns_name.duplicated() # 判斷dataframe數據多列數據是否重復(多列組合查) df.duplicated(subset = ['n1','n2'])
groupby().count()
df.groupby('columns').count()>1
4.2 去除重復值
drop_duplicats參數說明:
- 參數subset:用來指定特定的列,默認所有列
- 參數keep:first和last表示是選擇最前一項還是最後一項保留,默認first
- 參數inplace:是直接在原來數據上修改還是保留一個副本,默認為False
df.drop_duplicats(subset=['name1','name2'],keep='last',inplace=True)
按照index索引去重
df.index.duplicated(keep='last')
五、Pandas缺失值處理
5.1 缺失值查詢
df.info查詢各列的信息
df.info() # res <class 'pandas.core.frame.DataFrame'> Int64Index: 10 entries, 19 to 14 Data columns (total 2 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 Y 10 non-null int32 1 Z 10 non-null int32 dtypes: int32(2) memory usage: 160.0 bytes
df.isnull判斷是否是空值
df.isnull().any() # 篩選出缺失值的列 df.isna().any() # 篩選出缺失值的列
df.empty判斷是否有空值
df.empty
5.2 缺失值填充
ffill 空值取前面的值
df.ffill()
bfill 空值取後面的值
df.bfill()
fillna 指定值填充
df.fillna(1) df.fillna({'A': 0, 'B': 1, 'C': 2, 'D': 3}) # 指定列填充
interpolate 插值
- df.interpolate(method=‘linear’, axis=0, limit=None, inplace=False, limit_direction=‘forward’, limit_area=None, downcast=None, **kwargs)
- method參數解釋
- linear:忽略索引,線性等距插值
- time:在以天或者更高頻率的數據上插入給定的時間間隔長度數據
- index, values:使用索引的實際數值
- pad:使用現有值填寫NaN
- nearest, zero, slinear, quadratic, cubic, spline, barycentric, polynomial:傳遞給scipy.interpolate.interp1d。這些方法使用索引的數值。polynomial和spline都要求您還指定一個順序(int),例如 ,df.interpolate(method=‘polynomial’, order=5)
- krogh,piecewise_polynomial,spline,pchip,akima:包括類似名稱的SciPy插值方法。
- from_derivatives:指 scipy.interpolate.BPoly.from_derivatives,它替換瞭scipy 0.18中的’piecewise_polynomial’插值方法
- axis : {0或’index’,1或’columns’,None},默認為None;沿軸進行interpolate。
- limit: int;要填充的連續NaN的最大數量。必須大於0
- inplace : bool,默認為False;如果可以,更新現有數據
- limit_direction : {‘forward’,‘backward’,‘both’},默認為’forward’;如果指定瞭限制,則將沿該方向填充連續的NaN
- limit_area : {None, ‘inside’, ‘outside’}, 默認為None;如果指定瞭限制,則連續的NaN將填充此限制。
- None:無填充限制
- inside:僅填充有效值包圍的NaN
- outside: 僅在有效值之外填充NaN
dff.interpolate(method='polynomial',order=2)
刪除缺失值
df.dropna(how='any')
六、pandas統計計算方法
方法 | 說明 |
---|---|
count | 非NaN值的數理 |
describe | 列計算統計匯總 |
min、max | 最小值和最大值 |
argmin、argmax | 最小值和最大值索引(int) |
idxmin、idxmax | 最小值和最大值索引 |
quantile | 分位數([0,1],0.25下四分為) |
sum | 總和 |
mean | 均值 |
median | 0.5分位數,中位數 |
mad | 根據均值計算絕對離差 |
var | 方差 |
std | 標準差 |
df.describe()
七、Pandas數據重采樣
重采樣就是基於時間數據由一個頻率轉換到另一個頻率的方法,分為降采樣和升采樣。
降采樣:高頻率===>低頻率,如頻率日變為月,需要指定統計函數如sum
df.resample("M").mean()
升采樣:低頻率===>高頻率,如頻率月變為日,需要進行缺失值填充
df.resample("D").asfreq().fillna(1)
總結
到此這篇關於Pandas中時間序列處理的文章就介紹到這瞭,更多相關Pandas時間序列處理內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- pandas數據清洗(缺失值和重復值的處理)
- Python數據分析之缺失值檢測與處理詳解
- Python pandas處理缺失值方法詳解(dropna、drop、fillna)
- Pandas缺失值填充 df.fillna()的實現
- 淺談pandas中對nan空值的判斷和陷阱