利用Pandas索引和選取數據方法詳解

Posted on by

我們將使用2019年全國新能源汽車的銷量數據作為演示數據，數據保存在一個csv文件中，讀者可以在GitHub倉庫下載到 https://github.com/pythonlibrary/practice-pandas-skills.git

本篇文章中會使用到兩個庫pandas 和 numpy，確保它們都正確的安裝，而工作環境則使用jupyter notebook，如果有需要學習如何搭建環境的，可以閱讀 數據科學傢的一種工作環境 – virtualenv和Jupyter Notebook。

文章中用於演示的代碼也可以在前邊提到的GitHub倉庫中找到對應的notebook源文件，文件名為 index_select_data.ipynb

首先在notebook中導入pandas和numpy，按照常用習慣，pandas導入為pd，numpy導入為np

import pandas as pd
import numpy as np

1. 導入數據集

在這一節中，我們會將數據文件導入為pandas中的數據對象，同時針對這個數據對象，做一些基本的信息展示，方便我們理解我們將要工作的數據。

我們的原始數據文件為csv格式，因此可以快速的使用pandas提供的read_csv方法將csv文件導入為pandas的DataFrame，同時利用DataFrame對象的head方法查看前兩行數據的內容。

df = pd.read_csv('NEV_sales.csv')
df.head(2)

head方法接收一個整數為參數，代表，我們想要獲得的行數，默認為5行，這裡我們獲得瞭2行，可以看出，數據的索引（index）是數字，列（column）裡邊包含瞭品牌以及2019年從1月份到12月份的銷售量。

為瞭後邊演示，我們將利用df這個數據集再創建一個新的數據集名為df_brand_index，它跟df的區別是，它將使用品牌（brand）作為索引，列為2019年從1月份到12月份的銷售量。我們使用set_index方法來實現。這次，我們使用跟head方法相對應的tail方法來查看df_brand_index和df的不同。

df_brand_index = df.set_index('brand')
df_brand_index.tail(2)

可以看出，輸出的第一列名稱brand相比其他列名稱向下移瞭一點，它已經變成瞭索引，跟原來的索引不同，它具有索引名，即brand，但是所支持的操作方法跟索引是一致的。

另外，在輸出中我們看到瞭兩個有趣的信息，一是，最後一行品牌為總計，這表明我們的原始數據中最後一行是所有行的總計，在真正的數據分析中，它肯定會對結果有不好的影響，因此可以排除掉，而本文側重於pandas的操作，因此它對我們沒影響，二是，奔馳品牌在2019年每個月的銷量都是NaN，NaN是pandas中的一個特殊值，代表缺失值，而在我們這個數據集中，其實也就是銷量為0。

接下來我們從3個方面簡單的看看我們的數據。

首先是數據量，我們正在分析多大的量的數據呢，DataFrame的shape屬性會告訴我們數據有多少行，多少列。通過下述代碼獲取到df_brand_index和df的形狀。

df_brand_index.shape, df.shape

對於df，總過有77行，15列，而df_brand_index有77行，14列因為我們將品牌列轉換為瞭索引，所以少瞭一列。

然後是數據類型，我們的數據中是否有一些非法數據類型，我們分析的是新能源車銷量，因此，期望所有的數據都是數字，而非字符串或者其他，DataFrame的dtypes屬性會告訴我們這樣的信息。

df_brand_index.dtypes

沒問題，所有的列都是數字（因為類型都是float64），如果有任一列出現瞭 object字樣，那就是說該列包含非數字的內容。

最後是銷售量的基本信息，例如每個月的銷售量的最大，最小，平均值等等，使用DataFrame的describe()方法可以或者到這些信息。

df_brand_index.describe()

比如，2019年11月，新能源車在所有品牌的平均銷量為3831臺，最大為72795臺（不合理，對吧？），為什麼呢，記得我們前邊使用瞭tail方法看到數據的最後一行為總計，因此這個最大值其實就是總計的值。

2. 列選擇

我們盡量避免使用列索引的稱呼，因為如果看英文文檔的話，pandas並不使用column index來稱呼列，而是直接使用column，如果稱呼列索引的話恐怕會帶來歧義。

通過方括號[]可以從DataFrame獲取到某一列或者某幾列的數據。這裡註意：如果我們獲取多列的數據，則得到的仍然是一個DataFrame，而如果我們僅獲取一列數據，將會得到一個Series（跟DataFrame同一等級的pandas對象，也是pandas中的另外一種常用的數據結構）

sr_brand_index = df_brand_index['2019-11']
sr_brand_index.head(2)

上邊，我們獲取瞭2019年11月的銷量數據，查看內容發現，索引名稱還是為品牌，但是列沒有瞭名稱。

而下方，我們獲取瞭2019年11月和12月兩個月的銷量數據，查看內容發現，不僅索引名稱在，同樣的DataFrame具有兩列，分別對應兩個月的數據。

df_brand_index[['2019-12', '2019-11']].head(2)

3. 行選擇

這一節，我們將按行來選擇數據。在pandas中最常用的，也是官方推薦的兩種進行列選擇的方法為loc和iloc，兩者比較容易混淆，這裡按照官方方法提供一個簡單的快速記憶方法loc代表location，使用標簽來定位， 而iloc中的i解讀為integer，即integer location通過數字來定位。什麼意思呢？看下邊對比。

數字Index

首先我們使用df這個DataFrame，還記得吧，這個對象使用數字作為index，索引，我們來使用loc獲取index標簽從0到4的行：

df.loc[0:4]

我們最終得到瞭5行內容，而index為從0到4.

然後，我們來使用iloc獲取index從位置0到位置4的行：

df.iloc[0:4]

這裡大傢發現瞭區別，我們僅僅得到瞭4行，index為從0到3，為什麼呢，iloc代表利用整數編號來獲取，其行為類似於python內置數據結構list的操作方法，獲取到的結果為[0,4)。

到這裡，或許讀者已經有點暈瞭，別著急，看過下邊這個例子以後，你就會恍然大悟，並明白為什麼loc和iloc有時候很容易混淆。

字符串Index

我們再在df_brand_index上邊使用loc和iloc來看看效果，還記得吧df_brand_index中的Index是品牌名稱。

加入向上邊一樣，使用df_brand_index.loc[0:4]來獲取前5行，那麼我們會得到一個異常

為什麼呢？因為loc是使用標簽來做選擇，而這個數據集的Index標簽為字符串而不是數字，正確的用法為：

df_brand_index.loc['北京':'寶駿']

然後iloc的用法就很容易理解並且顯而易見瞭。

df_brand_index.iloc[0:4]

4. 行+列選擇，找到元素

避免混淆，我們將繼續使用df_brand_index來做演示。假如說現在我們想找到某北汽品牌在2019年11月的銷量，或者前5個品牌在2019年10月到12月的銷量，我們就需要結合行列來一起進行選擇，pandas會智能的根據找到的元素的形狀返回相應的數據類型，例如：

獲取北汽2019年11月的銷量

df_brand_index.loc['北京', '2019-11']

如果使用iloc方法，下邊的方法可已得到等價的結果

df_brand_index.iloc[0, 1] # 1st column is 2019-11 in df_brand_index

獲取前5個品牌從2019年10月到12月的銷量

df_brand_index.loc['北京':'寶駿', '2019-12':'2019-10']

類似的使用iloc方法，下邊的方法也可以得到等價的結果

df_brand_index.iloc[0:5, 0:3]

5. 條件選擇

另外一個常用的數據選擇篩選辦法是根據元素的內容，比如，我們想獲取到2019年11月和12月銷量均大於3000臺的品牌數據。

df_brand_index[(df_brand_index['2019-12'] > 3000) & (df_brand_index['2019-11'] > 3000)]

這裡，我們使用瞭pandas的佈爾選擇功能，即在[]中提供一個佈爾條件，(df_brand_index[‘2019-12′] > 3000) & (df_brand_index[‘2019-11′] > 3000)代表，11月和12月銷量均大於3000，隻得特別註意的是，條件中的括號非常重要，是一定需要使用的，否則，pandas將拋出異常。

6. 查找元素位置

最後，在實際項目中還會有需要通過某一個元素的值來尋找它在數據中出現的位置，例如我們想知道2019年11月銷量為6046的品牌，或者我們想知道在整個DataFrame中銷量為6046的所有品牌和對應的月份

在已知列中查找

如果我們想知道2019年11月銷量為6046的品牌，我們完全可以使用第五節中的條件選擇先選取到相應的數據，然後再使用DataFrame的index屬性得到其對應的品牌。

df_brand_index[df_brand_index['2019-11']==6046].index

在整個DataFrame中查找

如果我們想知道在整個DataFrame中銷量為6046的所有品牌和對應的月份，那麼pandas提供的內建方法就無法滿足這個要求瞭，我們可以借助numpy來快速實現。

numpy提供瞭where方法，它可以返回滿足條件的元素在輸入的numpy arry的行列位置編號，通過位置編號就可以在DataFrame中獲取到品牌。

DataFrame中有一個to_numpy方法，可以將DataFrame轉換為numpy array，將兩部分連起來，就可以獲得index和column的編號。

idx = np.where(df_brand_index.to_numpy()==6046)[0][0]
col = np.where(df_brand_index.to_numpy()==6046)[1][0]
idx, col

上邊代碼會輸入（2，1）。其中2為index的編號，1為column編號，對應於df_brand_index中為：

更多關於Pandas的相關文章請查看下面的相關文章

推薦閱讀：