Python 數據篩選功能實現

Posted on by

        無論是在數據分析還是數據挖掘的時候，數據篩選總會涉及到。這裡我總結瞭一下python中列表，字典，數據框中一些常用的數據篩選的方法。

1.列表

        案例一：從一個含有數字0-9的列表中篩選出偶數(奇數):

1.enumerate方法(生成兩列數據，第一列是索引，第二列是數值)

	num=[i for i in range(10)]
	num1=[]
	for index,count in enumerate(num):
	    if count%2==0:
	        num1.append(num[index])
	print(num1)

2.列表推導式(常用)

	num=[i for i in range(10) if i%2==0]
	print(num)

        二者輸出結果都是[0,2,4,6,8]，相比之下列表推導式要簡潔的多

2.字典

        案例二：從一個包含學生姓名和成績的字典中，篩選出成績大於60的學生
        首先，我們構造一個字典inf：

	name=['Bob','Jim','Gin','Angel']
	grade=[80,55,75,95]
	inf=dict(zip(name,grade))
	print(inf)

        輸出結果為：{‘Bob’: 80, ‘Jim’: 55, ‘Gin’: 75, ‘Angel’: 95}

        以下，我們可以通過字典推導式篩選出學生成績(大於60)：

	dict1={key:value for key,value in inf.items() if value>60}
	print(dict1)

        輸出結果：{‘Bob’: 80, ‘Gin’: 75, ‘Angel’: 95}

        如果你隻是想要返回成績大於60的學生名字或者分數的話，可以將dict1中的key:value部分改為key或者value即可.當然上述步驟是先建立一個字典，然後再從字典裡篩選出符合特定條件的值。可不可以一步完成呢？
        當然闊以~

	dict2={name[i]:grade[i] for i in range(len(grade)) if grade[i]>60}
	print(dict2)

        輸出結果也是{‘Bob’: 80, ‘Gin’: 75, ‘Angel’: 95}.不過，這裡需要註意的是：如果列表name 和列表grade長度不一致的話，後面for循環中的len函數應該去長度較短的列表！

3.數據框

        案例三：利用pandas從招聘信息表中篩選出特定條件的信息

        首先，導入數據

	import pandas as pd
	df=pd.read_excel('job_information.xls',encoding='utf-8')
	df

        招聘信息表如下：

在這裡插入圖片描述

A. 篩選出工作經驗(exp)為4年的招聘信息

	df[df['exp'].isin([4])]

        通用篩選方式：data[data[‘篩選列’].isin([num])]

        需要註意的是：isin函數裡篩選的num必須用[]括起來！可以是一個，也可以是多個。但隻能對特定的數字進行篩選，最後篩選的結果如下：

在這裡插入圖片描述

B. 篩選出具體給明的工資(salary)（過濾掉薪資面議）

	df[df['salary'].str.contains('K')]

        通用篩選方式：data[data[‘篩選列’].str.contains(‘特定字符’)]

        需要註意的是：隻能對特定的字符串進行篩選，最後篩選結果如下：

在這裡插入圖片描述

C.篩選出隻含有K的工資(過濾14薪等以及薪資面議)

	df[~df['salary'].str.contains('薪')]

因為這裡需要過濾的字符都出現瞭"薪"，我們依舊可以使用contains函數。需要註意的是"~“代表"非”(在對於isin函數也有用！)，即排除salary中包含"薪" 這個字符的所有數據。最後，篩選結果如下：

在這裡插入圖片描述

D.篩選出含有K的工資(包括14薪等)

這裡由於展示的數據樣本少，該方法最終呈現的效果是和方法B是一樣的。使用的方法是：apply函數+正則

def select(x):
    pat='[0-9]?[0-9]K-[0-9]?[0-9]K'
    rst=re.search(pat,x)
    if rst:
        return rst.group(0)
    return 0
df['salary'].apply(select)

需要註意的是：在使用group函數的時候，需要先判斷是否可以先查到對應的值。否則會報錯(NoneType object has no attribute ‘group’ )。最後篩選的結果如下：

在這裡插入圖片描述

此外，還有一些篩選數據的方法如pivot_table(數據透視表)，filter函數+lambda函數等，這就需要大傢在實際應用的時候靈活選擇。

到此這篇關於Python 數據篩選的文章就介紹到這瞭,更多相關Python 數據篩選內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：