Python實現對相同數據分箱的小技巧分享

Posted on by

前言

博主最近工作中剛好用到數據分箱操作（對相同數據進行遍歷比較，避免瞭全部遍歷比較，大大減少瞭電腦IO次數，提高程序運行速度），翻瞭很多博文都沒有找到解決方法，寫一下我自己的解決思路！！！

什麼是分箱？

簡單點說就是將不同的東西，按照特定的條件放到一個指定容器裡，比如水果 把綠色的放一個籃子裡，紅色一個籃子等等，這個籃子就是箱，而水果就是數據 顏色就是條件

什麼樣式的數據要進行分箱

數據主要分為連續變量和分類變量，分箱的操作主要針對於連續變量。

為什麼要對數據進行分箱操作

穩定性，時間復雜度，看的舒服，提高準確度 等等

思路

先給定 last 為列表第一個（並存入temp列表）,將後面的數據從第二個開始與 last 比較，如果相同存入 temp 中。

當不相同時，則將 last 切換為 不同的那個數（並存入temp），並將 temp列表 放入一個空列表中。

類型一：數字

實現效果

[1,1,1,2,2,2,3,3,4,4,5,5,5,5,5]

# 轉變為
[[1, 1, 1], [2, 2, 2], [3, 3], [4, 4], [5, 5, 5, 5, 5]]

代碼實現

box = [1,1,1,2,2,2,3,3,4,4,5,5,5,5,5]

last = box[0]
temp = [box[0]]
box_list = [temp]

for a in box[1::]:
    if a == last:
        temp.append(a)
    else:
        last = a
        temp = [a]
        box_list.append(temp)

print(box_list) # [[1, 1, 1], [2, 2, 2], [3, 3], [4, 4], [5, 5, 5, 5, 5]]

# 實現按每一個分箱列表遍歷數據（而不用全部遍歷）
for boxs in box_list:
    for i in boxs:
        print(i)

類型二：元組

實現效果

box = [('小黑','20','四川'),('小黑','21','北京'),('張三','18','上海'),('張三','22','上海'),('張三','30','北京'),('李四','10','廣州')]

# 實現把名字相同的元組放入一個列表
[[('小黑', '20', '四川'), ('小黑', '21', '北京')], [('張三', '18', '上海'), ('張三', '22', '上海'), ('張三', '30', '北京')], [('李四', '10', '廣州')]]

代碼實現

box = [('小黑','20','四川'),('小黑','21','北京'),('張三','18','上海'),('張三','22','上海'),('張三','30','北京'),('李四','10','廣州')]


last = box[0][0]
temp = [box[0]]
box_list = [temp]

for a in box[1::]:
    if a[0] == last:
        temp.append(a)
    else:
        last = a[0]
        temp = [a]
        box_list.append(temp)
       
print(box_list)    

# 實現按每一個分箱列表遍歷數據（而不用全部遍歷）
for boxs in box_list:
    for i in boxs:
        print(i[0]) # 0取的姓名，1取年齡，3取地址

附：利用Python的cut方法可以對數據進行分箱。

import pandas as pd 
import numpy as np 
from pandas import Series,DataFrame

# 隨機生成一組數據
score_list = np.random.randint(25,100,size = 20)  # 隨機生成最小值25，最大值100的20個數據

# 分箱的區間
bins = [0,59,70,80,100]

# 分箱
score_cat = pd.cut(score_list,bins)

# 統計不同區間的個數
pd.value_counts(score_cat)


# 生成一個空的DataFrame
df = DataFrame()
df['Score'] = score_list
df['Name'] =  [pd.util.testing.rands(5) for i in range(20)] # 生成20個姓名
df['Categories'] =pd.cut(df['Score'],bins,labels = ['不及格','一般','優秀','厲害']) 
# labels對應的是bins的

總結

到此這篇關於Python實現對相同數據分箱的文章就介紹到這瞭,更多相關Python相同數據分箱內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：