pandas如何將表中的字符串轉成數值型

Posted on by

pandas將表中的字符串轉成數值型

在用pd.read_csv讀數據時，將要轉換數據類型的列名和類型名構成字典，傳給dtype

import numpy as np
import pandas as pd

path = 'house_data.csv'
col = ['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS',
       'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT', 'MEDV']
dict_dtype = {}
for i in col:
    dict_dtype[i] = np.float64
# print(dict_dtype)

data = pd.read_csv(path, header=None, names=col, sep=',', dtype=dict_dtype)

擴展：pandas 把某一列中字符串變數值_Pandas對文本數據處理

在處理數據的時候,對數值型的數據處理還是比較方便的,但是有時候數值型數據出現問題後就會比較頭痛瞭,因為文本數據的排列組合可是有很多很多的,今天我們就學習一下如何對文本數據進行處理,這樣我們接下來在工作中遇到瞭這些情況就可以少掉一下頭發啦。

d6bd631540ae5adc7303155bc4b9cb85.png

一、str屬性

文本數據也就是我們常說的字符串,pandas為series提供瞭str屬性,通過它可以方便對每個元素進行操作。

6745e03b9537f5557abb6c0a116c4c07.png

為瞭防止數據被弄壞,我們先預留一個備份以防萬一。

ba57e33cd69be5f6919a6a70dc069900.png

這裡我們是不能使用backup_user_info = user_info的因為這樣的話一個更改另外一個也會更改。

在之前我們也已經瞭解過,在對series中每個元素處理時,我們可以使用map或apply方法,比如我們想把星球列下面的地球和外星轉換為英文,可以使用下面的方式。

ef74a725f5adca534b91811afe5bcee7.png

這時候我們在將表恢復成原來的樣子。

f3b59a5363a218112529585f9ec76c70.png

將哪個星球列下的星球改為大寫的英文後再改為小寫

首先更改為英文

50b5b03abf1fe33377d65a3948c58ab1.png

然後設置一個函數,將星球改為大寫,原理為upper()方法

439070f60a92fb0fd4f7c78f5145a508.png

然後在設置為小寫,原理為lower方法

00867bdb1c4aac307a06e8ece7f46d8e.png

給英雄們的身高加上一個單位

759c84a81f3d343533c050b45b0b6d99.png

我們通過str屬性來訪問之後用到的方法名與 Python 內置的字符串的方法名一樣。並且能夠自動排除缺失值。 我們再來試試其他一些方法。例如，統計每個字符串的長度。

1ef5ccab75b28076181666e8c615e6bb.png

將cm替換成空白的字符串

401054c7a864ff075d51504e8b81151b.png

將身高列的元素類型轉換為整數型

335ffc1b7a85123946579d4a1cc6c41a.png

生成一個新的列,列名為姓名的長度,元素為英雄姓名的長度(len方法)

9db7a72ded0cb716db93eec73ef7b7e4.png

查看表的元素類型

60c6eac27d95ee99b588f29b209e40b2.png

將年不年輕列的中的中年屬性更改為中老年屬性

2a8282b1614c7277ab2d14d9e01f9463.png

查看城市列中每個元素有幾個字

1264c815cd0542a7d36db6ff4ba6d521.png

查看年不年輕列中每個元素是否有輕這個字符串

006f75a40f8e66b03756a0df47074417.png

二、替換和分隔

使用.srt屬性也支持替換與分割操作。先來看下替換操作，例如：將大寫的R轉換為小寫的r。

b20594f6b59eccc66edf7d91057687e7.png

將列中的數據進行分隔

fe10ba58be3c1c2f2bb2aed254d782d0.png

將是否年輕按年進行分隔,結果如上所述。

分割列表中的元素可以使用 get 或 [] 符號進行訪問：

19f5bb6c2c6b31a4443d807530ea7b4a.png

比如說電影的主演有很多人, 可能是用逗號, 或者/ 進行分割, 這是可以用這種方法轉換成列表

在表中添加一列英雄的愛人列

3cf0f3bdd9ec5d85543176863542c034.png

d37b4f554921e38f11e80050b9cd61d6.png

將愛人列以,號分隔

11330ea22e91097123b1c4cafa9a30dc.png

這時候就可以讓某一行的這個元素以列表表現出來。

edf1dfef1f560778c626940d1b2c2e53.png

將索引列改為英雄姓名,並查看蜘蛛俠和滅霸的愛人

7564f3c246ff8e7ccbabe110a0ecd29e.png

三、提取子串

既然是在操作字符串，很自然的大傢可能會想到是否可以從一個長的字符串中提取出子串。答案是可以的。

1、提取第一個匹配的子串

extract方法接受一個正則表達式並至少包含一個捕獲組，指定參數 expand=True可以保證每次都返回DataFrame。例如，現在想要匹配空字符串前面的所有的字母，可以使用如下操作：

查看哪位英雄的所在的星球包括E這個字符串

5e9d5f78c0445b021835d6cf8e90442d.png

查看哪位英雄所在的城市包括紐這個字符串

dae950b0041d92a9896f597a8017256d.png

四、生成啞變量

首先我們先瞭解一下什麼是啞變量:

啞變量原名為虛擬變量 ( Dummy Variables) 又稱虛設變量、名義變量或啞，用以反映質的屬性的一個人工變量，是量化瞭的自變量，通常取值為0或1。引入啞變量可使線形回歸模型變得更復雜，但對問題描述更簡明，一個方程能達到兩個方程的作用，而且接近現實。

在pandas中我們可以通過get_dummies 方法可以將字符串轉為啞變量，sep 參數是指定啞變量之間的分隔符。

abad364dc2ba52e61f9fc9c571eb4932.png

對英雄姓名進行啞變量轉換

392e5d24bc47e42d55673cc00cc9393c.png

從結果可以看出,第0行的英雄姓名是蜘蛛俠,第1行的英雄姓名是滅霸,啞變量轉換就是將每一個選擇匹配哪一行的數據。

對那個星球進行啞變量轉換

806b2314b72e655803ec43f5a495dcee.png

從結果可以看出,在地球的英雄是第0、2、3、4、6行的,對應的英雄名稱為(蜘蛛俠、奇異博士、鋼鐵俠、蝙蝠俠、黑寡婦)

到此這篇關於pandas將表中的字符串轉成數值型的文章就介紹到這瞭,更多相關pandas字符串轉成數值型內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：