利用python進行數據加載

Posted on by

前言

最近參加瞭datawhale的組隊學習活動，在組隊學習動員下，開始通過強迫自己輸出來實現更好的輸入與處理，6-15開始自己的第一次文章發佈，我會把自己這個真的很小白遇到的問題寫出來，希望能給屏幕前小白的你帶來幫助。

工作中大量繁瑣的自動化，把以前在學校摸過的python重新撿起來，不成體系的、拼圖一樣把需要的工作搭建起來，工作暫時是可用上瞭，每天節省瞭至少3個小時的數據處理工作，手裡拿著python這個錘子，看什麼都像釘子。

首先，你要先學會安裝軟件，anaconda軟件,安裝成功後，你點擊jupyter notebook打開代碼框。

現在可以開始嘗試做數據分析瞭。

一、數據加載

1.1 載入數據

數據集下載 https://www.kaggle.com/c/titanic/overview

1.1.1 導入包

導入numpy和pandas

import pandas as pd
import numpy as np

如果出錯瞭，需要註意大小寫、有沒有單詞寫錯瞭

1.1.2 載入數據

(1) 使用相對路徑載入數據
(2) 使用絕對路徑載入數據  

df = pd.read_csv('train.csv')
df.head(3)
df = pd.read_csv('/Users/Documents/train.csv')
df.head(3)

註意絕對路徑的 “  /  ” 方向不要錯。

1.1.3 大文件時要分塊讀取

每1000行為一個數據模塊，逐塊讀取

chunker = pd.read_csv('train.csv', chunksize=1000)

1.1.4

對著整個表修改列名：將表頭改成中文，索引改為乘客ID ，要註意的是，要記得把名字跟列一一對上，數量對上、順序對上

PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等級(1/2/3等艙位)
Name => 乘客姓名
Sex => 性別
Age => 年齡
SibSp => 堂兄弟/妹個數
Parch => 父母與小孩個數
Ticket => 船票信息
Fare => 票價
Cabin => 客艙
Embarked => 登船港口

df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','倉位等級','姓名','性別','年齡','兄弟姐妹個數','父母子女個數','船票信息','票價','客艙','登船港口'],index_col='乘客ID',header=0)
df.head()

1.2 初步觀察

導入數據後，我們可以對數據的整體結構和樣例進行概覽，比如說，數據大小、有多少列，各列都是什麼格式的，是否包含null等。info 後面加（）跟不加（）會 有不同的內容。

print(df.info())

如想在python的查看數據，可以用head

df.head(10)
df.tail(15)

判斷數據是否為空，為空的地方返回True，其餘地方返回False

df.isnull().head()

1.3 保存數據

在工作目錄下保存為一個新文件train_chinese.csv，如不希望表格自帶index，可以加入index=false

df.to_csv('train_chinese.csv',index=flase)

到此這篇關於利用python進行數據加載的文章就介紹到這瞭,更多相關python數據加載內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：