如何用python清洗文件中的數據
簡單版
直接打開日志文件,往另外一個文件中按照要過濾的要求進行過濾
import io; with open('a.txt', 'w') as f: for line in open('c:/201509.txt'): if line.find('更改項目')>0 and line.find('500')>0: f.write(line+"\n"); print("輸出完成");
註意.find返回的是字符串在目標的第幾位,要和0作比較 另外使用and而不是&&作為”和”,使用or而不是||作為”或” w是寫,r是讀,a是追加
使用filter
import io; def isData(s): return s.find('更改項目')>0 and s.find('500')>0; with open('a.txt', 'w') as f: list1=list(filter(isData,open('c:/201509.txt'))); for (offset,item) in enumerate(list1): f.write(str(offset)+":"+item);
讀取utf-8帶bom的文件
微軟會在在 UTF-8 文件中放置 BOM頭(順便提一下:把帶有 BOM 的小端序 UTF-16 稱作「Unicode」而又不詳細說明,這也是微軟的習慣。不含BOM的UTF-8才是標準形式,UTF-8不需要BOM,帶BOM的UTF-8文件的開頭會有U+FEFF,所以Windows新建的空文件會有3字節的大小。
import codecs with codecs.open('c:/20160907205.log', encoding='utf_8_sig') as f: for line in f: print(line)
註意編碼格式是utf_8_sig
多文件清洗
對多個文件進行過濾,可以借助其名稱的規律,遍歷文件之後
import codecs with codecs.open('a.txt','a', encoding='utf_8_sig') as f: for i in range(205,210): f.write(str(i)+"\r\n"); print(str(i)); for line in open('c:/20160907'+str(i)+'.log', encoding='utf_8_sig'): if line.find('url為')>=0 : print(line); f.write(line+"\r\n"); print("輸出完成");
清洗數據同時記錄訂單號並排序
import codecs a=0; List=[]; with codecs.open('a.txt','a', encoding='utf_8_sig') as f: for i in range(205,210): for line in open('c:/20160907'+str(i)+'.log', encoding='utf_8_sig'): if line.find('url為')>=0 : ind=line.find("XFLucky"); if ind>=0: nums=line[ind:ind+22]; print(nums); List.append(nums); a=a+1; print(line); f.write(str(i)+line+"\r\n"); List.sort(); for item in List: print(item); print("輸出完成"+str(a));
清洗sql文件,將數據表名放入excel中
安裝openpyxl
pip install openpyxl
安裝之後就可以進行sql建表語句的過濾瞭,將所有的表名和註釋寫入我們的excel文件中。
import re import openpyxl data = [] temp = [] wb = openpyxl.load_workbook('data.xlsx') ws2 = wb.create_sheet(index=2, title='addSheet_test') for line in open('wlzcool.sql', encoding='utf-8'): if line.find('CREATE TABLE') >= 0: matchObj1 = re.search('`(.*?)`', line, re.M | re.I) if matchObj1: # print("matchObj.group(1) : ", matchObj1.group(1)) print(matchObj1.group(1)) temp.append(matchObj1.group(1)) if line.find('ROW_FORMAT = Dynamic') >= 0: matchObj2 = re.search('\'(.*?)\'', line, re.M | re.I) if matchObj2: # print("matchObj.group(1) : ", matchObj2.group(1)) print(matchObj2.group(1)) temp.append(matchObj2.group(1)) else: print("no comment") temp.append("no comment") data.append(temp) temp = [] for row in data: ws2.append(row) wb.save('data.xlsx') print("輸出完成")
總結
人生苦短,我用 Python,在強大的第三方庫幫助下,我們隻需很少的代碼就可以實現很大數據量的文件的清洗。
以上就是如何用python清洗文件中的數據的詳細內容,更多關於python清洗文件中的數據的資料請關註WalkonNet其它相關文章!
推薦閱讀:
- 關於python處理大型json文件的方法
- Python實現快速保存微信公眾號文章中的圖片
- python re.match()用法相關示例
- 如何使用python批量修改文本文件編碼格式
- Python openpyxl 無法保存文件的解決方案