Python對口紅進行數據分析來選定情人節禮物
前言:
情人節、三八女神節、520、七夕節、聖誕節、元旦、生日、新年、各種紀念日……這些節日,對於每一個有女朋友的男同胞們來說都存在一個困惑的問題:送女朋友什麼禮物好?
其實送禮物這件事,說難也不難,但也絕不是一件簡單的事兒hhh~
送對瞭感情升溫,送錯瞭讓你恢復單身!
但隻要在挑選禮物的時候記得以下這幾點,想要踩雷都很難瞭。
1.符合對方的審美,平時多留意一下女朋友喜歡什麼東西。
2.顏值即正義,女孩子都是顏值動物,像我自己平時挑個拖鞋選個水杯,都要高顏值的,可愛的,高級感的…
3.禮物要有儀式感,比如包裝得很精美的花、自己新手做的禮盒、好看又實用剛好又是對方需要的東西。
4.在能力范圍內送合適的禮物,禮物不一定要貴,有意義有心意最重要。
接下來就可以拿著這一份挑口紅的功課去給女朋友挑禮物啦,保證不會踩雷,送給女孩子絕對不會錯~
準備工作
驅動安裝
實現案例之前,我們要先安裝一個谷歌驅動,因為我們是使用selenium 操控谷歌驅動,然後操控瀏覽器實現自動操作的,模擬人的行為去操作瀏覽器。
以谷歌瀏覽器為例,打開瀏覽器看下我們自己的版本,然後下載跟自己瀏覽器版本一樣或者最相近的版本,下載後解壓一下,把解壓好的插件放到我們的python環境裡面,或者和代碼放到一起也可以。
模塊使用與介紹
selenium
pip install selenium ,直接輸入selenium的話是默認安裝最新的,selenium後面加上版本號就是安裝對應的的版本;csv
內置模塊,不需要安裝,把數據保存到Excel表格用的;time
內置模塊,不需要安裝,時間模塊,主要用於延時等待;
流程解析
我們訪問一個網站,要輸入一個網址,所以代碼也是這麼寫的。
首先導入模塊
from selenium import webdriver
文件名或者包名不要命名為selenium,會導致無法導入。 webdriver可以認為是瀏覽器的驅動器,要驅動瀏覽器必須用到webdriver,支持多種瀏覽器。
實例化瀏覽器對象 ,我這裡用的是谷歌,建議大傢用谷歌,方便一點。
driver = webdriver.Chrome()
我們用get訪問一個網址,自動打開網址。
driver.get('https://www.jd.com/')
運行一下
打開網址後,以買口紅為例。
我們首先要通過你想購買的商品關鍵字來搜索得到商品信息,用搜索結果去獲取信息。
那我們也要寫一個輸入,空白處點擊右鍵,選擇檢查。選擇element 元素面板
鼠標點擊左邊的箭頭按鈕,去點擊搜索框,它就會直接定位到搜索標簽。在標簽上點擊右鍵,選擇copy,選擇copy selector 。如果你是xpath ,就copy它的xpath 。然後把我們想要搜索的內容寫出來
driver.find_element_by_css_selector('#key').send_keys('口紅')
再運行的時候,它就會自動打開瀏覽器進入目標網址搜索口紅。
同樣的方法,找到搜索按鈕進行點擊。
driver.find_element_by_css_selector('.button').click()
再運行就會自動點擊搜索瞭,頁面搜索出來瞭,那麼咱們正常瀏覽網頁是要下拉網頁對吧,咱們讓它自動下拉就好瞭。 先導入time模塊
import time
執行頁面滾動的操作
def drop_down(): """執行頁面滾動的操作""" # javascript for x in range(1, 12, 2): # for循環下拉次數,取1 3 5 7 9 11, 在你不斷的下拉過程中, 頁面高度也會變的; time.sleep(1) j = x / 9 # 1/9 3/9 5/9 9/9 # document.documentElement.scrollTop 指定滾動條的位置 # document.documentElement.scrollHeight 獲取瀏覽器頁面的最大高度 js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j driver.execute_script(js) # 執行我們JS代碼
循環寫好瞭,然後調用一下。
drop_down()
我們再給它來個延時
driver.implicitly_wait(10)
這是一個隱式等待,等待網頁延時,網不好的話加載很慢。
隱式等待不是必須等十秒,在十秒內你的網絡加載好後,它隨時會加載,十秒後沒加載出來的話才會強行加載。
還有另外一種死等的,你寫的幾秒就等幾秒,相對沒有那麼人性化。
time.sleep(10)
加載完數據後我們需要去找商品數據來源
價格/標題/評價/封面/店鋪等等
還是鼠標右鍵點擊檢查,在element ,點擊小箭頭去點擊你想查看的數據。
可以看到都在li標簽裡面 獲取所有的 li 標簽內容,還是一樣的,直接copy 。 在左下角就有瞭 這裡表示的是取的第一個,但是我們是要獲取所有的標簽,所以左邊框框裡 li 後面的可以刪掉不要。 不要的話,可以看到這裡是60個商品數據,一頁是60個。 所以我們把剩下的復制過來, 用lis接收一下 。
lis = driver.find_elements_by_css_selector('#J_goodsList ul li')
因為我們是獲取所有的標簽數據,所以比之前多瞭一個s
打印一下
print(lis)
通過lis返回數據 列表 [] 列表裡面的元素 <> 對象
遍歷一下,把所有的元素拿出來。
for li in lis: title = li.find_element_by_css_selector('.p-name em').text.replace('\n', '') # 商品標題 獲取標簽文本數據 price = li.find_element_by_css_selector('.p-price strong i').text # 價格 commit = li.find_element_by_css_selector('.p-commit strong a').text # 評論量 shop_name = li.find_element_by_css_selector('.J_im_icon a').text # 店鋪名字 href = li.find_element_by_css_selector('.p-img a').get_attribute('href') # 商品詳情頁 icons = li.find_elements_by_css_selector('.p-icons i') icon = ','.join([i.text for i in icons]) # 列表推導式 ','.join 以逗號把列表中的元素拼接成一個字符串數據 dit = { '商品標題': title, '商品價格': price, '評論量': commit, '店鋪名字': shop_name, '標簽': icon, '商品詳情頁': href, } csv_writer.writerow(dit) print(title, price, commit, href, icon, sep=' | ')
搜索功能
key_world = input('請輸入你想要獲取商品數據: ')
要獲取的數據 ,獲取到後保存CSV
f = open(f'京東{key_world}商品數據.csv', mode='a', encoding='utf-8', newline='') csv_writer = csv.DictWriter(f, fieldnames=[ '商品標題', '商品價格', '評論量', '店鋪名字', '標簽', '商品詳情頁', ]) csv_writer.writeheader()
然後再寫一個自動翻頁
for page in range(1, 11): print(f'正在爬取第{page}頁的數據內容') time.sleep(1) drop_down() get_shop_info() # 下載數據 driver.find_element_by_css_selector('.pn-next').click() # 點擊下一頁
完整代碼
from selenium import webdriver import time import csv def drop_down(): """執行頁面滾動的操作""" for x in range(1, 12, 2): time.sleep(1) j = x / 9 # 1/9 3/9 5/9 9/9 # document.documentElement.scrollTop 指定滾動條的位置 # document.documentElement.scrollHeight 獲取瀏覽器頁面的最大高度 js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j driver.execute_script(js) # 執行JS代碼 key_world = input('請輸入你想要獲取商品數據: ') f = open(f'京東{key_world}商品數據.csv', mode='a', encoding='utf-8', newline='') csv_writer = csv.DictWriter(f, fieldnames=[ '商品標題', '商品價格', '評論量', '店鋪名字', '標簽', '商品詳情頁', ]) csv_writer.writeheader() # 實例化一個瀏覽器對象 driver = webdriver.Chrome() driver.get('https://www.jd.com/') # 訪問一個網址 打開瀏覽器 打開網址 # 通過css語法在element(元素面板)裡面查找 #key 某個標簽數據 輸入一個關鍵詞 口紅 driver.find_element_by_css_selector('#key').send_keys(key_world) # 找到輸入框標簽 driver.find_element_by_css_selector('.button').click() # 找到搜索按鈕 進行點擊 # time.sleep(10) # 等待 # driver.implicitly_wait(10) # 隱式等待 def get_shop_info(): # 第一步 獲取所有的li標簽內容 driver.implicitly_wait(10) lis = driver.find_elements_by_css_selector('#J_goodsList ul li') # 獲取多個標簽 # 返回數據 列表 [] 列表裡面的元素 <> 對象 # print(len(lis)) for li in lis: title = li.find_element_by_css_selector('.p-name em').text.replace('\n', '') # 商品標題 獲取標簽文本數據 price = li.find_element_by_css_selector('.p-price strong i').text # 價格 commit = li.find_element_by_css_selector('.p-commit strong a').text # 評論量 shop_name = li.find_element_by_css_selector('.J_im_icon a').text # 店鋪名字 href = li.find_element_by_css_selector('.p-img a').get_attribute('href') # 商品詳情頁 icons = li.find_elements_by_css_selector('.p-icons i') icon = ','.join([i.text for i in icons]) # 列表推導式 ','.join 以逗號把列表中的元素拼接成一個字符串數據 dit = { '商品標題': title, '商品價格': price, '評論量': commit, '店鋪名字': shop_name, '標簽': icon, '商品詳情頁': href, } csv_writer.writerow(dit) print(title, price, commit, href, icon, sep=' | ') # print(href) for page in range(1, 11): print(f'正在爬取第{page}頁的數據內容') time.sleep(1) drop_down() get_shop_info() # 下載數據 driver.find_element_by_css_selector('.pn-next').click() # 點擊下一頁 driver.quit() # 關閉瀏覽器
效果展示
結尾
以上就是本文的全部內容瞭,大傢喜歡的記得點點贊!
到此這篇關於Python對口紅進行數據分析來選定情人節禮物的文章就介紹到這瞭,更多相關Python數據分析口紅內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- 詳解Python如何批量采集京東商品數據流程
- Python爬取網易雲歌曲評論實現詞雲圖
- python實現selenium網絡爬蟲的方法小結
- 使用selenium+chromedriver+xpath爬取動態加載信息
- Python selenium的這三種等待方式一定要會!