python模擬登陸網站的示例
使用已有cookie登陸
使用瀏覽器登陸,獲取瀏覽器中的cookie信息,來進行登陸。
我們以博客園為例,先登錄博客園賬號。我們訪問隨筆列表,在控制臺我們可以看到我們登陸後瀏覽器的cookie
剔除一些數據統計及分析的cookie,剩下的就是登陸可能需要的.CNBlogsCookie和.Cnblogs.AspNetCore.Cookies
# _ga google分析 cookie # UM_distinctid 友盟cookie # CNZZxxx CNZZcookie # __utma,__utmc,__utmz google統計網站 # Hm_lvt_xxx 百度統計網站
import urllib.request url = 'https://i.cnblogs.com/posts' user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36' #瀏覽器登錄後得到的cookie,也就是剛才復制的字符串 cookie_str = '.CNBlogsCookie=xxx; .Cnblogs.AspNetCore.Cookies=xxx' headers = { 'User-Agent': user_agent, 'cookie':cookie_str } req = urllib.request.Request(url,headers=headers) resp = urllib.request.urlopen(req).read().decode('utf-8') print(resp)
登陸獲取cookie
登陸的表單一般是使用的form data,現在也有些表單使用request payload使用json格式傳參。
form data如藥智網
request payload如博客園
form data
博客園的登陸需要拖動驗證所以略過。我們以藥智網為例,我們打開控制臺可以看到登陸需要傳的表單參數,這裡是使用的form data表單。我們模擬登陸後獲取到登陸後的cookie,然後訪問登錄後的個人中心頁面。
import urllib.request import http.cookiejar url = 'https://www.yaozh.com/login' user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36' # formData數據 data = {'username': '用戶名', 'pwd': '密碼', 'formhash': 'C3086BBA84', 'backurl': 'https%3A%2F%2Fwww.yaozh.com%2F'} post_data = urllib.parse.urlencode(data).encode('utf-8') # 請求頭設置 headers = { 'User-Agent': user_agent } # 構造登陸請求 req = urllib.request.Request(url, headers=headers, data=post_data) # cookie cookie = http.cookiejar.CookieJar() # 構造一個opener攜帶登錄後的cookie opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie)) # 發送登陸請求 resp = opener.open(req) print(resp) # 登錄後個人中心 url = 'https://www.yaozh.com/member/' # 構造訪問請求 req = urllib.request.Request(url, headers=headers) resp = opener.open(req).read().decode('utf-8') print(resp)
request payload
如果登陸需要request payload我們需要將參數轉為json字符串並在頭部設置Content-Type
import json ... data = {'loginType': '1', 'pwdOrVerifyCode': '密碼', 'userIdentification': '賬號', 'uaToken': '', 'webUmidToken':''} headers = { 'Content-Type': 'application/json;charset=UTF-8', 'User-Agent': user_agent } req = urllib.request.Request(url, headers=headers, data=json.dumps(data)) ...
登陸後用session保持登陸狀態
我們用requests模塊的Session對象來保存回話信息
import requests url = 'https://www.yaozh.com/login' user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36' # formData數據 data = {'username': 'chenjy1225', 'pwd': '19931225yjy', 'formhash': 'C3086BBA84', 'backurl': 'https%3A%2F%2Fwww.yaozh.com%2F'} #構造Session session = requests.Session() # 發送post請求 resp = session.post(url, data) # 登錄後個人中心 url = 'https://www.yaozh.com/member/' # 發送請求訪問個人中心 resp = session.get(url).content.decode('utf-8') print(resp)
調用瀏覽器登陸
我們也可以在程序中調用一個瀏覽器來訪問登陸網站。在python中使用Selenium庫就能輕松實現調用瀏覽器,被控制的瀏覽器可以是chrome、firefox等。
以前較常用的還是PhantomJS但是PhantomJS被python棄用瞭。
UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead
warnings.warn(‘Selenium support for PhantomJS has been deprecated, please use headless ‘
firefox對應的geckodriver
chrome對應的chrnpm.taobao.org/mirrors/chromedriveromedriver
1.下載Selenium、firefox瀏覽器及firefox驅動。
2.將下載的firefox驅動geckodriver放在firefox瀏覽器安裝目錄
3.將firefox瀏覽器安裝目錄添加到path中
4.重啟ide
我們找到需要登陸時候輸入的元素id及登陸button id。
from selenium import webdriver import time # 新建selenium瀏覽器對象,後面是geckodriver.exe下載後本地路徑 browser = webdriver.Firefox() url = 'https://www.yaozh.com/login' # 瀏覽器訪問登錄頁面 browser.get(url) # 等待3s用於加載腳本文件 browser.implicitly_wait(3) # 輸入用戶名 username = browser.find_element_by_id('username') username.send_keys('chenjy1225') # 輸入密碼 password = browser.find_element_by_id('pwd') password.send_keys('19931225yjy') # 點擊登錄按鈕 login_button = browser.find_element_by_id('button') login_button.submit() # 網頁截圖 browser.save_screenshot('screenshot.png') # 強制等待5s,等待登錄後的跳轉 time.sleep(5) url = 'https://www.yaozh.com/member/' browser.get(url) # 網頁截圖個人中心 browser.save_screenshot('screenshot1.png') # 關閉瀏覽器 browser.quit()
screenshot.png:
screenshot1.png:
以上就是python模擬登陸網站的示例的詳細內容,更多關於python模擬登陸網站的資料請關註WalkonNet其它相關文章!
推薦閱讀:
- python爬蟲用request庫處理cookie的實例講解
- python爬蟲基礎之urllib的使用
- 詳解如何用Python登錄豆瓣並爬取影評
- Python3使用Selenium獲取session和token方法詳解
- Python爬蟲中urllib3與urllib的區別是什麼