python scrapy簡單模擬登錄的代碼分析

Posted on by

1、requests模塊。直接攜帶cookies請求頁面。

找到url，發送post請求存儲cookie。

2、selenium(瀏覽器自動處理cookie)。

找到相應的input標簽，輸入文本，點擊登錄。

3、scrapy直接帶cookies。

找到url，發送post請求存儲cookie。

# -*- coding: utf-8 -*-
import scrapy
import re
 
class GithubLoginSpider(scrapy.Spider):
    name = 'github_login'
    allowed_domains = ['github.com']
    start_urls = ['https://github.com/login']
 
    def parse(self, response): # 發送Post請求獲取Cookies
        authenticity_token = response.xpath('//input[@name="authenticity_token"]/@value').extract_first()
        utf8 = response.xpath('//input[@name="utf8"]/@value').extract_first()
        commit = response.xpath('//input[@name="commit"]/@value').extract_first()
        form_data = {
            'login': '[email protected]',
            'password': '123456',
            'webauthn-support': 'supported',
            'authenticity_token': authenticity_token,
            'utf8': utf8,
            'commit': commit}
        yield scrapy.FormRequest("https://github.com/session", formdata=form_data, callback=self.after_login)
 
    def after_login(self, response): # 驗證是否請求成功
        print(re.findall('Learn Git and GitHub without any code!', response.body.decode()))

知識點擴展：

parse_login方法是提交完表單後callback回調函數指定要執行的方法，為瞭驗證是否成功。這裡我們直接在response中搜索Welcome Liu這個字眼就證明登錄成功。

這個好理解，重點是yield from super().start_resquests()，這個代表著如果一旦登錄成功後，就直接帶著登錄成功後Cookie值，方法start_urls裡面的地址。

這樣的話登錄成功後的response可以直接在parse裡面寫。

# -*- coding: utf-8 -*-
import scrapy
from scrapy import FormRequest,Request


class ExampleLoginSpider(scrapy.Spider):
    name = "login_"
    allowed_domains = ["example.webscraping.com"]
    start_urls = ['http://example.webscraping.com/user/profile']
    login_url = 'http://example.webscraping.com/places/default/user/login'

    def parse(self, response):
        print(response.text)

    def start_requests(self):
        yield scrapy.Request(self.login_url,callback=self.login)

    def login(self,response):
        formdata = {
            'email':'[email protected]','password':'12345678'}
        yield FormRequest.from_response(response,formdata=formdata,
                                        callback=self.parse_login)
    def parse_login(self,response):
        # print('>>>>>>>>'+response.text)
        if 'Welcome Liu' in response.text:
            yield from super().start_requests()

到此這篇關於python scrapy簡單模擬登錄的代碼分析的文章就介紹到這瞭,更多相關python scrapy模擬登錄的方法內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：