Python利用selenium建立代理ip池訪問網站的全過程
一、使用selenium前?
1.安裝selenium
pip install Selenium
2.安裝瀏覽器驅動
Chrome驅動文件下載:點擊下載
3.配置環境
1.將下載文件放進C:\Program Files (x86)\Google\Chrome\Application下就可以
2.然後配置下系統變量:我的電腦–>屬性–>系統設置–>高級–>環境變量–>系統變量–>Path,將“C:\Program Files (x86)\Google\Chrome\Application”目錄添加到Path的值中。
註:之後如果代碼不能調起瀏覽器,重啟電腦,再運行!!!
二、使用selenium
1.引入庫
代碼如下(示例):
from selenium import webdriver from selenium.webdriver.chrome.options import Options
2.完整代碼
如果有多個代理ip可循環使用,防止被禁幾率
from selenium import webdriver from selenium.webdriver.chrome.options import Options #以下ip使用自己可使用的代理IP proxy_arr = [ '--proxy-server=http://171.35.141.103:9999', '--proxy-server=http://36.248.132.196:9999', # '--proxy-server=http://125.46.0.62:53281', '--proxy-server=http://219.239.142.253:3128', '--proxy-server=http://119.57.156.90:53281', '--proxy-server=http://60.205.132.71:80', '--proxy-server=https://139.217.110.76:3128', '--proxy-server=https://116.196.85.150:3128' ] chrome_options = Options() proxy = random.choice(proxy_arr) # 隨機選擇一個代理 print(proxy) #如果某個代理訪問失敗,可從proxy_arr中去除 chrome_options.add_argument(proxy) # 添加代理 browser = webdriver.Chrome(options=chrome_options) browser.get("http://httpbin.org/ip") print(browser.page_source)
代碼如下(示例):
總結
到此這篇關於Python利用selenium建立代理ip池訪問網站的文章就介紹到這瞭,更多相關Python selenium代理ip池訪問網站內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- Python語言中的Selenium環境搭建
- Selenium+Python自動化腳本環境搭建的全過程
- selenium動態數據獲取的方法實現
- Python爬蟲基礎之selenium庫的用法總結
- Python爬蟲之Selenium庫的使用方法