使用selenium+chromedriver+xpath爬取動態加載信息

#_*_coding:utf-8_*_
# 作者      ：liuxiaowei
# 創建時間   ：2/7/22 6:43 PM
# 文件      ：獲取京東商品信息.py
# IDE      ：PyCharm

from selenium import webdriver  # 導入瀏覽器驅動模塊
from selenium.webdriver.support.wait import WebDriverWait  # 導入等待類
from selenium.webdriver.support import expected_conditions as EC  # 等待條件
from selenium.webdriver.common.by import By                       # 節點定位

#from selenium.webdriver.chrome.service import Service

try:
    # 創建谷歌瀏覽器驅動參數對象
    chrome_options = webdriver.ChromeOptions()
    # 不加載圖片
    prefs = {"profile.managed_default_content_settings.images": 2}
    chrome_options.add_experimental_option("prefs", prefs)
    # 使用headless無界面瀏覽器模式
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
    # 加載谷歌瀏覽器驅動
		driver = webdriver.Chrome(options = chrome_options, executable_path='chromedriver')
    # 請求地址
    driver.get('https://item.jd.com/12353915.html')
    wait = WebDriverWait(driver,10)    # 等待10秒
    # 等待頁面加載class名稱為m-item-inner的節點，該節點中包含商品信息
    wait.until(EC.presence_of_element_located((By.CLASS_NAME,"w")))

    # 獲取name節點中所有div節點
    name_div1 = driver.find_element(By.XPATH,'//div[@class="sku-name"]')
    name_div2 = driver.find_element(By.XPATH, '//div[@class="news"]/div[@class="item hide"]')
    name_div3 = driver.find_element(By.XPATH, '//div[@class="p-author"]')
    summary_price = driver.find_element(By.XPATH, '//div[@class="summary-price J-summary-price"]')
    print('提取的商品標題如下：')
    print(name_div1.text)         # 打印商品標題
    print('提取的商品宣傳語如下：')
    print(name_div2.text)         # 打印宣傳語
    print('提取的編著信息如下：')
    print(name_div3.text)         # 打印編著信息
    print('提取的價格信息如下：')
    print(summary_price.text.strip('降價通知'))       # 打印價格信息
    driver.quit()  # 退出瀏覽器驅動
except Exception as e:
    print('顯示異常信息！', e)

		# 獲取商品信息節點中的所有div節點
  	name_div = driver.find_element(By.XPATH,'//div[@class="itemInfo-wrap"]').find_elements(By.TAG_NAME, 'div')

    # 提取並輸出單個div節點的內容
    print('提取的商品標題如下：')
    print(name_div[0].text)         # 打印商品標題
    print('提取的商品宣傳語如下：')		 # 打印商品宣傳語
    print(name_div[1].text)    

# 根據XPath定位獲取指定節點中的href地址
href = driver.find_element(By.XPATH, '//div[@id="p-author"]/a').get_attribute('href')
print('指定節點中的地址信息如下：')

 # 加載谷歌瀏覽器驅動
driver = webdriver.Chrome(options = chrome_options, executable_path='chromedriver')  # 本例驅動與爬蟲程序在同一路																																											徑

driver.close()：關閉當前頁面
driver.quit()：退出整個瀏覽器