scrapy框架ItemPipeline的使用

Posted on by

Item Pipeline簡介

Item管道的主要責任是負責處理有蜘蛛從網頁中抽取的Item，他的主要任務是清晰、驗證和存儲數據。
當頁面被蜘蛛解析後，將被發送到Item管道，並經過幾個特定的次序處理數據。
每個Item管道的組件都是有一個簡單的方法組成的Python類。
他們獲取瞭Item並執行他們的方法，同時他們還需要確定的是是否需要在Item管道中繼續執行下一步或是直接丟棄掉不處理。

調用時間： 當Item在Spider中被收集之後，它將會被傳遞到Item Pipeline，一些組件會按照一定的順序執行對Item的處理。

功能:

  • 清理HTML數據
  • 驗證爬取的數據(檢查item包含某些字段)
  • 查重(並丟棄)
  • 將爬取結果保存到數據庫中

一、一個自己的Pipeline類

必須實現以下方法：

process_item(self, item**,** spider**)**

每個item pipeline組件都需要調用該方法，這個方法必須返回一個具有數據的dict，或是 Item(或任何繼承類)對象， 或是拋出 DropItem 異常，被丟棄的item將不會被之後的pipeline組件所處理。

參數:

  • item （Item 對象或者一個dict) – 被爬取的item
  • spider (Spider 對象) – 爬取該item的spider

open_spider(self, spider)

當spider被開啟時，這個方法被調用。參數:spider (Spider對象) – 被開啟的spider

from_crawler(cls,crawler)

如果存在，則調用該類方法以從中創建管道實例Crawler。它必須返回管道的新實例。搜尋器對象提供對所有Scrapy核心組件（如設置和信號）的訪問；這是管道訪問它們並將其功能掛鉤到Scrapy中的一種方法。

close_spider(self, spider)

當spider被關閉時，這個方法被調用參數:spider (Spider對象) – 被關閉的spider

二、啟用一個Item Pipeline組件

為瞭啟用一個Item Pipeline組件，你必須將它的類添加到 ITEM_PIPELINES 配置，就像下面這個例子:

ITEM_PIPELINES = {
    'myproject.pipelines.PricePipeline': 300,
    'myproject.pipelines.JsonWriterPipeline': 800,
}

分配給每個類的整型值，確定瞭他們運行的順序，item按數字從低到高的順序，通過pipeline，通常將這些數字定義在0-1000范圍內。

將item寫入JSON文件

以下pipeline將所有爬取到的item，存儲到一個獨立地items.json 文件，每行包含一個序列化為'JSON'格式的'item':

import json
class JsonWriterPipeline(object):
    def __init__(self):
        self.file = open('items.json', 'wb')
    def process_item(self, item, spider):
        line = json.dumps(dict(item),ensure_ascii=False) + "\n"
        self.file.write(line)
        return item

在這裡優化：

以下pipeline將所有爬取到的item，存儲到一個獨立地items.json 文件，每行包含一個序列化為'JSON'格式的'item':

import json
import codecs
class JsonWriterPipeline(object):
    def __init__(self):
        self.file = codecs.open('items.json', 'w', encoding='utf-8')
    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + "\n"
        self.file.write(line)
        return item
    def spider_closed(self, spider):
        self.file.close()

針對spider裡面的utf-8編碼格式去掉.encode('utf-8')

item = RecruitItem()
item['name']=name.encode('utf-8')
item['detailLink']=detailLink.encode('utf-8')
item['catalog']=catalog.encode('utf-8')
item['recruitNumber']=recruitNumber.encode('utf-8')
item['workLocation']=workLocation.encode('utf-8')
item['publishTime']=publishTime.encode('utf-8')

將item寫入MongoDB

from_crawler(cls, crawler)

如果使用，這類方法被調用創建爬蟲管道實例。必須返回管道的一個新實例。crawler提供存取所有Scrapy核心組件配置和信號管理器；對於pipelines這是一種訪問配置和信號管理器 的方式。

在這個例子中，我們將使用pymongo將Item寫到MongoDB。MongoDB的地址和數據庫名稱在Scrapy setttings.py配置文件中；

這個例子主要是說明如何使用from_crawler()方法

import pymongo
class MongoPipeline(object):
    collection_name = 'scrapy_items'
    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db
    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE', 'items')
        )
    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]
    def close_spider(self, spider):
        self.client.close()
    def process_item(self, item, spider):
        self.db[self.collection_name].insert(dict(item))
        return item

到此這篇關於scrapy框架ItemPipeline的使用的文章就介紹到這瞭,更多相關scrapy ItemPipeline內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：