Pycharm安裝scrapy及初始化爬蟲項目的完整步驟

Posted on by

一）安裝scrapy：

1、打開cmd命令窗口，輸入：pip install Scrapy。

2、安裝成功之後會顯示下面字符，表示未將scrapy設置到環境變量。

3、配置環境變量：右鍵我的電腦–>屬性–>高級設置—>環境變量—->系統變量中的Path—>編輯—>添加—>將上文中黃色的路徑添加到環境變量即可。

4、scrapy安裝完畢。

二）創建一個scrapy爬蟲項目：

1、創建一個普通的Pycharm項目，然後找到下面的terminal

 2、輸入命令scrapy startproject 模塊名稱(可以自己隨便起，我以名為mine為例)，成功之後你會發現自己的項目中多瞭一個mine的包文件。

 3、上述操作成功後終端會顯示下圖文字：此時我們輸入cd那條命令。進入目標文件。

 4、這時就可以創建爬蟲目標文件啦，

        輸入scrapy genspider 爬取名 網站域名

1、爬取名是自己隨便起的，比如我要爬百度那麼我就可以起名為baidu

2、網站域名就是去掉  https:www.  剩下的部分，以博客園的為例：

網址為：https://www.cnblogs.com/

域名為 cnblogs.com

 2和3操作截圖： 

5、此時我們會在目錄裡看見一個新的py文件：裡自動生成如下代碼：

三）開啟pycharm對scrapy框架的調試功能：

由於pycharm沒有創建scrapy框架的模塊，所以我們想調試scrapy程序時要自己寫一個小腳本來開啟pycharm對scrapy的調試功能。

 1、在與mine包同級條件下創建一個main.py文件：

 2、mine文件將一下代碼賦值進去：

import os
import sys
 
from scrapy.cmdline import execute
 
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "cnblog"])  # 第三個參數為自己創建的那個爬取的名稱

 這樣就大功告成啦！

總結

到此這篇關於Pycharm安裝scrapy及初始化爬蟲項目的文章就介紹到這瞭,更多相關Pycharm安裝scrapy初始化爬蟲項目內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：