Python利用yarl實現輕松操作url

Posted on by

1.簡介

大傢好我是費老師，在諸如網絡爬蟲、web應用開發等場景中，我們需要利用Python完成大量的url解析、生成等操作。

而在Python生態中，無論是使用諸如urllib之類的標準庫，還是各種第三方庫，可以用來有效處理url的方法都非常之豐富。而今天費老師我要給大傢介紹的url處理庫，則是我在實際使用中綜合考慮簡單易用性與運算速度後，最為滿意的。

2.在Python中利用yarl高效處理url

這個可以用來高效便捷處理url的第三方庫叫做yarl，使用pip install yarl完成安裝後，下面我們來快速學習其主要的一些功能方法：

2.1 利用yarl解析url信息

基於yarl中的URL()，我們可以從任意合法的url中解析出下圖所示的各個構成部分：

先來看一個簡單的例子，其中對我保管每一篇博客文章附件的github倉庫路徑url進行解析：

from yarl import URL

url = URL('https://github.com/CNFeffery/DataScienceStudyNotes/tree/master/%E5%8E%86%E5%8F%B2%E6%96%87%E7%AB%A0%E9%99%84%E4%BB%B6%E5%88%97%E8%A1%A8')

原始的網址由於包含瞭中文等非ASCII字符，所以粘貼到代碼中後變成瞭url編碼後的樣子，直接調用human_repr()方法即可進行解碼還原：

而通過獲取對應url各部分名稱的屬性，即可分別提取出相應信息：

其中端口信息是基於scheme信息按照常規情況進行推斷的，http即為80，https即為443，若需要獲取url中顯式出現的端口信息，可以使用explicit_port：

針對url中的hash標簽信息則可以通過fragment取得：

若要解析的url中包含query參數信息，則可以直接調用query得到MultiDict類型的返回結果，這是種特殊的字典類型，它允許存在重復的鍵，對於不存在重復的鍵值對，可以像普通字典那樣索引值，否則則需要通過getall()方法來返回所傳入鍵對應的所有值列表：

可以感受到通過yarl解析url非常的方便~

2.2 利用yarl構造url

當我們需要基於已有的各部分信息構造url時，yarl就更加方便瞭，基礎的方式是基於URL.build()方法，以函數傳參的方式定義url：

而如果你已經有瞭具體存在的yarl.URL對象，想在此基礎上進行其他部分內容的設置，則可以使用一系列名稱格式為with_xxx()的方法，其中xxx就對應著各個部分的名稱：

特別地，針對查詢參數部分，還專門有update_query()方法進行參數追加，它與with_query()的區別可以從下面的例子中體會到：

2.3 利用/、%運算符快捷合成url

在yarl中，針對/、%運算符進行瞭重寫，以支持類似下面例子的快捷操作，非常的方便：

除瞭上面介紹的yarl常用功能以外，還有譬如利用is_absolute()方法判斷url是否為絕對路徑等其他實用功能，感興趣的讀者朋友們可以前往官方文檔瞭解更多（https://yarl.aio-libs.org/en/latest/index.html）。

到此這篇關於Python利用yarl實現輕松操作url的文章就介紹到這瞭,更多相關Python yarl操作url內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：