Django程序的優化技巧

Posted on by

友情提示：

過度性能優化是沒有必要甚至有害的，因為花大力氣帶來的毫秒級的響應提升你的用戶可能根本感知不到，畢竟開發人員的時間也很寶貴。

性能優化指標

在對一個Web項目進行性能優化時，我們通常需要評價多個指標：

  • 響應時間
  • 最大並發連接數
  • 代碼的行數
  • 函數調用次數
  • 內存占用情況
  • CPU占比

其中響應時間（服務器從接收用戶請求，處理該請求並返回結果所需的總的時間）通常是最重要的指標，因為過長的響應時間會讓用戶厭倦等待，轉投其它網站或APP。當你的用戶數量變得非常龐大，如何提高最大並發連接數，減少內存消耗也將變得非常重要。

在開發環境中，我們一般建議使用django-debug-toolbar和django-silk來進行性能監測分析。它們提供瞭每次用戶請求的響應時間，並告訴你程序執行過程哪個環節(比如SQL查詢)最消耗時間。

對於中大型網站或Web APP而言，最影響網站性能的就是數據庫查詢部分瞭。一是反復從數據庫讀寫數據很消耗時間和計算資源，二是當返回的查詢數據集queryset非常大時還會占據很多內存。我們先從這部分優化做起。

數據庫查詢優化

利用Queryset的惰性和緩存，避免重復查詢

充分利用Django的QuerySet的惰性和自帶緩存特性，可以幫助我們減少數據庫查詢次數。比如下例中例1比例2要好。因為在你打印文章標題後，Django不僅執行瞭數據庫查詢，還把查詢到的article_list放在瞭緩存裡，下次可以在其它地方復用，而例2就不行瞭。

 # 例1: 利用瞭緩存特性 - Good
 article_list = Article.objects.filter(title__contains="django")
 for article in article_list:
     print(article.title)
 
 # 例2: Bad
 for article in Article.objects.filter(title__contains="django"):
     print(article.title)

但有時我們隻希望瞭解查詢的結果是否存在或查詢結果的數量，這時可以使用exists()和count()方法，如下所示。這樣就不會浪費資源查詢一個用不到的數據集，還可以節省內存。

 # 例3: Good
 article_list = Article.objects.filter(title__contains="django")
 if article_list.exists():
     print("Records found.")
 else:
     print("No records")
     
 # 例4: Good
 count = Article.objects.filter(title__contains="django").count()

一次查詢所有需要的關聯模型數據

假設我們有一個文章(Article)模型，其與類別(Category)是單對多的關系(ForeignKey), 與標簽(Tag)是多對多的關系(ManyToMany)。我們需要編寫一個article_list的函數視圖，以列表形式顯示文章清單及每篇文章的類別和標簽，你的模板文件可能如下所示：

 {% for article in articles %}
    <li>{{ article.title }} </li>
    <li>{{ article.category.name }}</li>
    <li>
        {% for tag in article.tags.all %}
            {{ tag.name }},
        {% endfor %}
    </li>
 {% endfor %}

在模板裡每進行一次for循環獲取關聯對象category和tag的信息，Django就要單獨進行一次數據庫查詢，造成瞭極大資源浪費。我們完全可以使用select_related方法和prefetch_related方法一次性從數據庫獲取單對多和多對多關聯模型數據，這樣在模板中遍歷時Django也不會執行數據庫查詢瞭。

 # 僅獲取文章數據 - Bad
 def article_list(request):
     articles = Article.objects.all()
     return render(request, 'blog/article_list.html',{'articles': articles, })
 
 # 一次性提取關聯模型數據 - Good
 def article_list(request):
     articles = Article.objects.all().select_related('category').prefecth_related('tags')
     return render(request, 'blog/article_list.html', {'articles': articles, })

僅查詢需要用到的數據

默認情況下Django會從數據庫中提取所有字段，但是當數據表有很多列很多行的時候，告訴Django提取哪些特定的字段就非常有意義瞭。假如我們數據庫中有100萬篇文章，需要循環打印每篇文章的標題。如果按例4操作，我們會將每篇文章對象的全部信息都提取出來載入到內存中，不僅花費更多時間查詢，還會大量占用內存，而最後隻用瞭title這一個字段，這是完全沒有必要的。我們完全可以使用values和value_list方法按需提取數據，比如隻獲取文章的id和title，節省查詢時間和內存(例6-例8)。

 # 例子5: Bad
 article_list = Article.objects.all()
 if article_list:
     print(article.title)
 
 # 例子6: Good - 字典格式數據
 article_list = Article.objects.values('id', 'title')
 if article_list:
     print(article.title)
 
 # 例子7: Good - 元組格式數據
 article_list = Article.objects.values_list('id', 'title')
 if article_list:
     print(article.title)
     
 # 例子8: Good - 列表格式數據
 article_list = Article.objects.values_list('id', 'title', flat=True)
 if article_list:
     print(article.title)

除此以外，Django項目還可以使用defer和only這兩個查詢方法來實現這一點。第一個用於指定哪些字段不要加載，第二個用於指定隻加載哪些字段。

使用分頁，限制最大頁數

事實前面代碼可以進一步優化，比如使用分頁僅展示用戶所需要的數據，而不是一下子查詢所有數據。同時使用分頁時也最好控制最大頁數。比如當你的數據庫有100萬篇文章時，每頁即使展示100篇，也需要1萬頁展示給你的用戶，這是完全沒有必要的。你可以完全隻展示前200頁的數據，如下所示：

 LIMIT = 100 * 200
 
 data = Articles.objects.all()[:(LIMIT + 1)]
 if len(data) > LIMIT:
     raise ExceededLimit(LIMIT)
 
 return data

數據庫設置優化

如果你使用單個數據庫，你可以采用如下手段進行優化：

  • 建立模型時能用CharField確定長度的字段盡量不用不用TextField, 可節省存儲空間；
  • 可以給搜索頻率高的字段屬性，在定義模型時使用索引(db_index=True)；
  • 持久化數據庫連接。

沒有持久化連接，Django每個請求都會與數據庫創建一個連接，直到請求結束，關閉連接。如果數據庫不在本地，每次建立和關閉連接也需要花費一些時間。設置持久化連接時間，僅需要添加CONN_MAX_AGE參數到你的數據庫設置中，如下所示：

 DATABASES = {
     ‘default': {
         ‘ENGINE': ‘django.db.backends.postgresql_psycopg2',
         ‘NAME': ‘postgres',
         ‘CONN_MAX_AGE': 60, # 60秒
    }
 }

當然CONN_MAX_AGE也不宜設置過大，因為每個數據庫並發連接數有上限的(比如mysql默認的最大並發連接數是100個)。如果CONN_MAX_AGE設置過大，會導致mysql 數據庫連接數飆升很快達到上限。當並發請求數量很高時，CONN_MAX_AGE應該設低點，比如30s, 10s或5s。當並發請求數不高時，這個值可以設得長一點，比如60s或5分鐘。

當你的用戶非常多、數據量非常大時，你可以考慮讀寫分離、主從復制、分表分庫的多數據庫服務器架構。這種架構上的佈局是對所有web開發語言適用的，並不僅僅局限於Django，這裡不做進一步展開瞭。

緩存

緩存是一類可以更快的讀取數據的介質統稱，也指其它可以加快數據讀取的存儲方式。一般用來存儲臨時數據，常用介質的是讀取速度很快的內存。一般來說從數據庫多次把所需要的數據提取出來，要比從內存或者硬盤等一次讀出來付出的成本大很多。對於中大型網站而言，使用緩存減少對數據庫的訪問次數是提升網站性能的關鍵之一。

視圖緩存

 from django.views.decorators.cache import cache_page
 
 @cache_page(60 * 15)
 def my_view(request):
    ...

使用@cached_property裝飾器緩存計算屬性

對於不經常變動的計算屬性，可以使用@cached_property裝飾器緩存結果。

緩存臨時性數據比如sessions

Django的sessions默認是存在數據庫中的，這樣的話每一個請求Django都要使用sql查詢會話數據，然後獲得用戶對象的信息。對於臨時性的數據比如sessions和messages，最好將它們放到緩存裡，也可以減少SQL查詢次數。

 SESSION_ENGINE = ‘django.contrib.sessions.backends.cache’

模版緩存

默認情況下Django每處理一個請求都會使用模版加載器都會去文件系統搜索模板，然後渲染這些模版。你可以通過使用cached.Loader開啟模板緩存加載。這時Django隻會查找並且解析你的模版一次，可以大大提升模板渲染效率。

 TEMPLATES = [{
     'BACKEND': 'django.template.backends.django.DjangoTemplates',
     'DIRS': [BASE_DIR / 'templates'],
     'OPTIONS': {
         'loaders': [
            ('django.template.loaders.cached.Loader', [
                 'django.template.loaders.filesystem.Loader',
                 'django.template.loaders.app_directories.Loader',
                 'path.to.custom.Loader',
            ]),
        ],
    },
 }]

註意：不建議在開發環境中(Debug=True)時開啟緩存加載，因為修改模板後你不能及時看到修改後的效果。

另外模板文件中建議使用with標簽緩存視圖傳來的數據，便於下一次時使用。對於公用的html片段，也建議使用緩存。

{% load cache %}
 {% cache 500 sidebar request.user.username %}
    .. sidebar for logged in user ..
 {% endcache %}

靜態文件

壓縮 HTML、CSS 和 JavaScript等靜態文件可以節省帶寬和傳輸時間。Django 自帶的壓縮工具有GzipMiddleware 中間件和 spaceless 模板 Tag。使用Python壓縮靜態文件會影響性能，一個更好的方法是通過 Apache、Nginx 等服務器來對輸出內容進行壓縮。例如Nginx服務器支持gzip壓縮，同時可以通過expires選項設置靜態文件的緩存時間。

以上就是Django程序的優化技巧的詳細內容，更多關於Django程序的優化的資料請關註WalkonNet其它相關文章！

推薦閱讀：