使用HTTPclient保持長連接

Posted on by

HTTPclient保持長連接

首先解釋一下什麼是長連接

當我們向一臺服務器發起請求時，我們需要和對方建立一條通道，去傳輸數據，所謂的短連接，就是說我們建立起瞭通道，然後在傳輸完數據，就把通道摧毀，下次需要的時候再重新去建立通道。

長連接呢，就是指，我們建立瞭一條通道，傳遞完數據後，先不摧毀，下次如果還需要傳輸數據，就復用這條通道。

因為通道的建立是需要花費時間的，所以長連接的優勢就在於響應速度快，但是服務器壓力大，因為同時有很多人在向服務器建立通道，即便有些通道已經傳輸完數據瞭，由於長連接的原因，通道也不會被摧毀；短連接呢，則是，響應速度慢，服務器壓力小。

由於現在更多的是強調用戶的體驗，所以長連接目前是最常見的。

如何在java中實現一個長連接呢

其實很簡單，隻需要在請求的請求頭中加入特定的參數 ：“Connection”：”keep-alive”即可。這樣如果對方支持長連接的話，那麼這個連接就會保持長連接瞭。

問題的關鍵就來瞭，在一次壓測某個https請求響應速度的代碼中，我發現瞭，當對方響應數據為null,也就是responseBody中帶的數據為null時，響應速度特別快，大概在5ms左右，但是一旦對方返回瞭響應數據，本次響應就可能達到瞭20ms。

然後請運維同事抓包，發現每次連接，都會耗費時間在用戶認證上，其實也就是從某個方面反應出，每次都是新建立瞭一個連接。

HttpPost httpPost = new HttpPost("xxxxx");
httpPost.addHeader("Connection", "keep-alive");
CloseableHttpClient httpClient = null;
for(int i =0 ;i<5000;i++){
    long t1 = System.currentTimeMillis();
	CloseableHttpResponse response = httpClient.execute(httpPost);
	long t2 = System.currentTimeMillis();
}

上瞭一段簡單的代碼，表示一下大概的邏輯，實際的壓測代碼還包括瞭線程池，連接池的完整參數等等，如果需要的可以留言或者翻看本人的其他的博客，有寫線程池和連接池。

就是這樣一段代碼，導致每次連接都是新建立的連接，那麼原因是什麼呢，我們先上代碼：

for (int i = 0; i<5000;i++){
     long t1 = System.currentTimeMillis();
      CloseableHttpResponse response = httpClient.execute(httpPost);
      if(null != response.getEntity()){
           EntityUtils.consume(response.getEntity());
      }
      long t2 = System.currentTimeMillis();
 }

我們隻需要簡單加上三行代碼，就可以解決這個問題瞭，這是為什麼呢，讓我們點進去源碼看一下

在這裡插入圖片描述

這麼一看， 其實這個方法也並沒有做什麼，隻是簡單的取到瞭流去關閉，為什麼就保持長連接瞭呢。

後來仔細讀http連接的原理才得知，當一個連接建立，響應數據時，會封裝CloseableHttpResponse這個對象裡面，其中的Entity對象就是包含著響應體的數據，我們需要用流去獲取。如果你不去獲取，那麼這個數據就會存在於這個對象中，連接池就會認為，這個通道裡有未處理的數據，然後它不會去復用這個通道，而是選擇重建一個通道。這就完美解釋瞭為什麼壓測時，對方返回null時，響應速度特別快，而攜帶返回數據時，響應速度特別慢瞭。

那麼再仔細想想，為什麼我們平常不知道這個知識點，卻從來沒有報過錯呢，那是因為正常情況下，我們都是需要會對response做處理，比如String responseContent = EntityUtils.toString(response.getEntity(), StandardCharsets.UTF_8); 類似這種，我們點進源碼看，其實也是取到瞭流，並做瞭關閉操作。平常還是要多閱讀源碼，想想源碼。

httpclient因為保持永久長連接造成連接吊死的問題

httpclient使用瞭連接池，如果沒有設置keep-alive策略，PoolingHttpClientConnectionManager會默認使用永久連接。

最近在調用京東api時，發現一個請求開始是可以獲取到數據的，但隔瞭兩分鐘後再請求就會出現read timeout異常。

對比請求成功和請求失敗的日志後發現，請求成功的有以下日志“Connection: keep-alive”，“Connection can be kept alive indefinitely”；但請求失敗的卻打印“Shutdown connection”，“Connection discarded”。

每次失敗後再請求都會成功。因此推測中應該是對方服務器端禁止長連接，當連接到達一定時間會就會斷開。

後來上網找到keep-alive策略的代碼。

添加策略後，問題解決

ConnectionKeepAliveStrategy keepAliveStrategy = new ConnectionKeepAliveStrategy() {
            @Override
            public long getKeepAliveDuration(HttpResponse response, HttpContext context) {
                HeaderElementIterator it = new BasicHeaderElementIterator(response.headerIterator(HTTP.CONN_KEEP_ALIVE));
                while (it.hasNext()) {
                    HeaderElement he = it.nextElement();
                    String param = he.getName();
                    String value = he.getValue();
                    if (value != null && param.equalsIgnoreCase("timeout")) {
                        try {
                            return Long.parseLong(value) * 1000;
                        }
                        catch (NumberFormatException ignore) {
                        }
                    }
                }
                HttpHost target = (HttpHost) context.getAttribute(HttpClientContext.HTTP_TARGET_HOST);
                if ("bizapi.jd.com ".equalsIgnoreCase(target.getHostName())) {
                    return 60 * 1000;
                }
                else {
                    return 300 * 1000;
                }
   CloseableHttpClient httpClient = httpClientBuilder.setConnectionManager(pollingConnectionManager)
                .setKeepAliveStrategy(keepAliveStrategy).setDefaultRequestConfig(defaultRequestConfig).build();

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。

推薦閱讀：