vue實現大文件分片上傳與斷點續傳到七牛雲

Posted on by

問題：

前段時間做視頻上傳業務，通過網頁上傳視頻到服務器。

視頻大小 小則幾十M，大則 1G+，以一般的HTTP請求發送數據的方式的話，會遇到的問題：

  • 1、文件過大，超出服務端的請求大小限制；
  • 2、請求時間過長，請求超時；
  • 3、傳輸中斷，必須重新上傳導致前功盡棄；

探索過程：

1、原先咨詢過組裡的大佬給我推薦瞭百度的webupload，但後來引入之後發現它是基於jquery封裝的。由於本身項目是基於vue開發的所以與jquery相關的開源框架就盡量不考慮瞭。

2、後來查閱瞭資料後自己手動實現瞭文件切片上傳到服務器基本需求已經實現，但由於效率及穩定性問題後來決定還是直傳文件到七牛雲。一開始我使用瞭表單上傳的方式實現瞭，後來種種原因又要求我做成分片上傳。

3、引入七牛的jssdk。

解決方案：

  • 1、修改服務端上傳的限制配置；Nginx 以及 PHP 的上傳文件限制 不宜過大，一般5M 左右為好；
  • 2、大文件分片，一片一片的傳到服務端，再由服務端合並。這麼做的好處在於一旦上傳失敗隻是損失一個分片而已，不用整個文件重傳，而且每個分片的大小可以控制在4MB以內，服務端限制在4M即可。
  • 3、使用七牛JavaScript SDK分片上傳

首先，剛接觸一門新的技術我們還是先去官方文檔走一圈瞭解下基本用法～

文檔地址：JavaScript SDK

Qiniu-JavaScript-SDK 為客戶端 SDK，沒有包含 token 生成實現，為瞭安全，token 建議通過網絡從服務端獲取，具體生成代碼可以參考服務端 SDK 的文檔。

  • JavaScript SDK 下載地址
  • JavaScript SDK 源碼地址
  • JavaScript SDK 在線示例

功能簡介

  • 上傳
    • 大於 4M 時可分塊上傳，小於 4M 時直傳
    • 分塊上傳時，支持斷點續傳
  • 數據處理（圖片）
    • imageView2（縮略圖）
    • imageMogr2（高級處理，包含縮放、裁剪、旋轉等）
    • imageInfo （獲取基本信息）
    • exif （獲取圖片 EXIF 信息）
    • watermark （文字、圖片水印）
    • pipeline （管道，可對 imageView2、imageMogr2、watermark 進行鏈式處理）

後端返回給你的獲取token的json格式必須是這種格式的。必須是一個json對象內部包裹著uptoken字段，帶上其他字段也是可以的但是必須第一層要能找到uptoken

{
   "uptoken": "0MLvWPnyya1WtPnXFy9KLyGHyFPNdZceomL...",
   "xxx": "..."
}

因為在它的sdk源碼中是這麼獲取token的。他會先找定義的option字段中是否有uptoken，如果沒有再去找uptoken_url有就發送ajax請求去獲取uptoken字段，倘若後端必須要以他的格式為主那你可以修改sdk源碼來實現。如果uptoken_url也沒有值就回去調用uptoken_func函數都沒有則報錯，所以這三個必須指定一個。

        // getUptoken maybe called at Init Event or BeforeUpload Event
       // case Init Event, the file param of getUptken will be set a null value
       // if op.uptoken has value, set uptoken with op.uptoken
       // else if op.uptoken_url has value, set uptoken from op.uptoken_url
       // else if op.uptoken_func has value, set uptoken by result of op.uptoken_func
       var getUpToken = function(file) {
           if (op.uptoken) {
               that.token = op.uptoken;
               return;
           } else if (op.uptoken_url) {
               logger.debug("get uptoken from: ", that.uptoken_url);
               // TODO: use mOxie
               var ajax = that.createAjax();
               ajax.open('GET', that.uptoken_url, false);
               ajax.setRequestHeader("If-Modified-Since", "0");
               // ajax.onreadystatechange = function() {
               //     if (ajax.readyState === 4 && ajax.status === 200) {
               //         var res = that.parseJSON(ajax.responseText);
               //         that.token = res.uptoken;
               //     }
               // };
               ajax.send();
               if (ajax.status === 200) {
                   var res = that.parseJSON(ajax.responseText);
                   that.token = res.uptoken;
                   logger.debug("get new uptoken: ", res.uptoken);
               } else {
                   logger.error("get uptoken error: ", ajax.responseText);
               }
               return;
           } else if (op.uptoken_func) {
               logger.debug("get uptoken from uptoken_func");
               that.token = op.uptoken_func(file);
               logger.debug("get new uptoken: ", that.token);
               return;
           } else {
               logger.error("one of [uptoken, uptoken_url, uptoken_func] settings in options is required!");
           }
       };

通過npm安裝

npm install qiniu-js

在項目中使用import引入

import 'qiniu-js/dist/qiniu.min.js';

HTML

<div id="container">
    <div id="pickfiles">上傳按鈕</div>
</div>

JavaScript

 var uploader = Qiniu.uploader({
     runtimes: 'html5,flash,html4',      // 上傳模式，依次退化(照著官網來就是瞭)
     browse_button: 'pickfiles',         // 上傳選擇的點選按鈕，必需(記得定義id並且保持一致)
     // 在初始化時，uptoken，uptoken_url，uptoken_func三個參數中必須有一個被設置
     // 切如果提供瞭多個，其優先級為uptoken > uptoken_url > uptoken_func
     // 其中uptoken是直接提供上傳憑證，uptoken_url是提供瞭獲取上傳憑證的地址，如果需要定制獲取uptoken的過程則可以設置uptoken_func
     uptoken : '<Your upload token>', // uptoken是上傳憑證，由其他程序生成
     uptoken_url: '/uptoken',         // Ajax請求uptoken的Url，強烈建議設置（服務端提供）
     uptoken_func: function(){        // 在需要獲取uptoken時，該方法會被調用
        // do something(一般是發送手動發送ajax獲取到token，如果後端返回格式不跟官方一致又不想該懂源代碼可以通過這個方式調整)
        return uptoken;
     },
     get_new_uptoken: false,             // 設置上傳文件的時候是否每次都重新獲取新的uptoken(沒有特殊需求一般為false)
     // downtoken_url: '/downtoken',(未使用到，可以不設置)
     // Ajax請求downToken的Url，私有空間時使用，JS-SDK將向該地址POST文件的key和domain，服務端返回的JSON必須包含url字段，url值為該文件的下載地址
     // unique_names: true,              // 默認false，key為文件名。若開啟該選項，JS-SDK會為每個文件自動生成key（文件名）
     // save_key: true,                  // 默認false。若在服務端生成uptoken的上傳策略中指定瞭sava_key，則開啟，SDK在前端將不對key進行任何處理
     domain: '<Your bucket domain>',     // bucket域名，下載資源時用到，必需(找後端拿)
     container: 'container',             // 上傳區域DOM ID，默認是browser_button的父元素(如果不實現拖拽上傳可以不設置)
     max_file_size: '100mb',             // 最大文件體積限制(可以調大)
     flash_swf_url: 'path/of/plupload/Moxie.swf',  //引入flash，相對路徑(如果沒用到flash上傳的話可以不設置,一般支持html5上傳的瀏覽器都不會用到它)
     max_retries: 3,                     // 上傳失敗最大重試次數(自動幫你續傳分片)
     dragdrop: true,                     // 開啟可拖曳上傳(如果不實現拖拽上傳可以不設置)
     drop_element: 'container',          // 拖曳上傳區域元素的ID，拖曳文件或文件夾後可觸發上傳(如果不實現拖拽上傳可以不設置)
     chunk_size: '4mb',                  // 分塊上傳時，每塊的體積
     auto_start: true,                   // 選擇文件後自動上傳，若關閉需要自己綁定事件觸發上傳
     //x_vars : {                        // (未使用到，可以不設置)
     //    查看自定義變量
     //    'time' : function(up,file) {
     //        var time = (new Date()).getTime();
               // do something with 'time'
     //        return time;
     //    },
     //    'size' : function(up,file) {
     //        var size = file.size;
               // do something with 'size'
     //        return size;
     //    }
     //},
     init: {
         'FilesAdded': function(up, files) {
             plupload.each(files, function(file) {
                 // 文件添加進隊列後，處理相關的事情
             });
         },
         'BeforeUpload': function(up, file) {
                // 每個文件上傳前，處理相關的事情
                // (上傳文件前做一些處理)
         },
         'UploadProgress': function(up, file) {
                // 每個文件上傳時，處理相關的事情
                // (可以設置進度條信息)
         },
         'FileUploaded': function(up, file, info) {
                // 每個文件上傳成功後，處理相關的事情
                // 其中info是文件上傳成功後，服務端返回的json，形式如：
                // {
                //    "hash": "Fh8xVqod2MQ1mocfI4S4KpRL6D98",
                //    "key": "gogopher.jpg"
                //  }
                // 查看簡單反饋
                // var domain = up.getOption('domain');
                // var res = parseJSON(info);
                // var sourceLink = domain +"/"+ res.key; 獲取上傳成功後的文件的Url
         },
         'Error': function(up, err, errTip) {
                //上傳出錯時，處理相關的事情
         },
         'UploadComplete': function() {
                //隊列文件處理完畢後，處理相關的事情
         },
         'Key': function(up, file) {
             // 若想在前端對每個文件的key進行個性化處理，可以配置該函數
             // 該配置必須要在unique_names: false，save_key: false時才生效
 
             var key = "";
             // do something with key here
             // (可以自定義key不設定默認是文件名)
             return key
         }
     }
 });
 
 // domain為七牛空間對應的域名，選擇某個空間後，可通過 空間設置->基本設置->域名設置 查看獲取
 
 // uploader為一個plupload對象，繼承瞭所有plupload的方法

總結

由於本次項目中隻涉及到大文件上傳，沒有圖像處理等相關的api使用經驗官方的案例就不多講瞭。總結起來七牛雲上傳的套路就是後臺為你提供uptoken或者獲取uptoken的接口地址之後上傳的時候要帶上這個token。返回的字段最好是按照官方的格式來，如果不是的話也可以修改源代碼或者在uptoken_func中手動獲取，另外如果要修改上傳的服務器也是要在qiniu.js中修改

    /**
    * qiniu upload urls
    * 'qiniuUploadUrls' is used to change target when current url is not avaliable
    * @type {Array}
    */
   var qiniuUploadUrls = [
       // "http://upload.qiniu.com",
       // "http://up.qiniu.com",
       "修改成你需要的地址",
   ];

如果使用表單上傳的話可以不引用任何插件,代碼實現如下：

    <form id="testform" method="post" enctype="multipart/form-data">
            <input name="key" id="key" type="hidden" value="">
            <input name="token" type="hidden" id="token" value="">
            <input id="userfile" name="file" type="file" />
 
            <!-- take photo with phone -->
            <!-- <input id="userfile" name="file" accept="image/*" type="file" /> -->
 
            <!-- take video with phone -->
            <!-- <input id="userfile" name="file" type="file" accept="video/*"/> -->
 
            <input name="accept" type="hidden" />
        </form>

JS:

    upload() {
        const formdata = new FormData(document.getElementById('testform'));
        $.ajax({
            url: '上傳的七牛雲服務器,後端提供', // 'http://up.qiniu.com'
            method: 'post',
            success: function(data) {
                console.log(data);
            },
        })
        ...
    }

需要註意的是，每個input都需要定義好那麼屬性，並且token不能為空，需要提前通過ajax去後端獲取或者使用後端給定的token否則上傳會失敗～

以上就是本文的全部內容，希望對大傢的學習有所幫助，也希望大傢多多支持WalkonNet。

推薦閱讀：