Java下載遠程服務器文件到本地(基於http協議和ssh2協議)

  Java中java.io包為我們提供瞭輸入流和輸出流,對文件的讀寫基本上都依賴於這些封裝好的關於流的類中來實現。前段時間遇到瞭以下兩種需求:

  1、與某系統對接,每天獲取最新的圖片並顯示在前端頁面。該系統提供的是一個http協議的圖片URL,本來獲取到該系統的圖片地址以後在HTML中顯示就可以瞭,但是該系統不太穩定,圖片URL經常不能使用,而且每天生成圖片不一定成功,

對自己系統的功能影響很大,emm。。。所以就考慮每天從該系統下載最新的圖片到本地更新保存,沒有新圖片就繼續使用上次的圖片。

  2、公司算法團隊的同事完成瞭一個視頻分析的檢測功能,會生成一些截取的短視頻文件,系統需要獲取並保存這些視頻文件。算法運行在Linux系統,沒有搭建FTP服務器,所以就需要系統從運行算法的Linux系統復制文件到系統本地保存起來。

  這兩個需求實現起來都是大同小異,思路就是讀取文件然後寫到指定路徑,隻不過http協議的圖片地址可以直接讀取然後保存,而Linux系統的文件需要遠程連接到該服務器然後再下載文件,這就需要我們引入以下依賴:

<!--遠程讀取服務器文件-->
 <dependency>
  <groupId>ch.ethz.ganymed</groupId>
  <artifactId>ganymed-ssh2</artifactId>
  <version>262</version>
 </dependency>
 <dependency>
  <groupId>com.jcraft</groupId>
  <artifactId>jsch</artifactId>
  <version>0.1.53</version>
 </dependency>
 <dependency>
  <groupId>commons-net</groupId>
  <artifactId>commons-net</artifactId>
  <version>3.4</version>
 </dependency>

  廢話不說瞭,先上代碼:

package com.XXX.utils;

import ch.ethz.ssh2.*;
import com.databus.Log;
import com.mysql.jdbc.StringUtils;

import java.io.*;
import java.net.*;

public class FileUtils {

 public static boolean downloadFile(String urlString,String fileName,String filePath) {
  boolean bool = false;

  InputStream is = null;
  FileOutputStream os = null;
  try {
   Log.info("文件路徑:" + urlString);
   // 構造URL
   java.net.URL url = new java.net.URL(urlString);
   // 打開連接
   URLConnection con = url.openConnection();
   // 輸入流
   is = con.getInputStream();
   // 1K的數據緩沖
   byte[] bs = new byte[1024];
   // 讀取到的數據長度
   int len;
   //判斷指定目錄是否存在,不存在則先創建目錄
   File file = new File(filePath);
   if (!file.exists())
    file.mkdirs();
   //fileName如果不包含文件後綴,則需要加上後綴,如:fileName + ".jpg";fileName + ".txt";
   os = new FileOutputStream(filePath + fileName, false);//false:覆蓋文件,true:在原有文件後追加
   // 開始讀取
   while ((len = is.read(bs)) != -1) {
    os.write(bs, 0, len);
   }

   bool = true;
   Log.info("文件保存成功:" + fileName);
  }catch (Exception e){
   e.printStackTrace();
  }finally {
   // 完畢,關閉所有鏈接
   if (null != os){
    try {
     os.flush();
     os.close();
    }catch (IOException e){
     e.printStackTrace();
    }
   }
   if (null != is){
    try {
     is.close();
    } catch (IOException e) {
     e.printStackTrace();
    }
   }
  }
  return bool;
 }

 //遠程下載服務器文件
 public static boolean copyFile(String ip,int port,String userName,String password,String sourceFile,String targetFile,String targetFileName){
  boolean bool = false;
  Connection conn = null;
  Session session = null;
  try {
   if (StringUtils.isNullOrEmpty(ip) || StringUtils.isNullOrEmpty(userName) || StringUtils.isNullOrEmpty(password) ||
     StringUtils.isNullOrEmpty(sourceFile) || StringUtils.isNullOrEmpty(targetFile)){
    return bool;
   }
   conn = new Connection(ip,port);
   conn.connect();
   boolean isAuth = conn.authenticateWithPassword(userName,password);
   if (!isAuth){
    Log.info("算法主機連接失敗");
    return bool;
   }
   //執行命令
   session = conn.openSession();

   //執行命令並打印執行結果
   session.execCommand("df -h");
   InputStream staout = new StreamGobbler(session.getStdout());
   BufferedReader br = new BufferedReader(new InputStreamReader(staout));
   String line = null;
   while ((line = br.readLine()) != null){
    System.out.println(line);
   }
   br.close();

   //下載文件到本地
   SCPClient scpClient = conn.createSCPClient();
   SCPInputStream scpis = scpClient.get(sourceFile);

   //判斷指定目錄是否存在,不存在則先創建目錄
   File file = new File(targetFile);
   if (!file.exists())
    file.mkdirs();

   FileOutputStream fos = new FileOutputStream(targetFile + targetFileName);
   byte[] buffer = new byte[1024];
   int len = 0;
   while ((len = scpis.read(buffer)) != -1){
    fos.write(buffer,0,len);
   }
   fos.close();
   bool = true;
   //SFTP
   /*SFTPv3Client sftPClient = new SFTPv3Client(conn);
   sftPClient.createFile("");
   sftPClient.close();*/
  }catch (Exception e){
   e.printStackTrace();
   Log.info(e.getMessage());
   Log.info("保存失敗:" + sourceFile);
  }finally {
   if (null != session){
    session.close();
   }
   if (null != conn) {
    conn.close();
   }
  }

  return bool;
 }


}

  第一個方法downloadFile(String urlString,String fileName,String filePath)與我們讀寫文件沒什麼區別,我們主要說一下遠程讀取Linux服務器文件的方法:

  copyFile(String ip,int port,String userName,String password,String sourceFile,String targetFile,String targetFileName)
  可以看到,我們需要Linux服務器的ip、ssh開放的端口號(一般默認是22)、服務器用戶名和密碼,所以我們要確保Linux服務器已經開放ssh連接,否則我們的程序根本就連不上服務器,更不要說復制文件瞭。

  其實ssh2連接遠程服務器,就和我們用Xshell連接服務器是一樣的,不但可以復制文件,也可以執行Linux命令對Linux進行操作,看上面的一段代碼:

//執行命令
  session = conn.openSession();

  //執行命令並打印執行結果
  session.execCommand("df -h");
  InputStream staout = new StreamGobbler(session.getStdout());
  BufferedReader br = new BufferedReader(new InputStreamReader(staout));
  String line = null;
  while ((line = br.readLine()) != null){
  System.out.println(line);
  }
  br.close();

  這段代碼與復制文件沒有關系,之所以保留就是要說明一下,我們執行瞭df -h 命令(查詢服務器磁盤使用情況),將會得到磁盤的具體使用情況,與下圖效果相同。所以我們可以用ssh2做很多事情,有興趣的童鞋可以多瞭解。

   另外在copyFile()方法的最後有一段註釋的代碼:

//SFTP
  /*SFTPv3Client sftPClient = new SFTPv3Client(conn);
  sftPClient.createFile("files");
  sftPClient.close();*/

  我們也可以通過建立SFTP連接來遠程操作目錄和文件,比如:創建、刪除目錄,創建、刪除文件等。

  關於ssh2包的其他功能和用法不再引申,有興趣的童鞋歡迎在評論區交流。

以上就是Java下載遠程服務器文件到本地(基於http協議和ssh2協議)的詳細內容,更多關於java 下載服務器文件的資料請關註WalkonNet其它相關文章!

推薦閱讀: