Java下載遠程服務器文件到本地(基於http協議和ssh2協議)
Java中java.io包為我們提供瞭輸入流和輸出流,對文件的讀寫基本上都依賴於這些封裝好的關於流的類中來實現。前段時間遇到瞭以下兩種需求:
1、與某系統對接,每天獲取最新的圖片並顯示在前端頁面。該系統提供的是一個http協議的圖片URL,本來獲取到該系統的圖片地址以後在HTML中顯示就可以瞭,但是該系統不太穩定,圖片URL經常不能使用,而且每天生成圖片不一定成功,
對自己系統的功能影響很大,emm。。。所以就考慮每天從該系統下載最新的圖片到本地更新保存,沒有新圖片就繼續使用上次的圖片。
2、公司算法團隊的同事完成瞭一個視頻分析的檢測功能,會生成一些截取的短視頻文件,系統需要獲取並保存這些視頻文件。算法運行在Linux系統,沒有搭建FTP服務器,所以就需要系統從運行算法的Linux系統復制文件到系統本地保存起來。
這兩個需求實現起來都是大同小異,思路就是讀取文件然後寫到指定路徑,隻不過http協議的圖片地址可以直接讀取然後保存,而Linux系統的文件需要遠程連接到該服務器然後再下載文件,這就需要我們引入以下依賴:
<!--遠程讀取服務器文件--> <dependency> <groupId>ch.ethz.ganymed</groupId> <artifactId>ganymed-ssh2</artifactId> <version>262</version> </dependency> <dependency> <groupId>com.jcraft</groupId> <artifactId>jsch</artifactId> <version>0.1.53</version> </dependency> <dependency> <groupId>commons-net</groupId> <artifactId>commons-net</artifactId> <version>3.4</version> </dependency>
廢話不說瞭,先上代碼:
package com.XXX.utils; import ch.ethz.ssh2.*; import com.databus.Log; import com.mysql.jdbc.StringUtils; import java.io.*; import java.net.*; public class FileUtils { public static boolean downloadFile(String urlString,String fileName,String filePath) { boolean bool = false; InputStream is = null; FileOutputStream os = null; try { Log.info("文件路徑:" + urlString); // 構造URL java.net.URL url = new java.net.URL(urlString); // 打開連接 URLConnection con = url.openConnection(); // 輸入流 is = con.getInputStream(); // 1K的數據緩沖 byte[] bs = new byte[1024]; // 讀取到的數據長度 int len; //判斷指定目錄是否存在,不存在則先創建目錄 File file = new File(filePath); if (!file.exists()) file.mkdirs(); //fileName如果不包含文件後綴,則需要加上後綴,如:fileName + ".jpg";fileName + ".txt"; os = new FileOutputStream(filePath + fileName, false);//false:覆蓋文件,true:在原有文件後追加 // 開始讀取 while ((len = is.read(bs)) != -1) { os.write(bs, 0, len); } bool = true; Log.info("文件保存成功:" + fileName); }catch (Exception e){ e.printStackTrace(); }finally { // 完畢,關閉所有鏈接 if (null != os){ try { os.flush(); os.close(); }catch (IOException e){ e.printStackTrace(); } } if (null != is){ try { is.close(); } catch (IOException e) { e.printStackTrace(); } } } return bool; } //遠程下載服務器文件 public static boolean copyFile(String ip,int port,String userName,String password,String sourceFile,String targetFile,String targetFileName){ boolean bool = false; Connection conn = null; Session session = null; try { if (StringUtils.isNullOrEmpty(ip) || StringUtils.isNullOrEmpty(userName) || StringUtils.isNullOrEmpty(password) || StringUtils.isNullOrEmpty(sourceFile) || StringUtils.isNullOrEmpty(targetFile)){ return bool; } conn = new Connection(ip,port); conn.connect(); boolean isAuth = conn.authenticateWithPassword(userName,password); if (!isAuth){ Log.info("算法主機連接失敗"); return bool; } //執行命令 session = conn.openSession(); //執行命令並打印執行結果 session.execCommand("df -h"); InputStream staout = new StreamGobbler(session.getStdout()); BufferedReader br = new BufferedReader(new InputStreamReader(staout)); String line = null; while ((line = br.readLine()) != null){ System.out.println(line); } br.close(); //下載文件到本地 SCPClient scpClient = conn.createSCPClient(); SCPInputStream scpis = scpClient.get(sourceFile); //判斷指定目錄是否存在,不存在則先創建目錄 File file = new File(targetFile); if (!file.exists()) file.mkdirs(); FileOutputStream fos = new FileOutputStream(targetFile + targetFileName); byte[] buffer = new byte[1024]; int len = 0; while ((len = scpis.read(buffer)) != -1){ fos.write(buffer,0,len); } fos.close(); bool = true; //SFTP /*SFTPv3Client sftPClient = new SFTPv3Client(conn); sftPClient.createFile(""); sftPClient.close();*/ }catch (Exception e){ e.printStackTrace(); Log.info(e.getMessage()); Log.info("保存失敗:" + sourceFile); }finally { if (null != session){ session.close(); } if (null != conn) { conn.close(); } } return bool; } }
第一個方法downloadFile(String urlString,String fileName,String filePath)與我們讀寫文件沒什麼區別,我們主要說一下遠程讀取Linux服務器文件的方法:
copyFile(String ip,int port,String userName,String password,String sourceFile,String targetFile,String targetFileName)
可以看到,我們需要Linux服務器的ip、ssh開放的端口號(一般默認是22)、服務器用戶名和密碼,所以我們要確保Linux服務器已經開放ssh連接,否則我們的程序根本就連不上服務器,更不要說復制文件瞭。
其實ssh2連接遠程服務器,就和我們用Xshell連接服務器是一樣的,不但可以復制文件,也可以執行Linux命令對Linux進行操作,看上面的一段代碼:
//執行命令 session = conn.openSession(); //執行命令並打印執行結果 session.execCommand("df -h"); InputStream staout = new StreamGobbler(session.getStdout()); BufferedReader br = new BufferedReader(new InputStreamReader(staout)); String line = null; while ((line = br.readLine()) != null){ System.out.println(line); } br.close();
這段代碼與復制文件沒有關系,之所以保留就是要說明一下,我們執行瞭df -h 命令(查詢服務器磁盤使用情況),將會得到磁盤的具體使用情況,與下圖效果相同。所以我們可以用ssh2做很多事情,有興趣的童鞋可以多瞭解。
另外在copyFile()方法的最後有一段註釋的代碼:
//SFTP /*SFTPv3Client sftPClient = new SFTPv3Client(conn); sftPClient.createFile("files"); sftPClient.close();*/
我們也可以通過建立SFTP連接來遠程操作目錄和文件,比如:創建、刪除目錄,創建、刪除文件等。
關於ssh2包的其他功能和用法不再引申,有興趣的童鞋歡迎在評論區交流。
以上就是Java下載遠程服務器文件到本地(基於http協議和ssh2協議)的詳細內容,更多關於java 下載服務器文件的資料請關註WalkonNet其它相關文章!
推薦閱讀:
- java利用pdfbox+poi往pdf插入數據
- Java JSch遠程執行Shell命令的方法
- SpringBoot集成SFTP客戶端實現文件上傳下載實例
- Java發起http請求的完整步驟記錄
- Java集成presto查詢方式