Java實現日志文件監聽並讀取相關數據的方法實踐

Posted on by

項目需求

由於所在數據中臺項目組需要實現監聽文件夾或者日志文件並讀取對應格式的臟數據的需求，以便在文件、文件夾發生變化時進行相應的業務流程；所以在這裡記錄下相關業務的實現及技術選型。

Apache Commons-IO

首先需要添加對應依賴：

<dependency>
 <groupId>commons-io</groupId>
 <artifactId>commons-io</artifactId>
 <version>2.7</version>
</dependency>

版本可自行選擇，這裡需要註意的是 2.7 版本及以上需要 Java 8

官網截圖：

Apache Commos IO中的 org.apache.commons.io.monitor包提供瞭文件系統監聽的功能。

核心知識

  • 一句話總結：通過觀察者模式以及事件監聽機制，以 FileAlterationObserver 為核心，再通過 FileAlterationListener，FileAlterationMonitor，就可以實現對文件系統的事件監聽。
  • 整體流程：
  • 自定義文件監聽類並繼承 FileAlterationListenerAdaptor 實現對文件與目錄的創建，修改，刪除事件的處理
  • 自定義文件監控類，通過指定目錄創建一個觀察者 FileAlterationObserver
  • 向此監視器添加文件系統觀察器，並添加文件監聽器
  • 通過 ApplicationRunner 或者 CommandLineRunner 調用並執行

代碼實現

  • 文件監聽類：
/**
 * 文件監聽類
 * @author Greenarrow
 * @date 2022-05-12 14:43
 **/
public class FileListener extends FileAlterationListenerAdaptor {

    private static Logger logger = LoggerFactory.getLogger(FileListener.class);
    @Override
    public void onStart(FileAlterationObserver observer) {
        super.onStart(observer);
        logger.info("onStart");
    }

    @Override
    public void onDirectoryCreate(File directory) {
        logger.info("[新建]:" + directory.getAbsolutePath());
    }

    @Override
    public void onDirectoryChange(File directory) {
        logger.info("[修改]:" + directory.getAbsolutePath());
    }

    @Override
    public void onDirectoryDelete(File directory) {
        logger.info("[刪除]:" + directory.getAbsolutePath());
    }

    @Override
    public void onFileCreate(File file) {
        String compressedPath = file.getAbsolutePath();
        logger.info("[新建]:" + compressedPath);
        List<String> contentList = null;
        try {
            if (file.canRead()){
                // 將文件按行讀取為字符串集合
                contentList = FileUtils.readLines(new File(compressedPath), StandardCharsets.UTF_8);
                if (CollectionUtil.isNotEmpty(contentList)){
                    // 獲取對應格式的數據並輸出，這裡可自行添加業務處理
                    List<String> dirtyRecord  = contentList.stream().filter(s -> s.startsWith("{") && s.endsWith("}")).collect(Collectors.toList());
                    dirtyRecord.forEach(System.out::println);
                }
            }

        } catch (IOException e) {
            e.printStackTrace();
            logger.error("讀取文件內容失敗",e);
        }
    }

    @Override
    public void onFileChange(File file) {
        String compressedPath = file.getAbsolutePath();
        logger.info("[修改]:" + compressedPath);
    }

    @Override
    public void onFileDelete(File file) {
        logger.info("[刪除]:" + file.getAbsolutePath());
    }

    @Override
    public void onStop(FileAlterationObserver observer) {
        super.onStop(observer);
        logger.info("onStop");
    }
}
  • 文件監控類：
/**
 * 文件監聽測試 demo
 * @author Greenarrow
 * @date 2022-05-12 14:45
 **/
public class FileMonitor {

    FileAlterationMonitor monitor = null;

    public FileMonitor(long interval) throws Exception {
        monitor = new FileAlterationMonitor(interval);
    }

    /**
     * 給文件添加監聽
     * @param path
     * @param listener
     */
    public void monitor(String path, FileAlterationListener listener) {
        FileAlterationObserver observer = new FileAlterationObserver(new File(path));
        monitor.addObserver(observer);
        observer.addListener(listener);
    }

    public void stop() throws Exception {
        monitor.stop();
    }

    public void start() throws Exception {
        monitor.start();

    }
}
  • 自定義 Runner 並實現 CommandLineRunner :
/**
 * 項目啟動之後開啟文件監聽功能
 * @author Greenarrow
 * @date 2022-05-12 10:02
 **/
@Component
// @Order(Integer.MIN_VALUE)
public class DirtyRecordRunner implements CommandLineRunner {

    private static Logger logger = LoggerFactory.getLogger(DirtyRecordRunner.class);

    @Value("${test}")
    private String path;

    @Override
    public void run(String... args) throws Exception {
        logger.info(this.getClass().getName()+"[開啟文件夾監聽功能]");
        FileMonitor fileMonitor = new FileMonitor(1000);
        fileMonitor.monitor(path,new FileListener());
        fileMonitor.start();
    }
}

總結

  • 文件、文件夾監聽功能較簡單，實現方式可自行選擇

  • 需要註意的是，通過 Runner 的方式在項目啟動之後開啟相關監聽功能，此方式存在缺陷，隻能調用一次，出現異常就會停止，除非項目重啟，這裡需要通過相關補償機制來實現

到此這篇關於Java實現日志文件監聽並讀取相關數據的方法實踐的文章就介紹到這瞭,更多相關Java 日志文件監聽讀取內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：