詳解如何用Java實現對m3u8直播流抽幀

Posted on by

什麼是抽幀

抽幀（frame extraction）是指從視頻流中提取一些特定的幀，通常是關鍵幀或者隨機幀，以供後續處理。對於m3u8直播流，可以使用Java中的FFmpeg庫來實現抽幀功能。

什麼是 FFmpeg

FFmpeg是一套可以用來記錄、轉換數字音頻、視頻，並能將其轉化為流的開源計算機程序。采用LGPL或GPL許可證。它提供瞭錄制、轉換以及流化音視頻的完整解決方案。

什麼是 JavaCV

JavaCV 是一款基於JavaCPP 調用方式，由多種開源計算機視覺庫組成的包裝庫，封裝瞭包含FFmpeg、OpenCV、tensorflow、caffe、tesseract、libdc1394、OpenKinect、videoInput和ARToolKitPlus等在內的計算機視覺領域的常用庫和實用程序類。

最簡單的抽幀

使用 Java 中的 FFmpeg 庫實現的最簡單的抽幀。

<dependency>
    <groupId>org.bytedeco</groupId>
    <artifactId>javacv</artifactId>
    <version>1.4.1</version>
</dependency>
import org.bytedeco.javacv.*;
import java.io.IOException;

public class FrameExtractor {
    public static void main(String[] args) throws IOException, FrameGrabber.Exception, FrameRecorder.Exception {
        FFmpegFrameGrabber grabber = new FFmpegFrameGrabber("直播流地址xxx.m3u8");
        grabber.setOption("rtsp_transport", "tcp");
        grabber.start();

        Frame frame;
        Java2DFrameConverter converter = new Java2DFrameConverter();
        int i = 0;

        // grabber.grabImage() 獲取幀圖片，不包含音頻
        // grabber.grab() 包含音頻
        while ((frame = grabber.grabImage()) != null) {
            // 在這裡處理抽取到的幀
            // 例如，將幀保存為圖像文件
            converter.convert(frame).createGraphics().dispose();
            String outputFilename = "frame_" + i + ".jpg";
            File f = new File(outputFilename);
            if(!f.exists())f.mkdirs();
            ImageIO.write(converter.convert(frame), "jpg", f);
            i++;
        }
        grabber.stop();
    }
}

抽幀算法

什麼是幀率：每秒刷新幾次就是幾幀。例如25幀就是每秒展示25張圖片。

指定每幾秒抽取幾幀。這裡的核心思想是，平均數累加。

假設對幀率為25的視頻。要實現每3秒抽3幀。

設：幀率=fps；時間=t；t時間內抽取總幀數=x；

avg=(fps.t)/x;

隻需找出 1*avg,2*avg,…,x*avg分別對應的值就找到瞭需要抽取的幀。

最後隻需要使用一個變量對幀率計數。在指定的幀率進行抽取操作就可以瞭。

代碼：

public class FrameExtractor {
    public static void main(String[] args) throws IOException, FrameGrabber.Exception, FrameRecorder.Exception {
        // 讀取流
        FFmpegFrameGrabber grabber = new FFmpegFrameGrabber("http:.m3u8");
        grabber.setOption("rtsp_transport", "tcp");
        grabber.start();

        Frame frame;
        Java2DFrameConverter converter = new Java2DFrameConverter();

        // 控制讀取幀數
        int frameRate = (int) grabber.getFrameRate();
        int targetFrameRateNum[] = {10,10}; //（每10秒讀10幀） 目標幀率數量，每幾秒鐘讀取幾幀
        SortedSet<Integer> targetFrameRate = new TreeSet<>(); // 需要抽取的目標幀率
        // 計算需要抽取的目標幀
        int calFrameRate = frameRate * targetFrameRateNum[0];
        int partSize = calFrameRate / targetFrameRateNum[1];
        int remainder = calFrameRate % targetFrameRateNum[1];
        int current = 1;
        for (int i = 0; i < targetFrameRateNum[1]; i++) {
            // 避免出現幀數多一個
            if (current <= calFrameRate){
                targetFrameRate.add(current);
            }
            current += partSize;
            if (i < remainder) {
                current++;
            }
        }

        // 計數器
        int frameCount = 0;
        int i = 0;
        while ((frame = grabber.grabImage()) != null) {
            // 每讀取一幀，增加計數器
            frameCount++;
            // 如果計數器達到目標幀率，則進行處理
            if (targetFrameRate.contains(frameCount)) {
                // 處理抽取到的幀

            }
            // 重置計數器
            if (calFrameRate == frameCount){
                frameCount = 0;
            }
        }

        grabber.stop();
    }
}

到此這篇關於詳解如何用Java實現對m3u8直播流抽幀的文章就介紹到這瞭,更多相關Java m3u8直播流抽幀內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：