FFmpeg是C++中实现视频编解码的主流开源库，支持多种音视频格式。首先需在Linux/macOS通过包管理器或Windows使用MSYS2/Vcpkg安装并链接库。开发时包含头文件如libavformat、libavcodec等，并在编译时链接对应库。视频解码流程包括打开文件、查找视频流、获取解码器、分配上下文并逐帧解码为YUV数据，可借助swscale转换为RGB。编码则逆向操作：选择编码器（如libx264）、配置参数、将YUV帧送入编码器生成压缩包并写入文件，原始图像需通过SwsContext从RGB转YUV。处理实时流（如RTSP）时，使用相同接口打开流，但需设置超时、缓冲，用队列缓存帧，避免阻塞，推荐多线程分工解码与处理，确保资源释放防止泄漏。掌握基础流程后可扩展至推流、滤镜等高级功能。
在C++中实现视频编解码，FFmpeg 是最强大且广泛使用的开源库之一。它支持几乎所有的音视频格式和编解码器，适用于视频采集、转码、流媒体处理等场景。下面介绍如何使用 FFmpeg 在 C++ 中进行视频编解码和视频流处理。
1. 环境准备与FFmpeg集成
要使用 FFmpeg，首先需要在开发环境中安装或编译该库。
Linux/macOS： 可通过包管理器安装：
# Ubuntu/Debian sudo apt-get install libavcodec-dev libavformat-dev libavutil-dev libswscale-devmacOS (使用 Homebrew)
brew install ffmpeg
Windows： 推荐使用 MSYS2 或 Vcpkg 安装预编译的 FFmpeg 库，或者自行从源码编译。
在项目中链接时，需包含以下主要头文件：
extern "C" {
#include
#include
#include
#include
}
编译时链接相关库，例如：
g++ main.cpp -lavformat -lavcodec -lavutil -lswscale
2. 视频解码：从文件读取并解码帧
解码视频的基本流程是打开文件、查找流、找到解码器、逐帧读取并解码为原始图像数据（如YUV或RGB）。
示例代码框架：
avformat_open_input(&formatContext, "input.mp4", nullptr, nullptr); avformat_find_stream_info(formatContext, nullptr);int videoStreamIndex = -1; for (int i = 0; i < formatContext->nb_streams; i++) { if (formatContext->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) { videoStreamIndex = i; break; } }
AVCodec codec = avcodec_find_decoder(formatContext->streams[videoStreamIndex]->codecpar->codec_id); AVCodecContext codecContext = avcodec_alloc_context3(codec); avcodec_parameters_to_context(codecContext, formatContext->streams[videoStreamIndex]->codecpar); avcodec_open2(codecContext, codec, nullptr);
AVFrame* frame = av_frame_alloc(); AVPacket packet; while (av_read_frame(formatContext, &packet) >= 0) { if (packet.stream_index == videoStreamIndex) { avcodec_send_packet(codecContext, &packet); while (avcodec_receive_frame(codecContext, frame) == 0) { // frame->data 包含YUV数据，可进一步转换或保存 // 使用 swscale 可将 YUV 转为 RGB } } av_packet_unref(&packet); }
3. 视频编码：将原始帧编码为视频文件
编码过程是解码的逆过程：分配编码器上下文、配置参数、将原始图像送入编码器生成压缩数据。
关键步骤：
- 选择编码器（如 H.264:
avcodec_find_encoder_by_name("libx264")） - 设置分辨率、帧率、比特率等参数
- 使用
avcodec_send_frame发送原始帧（必须是 YUV 格式） - 通过
avcodec_receive_packet获取编码后的数据包，并写入输出文件
注意：原始图像通常需通过 SwsContext 从 RGB 转换为 YUV 格式。
4. 实时视频流处理注意事项
若处理实时流（如摄像头或网络RTSP流），打开输入方式相同：
avformat_open_input(&formatContext, "rtsp://example.com/stream", nullptr, nullptr);
但需注意：
- 设置合适的超时和缓冲选项
- 处理丢帧或网络延迟，避免阻塞主线程
- 使用队列缓存解码帧，防止处理不及时
- 合理释放资源，避免内存泄漏
对于高性能需求，可结合多线程：一个线程负责解码，另一个处理图像或编码输出。
基本上就这些。FFmpeg 功能复杂但接口直接，掌握基本流程后可灵活扩展用于录制、推流、滤镜处理等高级功能。
