如何使用dshow过滤器实现yuy2到yv12数据转换

### 知识点 #### dshow 过滤器编写和调用 ##### 1. dshow框架概念 DirectShow是微软提供的一套用于多媒体流处理的开发包，它允许开发者捕获、播放、编辑以及传输音频和视频数据。DirectShow使用过滤器图（Filter Graph）模型来处理数据流，该模型由三个基本元素构成：过滤器（Filter）、引脚（Pin）和媒体类型（Media Type）。 ##### 2. 过滤器（Filter） 过滤器是DirectShow中的基本处理单元，它可以是一个数据源、数据目的地或两者皆是，也可以是进行数据转换的处理单元。过滤器通过引脚与其他过滤器相连，引脚负责数据的流入和流出。过滤器按功能可分为源过滤器(Source Filters)、变换过滤器(Transformation Filters)和渲染过滤器(Render Filters)。 ##### 3. 引脚（Pin） 引脚是过滤器的连接点，用于处理特定类型的数据流。在DirectShow中，引脚通过协商媒体类型来确定数据如何流入和流出过滤器。引脚协商是过滤器图建立的关键步骤，必须确保两个相邻过滤器引脚的媒体类型匹配，才能顺利进行数据传输。 ##### 4. 媒体类型（Media Type） 媒体类型定义了流中的数据格式，例如视频的分辨率、帧率、像素格式等。yuy2和yv12就是两种不同的像素格式，它们定义了颜色数据的排列和存储方式。在DirectShow中，媒体类型通过AM_MEDIA_TYPE结构体表示。 ##### 5. yuy2和yv12像素格式 - yuy2（也称为YUYV）是一种4:2:2格式，其中Y代表亮度信息，U和V代表色度信息。yuy2格式将每两个Y分量与相邻的U和V分量一起存储，所以它有偶数个像素宽。 - yv12是一种4:2:0的格式，其中Y分量的采样率是U和V的两倍。yv12格式首先存储所有的Y分量，然后是交错的U和V分量，它们的分辨率是Y分量的一半。 ##### 6. dshow 过滤器编写 - **过滤器类型选择**：本例中需要编写的过滤器是变换过滤器，它的作用是将输入的yuy2数据转换为yv12格式。 - **开发环境准备**：使用Visual Studio 2010创建一个DirectShow项目。 - **接口实现**：主要需要实现的接口包括IAMFilterMiscellaneous、IAMStreamConfig、IAMBufferNegotiation和IPin等，这些接口允许过滤器处理媒体类型协商、数据流配置等。 - **引脚的实现**：通过编写Pin类来实现引脚的逻辑，包括媒体类型协商、数据的接收和发送等。 - **媒体类型协商**：在过滤器创建引脚后，需要实现媒体类型协商逻辑，确保输入引脚能够接受yuy2格式的数据，并输出yv12格式的数据。 ##### 7. dshow 过滤器调用 - **过滤器图的构建**：通过GraphEdit或自行编写的程序代码构建过滤器图，将源过滤器（如摄像头捕获）、自定义的变换过滤器以及渲染过滤器（如视频渲染）连接起来。 - **媒体类型协商**：设置过滤器图时，DirectShow会自动进行媒体类型协商，此时变换过滤器需要正确处理输入的yuy2媒体类型并协商出yv12媒体类型。 - **数据流处理**：一旦过滤器图构建并成功协商了媒体类型，数据就会从源过滤器流经自定义的变换过滤器，再到渲染过滤器进行显示。在自定义变换过滤器中，需要编写转换yuy2到yv12的逻辑。 ##### 8. vs2010工程设置 - **项目配置**：创建一个C++项目，并配置项目以使用DirectShow SDK。 - **编译环境**：确保项目设置中包含了正确的库依赖和包含目录，以便编译时能找到DirectShow和其它必要组件。 - **调试和测试**：使用Visual Studio的调试工具来运行程序并监视过滤器的工作情况，通过视频预览等功能来验证过滤器是否按预期工作。 ##### 9. 具体实现步骤 1. 创建一个DirectShow的变换过滤器类，并从CBaseFilter派生。 2. 在变换过滤器类中，实现一个或多个CRenderedInputPin类，这些类代表输入引脚。 3. 为输入引脚编写媒体类型处理逻辑，以便它能够接受yuy2格式的视频数据。 4. 实现一个或多个CRenderedOutputPin类，代表输出引脚。 5. 在输出引脚上编写媒体类型协商逻辑，确保能够输出yv12格式的视频数据。 6. 实现数据转换逻辑，将从输入引脚接收到的yuy2数据转换为yv12格式。 7. 将输入引脚和输出引脚连接到过滤器，并在适当的位置处理数据流。 8. 编译并运行程序，调试以确保过滤器能够正确转换数据格式并显示在界面上。 综上所述，编写和调用dshow过滤器涉及到DirectShow的框架理解、过滤器图构建、媒体类型协商以及数据流的处理等多个方面。开发者需要熟悉DirectShow编程模型，并掌握相关的API和COM编程技巧。通过上述步骤，可以实现从yuy2到yv12格式的视频数据转换，并在界面上显示转换后的视频帧。