单一视频流 filter graph 如图 2 ： 图 2 单一视频流的 filter graph 注意： 紧靠 video renderer 的上一级 filter 的 video 输出 pin ，其 getmediatype 函数提供的 media type 的 videoinfoheader 结构要求填写完整，不仅包括图像的宽度、高度、像素位数，
单一视频流
filter graph如图2：
图2 单一视频流的filter graph
注意：紧靠video renderer的上一级filter的video输出pin，其getmediatype函数提供的media type的videoinfoheader结构要求填写完整，不仅包括图像的宽度、高度、像素位数，还包括bitmapinfoheader结构的大小（bisize，指定为sizeof(bitmapinfoheader)）、平面数（biplanes，指定为1）。如果需要调色板，bitmapinfoheader数据结构后面还要带上调色板数据；如果是16位的rgb格式，bitmapinfoheader数据结构后面则要带上rgb分量提取的掩码。代码参考如下：
videoinfo mvideoinfo;
zeromemory(&mvideoinfo, sizeof(mvideoinfo));
mvideoinfo.avgtimeperframe = 333667;
mvideoinfo.bmiheader.bisize = sizeof(bitmapinfoheader);
mvideoinfo.bmiheader.biwidth = 352;
mvideoinfo.bmiheader.biheight = 240;
mvideoinfo.bmiheader.bibitcount = 16;
mvideoinfo.bmiheader.biplanes = 1;
mvideoinfo.bmiheader.bicompression = bi_bitfields;
mvideoinfo.bmiheader.bisizeimage = mvideoinfo.bmiheader.biwidth *
mvideoinfo.bmiheader.biheight * mvideoinfo.bmiheader.bibitcount / 8;
for (int i = 0; i
{
mvideoinfo.dwbitmasks[i] = bits565[i];
}
1． 使用filter graph manager默认的参考时钟
注：如果filter graph中没有一个filter实现ireferenceclock接口，则该filter graph默认使用系统时钟作为参考时钟。
1.1 video sample不打时间戳、连续送出
现象：视频以最快的速度播放。video renderer不发送quality control消息。流时间线性增加。
msiavsrc.ax(tid 920) 2307 : stream time: 120000
msiavsrc.ax(tid 920) 2309 : stream time: 140000
msiavsrc.ax(tid 920) 2311 : stream time: 160000
msiavsrc.ax(tid 920) 2314 : stream time: 190000
msiavsrc.ax(tid 920) 2316 : stream time: 210000
msiavsrc.ax(tid 920) 2318 : stream time: 230000
msiavsrc.ax(tid 920) 2320 : stream time: 250000
……
msiavsrc.ax(tid 920) 3569 : stream time: 12740000（最后一个sample）
1.2 video sample不打时间戳、间隙送出（模拟网络阻塞情况）
现象：视频播放一顿一顿。video renderer不发送quality control消息。视频数据流的阻塞不会影响流时间。流时间线性增加，间隙休眠的时间反映在前后两次获得的流时间上。
msiavsrc.ax(tid 970) 2385 : stream time: 680000
msiavsrc.ax(tid 970) 2389 : stream time: 720000
msiavsrc.ax(tid 970) 4390 : sleep(2000)...（出现视频播放的停顿）
msiavsrc.ax(tid 970) 4391 : stream time: 20740000（流时间反映出sleep的2s）
msiavsrc.ax(tid 970) 4393 : stream time: 20760000
msiavsrc.ax(tid 970) 4395 : stream time: 20780000
……
msiavsrc.ax(tid 970) 39826 : stream time: 375090000（最后一个sample）
1.3 video sample打（连续）时间戳、连续送出
现象：视频连续播放。video renderer发送quality control消息进行反馈控制。流时间线性增加，两次获取的流时间差大致是一帧的显示时间。
msiavsrc.ax(tid 970) 4105 : stream time: 3600000
msiavsrc.ax(tid 970) 4106 : quality control (famine) received.
msiavsrc.ax(tid 970) 4139 : stream time: 3940000
msiavsrc.ax(tid 970) 4140 : quality control (famine) received.
msiavsrc.ax(tid 970) 4171 : stream time: 4260000
msiavsrc.ax(tid 970) 4172 : quality control (famine) received.
msiavsrc.ax(tid 970) 4205 : stream time: 4600000
msiavsrc.ax(tid 970) 4206 : quality control (famine) received.
msiavsrc.ax(tid 970) 4238 : stream time: 4930000
msiavsrc.ax(tid 970) 4239 : quality control (famine) received.
……
msiavsrc.ax(tid 970) 21922 : stream time: 181770000（最后一个sample）
1.4 video sample打时间戳（中途复位一次，时间戳从0重打）、连续送出
现象：播放较连续。video renderer发送quality control消息进行反馈控制。时间戳复位后有一个“快镜头”，相邻两次sample发送的时间差较小（正常时应该是一帧图像的显示时间），说明video renderer收到sample后马上返回，以最快速度处理sample，使sample时间戳能够再次赶上流时间。
msiavsrc.ax(tid 964) 2133 : stream time: 12280000
msiavsrc.ax(tid 964) 2165 : stream time: 12600000
msiavsrc.ax(tid 964) 2166 : reset time stamp...
msiavsrc.ax(tid 964) 2199 : stream time: 12940000（流时间递增缓慢）
msiavsrc.ax(tid 964) 2201 : stream time: 12960000
msiavsrc.ax(tid 964) 2203 : stream time: 12980000
msiavsrc.ax(tid 964) 2205 : stream time: 13000000
msiavsrc.ax(tid 964) 2208 : stream time: 13030000
msiavsrc.ax(tid 964) 2210 : stream time: 13050000
msiavsrc.ax(tid 964) 2212 : stream time: 13070000
msiavsrc.ax(tid 964) 2214 : stream time: 13090000
……
msiavsrc.ax(tid 964) 17748 : stream time: 168430000（最后一个sample）
1.5 video sample打时间戳（时间戳超前流时间一个delta）、连续送出
现象：等待delta后播放连续。video renderer发送quality control消息进行反馈控制。
msiavsrc.ax(tid 848) 821 : stream time: 4167195720000（随机值，此sample送出后被video renderer阻塞）
msiavsrc.ax(tid 848) 5828 : stream time: 49940000（delta在此反映出来）
msiavsrc.ax(tid 848) 5860 : stream time: 50250000
msiavsrc.ax(tid 848) 5892 : stream time: 50580000
msiavsrc.ax(tid 848) 5927 : stream time: 50930000
……
msiavsrc.ax(tid 848) 22677 : stream time: 218430000（最后一个sample）
1.6 video sample打时间戳（时间戳随机乱序）、连续送出
现象：播放有断续、有快镜头。video renderer发送quality control消息进行反馈控制。整个播放过程中，如果新sample的时间戳比流时间超前，则sample会被video renderer阻塞住，直到流时间到达sample时间后才开始播放；如果新sample的时间戳比流时间滞后，sample到达video renderer后会被立即播放，因此出现快镜头，直到sample的时间戳赶上流时间后视频才恢复正常速度。总之，视频流不会影响参考时钟的正常运作。
msiavsrc.ax(tid 610) 1774 : stream time: 5590000
msiavsrc.ax(tid 610) 1807 : stream time: 5930000
msiavsrc.ax(tid 610) 1808 : add 5 second delta...
msiavsrc.ax(tid 610) 1841 : stream time: 6270000（此sample送出后阻塞）
msiavsrc.ax(tid 610) 6873 : stream time: 56590000（流时间到达sample上的时间戳后再继续播放）
msiavsrc.ax(tid 610) 6906 : stream time: 56920000
msiavsrc.ax(tid 610) 6940 : stream time: 57260000
……
msiavsrc.ax(tid 610) 7440 : stream time: 62260000
msiavsrc.ax(tid 610) 7473 : stream time: 62590000
msiavsrc.ax(tid 610) 7474 : add -3 second delta...
msiavsrc.ax(tid 610) 7508 : stream time: 62940000（出现快镜头，sample以很快的速度发送给video renderer）
msiavsrc.ax(tid 610) 7509 : stream time: 62950000
msiavsrc.ax(tid 610) 7511 : stream time: 62970000
msiavsrc.ax(tid 610) 7512 : stream time: 62980000
msiavsrc.ax(tid 610) 7513 : stream time: 62990000
……
msiavsrc.ax(tid 610) 7563 : stream time: 63490000
msiavsrc.ax(tid 610) 7564 : stream time: 63500000
msiavsrc.ax(tid 610) 7566 : do not add delta...
msiavsrc.ax(tid 610) 7566 : stream time: 63520000
msiavsrc.ax(tid 610) 7567 : stream time: 63530000
msiavsrc.ax(tid 610) 7568 : stream time: 63540000
msiavsrc.ax(tid 610) 7570 : stream time: 63560000
……
msiavsrc.ax(tid 610) 7719 : stream time: 65050000
msiavsrc.ax(tid 610) 7721 : stream time: 65070000
msiavsrc.ax(tid 610) 7722 : stream time: 65080000
msiavsrc.ax(tid 610) 7746 : stream time: 65320000（sample时间戳终于赶上了流时间）
msiavsrc.ax(tid 610) 7779 : stream time: 65650000
……
msiavsrc.ax(tid 610) 19390 : stream time: 181760000（最后一个sample）
1.7 video sample打（连续）时间戳、间隙送出（模拟网络阻塞情况）
现象：视频播放一顿一顿。video renderer发送quality control消息进行反馈控制。无数据时，流时间仍然在走；于是紧接着下一个sample到达video renderer时已经“迟到”，所以会出现快镜头。
msiavsrc.ax(tid 678) 1667 : stream time: 8940000
msiavsrc.ax(tid 678) 1700 : stream time: 9270000
msiavsrc.ax(tid 678) 3701 : sleep(2000)...（此时阻塞显示上一个sample的图像）
msiavsrc.ax(tid 678) 3702 : stream time: 29290000（出现快镜头）
msiavsrc.ax(tid 678) 3704 : stream time: 29310000
msiavsrc.ax(tid 678) 3706 : stream time: 29330000
……
msiavsrc.ax(tid 678) 3762 : stream time: 29890000
msiavsrc.ax(tid 678) 3766 : stream time: 29930000
msiavsrc.ax(tid 678) 5767 : sleep(2000)... （此时阻塞显示上一个sample的图像）
msiavsrc.ax(tid 678) 5768 : stream time: 49950000（出现快镜头）
msiavsrc.ax(tid 678) 5770 : stream time: 49970000
msiavsrc.ax(tid 678) 5772 : stream time: 49990000
……
msiavsrc.ax(tid 678) 38788 : stream time: 380150000（最后一个sample）
2． filter graph不使用参考时钟
现象：不管video sample打不打时间戳，也不管时间戳打得是否正确，视频都是以最快的速度播放。并且video renderer不发送quality control消息。如果video sample送出过程中有间隙性停顿，视频也会出现间隙性的停顿。
3． filter graph中残留（处于未连接状态）一个audio renderer
注：默认情况下，audio renderer会被选中为filter graph的参考时钟。
filter graph如图3：
图3 残留一个audio renderer的单一视频流filter graph
测试结果均与以系统时钟作为filter graph的参考时钟的情况类似。
小结：
v 在任何时候，video sample上的时间戳都不会影响filter graph的流时间。
v 如果video sample上没有时间戳，则video renderer以最快速度处理sample数据；如果有时间戳，则根据时间戳以及当前的流时间来安排sample内容（视频图像）的显示。若sample上的时间戳超前流时间，video renderer将该sample阻塞，直到流时间到达sample时间戳后再开始播放；若sample上的时间戳滞后于流时间，video renderer将sample内容立即显示后返回，以最快速度处理sample，以使sample时间戳尽快追赶流时间。
v 视频流播放过程中有一个quality control机制；quality control消息发送者是video renderer，反馈给数据发送线程，以加快或减慢数据发送速度，试图提高服务质量。
v
如果您能从上述数据中得到更多重要的结论，请告诉我luqiming@263.net。