第5章 视频会议系统的测试方法
视频会议系统通过视频会议网络完成多点之间的音/视频信号的相互交互,最终实现身在异处的人们实现“面对面”的信息交流的需求。但视频会议又不同于一般普通的多点可视通信交流,它要求有一定的现场感和真实感。因此评价测试视频会议系统,应从人对视频会议系统实际感知体验效果出发。
影响参会者对视频会议实际感知的因素主要有:视频会议系统功能的完备性,是否可以模拟真实的会场情景;视频图像质量的好坏,人眼是否感觉舒适;视频会议系统设备硬件性能,包括节点设备性能和视频会议网络性能。
因此,完成对一个视频会议系统测试,应从下述三个因素具体展开。
① 使用者对视频会议系统实际感知体验,主要完成视频会议系统的功能测试。
② 视频图像质量评价,包括人眼主观评价和仪器客观测试。人眼是视频图像的最终接收者,只有主观测试满足预期的要求,用户才能真正获得满意的视频会议效果。测试仪器对视频图像质量的客观测试目前还不能替代主观测试,但可作为在视频会议系统选型中完成对厂商设备性能的横向比较的工具,同时也可兼作视频编码器的性能测试的工具。
③ 视频会议系统的硬件性能测试,主要完成对视频会议系统设备节点进行相关的电、光性能指标的评价,包括视频会议显示器的测试、视频会议网络QoS评价。
按照上述测试评价原则,本章重点描述下列内容:
视频会议系统功能测试研究;
视频会议图像质量测试研究;
视频会议显示器性能测试研究;
视频会议网络QoS性能测试研究。
5.1 视频会议系统功能测试研究
视频会议系统功能测试主要考察设备的业务能力、兼容性以及网络互通性,从实际使用的角度来完成对视频会议系统的总体评价。功能测试采用主观人为评价,为保障公平,将有多名测试者参加,并将各测试者的主观评分取平均值作为最后评价结果。
测试环境在实验室内搭建,包括GK、MCU、视频终端和以太网交换机,视频会议设备硬件及软件版本应与现网运营的版本相一致,测试拓扑如图5.1所示。
图5.1 视频会议系统测试拓扑图
测试中主要选定业务常用的视频编码标准、图像分辨率、图像帧率、网络接入速率的组合格式,如表5.1所示。
表5.1 常用的视频会议业务格式
视频编码标准 H.261 H.263 H.264
图像分辨率 标清CIF 标清4CIF 高清720P 高清1 080P
图像帧率 30 fps 30 fps 30 fps 60 fps 30 fps
网络接入速率 384 kbps 768 kbps 768 kbps 1 Mbps 1 Mbps 1.5 Mbps 2 Mbps 1.5 Mbps 2 Mbps 4 Mbps
5.1.1 基本业务能力测试
基本业务能力测试主要针对同一厂商的网络设备和终端设备,其测试结果可作为视频会议系统设备选型的参考数据。
1. 音/视频效果测试
主要测试在MCU控制下(MCU分别工作在编解码方式和转发方式下)各种会议类型下的音/视频效果,测试音/视频源分别取自摄像机现场输入或规定的节目源。
在测试过程中,多终端从表5.1中选取相同或不同的会议格式建立会议连接,暂不发送双流信号,对会议的音/视频效果进行评估,并记录在测试记录表格中,如表5.2所示。
2. 会场控制功能测试
主观评价会议控制过程中的广播、查看、轮询、分屏、静音、混音、语音激励等功能,记录在表5.3所示的测试记录表格中。
3. 双流功能测试
视频会议系统的双流功能是指视频会议终端可以接收或发送多于一个的视频信道,通常在传输一路活动的人物图像主视频的同时,同时向远端会场传送PC信号,终端需要具备视频混合或切换的能力,以便向用户显示多路视频信号。
在测试过程中,MCU分别工作在编解码方式和转发方式下,终端从表5.1中选取相同或不同会议格式建立会议连接,并同时发送主音/视频信号和PC流信号,对会议的音/视频效果进行评估,并记录在测试记录表格中,如表5.4所示。
4. 网络环境适应能力测试
网络环境适应能力测试模拟视频会议系统在现网环境下对网络丢包、延时、抖动的适应能力,以及对抗丢包、抗抖动的处理效果。网络丢包率、延时和抖动的效果可通过串接在测试环境中的网络仿真仪来实现,具体测试过程如下所述。
将网络仿真仪串接在2台待测终端之间(终端之间通信采取不通过MCU和通过MCU两种),根据现网的QoS质量,在仿真仪上分别设置网络丢包率、延时和抖动。从表5.1中选取某一会议格式,召开一个视频会议。
记录音/视频效果(色彩、清晰度、图像连续性、图像停顿时间间隔;声音连贯性、清晰程度、声音停顿时间间隔等),注意观察各厂家对抗丢包、抗抖动的处理效果(如降帧率等)。
设置不同的网络丢包率、延时和抖动,继续记录在此条件下的音/视效果,直至语音和画画完全不可接受。
5.2 视频会议图像质量测试研究
在视频会议系统中,视频处理过程的各个环节将对视频图像质量产生不可避免的负面影响,如编码器对视频内容的压缩、解码器对视频内容的解压缩、格式转换对视频分辨率和高宽比的影响、IP网络对视频流造成的延迟和产生的额外噪声等。
在现有的H.263、H.264、MPEG系列、AVS等图像压缩编码标准中,编码器的计算复杂度一般是解码器的5~10倍,任何一种压缩编码器势必对图像质量造成压缩损伤。实际上,在整个视频传送过程中,只有编码器对图像质量的影响最大,因此对图像质量的测试也间接完成了对图像编码器的评价。对于解码器的测试,主要是考察其输出的电气性能指标,由于解码器相对编码器并不是影响视频图像质量的关键因素,因此对解码器的测试不作为视频会议系统测试的组成部分。
目前,图像质量的测试可分为主观测试和客观测试。由于人眼常常是图像的最终接收者,因此人眼的判断也许是图像质量评价最有效的手段。事实上,一开始的图像质量评价确实依赖于这种主观评价手段,而且主观评价方法和标准也相对较完善。但其缺点是无法应用数学模型对其进行描述,不易定量准确测量,易受客观因素的影响,而且比较费时费力;另外,主观质量评价的随意性很大,同一个人在不同情况下对同一幅图像可能会评出不同的分值。随着图像技术的发展,人们希望能够用客观的和可定量分析的数学模型衡量出人们对图像的这种主观感受,即客观图像质量评价方法。客观图像质量评价的目标就是设计能够自动预测人眼对图像和视频的感知质量的方法。
人们希望对客观图像质量的评价结果与人的视觉感知相一致,也就是说,客观评价的结果应该尽量符合人们对图像质量的主观真实感受,因而在各种评价方法中或多或少地引入了人眼视觉特性。然而在机器视觉领域,至少目前还无法设计出与人的复杂视觉感官相一致的系统,更多的是设计出定量模型及参数以供计算机处理。
因此,人为的主观评价方法是视频会议图像质量测试的主要方法,仪器仪表的客观测试可作为不同厂商设备图像质量的横向比较方法,但是只作为参考,不作为最终结果评定。
5.2.1 视频图像质量主观测试
主观测试就是通过直接收集用户对视频质量的感受,给出视频质量评价的方法。评价用户体验(QoE)最可靠的方法是主观评价,因为在大多数情况下,人是视频最终的接收者,人的主观感觉直接反映了人对视频图像质量的感受,所以人的主观感受是最可靠的评价标准,由一系列观测员打分获得的主观视频质量评价方法一直是最可靠的质量评价方法。视频质量的主观评价法就是选择一批非专业的观测员在一个受控的环境中连续观看一系列测试视频序列,然后采用适当的评价方法让他们按照自己的主观感受对视频序列的质量进行评分。
近年来ITU(International Telecommunication Union,国际电信联盟)先后推出了多个针对多媒体应用的主观质量评估标准,如ITU-R BT.500-11、ITU-T P.910、ITU-T BT.1788等,提出了标准的可视条件、观察者的选择、测试内容的标准、评估程序以及数据分析的方法。
目前比较常用视频质量的主观评价法有两种,一种是单刺激主观评价法;另一种是双刺激主观评价法。单刺激主观评价方法不需要原始视频序列,主要包括ACR(Absolutely Category Rate)方法;双刺激主观评价法可以有选择地采用原始视频序列与失真视频序列对比或者在不同类型的失真视频序列间进行对比评分的方法,主要包括DSCQS(Double-stimulus Continuous Quality-Scale)、DSIS(Double-stimulus impairment scale)等方法。
这两种方法也可以简单看成等级评价方法和比较评价方法,无论哪种方法,都包含一种5级制的尺度评价标准,在单刺激主观评价法中,主要是直接对处理过的视频进行视频质量等级的优、良、中、差、劣5级主观评分;在双刺激主观评价法中,主要是对测试视频相对于原始视频质量损伤感受来进行5级评分,基本评分标准如表5.6所示。
……
展开