1 系统模型

南水北调中线工程南启丹江口水库,经长江与淮河流域分水岭南阳,于河南通过隧道穿过黄河,沿京广铁路西侧北上,止于北京颐和园团城湖,整体呈现出流域跨度大、涉及地域广的特点. 中线输水工程沿途建有多个监测站,每个监测站下设若干个监测点,终端建有水环境调度总控中心^[7]. 其中,三级监测点主要设在干渠河流沿岸,地理环境较为封闭复杂,因此,主要基于无线方式进行监控视频回传. 另外,监测站与总控中心的信息交换方式较多,包括专线、运营商有线网络等. 因此,各个监测站点、总控中心等之间的网络传输环境十分复杂^[8]. 本模型用于对监控视频进行编码传输决策,因此,本模型主要由视频编码传输过程所需的设备、传输线路及控制模块组成,如图1所示.

图  1  异构网络下的视频监控系统模型

Figure  1.  Model of video surveillance system in heterogeneous networks

下载: 全尺寸图片 幻灯片

模型共分为3级:第3级为前端的监测站点,包含摄像头、编码传输器,该级主要完成视频采集、编码工作;第2级为中端的监测站,包括监测站客户端、视频服务器,该级主要完成局部视频的汇总工作,同时针对网络状况进行视频的转码;第1级为总控中心,包括视频汇总显示设备、视频服务器以及其他服务器,该级主要完成全局视频汇总显示以及决策分析下达等工作.

2 关键技术研究

2.1 基于RTP/RTCP的网络状况评估关键技术

本文所研究的视频监控数据是基于实时传输协议/实时传输控制协议(real-time transport protocol/real-time transport control protocol,RTP/RTCP)进行传输的. RTP是主要用来在网络环境下对多媒体数据进行传输的协议^[9]. RTCP作为RTP的控制协议,其目的是为数据收发提供可参考的服务质量(quality of service,QoS)评价反馈数据^[10]. 收发设备之间通过定期发送RTCP协议包,并对相互收到的RTCP协议包进行解析,得到数据包的收发时间、数据包总数等数据. 通过进一步数据分析,得出包括网络延迟、丢包率等网络质量参数,从而为下一步的视频编码参数调节提供参照.

网络延迟是指一帧数据从发送端发出到接收端接收完成所需要的时间,采用ms为时间精度单位. 正常的网络状况下,网络延迟通常不超过200ms. 在网络处于忙绿状况下,网络延迟可达到甚至超过1s^[11].

RTCP基于数据位对网络延迟进行计算,主要利用了RTCP包中的时间戳. 发送端和接收端在收到数据包时,各自会基于当前系统时间的时间戳T_s、T_r进行标记. 因此,利用收发的时间戳之差,即可获得网络传输延迟,即

T=T_s-T_r (1)

但是考虑到发送端和接收端的系统时钟可能存在不同步的问题^[12],因此,需要额外引入一个时差矫正参数C,其意义是发送端系统时钟C_s和接收端系统时钟C_r的差值,即

C=C_s-C_r (2)

因此,最终的网络传输延迟计算公式为

T=T_s-T_r+C (3)

丢包率是指单位时间内传输丢失的数据包数量占发送数据包总数量的比例. 通过RTCP包中记录的发送数据量总量P_t、丢失累计数P_L,可以计算出单位时间内数据传输的丢包率,即

L= $\begin{array}{c}\frac{P_L}{P_t}\end{array}$ (4)

本文网络状况的评价方法是通过对网络传输延迟和丢包率的2个网络参数的数值特征进行分析. 需要指出的是,由于不同地点的网络环境条件不同,因此,网络状况的评价指标也有所不同. 评价结果是网络传输延迟状况和丢包率状况的总和. 网络状况评价结果S的具体计算方法为

S=ω₁S_d+ω₂S_L (5)

网络传输延迟状况权值ω₁和丢包率状况权值ω₂要满足两权值和为1,初始的ω₁和ω₂权值设置为0.5,在特定网络传输环境下,可人为根据该网络传输的传输延迟波动特性和丢包率波动特性对ω₁和ω₂进行权值调整,使得网络状况评估方法能够基于明显的网络波动特性参数对网络状况进行评价,在网络延迟波动性明显高于丢包率波动性的网络传输环境下,设置权值ω₁>ω₂. 在丢包率波动性明显高于网络延迟波动性的网络传输环境下,设置权值ω₁<ω₂.

其中式(5)的网络延迟评价值S_d由

S_d=T-T₀ (6)

计算得出. 丢包率评价值S_L由

S_L=L-L₀ (7)

计算得出. 式中T₀和L₀分别为网络延迟和丢包率的基准值,可通过一段时间的数据取均值获得.

另外,在实际网络中,还存在网络状况短时波动的情况^[13],表现为网络带宽可能会在很短时间内出现大幅下降,随后很快恢复至原本水平. 这主要是由于实际网络本身的不稳定造成的,因此,需要在评价方法中引入针对这种可能存在的波动的应对策略,即结合最近的几个时间点的网络状况监测记录,判定当前时刻检测到的波动是否具有孤立性,避免短时波动引起的参数频繁调节.

由评价结果计算公式可知,当网络评价结果大于零时,说明网络延迟较高,丢包率较高,推断出带宽不足,网络传输呈现过载状况,需要降低视频编码的码率. 当网络评价结果小于零时,说明网络延迟较低,丢包率较低,推断出带宽过剩,网络传输呈现轻载状况,需要提高视频编码的码率.

综上,基于RTP/RTCP的网络状况评估方法的流程如图2所示.

图  2  基于RTP/RTCP的网络状况评估流程

Figure  2.  Network status evaluation process based on RTP/RTCP

下载: 全尺寸图片 幻灯片

2.2 实时视频监控中基于帧差图像的可调码率编码关键技术

视频编码技术能够降低数据传输过程的带宽占用率,从而达到流畅传输视频数据的目的^[14]. 本文选取了适合水面及沿岸视频监控的基于帧差图像的低码率编码方案对视频数据进行压缩编码处理. 对比传统的视频监测场景,水面及沿岸视频具有画面的运动变化率低、视频相邻帧的相关性高的特点,视频相邻帧的差值结果十分平坦. 即在该类型视频的编码中,较原始图像而言,帧差图像只需要很少的比特资源就能够表示编码结果^[15]. 因此,本文采用的基于帧差图像的低码率编码方案具体流程如图3所示.

图3中涉及了基于网络状况评估结果值S的视频编码参数调节过程,即基于评价结果值S,对视频编码参数中的码率进行调试. 具体调节方法描述如下:

图  3  基于帧差图像的可调码率视频编码流程

Figure  3.  Frame difference image based variable rate video coding process

下载: 全尺寸图片 幻灯片

首先基于近N个关键帧的网络状况评价结果值S的累加值S_N,得到该时间段网络状况评价值. 当S_N高于网络状况评价值的平均水平上限时,按照预设的梯度值下调视频编码码率. 当S_N低于网络状况评价值的平均水平下限时,按照预设的梯度值上调视频编码码率.

综上,基于帧差图像的可调码率编码方案达到了基于网络状况对视频编码的码率进行动态调节的功能,使视频传输的带宽占用率得到合理化调节,保证了视频监控的流畅性和时效性.

2.3 基于B/S架构的视频监控系统设计、搭建的关键技术

通过对视频监控的需求进行分析,设计视频监控系统. 系统模块如图4所示.

图  4  系统功能结构

Figure  4.  System function structure

下载: 全尺寸图片 幻灯片

在对本文设计的监控系统进行搭建过程中,主要应用了以下技术:基于浏览器/服务器(browser/server,B/S)架构的系统交互模式,应用JavaScript技术及.NET Framework技术的系统页面设计,以及基于MYSQL数据库技术的综合数据管理技术. 其中,B/S架构因在兼容和维护等方面较其他架构更为出色^[16],能够提高系统整体的适用性和可靠性^[17]. 所应用的B/S架构模式如图5所示.

图  5  B/S架构模式

Figure  5.  B/S schema model

下载: 全尺寸图片 幻灯片

通过对以上技术的有机结合,最终设计构建了本文的视频监控系统.

3 研究结果与系统测试

在系统运行环境下,对基于网络状况的评价结果的码率反馈调节过程进行测试.

其中,视频编码的I帧间隔为24帧,初始码率为60Kbit/s,码率调节步长梯度为20Kbit/s. 视频码率随网络状况的自适应调节过程如图6所示. 其中,柱状图分为橙色、灰色、绿色3种,分别表示当前时间点累计的网络评价值高于网络状况评价值的平均水平上限、当前时间点累计的网络评价值在网络状况评价值的平均水平上限和下限间、当前时间点累计的网络评价值低于网络状况评价值的平均水平下限. 随后,基于该信息,对视频编码的关键参数之一的码率进行调节,用折线表示.

图  6  基于RTP/RTCP的网络状况评估及码率调节结果

Figure  6.  Network condition evaluation and rate adjustment result based on RTP/RTCP

下载: 全尺寸图片 幻灯片

在第0~175帧中,带宽保持在105Kbit/s左右,此时网络带宽大于视频码率,网络评估结果为网络带宽处于轻载状态. 故视频编码码率从初始值60Kbit/s开始,以20Kbit/s步长梯度递增,最终视频码率稳定在100Kbit/s.

在第200帧之后,带宽陡降,并保持在40Kbit/s左右. 此时网络带宽小于视频码率,网络评估结果为网络处于过载状态,并指导视频编码码率以20Kbit/s的步长梯度逐渐下降,最终视频码率稳定在40Kbit/s.

在搭建的视频监控系统中,监控模块界面的功能主要包括二级检测点的视频监控信息显示、视频录制、图像截取、摄像头编号选择以及监控视频相关参数的设置,如图7所示. 同时,系统还包含了监控视频历史回放、使用人员管理等功能页面. 整个系统能够满足南水北调工程异构网络下视频监控的多功能需求.

图  7  视频监控系统监控界面

Figure  7.  Video surveillance system monitoring interface

下载: 全尺寸图片 幻灯片

4 结论

1) 针对水利工程的水源地及沿线的异构网络状况复杂、不稳定的特点,提出了一个基于RTP/RTCP的网络状况评估方法,通过定时获取网络延迟、丢包率等关键网络参数,对网络带宽状况进行评估,指导视频编码进行参数调整. 结果表明:该方法能够对当前带宽下的视频编码进行优化,提高异构网络下视频的编码传输效率.

2) 针对水利监控视频具有的运动变化率低、帧间相关性高的特点,提出了采用基于帧差图像的视频编码方式,结果表明:该方式能够有效压缩视频编码的数据量.

3) 本文设计实现了异构网络下的视频监控系统,并进行了系统测试. 结果表明:该系统满足了设计要求. 同时,该视频监控系统已应用于南水北调中线工程中,能够有效完成异构网络下的水源地及沿线的水利视频监控任务.