南水北调工程是迄今为止,世界上规模最大、距离最长、受益人口最多的跨流域水利工程. 其中,南水北调中线工程自丹江口水库输水北上至北京、天津等地区,对促进华北地区的水资源分配与社会经济建设具有重要意义 ^{[ 1]} . 在输水工程的管线架设方面,南水北调中线工程的干渠总长达1432km,沿途在黄河等地建有隧道和暗渠,输水管线所处周边环境较为复杂. 在干渠环境安全防护方面,由于南水北调工程对水质要求极高,其中直接汇入丹江口水库的各主要支流水质不低于Ⅲ类(总氮保持稳定,地表水源地为二级保护区),汉江干流省界断面水质达到Ⅱ类 ^{[ 2]} . 作为水质保护的重要手段之一,沿线视频实时监控系统能够对沿线区域出现的水面异物、岸堤可疑人物以及发生的危险物倾倒与排放等行为进行及时发现、警告,达到预防、制止流域污染事故发生的目的.

相比传统的视频监控系统的应用场景,南水北调中线工程面临跨流域广,流域监控路数多且数据量大,以及信息传输网络复杂度高的客观现状. 该现状与未来网络应用背景下所进行的主流的海量数据传输与异构网络的研究方向相契合,即针对网络所承载的数据量呈爆炸式增长以及网络通路多样化的发展趋势,基于未来网络相关技术研究通过一种具有兼容性的“数据共享”方式来进行海量数据的传输 ^{[ 3]} . 因此,为满足南水北调工程在复杂环境下对海量视频监控需求,本文以未来网络研究中关键的异构网络核心技术为指导,研究能够在监控范围、监控点数目、监控流量控制方面满足南水北调中线工程需求的监控系统.

现有较成熟的视频监控方案普遍具有较强的使用环境针对性. 我国的网络视频监控被广泛应用于以“天网工程”为代表的公安网络安全监控环节中. 其主要利用专网对公共场所以及相关敏感区域视频信息进行收集汇总,实现可回溯的视频监控体系 ^{[ 4]} . 美国国防高级研究项目署(Defense Advanced Research Projects Agency,DARPA)联合美国国内高校研究军民两用的大型视频监控系统,主要包括人物检测、识别与身份认证 ^{[ 5]} .

在英国朴次茅斯,已建设一套“Perceptrak”智能监控网络系统,能够基于前端测速设备,结合视频监控设备,对车辆超速、可疑人员徘徊等进行检测记录,并及时通知安全人员采取相应的措施.

通过对现阶段国内外较成熟的视频监控系统进行调研,可以发现其主要依赖于带宽稳定性较高的局域网、专网或者城市主干网络,同时视频监控区域较为集中. 而对于本文研究的南水北调中线工程而言,由于跨流域广、沿途地理环境复杂,不具备搭建专网以及集中监控的条件,这为南水北调中线工程的监控视频数据的传输提出了很大挑战. 具体而言,受到水源地的异构网络布局以及实线/虚线传输的影响,部分传输网络存在带宽不稳定、传输速度波动大、易发生数据拥塞等问题,这对流域视频监控的数据传输的时效性和完整性造成了很大影响 ^{[ 6]} . 在检测环境中测得,宽带码分多址(wideband code division multiple access,WCDMA)网络的最低带宽可低至3.6Mbit/s,而在网络条件较好时,局域网(local area network,LAN)网络的传输带宽可达约100Mbit/s. 针对异构网络传输中存在如此大带宽波动的现状,考虑在视频编码传输中加入带宽检测,并将网络参数作为视频编码的各参数调节的因素之一,设计出带宽自适应、编码参数可调的H.264视频编码传输方案.

因此,针对南水北调中线工程沿线网络组成复杂、带宽不稳定的特点,本文对适用于异构网络环境的视频监控传输的关键技术进行了研究,主要通过包括可变周期的带宽检测、适合实时视频监控的低码率视频编码方式、基于网络带宽的视频编码参数调节等关键技术,设计实现了适合于异构网络环境下水利工程的视频监控解决方案.

1 系统模型

南水北调中线工程南启丹江口水库,经长江与淮河流域分水岭南阳,于河南通过隧道穿过黄河,沿京广铁路西侧北上,止于北京颐和园团城湖,整体呈现出流域跨度大、涉及地域广的特点. 中线输水工程沿途建有多个监测站,每个监测站下设若干个监测点,终端建有水环境调度总控中心 ^{[ 7]} . 其中,三级监测点主要设在干渠河流沿岸,地理环境较为封闭复杂,因此,主要基于无线方式进行监控视频回传. 另外,监测站与总控中心的信息交换方式较多,包括专线、运营商有线网络等. 因此,各个监测站点、总控中心等之间的网络传输环境十分复杂 ^{[ 8]} . 本模型用于对监控视频进行编码传输决策,因此,本模型主要由视频编码传输过程所需的设备、传输线路及控制模块组成,如 图1所示.

图  1  异构网络下的视频监控系统模型

Figure  1.  Model of video surveillance system in heterogeneous networks

下载: 全尺寸图片 幻灯片

模型共分为3级:第3级为前端的监测站点,包含摄像头、编码传输器,该级主要完成视频采集、编码工作;第2级为中端的监测站,包括监测站客户端、视频服务器,该级主要完成局部视频的汇总工作,同时针对网络状况进行视频的转码;第1级为总控中心,包括视频汇总显示设备、视频服务器以及其他服务器,该级主要完成全局视频汇总显示以及决策分析下达等工作.

2 关键技术研究

2.1 基于RTP/RTCP的网络状况评估关键技术

本文所研究的视频监控数据是基于实时传输协议/实时传输控制协议(real-time transport protocol/real-time transport control protocol,RTP/RTCP)进行传输的. RTP是主要用来在网络环境下对多媒体数据进行传输的协议 ^{[ 9]} . RTCP作为RTP的控制协议,其目的是为数据收发提供可参考的服务质量(quality of service,QoS)评价反馈数据 ^{[ 10]} . 收发设备之间通过定期发送RTCP协议包,并对相互收到的RTCP协议包进行解析,得到数据包的收发时间、数据包总数等数据. 通过进一步数据分析,得出包括网络延迟、丢包率等网络质量参数,从而为下一步的视频编码参数调节提供参照.

网络延迟是指一帧数据从发送端发出到接收端接收完成所需要的时间,采用ms为时间精度单位. 正常的网络状况下,网络延迟通常不超过200ms. 在网络处于忙绿状况下,网络延迟可达到甚至超过1s ^{[ 11]} .

RTCP基于数据位对网络延迟进行计算,主要利用了RTCP包中的时间戳. 发送端和接收端在收到数据包时,各自会基于当前系统时间的时间戳 T _s、 T _r进行标记. 因此,利用收发的时间戳之差,即可获得网络传输延迟,即

T=T _s- T _r(1)

但是考虑到发送端和接收端的系统时钟可能存在不同步的问题 ^{[ 12]} ,因此,需要额外引入一个时差矫正参数 C,其意义是发送端系统时钟 C _s和接收端系统时钟 C _r的差值,即

C=C _s- C _r(2)

因此,最终的网络传输延迟计算公式为

T=T _s- T _r+ C (3)

丢包率是指单位时间内传输丢失的数据包数量占发送数据包总数量的比例. 通过RTCP包中记录的发送数据量总量 P _t、丢失累计数 P _L,可以计算出单位时间内数据传输的丢包率,即

L= $\begin{array}{c}\frac{P_L}{P_t}\end{array}$ (4)

本文网络状况的评价方法是通过对网络传输延迟和丢包率的2个网络参数的数值特征进行分析. 需要指出的是,由于不同地点的网络环境条件不同,因此,网络状况的评价指标也有所不同. 评价结果是网络传输延迟状况和丢包率状况的总和. 网络状况评价结果 S的具体计算方法为

S=ω ₁ S _d +ω ₂ S _L(5)

网络传输延迟状况权值 ω ₁和丢包率状况权值 ω ₂要满足两权值和为1,初始的 ω ₁和 ω ₂权值设置为0 .5,在特定网络传输环境下,可人为根据该网络传输的传输延迟波动特性和丢包率波动特性对 ω ₁和 ω ₂进行权值调整,使得网络状况评估方法能够基于明显的网络波动特性参数对网络状况进行评价,在网络延迟波动性明显高于丢包率波动性的网络传输环境下,设置权值 ω ₁ >ω ₂ . 在丢包率波动性明显高于网络延迟波动性的网络传输环境下,设置权值 ω ₁ <ω ₂ .

其中式(5)的网络延迟评价值 S _d由

S _d =T-T ₀(6)

计算得出 . 丢包率评价值 S _L由

S _L =L-L ₀(7)

计算得出 . 式中 T ₀和 L ₀分别为网络延迟和丢包率的基准值,可通过一段时间的数据取均值获得 .

另外,在实际网络中,还存在网络状况短时波动的情况 ^{[ 13]} ,表现为网络带宽可能会在很短时间内出现大幅下降,随后很快恢复至原本水平. 这主要是由于实际网络本身的不稳定造成的,因此,需要在评价方法中引入针对这种可能存在的波动的应对策略,即结合最近的几个时间点的网络状况监测记录,判定当前时刻检测到的波动是否具有孤立性,避免短时波动引起的参数频繁调节.

由评价结果计算公式可知,当网络评价结果大于零时,说明网络延迟较高,丢包率较高,推断出带宽不足,网络传输呈现过载状况,需要降低视频编码的码率. 当网络评价结果小于零时,说明网络延迟较低,丢包率较低,推断出带宽过剩,网络传输呈现轻载状况,需要提高视频编码的码率.

综上,基于RTP/RTCP的网络状况评估方法的流程如 图2所示.

图  2  基于RTP/RTCP的网络状况评估流程

Figure  2.  Network status evaluation process based on RTP/RTCP

下载: 全尺寸图片 幻灯片

2.2 实时视频监控中基于帧差图像的可调码率编码关键技术

视频编码技术能够降低数据传输过程的带宽占用率,从而达到流畅传输视频数据的目的 ^{[ 14]} . 本文选取了适合水面及沿岸视频监控的基于帧差图像的低码率编码方案对视频数据进行压缩编码处理. 对比传统的视频监测场景,水面及沿岸视频具有画面的运动变化率低、视频相邻帧的相关性高的特点,视频相邻帧的差值结果十分平坦. 即在该类型视频的编码中,较原始图像而言,帧差图像只需要很少的比特资源就能够表示编码结果 ^{[ 15]} . 因此,本文采用的基于帧差图像的低码率编码方案具体流程如 图3所示.

图3中涉及了基于网络状况评估结果值 S的视频编码参数调节过程,即基于评价结果值 S,对视频编码参数中的码率进行调试. 具体调节方法描述如下:

图  3  基于帧差图像的可调码率视频编码流程

Figure  3.  Frame difference image based variable rate video coding process

下载: 全尺寸图片 幻灯片

首先基于近 N个关键帧的网络状况评价结果值 S的累加值 S _N ,得到该时间段网络状况评价值. 当 S _N 高于网络状况评价值的平均水平上限时,按照预设的梯度值下调视频编码码率. 当 S _N 低于网络状况评价值的平均水平下限时,按照预设的梯度值上调视频编码码率.

综上,基于帧差图像的可调码率编码方案达到了基于网络状况对视频编码的码率进行动态调节的功能,使视频传输的带宽占用率得到合理化调节,保证了视频监控的流畅性和时效性.

2.3 基于B/S架构的视频监控系统设计、搭建的关键技术

通过对视频监控的需求进行分析,设计视频监控系统. 系统模块如 图4所示.

图  4  系统功能结构

Figure  4.  System function structure

下载: 全尺寸图片 幻灯片

在对本文设计的监控系统进行搭建过程中,主要应用了以下技术:基于浏览器/服务器(browser/server,B/S)架构的系统交互模式,应用JavaScript技术及.NET Framework技术的系统页面设计,以及基于MYSQL数据库技术的综合数据管理技术. 其中,B/S架构因在兼容和维护等方面较其他架构更为出色 ^{[ 16]} ,能够提高系统整体的适用性和可靠性 ^{[ 17]} . 所应用的B/S架构模式如 图5所示.

图  5  B/S架构模式

Figure  5.  B/S schema model

下载: 全尺寸图片 幻灯片

通过对以上技术的有机结合,最终设计构建了本文的视频监控系统.

3 研究结果与系统测试

在系统运行环境下,对基于网络状况的评价结果的码率反馈调节过程进行测试.

其中,视频编码的 I帧间隔为24帧,初始码率为60Kbit/s,码率调节步长梯度为20Kbit/s. 视频码率随网络状况的自适应调节过程如 图6所示. 其中,柱状图分为橙色、灰色、绿色3种,分别表示当前时间点累计的网络评价值高于网络状况评价值的平均水平上限、当前时间点累计的网络评价值在网络状况评价值的平均水平上限和下限间、当前时间点累计的网络评价值低于网络状况评价值的平均水平下限. 随后,基于该信息,对视频编码的关键参数之一的码率进行调节,用折线表示.

图  6  基于RTP/RTCP的网络状况评估及码率调节结果

Figure  6.  Network condition evaluation and rate adjustment result based on RTP/RTCP

下载: 全尺寸图片 幻灯片

在第0~175帧中,带宽保持在105Kbit/s左右,此时网络带宽大于视频码率,网络评估结果为网络带宽处于轻载状态. 故视频编码码率从初始值60Kbit/s开始,以20Kbit/s步长梯度递增,最终视频码率稳定在100Kbit/s.

在第200帧之后,带宽陡降,并保持在40Kbit/s左右. 此时网络带宽小于视频码率,网络评估结果为网络处于过载状态,并指导视频编码码率以20Kbit/s的步长梯度逐渐下降,最终视频码率稳定在40Kbit/s.

在搭建的视频监控系统中,监控模块界面的功能主要包括二级检测点的视频监控信息显示、视频录制、图像截取、摄像头编号选择以及监控视频相关参数的设置,如 图7所示. 同时,系统还包含了监控视频历史回放、使用人员管理等功能页面. 整个系统能够满足南水北调工程异构网络下视频监控的多功能需求.

图  7  视频监控系统监控界面

Figure  7.  Video surveillance system monitoring interface

下载: 全尺寸图片 幻灯片

4 结论

1) 针对水利工程的水源地及沿线的异构网络状况复杂、不稳定的特点,提出了一个基于RTP/RTCP的网络状况评估方法,通过定时获取网络延迟、丢包率等关键网络参数,对网络带宽状况进行评估,指导视频编码进行参数调整. 结果表明:该方法能够对当前带宽下的视频编码进行优化,提高异构网络下视频的编码传输效率.

2) 针对水利监控视频具有的运动变化率低、帧间相关性高的特点,提出了采用基于帧差图像的视频编码方式,结果表明:该方式能够有效压缩视频编码的数据量.

3) 本文设计实现了异构网络下的视频监控系统,并进行了系统测试. 结果表明:该系统满足了设计要求. 同时,该视频监控系统已应用于南水北调中线工程中,能够有效完成异构网络下的水源地及沿线的水利视频监控任务.