智能视频监控系统的详细设计思路
传统的视频监控使用人工视频监控来发现潜在的安全隐患或异常状态，或者用于事后分析。这种应用有其固有的缺点，难以实现实时的安全监控和检测管理。具有智能分析功能的监控系统，通过区分被监控对象的形状、动作等特征，主动采集和分析数据，并根据预设条件进行报警、记录、分析等动作。智能监控系统可以运行在服务器上，也可以运行在基于DSP的嵌入式系统上，后者逐渐成为主流。
智能视频的应用可以分为三个方面:安防、人体行为检测和智能交通。其中，安全应用被广泛认为是最具潜力的市场，它包括以下几类应用:入侵检测，可以自动检测视频图像中的运动行为特征；货物搬移检测可以自动检测货物搬移事件——当防区内特定位置的货物被取走或搬移时，会发出报警；遗留检测，可以自动检测遗弃物品——在某个防区放置或遗弃物品时自动报警；智能跟踪使相机能够驱动自己的平移/倾斜和变焦镜头独立由PTZ。人体行为检测的应用有脱岗检测(可以自动检测哨兵人员的位置)和徘徊检测(可以检测重要区域的人体徘徊)。智能交通应用包括:检测非法停放的车辆，当车辆非法停留在防区内时发出警报；车辆逆行检测，及时识别逆行车辆。
随着准确性和可靠性的逐步提高以及产品成本的下降，智能视频在越来越多的场合得到应用，可以替代部分安防设备，降低安防人员的工作强度，提高工作效率，降低管理成本。其实智能视频的应用潜力很大。随着技术的成熟，智能视频技术的应用领域正在迅速扩大。这些应用主要包括上述的安防、交通、零售、服务行业，如人口统计、人脸识别、人群控制、注意力控制、交通流量控制等。
对实时视频监控的需求正在快速增长，尤其是对实时安全监控应用的需求不断增加。实时检测目标的安全风险或异常行为的功能变得越来越重要。在这种日益增长的需求驱动下，智能视频监控系统产品正在成为视频监控应用的新热点。特别是随着半导体技术的进步，如以Blackfin convergent处理器为代表的先进嵌入式解决方案平台的推出，高性价比、高实用性的智能视频分析设备不断推出，并在一些关键应用中发挥着极其重要的作用。
图1:传统视频监控应用示意图。
智能视频应用设计策略
硬件平台方案的选择往往决定了整体方案的成本、性能、开发工具和方法的可用性，以及方案未来持续升级的可行性，因此方案平台的选择非常重要。智能视频应用的独特性要求在硬件平台的选择上综合权衡。视频监控系统的网络化和智能分析的要求，以及大规模工程安装对成本、体积和功耗的限制，非标准化的智能视频分析方法和近乎定制的方案优化方法，使得融合了MCU和DSP优势的融合处理器方案平台在软件设计灵活性和强大的处理能力上具有更加明显的优势。本文将结合ADI公司独特的Blackfin收敛型DSP处理器的特点，分析智能视频设计中的主要设计技术要点。
一、硬件平台的选择
可定制性非常重要。制约视频监控系统智能化应用的因素很多:首先，智能监控的视频算法复杂，难以标准化，各系统提供商的视频分析软件都有自己独特的算法，导致市场上的产品没有统一的标准；其次，视频监控系统应用场景复杂，用户需求多样化，定制需求多。因此，视频分析方案通常需要根据客户的应用特点和需求进行优化，使用的算法差异很大。此外，由于智能视频应用的高度复杂性，对方案的处理能力提出了更高的要求。传统的MCU+ASIC的视频监控方案难以实现各种个性化设计和高计算能力要求。即使选择普通DSP+MCU的双芯片方案，通常也难以满足智能视频监控应用的复杂计算需求，需要增加协处理器。这种复杂的解决方案在BOM成本、功耗和开发难度方面是不够的。Blackfin处理器充分发挥了MCU+DSP融合架构的优势，满足了智能视频应用的系统控制和高强度计算需求，尤其是以BF561为代表的高性能双核架构成为智能视频应用的首选平台。
方案的可扩展性也是要考虑的因素。智能视频分析的应用需要根据应用环境和应用目的进行优化，不同的客户在其他方面可能有不同的需求。例如，一些领先的数字视频监控方案已经实现了对H.264基本类@Level3.0和MPEG-4D1+CIF的支持，未来可能会扩展到支持H.264 D1+CIF。随着智能视频分析的广泛应用，如IP摄像机、无线视频监控、智能交通系统等。不同的应用可能对各种接口功能、通信标准、用户界面等有不同的要求。，而硬件平台方案对于各种需求的灵活性和扩展性非常重要。同时，如上所述，智能视频分析技术的发展也不过几年。随着技术的不断成熟和一些相关标准的出台和完善，产品的可升级性非常重要，这不仅是开发者关心的问题，也是终端客户的重要特征。Blackfin DSP在算法并行处理方面具有独特的优势，尤其是ADSP-BF561采用双DSP内核，可以实现非常复杂的智能视频处理算法。
视频应用的优化特性。虽然有些方案具有很强的处理能力和扩展性，但是方案是否针对视频应用进行了优化也是值得关注的，因为这直接关系到设计工程师可用的软硬件设计资源、系统设计的难度和可达到的性能。以Blackfin处理器为例，Blackfin专门针对高强度、高数据速率的数字和媒体处理进行了优化:Blackfin的数十个DMA通道和可灵活配置的缓存满足了视频监控系统对大计算量和高数据吞吐量的要求；ADI公司专门开发了完全优化的音频和视频编解码器，并免费提供给大客户。Blackfin集成了许多针对视频应用的硬件驱动程序，包括WiFi驱动程序和音频/视频编解码器驱动程序。Blackfin的四个视频算术运算单元和视频像素指令集大大加快了视频运算速度；在智能视频分析的一些基本操作中，如直方图统计、中值运算、Sobel运算和形态学中的膨胀运算，Blackfin的MIN和MAX指令可以用来消除条件跳转，节省处理器周期。不仅如此，Blackfin还支持13种非视频数据的矢量运算。通过合理设计数据结构，可以利用Blackfin的特性指令，使智能视频分析算法在前景和背景分离、阈值计算和更新等多个环节变得更快。这些指令本身就非常有效，其中大多数可以并行执行，从而使Blackfin的处理能力翻倍。
低功耗和稳定性非常重要。考虑到智能视频监控设备通常一周7天、一天24小时运行，稳定性和功耗也更加重要。在低功耗方面，Blackfin处理器采用了多种节能技术:基于门控时钟内核设计，可根据指令逐一选择性切断功能单元的电源；在所需CPU动作最小的期间，支持多种断电模式；Blackfin处理器支持独立的动态电源管理电路，可以独立控制工作频率和电压，以满足正在执行的算法的性能要求。大多数Blackfin处理器提供片内核心稳压器电路，可以在低至0.8V的电压下工作，Blackfin独特的聚合处理架构和90纳米技术为其领先的低功耗处理奠定了基础。由于处理能力高，基于Blackfin平台的系统方案可以减少主芯片的数量，丰富的功能和接口可以满足各种外设和功能扩展的需要，减少元件数量，从而保证更高的稳定性和可靠性。Blackfin DSP是目前同价位DSP中低功耗和稳定性最好的。
支持哪些嵌入式操作系统？智能视频分析通常是基于网络的应用，必须有操作系统的支持。因此，选择一个具有广泛嵌入式系统支持能力的解决方案是非常重要的，这样才能保证在未来的产品中更换操作系统时不必更换硬件平台，保证研发成果的持续可用。目前可用的嵌入式操作系统很多，各有各的优势，硬件平台方案对这些操作系统的支持能力是方案选择要考虑的重点之一。比如Blackfin处理器可以支持主流操作系统，包括uCLinux、ThreadX、Nucleus、uCOS-II等十余种嵌入式操作系统，客户可以根据自己的要求选择自己熟悉的或者性价比更高的软件架构基础。
图2:基于BF561的智能监控终端框图。
第二，开发工具和可用资源
智能视频监控设备是一个复杂的系统，涉及复杂的软硬件设计、人机界面、通信连接等。，系统设计难度高。因此，所选择的硬件平台方案能否提供完整的开发工具套件、必要的软件模块、成熟的参考设计、系统设计支持，是否有完整的设计生态系统，对于系统设计能否高质量如期完成非常关键。事实上，并不是所有的平台解决方案提供商都能提供这样的支持。
以Blackfin系列处理器为例，使用Blackfin处理器的硬件平台已被全球大量设备公司广泛采用，从通用DVR、IP摄像机、数字视频监控到智能视频监控。Blackfin处理器受到了众多企业的青睐，完备的开发工具和参考设计的支持是其广受欢迎的重要原因之一。ADI公司提供业界一流的工具、初学者工具包和支持，包括著名的ADI CROSSCORE？软硬件工具，包括屡获殊荣的VisualDSP++？集成开发和调试环境(IDDE)、仿真器和EZ-KIT Lite？硬件的评估版本。
为了提高开发效率，降低开发难度，应该尽量在现有资源上开发，比如开放的例程，ADI为此提供了丰富的例程和资料。例如，ADI公司提供免费的“图像工具箱”图像处理函数库软件包，专门针对图像处理应用中常用的数学函数进行优化，供客户在开发应用时调用。ADI公司还提供由当地合作伙伴开发的完整参考设计、评估板、开发工具、算法IP和应用模块，以及由第三方合作伙伴提供的完整交钥匙解决方案，包括软件和硬件。目前，Blackfin处理器在视频监控领域的应用在国内已经有了众多具有丰富工程经验的第三方合作伙伴，并建立了完善的生态系统。
以ADI公司今年3月发布的基于Blackfin BF526C的完整IP监控和机器视觉摄像机参考设计为例。该参考设计在单个融合处理器上提供强大的视频和音频处理能力，为工程师提供统一的软件开发环境，并且可以实现更快的系统调试和部署以及更低的系统成本。该处理器提供集成音频编解码器、流式视频和IP协议、片内DRAM存储器和接口，用于10/100以太网、USB和SD存储以及本地RS-232端口。这种完全可编程的解决方案可以满足各种视频压缩标准，如H.264和MPEG4-4，并支持音频G.729标准的编码。支持从控制中心到摄像机的双向语音通信，以及使用Pelo-P或Pelo-D协议的镜头平移、倾斜和拉伸动作。参考设计还提供了一个双核BF561处理器的子卡，使系统能够实现更高的视频分辨率，并提供高级视频分析功能，如运动检测和跟踪。
揭秘应用方案——亿维东方智能网络摄像机
Emvideo是专业智能安防产品的解决方案提供商，也是ADI公司授权的第三方合作伙伴。目前，易维东方已有多款基于ADI Blackfin处理器硬件平台的产品，其中“软件+硬件”交钥匙WiFi无线视频监控整体解决方案基于BF 536+BF 561的双处理器架构，该解决方案的硬件结构图如图3所示。
其中，BF536处理器作为主处理器，不仅负责音频编码、远程控制、用户交互控制等一些基本的管理和控制，还负责嵌入式操作系统uClinux的运行和高级智能视频分析功能，可以完成安防、人体行为、智能交通等多种智能视频分析。双核BF561作为协处理器，负责视频编码算法，强大的视频处理能力使该方案能够支持H.264基本类@Level3.0和MPEG-4D1+CIF的双码流，未来很可能会扩展到可以支持H.264 D1+CIF的双码流。两个处理器可以通过高速同步串行接口进行通信。视频信号首先进入BF561处理器，编码后的码流被采集并发送到BF536处理器，然后通过网络发送到客户端进行解码和显示。
图3:采用Blackfin BF536和BF561的解决方案的硬件结构图。
该方案采用先进的背景建模方法，能有效克服光线变化、树叶摆动、水波纹等背景对前景目标分析的干扰，实现准确的前景检测。同时在目标跟踪上采用独特的优化计算和放大，在入侵检测(包括区域预警和跳闸检测)应用上实现了90%以上的准确率。这些都是基于BF 536+BF 561双处理器的硬件架构的强大处理能力。
该方案的智能视频分析功能由易维东方公司自主研发。在智能视频分析技术开发方面的独特算法和丰富经验，保证了客户智能识别应用需求的实现，并为客户提供包括软件升级在内的完善服务。由于目前智能视频识别应用没有需求标准和测试标准，视频分析方案通常需要根据客户的应用特点和需求进行优化。比如有些用户属于地铁系统，他们需要的功能是检测是否越过等候黄线、人群密度是否过大、是否有可疑遗留物等。有些用户属于银行系统，他们需要的是对ATM机的智能监控，比如分析是否安装了假键盘和吞卡器，ATM机是否有暴力行为，是否有犯罪分子的面孔等。有了这个方案，客户可以很容易地根据用户的需要调整算法。智能视频处理需要芯片强大的处理能力，很多算法要并行处理。Blackfin DSP在算法并行处理方面具有独特的优势，尤其是ADSP-BF561的双DSP内核可以实现复杂的智能视频处理算法。这是传统的MCU+ASIC或通用DSP方案难以实现的。
该方案的软硬件已通过应用验证，目前已有多家客户生产。目标应用将主要是政府行政效能监察、教育系统等行业的用户。