AI赋能视频大数据下数字城市的应用研究

如果从1957年松下研发的第*台电子显像管摄像机算起，视频监控有了大约61年的历史，经历了模拟时代、数字时代、智能时代和数据时代。在智能时代之前，视频监控的主要功能还是限于监视、录像和回放三个功能，如果需要采用视频进行辅助工作需要人工翻查，费时费力，而且效率不高 。

我国是一个安防大国，根据中国安全防范产品行业协会统计，截至2017年底，全国公共区域安装的摄像机数量达到2800多万台，构建了覆盖重点区域和行业领域的视频“天网”。另根据艾瑞咨询的研究报告，2016年中国主要城市视频监控摄像头数量北京为115万台、上海为100万台、深圳为40万台、广州为30万台，可见城市监控的数量巨大。传统的监控功能监视、录像、回放已经完全满足不了互联网时代的需求，尤其是人工智能（AI）时代，那么如何挖掘视频监控这个金矿就是摆在人们面前的问题。

2016年开始，AI技术大规模普及之后，计算机就能够读懂一帧一帧(1秒视频由25帧画面构成)的视频画面了，这就依赖于计算机视觉识别技术，具体来讲，就是人脸识别、人体识别、车牌识别、车辆特征识别、ReID技术得到长足的发展，并可以进入商用阶段。随着AI技术的不断发展，AI赋能城市的能力逐渐凸显，在公安、楼宇、医疗、教育和金融行业都催生了全新的应用，尤其是AI赋能视频监控领域已经得到业界的普遍共识。

AI的技术创新体现在算法、芯片、采集、网络、计算、存储、终端和安全多个方面，多方面的技术创新可以深度挖掘视频监控所形成的视频大数据的潜力，为智慧城市、数字城市建设服务。视频数据的挖掘就是将城市中活动的“人、车、物”进行结构化特征提取，然后再结合政务大数据、警务大数据、商业大数据等进行碰撞，可充分的挖据潜在数据价值，促使人类社会最终全面进入数据时代。

智慧城市的建设在中国已经得到大面积的普及，取得了丰富的成果、积累了大量的经验。中国目前是世界上最大的智慧城市实践国之一，自2012年住房城乡建设部《关于开展国家智慧城市试点工作的通知》已来，到目前为止，不完全统计国内超过500个城市明确的提出智慧城市的整体规划，大部分已经进入实践当中，局部的试点数量远远超过500个。为了建设更美好的智慧城市，部分城市甚至提出了城市交通大脑、城市安全大脑和城市大脑等多种大脑建设模式，甚至一些新兴城市更是提出了建设数字城市，雄安新区就是代表城市之一。

2017 年4 月，雄安新区设立。“建设绿色智慧新城，建成国际一流、绿色、现代、智慧城市”在七大重点任务位列第*条。2018年4 月，雄安新区规划纲要获批复，其中写到“坚持数字城市与现实城市同步规划、同步建设，适度超前布局智能基础设施，推动全域智能化应用服务实时可控，建立健全大数据资产管理体系，打造具有深度学习能力、全球领先的数字城市”，并在随后的官方解读中，提出了“数字孪生城市”的表述 [2] 。

“数字城市”和“数字孪生”并不是新生概念，但随着AI、大数据等技术的发展，时代赋予它们全新的内涵。城市是人类工程中最复杂的系统之一，若要想完整“孪生”城市的真实运转状态，实现实时行为分析和行为预测几乎是一件不可能的事情。但是数字孪生技术可以将实时数据、状态和数字模型进行结合，基于城市三维地图、实时视频图像，使得城市管理人员能够局部实现实体系统的孪生，并在虚拟的数字世界看到与现实一致的数字系统，对预先控制、事后管理、预警指挥带来极大的辅助作用。

雄安新区“数字孪生城市”的建设会成为一个样板，具有领头示范效应，属于创新之举。构建物理世界和数字世界的一一对应、交互协同、关联映射的超级系统，在网域空间再造一个数字“双胞胎”城市。并最终实现城市全要素的数字化治理、全时空实时化、三维数字化、决策智能化，开创一个虚实结合的城市发展新局面。

数字孪生技术在数字城市的建设中的重要作用已经得到主流观点的认可。河北科技大学刘青认为数字孪生发展到现在作为智慧城市的关键技术[3]。耿建光认为“数字孪生是对实体对象或过程的数字化复制，能够实现贯通复杂产品设计、制造、维护等全生命周期业务过程的数字空间和物理空间信息的双向共享交互和全面追溯，在智慧军工、智慧院所建设中具有广阔的应用前景[4]。”陶飞博士认为“数字孪生（digital twin）是以数字化方式创建物理实体的虚拟模型，借助数据模拟物理实体在现实环境中的行为，通过虚实交互反馈、数据融合分析、决策迭代优化等手段，为物理实体增加或扩展新的能力[5]。”

笔者长期致力于数字城市的实践，提出了“社会安全立体化、行业管理效率化、民生服务智慧化”三大阶段、“安全、高效、开放、人文、健康、绿色”六大体系的新型智慧城市建设理念。多个项目的实践表明，安全是第*位的且离不开视频数据、效率的提升离不开大数据的挖掘，而AI技术恰恰是视频监控和大数据赋能的桥梁。基于对人工智能技术的研究和深挖视频大数据的潜力，笔者和所在的团队编制发行了《人工智能技术蓝皮书|公共安全篇》、《视频云技术蓝皮书》两本蓝皮书。

以人工智能为首的智联网发展是智慧城市下一阶段的关键。升级安防场景有助于搭建更高效的城市治安系统。随着技术的革新和发展，AI+安防系统取代了传统的安防措施。大型安全防范系统结合技术手段，具有探测、监控、报警、管理等基本功能，用于预防、制止违法犯罪行为和重大治安事件，是维护社会治安稳定的基础设施[6]。视频云大数据应用基于人工智能与大数据技术，以人脸识别技术为核心，整合人脸抓拍、视频+门禁数据、网格化数据、设备数据（WiFi）、车辆抓拍数据等多维数据，以视频大数据的比对、分析、挖掘能力从人、车、案等多角度协助管理人员开展打防管控工作，解决人工翻查录像费时费力、发现预防能力不足、重点管控对象不能主动发现、人员精确身份难以确定、海量布控库下如何精准打击等问题。视频云大数据应用是一个整体解决方案，以视频图像为主、多种资源关联叠加，构建了视频资源服务体系和应用体系，实现了多维感知数据的汇聚、解析和存储[7]。

未来的数字城市建设，将会同时融合城市三维地图、实时视频监控、多维数据、行为识别、行为预测、数字孪生多种技术和系统。

传统模式下，各个系统和技术是独立的。以地图为例，大部分业务系统还基于二维地图无法真实还原位置信息和地图空间信息，无法有效满足对重点区域、重点场所、重点建筑的三维数字应用，尚停留在业务数据的简单叠加，不能充分挖掘深层次的地图数据应用，地图能力与业务应用的深度结合有待进一步提高。视频应用也存在较多的局限性不能充分发挥视频能力，仅仅局限于固定点位监控，视野限制较为狭窄，各个视频点之间互补关联、相互独立，缺乏整合、拼接和融合应用。在多维数据的整合上也存在诸多不足，表现为各类业务数据和*深关注的目标之间无法和视频建立起直观的对应、关联关系，针对不同的业务场景，缺乏综合的、统一的可视化平台来进行数据整合。

图1  数字城市局部

在数字城市的建设中，更加关注城市级的三维地图应用，能够完整呈现城市地理空间，进行精细刻画，采用城市三维地图，可以直观还原受关注区域的地理空间信息，满足各种对重点区域、重点场所、重点建筑的精细空间刻画及复杂业务应用的需求。基于三维地图模型独特的空间优势，可以将三维地图应用和城市中重要的人、车、物等重要目标进行直接关联，突破视频监控应用界限，实现城市的数字化视觉描述。与此同时，将城市中分散的视频监控进行整合、关联，最大限度地实现视频的联动应用，拼接、融合以及跨镜追踪（ReID），能够实现目标对象的行为识别和行为预测，业务数据一旦实现可视化应用，就能充分挖掘视频大数据的潜力，将城市治理中最关键的三要素（人、车、物）进行精细化数据刻画。以视频结构化大数据为核心，结合城市多维数据，充分运用AI技术最大限度发挥数据的可计算能力，通过落地具体的应用场景，通过多元素标签数据整合各种场景的业务数据，最终构建一个三维可视化、视频融合、多维数据关联的数字孪生城市。

数字城市的构建要重视四个能力的建设。一是地图能力，系统要具备地理特征的还原、地图基础能力挖掘和地图应用业务的赋能；二是视频能力，要能够通过视频呈现真实的世界、对“人、车、物”三要素进行实时结构化处理，同时能够实现视频的接力应用；三是数据能力，将多维数据（包含视频）整合到三维作业地图中来，各种安保数据、政务数据、社会数据都能够整合应用，预警、告警信息能够进行联动，城市基础治理数据能够实现接入、整合；四是系统要具备灵活的自定义配置能力，各种元素可视化的样式可实现自定义、可视化字段类型可自定义、报表和仪表盘样式可自定义。

四个能力中有两个能力是特别重要的基础能力。一个是地理特征还原，简单理解就是要构建三维地图模型建模，主要包括地理数据大范围建模（可以采用2.5D地图转换3D、国规委地图）、倾斜摄影大范围建模（可以采用无人机）、精细化建筑三维建模（常用的精细化建模工具包括建筑信息模型BIM和3D Max）三种类型。另一个就是“人、车、物”实时视频精细刻画应用，在数字孪生城市中对人员的精细刻画特征信息包括性别、年龄、是否背包、上身衣着、下身衣着、帽子和眼镜等；对非机动车的精细刻画特征信息包括非机动车类型、骑行人员头盔、上身衣着和下身衣着；对机动车的精细刻画特征信息包括车型、车身颜色、车牌号码和车辆品牌。相信随着AI和3D技术的融合，未来能够实现更加精细化的三维地图模型和更全面的视频结构化的特征信息。

图2  实时视频结构化

AI赋能视频大数据下数字城市应用有着广阔的前景，目前来看，以下三大场景需求最为迫切：

1.重点区域场景。对重点区域视频监控进行视频融合、拼接，可提升视频监控的应用效率；通过人脸识别、人数统计等AI技术实现人员身份确认及人流热度管控；对进出区域的车辆身份进行确认以及周边道路状况实时动态监测；通过视频智能分析技术实现对重点区域突发状况提前感知预警。

2.大型活动安保场景。大型活动最直观的方式就是能够远程实现现场画面的监控，在活动区域可以整合各类视频图像到三维地图中；通过三维模型就能更加直观呈现活动场所内重要基础设施、道路及内部通道，提高应急处置相应效率；通过人证合一、票证系统实现对区域人员身份进行确认及活动区域人流量及人群热度精准掌控；再结合三维模型实现安保警力部署的直观应用及应急预演；辅助以活动应急处置信息的推送手段实现全方位管控。

3.应急指挥场景。实现各类告警、警情的准确定位；针对告警、警情地点周边视频资源制定联动策略；对告警、警情地点周边警力部署位置直观呈现；结合智能路网应用分析出处置最优路径；通过实时视频结构化对目标进行精准打击；为指挥调度指令的下发、上传建立高效的传送渠道。

数字孪生城市在近两年发展非常迅速，得到有关部门、专业人士的高度关注，有望成为智慧城市建设的一种新的方向，能够更好的促进智慧城市的落地和深度应用。数字城市建设越完善，就会对相关的智慧制造、智慧楼宇、智慧园区等智慧应用产生深远的影响，具有示范效应。

责编：邓蕊玲