以可视媒体为核心的商业智能知识服务技术

1.研究背景

视觉是人类认知世界最重要的手段之一，承载视觉信息的媒体类型包括图像、视频、三维数字几何模型，统称为可视媒体。近年来，随着社会经济的快速发展和城市化进程的不断加速，传感器技术、互联网技术、大数据技术及其他高新技术开始融入城市的各个系统，物理世界中的巨量信息被采集、分析和呈现，产生了大量的可视媒体。可视媒体已经成为信息处理和信息资源建设的主体，是知识服务的主要手段。以可视媒体为核心的商业智能知识服务，指的是探索高维时空可视媒体信息的结构化分析和语义理解的新方法，并结合城市中地理位置、网络媒体、城市基础数据等跨媒体大数据资源，为电子商务、导航、物流等商业智能提供知识服务。

2.研究现状

城市的数字化与信息化建设已经成为国家现代化建设的主流和趋势。城市街景数字平台将数字街景数据与网络地图相结合，为大众和政府部门提供各种便利和服务，已在很大程度上改变了人们的生产生活方式，成为城市现代化建设和为人们提供智能服务的重要平台。经过多年的发展，大规模城市场景的三维数字化得到了广泛研究，并取得了重大进展。已有部分商业公司成功推出了各自的街景系统。国际上的街景系统包括谷歌的谷歌街景、微软的Streetside系统等。在国内，腾讯公司推出了腾讯街景系统，覆盖了全国主要城市。街景系统首先利用街景采景车，对城市街道进行全景图扫描，然后将这些信息存储在服务器上，供用户进行真实的街景实时浏览。这项工作使得用户能够方便直观地浏览大规模城市景观，是在线地图的直接、有益的补充。目前街景平台所存在的一个问题是，只能在街道的某些点进行拍摄和拼接，拍摄点之间的地段采用直接图像融合的办法，可视效果还有进一步提升的空间。通过将城市街景与增强现实、电子商务等技术结合，商家可以在街景上投放广告、设置虚拟商店，与全球定位系统（global positioning system，GPS）及地理信息系统（geographic information system，GIS）集成还能实现个性化广告投放和引导，产生比传统广告更高的效益。城市街景正逐渐成为一种新型商业媒介。

为了有效实现城市管理，现有的舆情监管系统一般利用搜索引擎技术和网络信息挖掘技术，通过网页内容的自动采集、聚类分类、主题检测、统计分析，实现对相关网络动态监督管理，为决策层全面掌握网络动态，做出正确舆论引导提供分析依据。其中，对海量异构可视媒体数据进行快速精确匹配、查询与检索是目前研究的一个热点和难点。可视媒体数据也是数字城市街景平台中的重要数据来源。基于街景视觉要素信息的匹配、查询与检索逐渐成为一门热门的交叉学科。基于内容的图像检索涉及图像视觉信息表示、图像感知模型、高维大规模的数据处理及索引等方面，它的基本思想是通过分析图像的视觉特征和上下文联系进行检索。它以图像处理、模式识别、计算机视觉、图像理解等领域的知识为基础，从认知科学、人工智能、数据库管理系统以及人机交互、信息检索等领域引入新的媒体数据表示和数据模型，从而设计出可靠、有效的检索算法和系统结构以及友好的人机界面。在国际上，各大研究机构和公司，如麻省理工学院（Pentland et al.，1996；Torralba et al.，2003）、斯坦福大学（Heits et al.，2008）、多伦多大学（Mnih et al.，2012）、IBM（Niblack et al.，1993）等，相继推出了它们的可视媒体匹配、查询与检索系统。

3.研究内容(www.zuozong.com)

基于国内外研究现状，建议从以下两个方面开展以可视媒体为核心的商业智能知识服务技术研究。这两个方面分别涉及社会基础公共服务和市场营销的商业模式，对提高人们的生活水平和促进社会经济的发展有着重要作用。

（1）基于街景大数据的导航增值信息挖掘。目前开放的街景平台拥有国内主要城市主要景点详尽的高清街景全景图。通过对街景大数据的有效分析，这些街景平台可以有效辅助高清导航地图的构建。针对街景全景图的特点，研究端到端的深度学习网络，重点考虑大场景下小样本目标的自动识别方法，街景场景的自动语义分割方法，以及道路静态和动态目标的高精度检测、定位与识别方法。基于街景大数据的交通全要素数据库自动构建的内容，至少包括路面、建筑、树木植物、电子眼、交通标志、路牌、车道线、隔离带、路灯杆，以及以上交通要素的实时检测；车辆、行人等交通参与对象自动检测与定位及其行为预测；交通灯、路障等动态交通信号设施的自动检测、定位与识别。同时，研发基于街景大数据的高清导航地图构建系统，并实现应用示范。

（2）面向图像与视频大数据的商业智能。图像与视频占互联网数据总量的70%以上，是信息传播的重要媒介。微信、微博、视频网站、直播视频吸引了大量的用户，蕴含着巨大的广告商机。与传统广告不同，视频广告方法主要研究基于视频内容分析的精准广告推荐、基于用户画像的图像与视频偏好预测以及利用虚拟对象的无缝植入。研究基于大数据的商业智能，具体包括基于视频的场景语义分割、物体识别、文字识别、动作识别等多模态信息的精确广告推荐，基于图像上下文语义信息和人类主观感受（包括视觉显著性和美学度量）的广告植入位置推荐方法，视频中场景的几何、材质、光照恢复，以及基于恢复信息的真实感对象植入方法。

（执笔人：胡事民，清华大学；徐昆，清华大学；刘永进，清华大学；张松海，清华大学）