温江涛----后摩尔时代的视觉感知技术突破

2019年12月23日，清华大学计算机科学与技术系教授、清华大学物联网中心主任、媒体与网络清华大学-微软教育部重点实验室联合主任温江涛做客IIIF创新驱动茶座，发表“后摩尔时代的视觉感知技术”的主题报告。清华大学经管学院张陶伟教授、财新智库首席运营官叶桐、英诺天使投资总监马瑞等20余位嘉宾参加讨论。茶座由IIIF执行主任刘颖主持。

活动现场

温江涛于 21 世纪初在美国从事视频编码、多媒体通信等相关领域的研究和标准制定，多项专利被国际标准采用。他作为共同创始人、主要技术负责人和天使投资人参与创办了多家公司，先后被 Dell、Facebook 等上市公司收购，产品在世界各地广泛应用，包括三星、华为、阿里巴巴、谷歌等公司都在使用他设计实施的产品。2012 年，温江涛回到清华任教，回归学术界后仅三年即当选国际知名学会IEEE Fellow，是当时中国大陆最年轻的当选者。

温江涛教授做主题演讲

温江涛认为，计算机视觉正处在三个趋势的交汇期：无处不在的视频和视觉应用；摩尔定律和登纳德缩放效应的终结；以及伦理和隐私被越来越广泛的重视。他说，在过去仅五十年的时间里，半导体工艺的改进带来巨大的效益提升，即使应用架构保持不变，摩尔定律亦能带动计算机处理能力提升近万倍，但由于近年来半导体工艺提升速度放缓，芯片功耗逐渐上升，处理器能力、AI 算力遭遇瓶颈，仅仅依靠摩尔定律提升人工智能领域的经济效益不再可行。

“即使用我们能设想的最先进的理想半导体技术，要实现类似生物大脑的信息处理能力也需要10兆瓦的能耗，但是生物大脑的能耗不过10瓦，这里面有 1000000:1 的差距。如果将视觉数据通过网络传输，功耗会增大若干数量级，而且延时对很多应用来说变得并不现实”。温江涛说，“人们希望通过 AI 处理器来解决这类问题，希望摄像头更智能，避免摄像头和云服务器之间的数据传输，并且处理视觉信息比传统通用服务器更有效率”。

温江涛指出，除了数据在芯片上和芯片外、网络中的传输，现有体系对于视觉信号的表示和处理的效率也有待提升。人类大脑可以通过各种方式直接实现非线性处理，但机器只能处理0和1这样的二进制数据，需要用很多门电路才能完成对复杂逻辑和函数的模拟，这在很大程度上限制了效率。因此，模拟生物视觉开发仿生芯片，通过监控神经元的突起开发出深度学习的算法并集成到线路中，是降低芯片能耗的可行途径。

温江涛认为，伴随着摩尔定律失效，设计特定的产品架构降低能耗和成本是计算机视觉领域发展的突破口。“我们现在已经进入到了一个面向特定域设计架构的时代，目前最大的限制因素就是能耗。我们需要提出一系列新的理论指导下的算法，针对特定应用领域，面向应用和算法设计架构，面向应用和架构设计算法，思考如何更高效地感知、处理计算机获得的数据”。而在下一代 “视觉感知” 技术中，温江涛认为将是一种新的阵列，耗能和整体延迟率都非常低，具有学习能力，并且不断进行自我演进。他认为“这是后摩尔定律和登纳德缩放效应时代视觉处理的必由之路。”

据此，温江涛带领团队设计了新的视觉处理器架构VPU（Visual Perception Unit，视觉感知单元），以极低的功耗和延时，更好地完成感知、追踪和识别等基本视觉任务。区别于传统的处理将光子信息通过光电转换和复杂的信号处理，重建为一系列数据量巨大的高清晰度像素点阵序列信息，再通过通用或者专用处理器处理，中间涉及大量的无效计算和数据传输，并且为了完成数据传输，需要压缩、解压缩等复杂处理。VPU可以直接感知光子，不需要通过视频序列的重建就可以直接完成视觉任务，避免了大量无效计算以及数据传输所需的复杂处理，从而实现了现有体系无法达到的低功耗、低延时和处理性能。由于大量的感知单元运行着一系列随机任务，为了能更好地配置资源，必须高效建模，再实时动态地对数以万计的处理资源做优化分配。利用该项技术，温江涛带领团队2019年在世界上首次实现了广播级8K+5G的男篮世界杯比赛实时转播，而最令他自豪的是，该项技术也在新华社国庆70 周年庆祝活动24小时直播中得到应用，并取得了很好的直播效果。“我们希望和内容制作商广泛探讨，把这项技术更好地运用在体育、音乐等领域，搭建起一个生态系统，更好地建立面向下一代的视频技术”。

而VPU架构的另一个好处是，这项技术实现了给人看的视频与给机器看的视频分离，因为没有办法接入监视器，所以捕获到的视频图像只能提供给机器识别。温江涛认为，随着技术的进步，计算机会做到不需要的数据就不需要去获取，未来大多数视频给机器看，而不是也不应该给人看到。这也在某种程度上解决了技术发展带来的伦理和隐私保护的问题。温江涛认为，技术飞速发展过程中，要尤其重视与法律、伦理等同步协调，因此，要加强不同学科之间的交流与协作。

活动现场

对于科学研究和创新创业，温江涛认为，回过头看人类历史上真正有价值的发明和创新，不是做了科学研究或者创造了理论之后，再想这个东西可以在什么地方应用。而是需要先找到要解决哪些问题，再一一去寻求解决方案。而之所以有些研究不能落地，就是因为做了一些现实中并不需要的抽象，解决了一些其实并不需要解决的问题。他认为创新创业的成功也许有一定的偶然性，但必须要符合科学的逻辑。“麻省理工学院 Bob Gallager 教授说过，做教授最基本的职责是帮助学生去找到一个最简单的没解决的问题，我觉得这里每一个都是关键词”。温江涛这样结束了他的演讲。

茶座合影

文：刘颖、李博

图：常志东