谁在驱动腾讯会议?腾讯旗下又一顶级实验室浮出水面-冯金伟博客园

  乾明 发自 凹非寺 
  量子位 报道 公众号 QbitAI

  腾讯为解决开会问题专门开了个会。

  听起来像个段子,但这就是腾讯最新产品腾讯会议的核心概括。

  这款云视频会议产品,宣称集结腾讯在 AI、云计算、安全等方面的能力,能全方位满足不同场景下的会议需求。

  这款一推出就引发关注热议的产品,其实孵化自腾讯内部一个神秘的实验室。

  名曰:腾讯多媒体实验室

谁在驱动腾讯会议?腾讯旗下又一顶级实验室浮出水面-冯金伟博客园

  解码腾讯顶级实验室

  腾讯多媒体实验室,现隶属于腾讯 CSIG,由腾讯高级执行副总裁汤道生主管,前身是腾讯音视频实验室、QQ 音视频中心。

  官方定位是“腾讯旗下顶尖的音视频通信和处理研发团队”。

  主要的研究方向为:包含实时音视频在内的多媒体压缩、传输和通信,音视频质量评估,互动沉浸式媒体、智慧媒体等。

  实验室官网介绍称,在“实时音视频通信和处理技术、音视频国际标准等领域积累了完整的解决方案和领先的技术水平。”

  腾讯多媒体实验室高级总监商世东在接受采访时,也给出了数据证实其技术实力:

  多端通话端到端延时,在 150ms 左右。在公认的国际标准中,这是衡量通话质量是否好的核心标准。

谁在驱动腾讯会议?腾讯旗下又一顶级实验室浮出水面-冯金伟博客园

  尤其是在互联互通的会议场景中,网络状况、终端设备、使用场景等极为复杂,每一个细小变量都可能相当于“蝴蝶在亚马逊流域扇动了一次翅膀”,对最终结果产生极大影响。

  在这样的条件下,保证如此优质的实时音视频通信能力,在全球少有公司能够实现。

  商世东说,腾讯会议就是这些领先技术的直接呈现。

  开会的本质是要高效互联互通

  腾讯为什么要做腾讯会议?产品刚一发布,这个问题再次摆到了腾讯云副总裁吴祖榕面前。

  他也是腾讯多媒体实验室总经理,腾讯会议项目的牵头人。

  “在过去的一年时间里,我经常会被问到这个问题,”他说。“在腾讯的体系下,很多人会觉得说开会就是这样,微信一个语音拉起来,似乎这个问题就解决了。”

  但这并不是会议的本质。吴祖榕认为,开会要解决的是高效沟通跟专业的协同问题。

  这也就决定了仅仅依靠微信或者 QQ 语音/视频通话,以及会议室的电话设备等终端根本不够用,也不适合用来在会议场景中,去解决更专业的问题。

  一方面在于设备,微信和 QQ 等通讯软件载于手机或者电脑,解决小范围沟通可以,但更大更多的人呢?每个人都举着手机或者抱着电脑打电话?

  同时,在使用通讯软件的时候,会议室的电话、电视等终端设备,也无法互联互通。至于采用会议室的电话设备等终端,这是把人都绑定在了设备上,便捷性也没法保证。

  另一方面,多设备之间的电话与视频沟通,对于网络也有很严格的要求,网络问题导致通话断断续续,也大大降低了沟通效率。

  这些都是当前企业内或跨企业多地开会存在的种种痛点,也是腾讯发布腾讯会议产品的出发点。基于腾讯在音视频通信领域 20 多年的积累,腾讯多媒体实验室表示有信心能解决这些痛点。

  在设备方面,他们打通了 VoIP 和 PSTN 传统话机等多种接入设备,支持从窄带、宽带到超宽带等多种采样率和带宽,不管是手机、电脑,还是电话、电视等等,都能接入腾讯会议的系统。

  在保证网络稳定性方面,利用了业界领先的带宽预测和流量控制技术;在音质提升方面,通过基于深度学习的音频超分辨力和智能降噪技术,进一步确保用户能接收到更加高清的语音品质,可以提升语音通信的可懂度和主观体验。

  而且,考虑到语音通话系统的复杂性,腾讯多媒体实验室还打造了面向真实网络场景的语音质量运维和保障方案,能实时检测通话的质量、对杂音和嘈杂声进行快速定位,持续保障高品质通话。

  效果怎么样?腾讯会议产品发布时也给出了数据:基于腾讯云的网络支撑,能实现最低 80ms 的超低延时,就算视频丢包 70% 也不会花屏和卡顿。

  对于会议来说,这些都是根本。但对于腾讯会议来说,这只是起步。

  用美颜降噪,重新定义开会

  在腾讯会议中,腾讯的产品力也有充分的体现。

  你能想到,一款视频会议产品中,竟然有美颜和背景虚化功能吗?但这就是腾讯会议的一些亮点功能。

  “面对突如其来的视频会议,可能很多女同事会担心自己还没化妆,”商世东说。“我们就把我们原来用在相机里面的美颜算法也用到了会议中来。”

  而且不仅仅是手机端,Mac、windows 电脑客户端上也都能美颜。

谁在驱动腾讯会议?腾讯旗下又一顶级实验室浮出水面-冯金伟博客园

  此外,腾讯会议还上马了降噪功能,这也是腾讯多媒体实验室的看家本领之一。

  在商世东的描述中,这是他们延续C端产品的地方,初步降噪之后,还会针对会议的一些常见的噪声,例如:键盘声、咳嗽声、放水杯的声音,进行定点降噪。

  “这里面的每一个点点滴滴,都是需要产品经理和研发人员仔细地去打磨,不断地做改进,”商世东还描述了这样一个场景:

为了手机样本,腾讯的工程师会拿着录音设备去公交车地铁站台采集很多移动场景中的噪音,然后把这些采集到的噪声加入平台去做语音降噪的训练。

  在他看来,这背后是对他们产品体验不断的追求,毕竟“好的产品他自己会说话”。

  但作为一款技术驱动型的产品,体验也都需要建立在技术上。腾讯会议发布后,也为其赢得了诸多好评。

  腾讯何以能?

  一方面得益于庞大的用户体量,使其能够有足够的数据和场景去优化技术;另一方面是人才,腾讯的确招揽了一批顶级人才来进行研发。

  当然,这背后还有一个不能忽视的因素,腾讯上手真的很早,历经了多年迭代。

  从 QQ 中心小团队,到腾讯技术底座

  说起 20 多年音视频通讯经验积累,要追溯到 1999 年,这时腾讯刚成立一年,QQ 还被称为 OICQ 刚刚问世,音频通话是其基本功能之一。

谁在驱动腾讯会议?腾讯旗下又一顶级实验室浮出水面-冯金伟博客园

  视频聊天功能,作为 OICQ 更名 QQ 时的重要功能,于 2000 年加入。这就是腾讯对音视频技术关注的起点,也是腾讯会议音视频技术的源头。

  虽没有直接涉及太多音视频技术的研发,但在将技术与产品整合, 带来更好的用户体验方面有了不少积累。

  这一状况持续了 10 年,也是 QQ 用户快速增长的 10 年。2010 年,QQ 同时在线用户数突破一亿,越来越多不同网络场景、使用不同设备的用户,开始使用音视频通话功能。

谁在驱动腾讯会议?腾讯旗下又一顶级实验室浮出水面-冯金伟博客园

  只采购外部技术,似乎行不通了:不仅出现 bug 之后难以定位问题,用户体验也难以保证。腾讯需要自研技术成为大势。

  在 2011 年,在 QQ 同时在线用户数达到一亿四千万之际,腾讯多媒体实验室的前前身——音视频中心成立,隶属于 QQ 业务部门,主要为 QQ 产品提供音视频技术支持。

  很快,4G 通信技术进一步普及,音视频技术成为移动互联网爆发点,各种直播与视频平台层出不穷。

  音视频中心的技术的可用场景进一步扩大,在腾讯持续推动协同开放的环境下,其开放了自研的 SPEAR 音视频引擎。

  这时是 2015 年 11 月。

谁在驱动腾讯会议?腾讯旗下又一顶级实验室浮出水面-冯金伟博客园

  历经 4 年研发,这一引擎已经具备了流控策略控制云端化、通道智能化/多通道备份机制、跨平台通信协议设计、双人/多人通话平滑切换、通话客观质量评测体系等功能。

  在当时已经处于业界领先水平,为腾讯内部相关业务方提供支撑,早已成为腾讯技术底座之一。

  与此同时,这些技术也开始走向外部企业,斗鱼是第一批尝鲜者,在 2015 年采用腾讯提供的直播连麦功能。

  种种迹象,也暗示进一步的调整即将到来。

  成立实验室,对外输出技术

  2016 年,腾讯音视频实验室正式成立,人员增长 10 多倍,达到 80 多人,由汤道生直接领导。

  技术对外的任务也进一步被明确:除了继续为 QQ 提供音视频技术支持,也要进一步将能力开放出来,在企业级市场上有所作为。

  这波调整至今,已经 3 年。

  期间 2018 年 9 月 30 日,腾讯进行整体战略升级,对架构进行大调整,腾讯音视频实验室归于 CSIG,面向企业级市场的任务进一步被明确强化。

  现在的腾讯多媒体实验室,依托腾讯云对外提供“腾讯会议”、“实时音视频 TRTC”、“互动直播”、“游戏多媒体引擎 GME”四大解决方案。

  在行业中的影响力越来越大,现在已经拿下中国银行、中国平安、新东方、VIPKID、斗鱼、快手、西山居、完美世界等行业头部客户。

谁在驱动腾讯会议?腾讯旗下又一顶级实验室浮出水面-冯金伟博客园

  与此同时,2017 年 9 月,腾讯音视频实验室美国团队成立。背后承载着汤道生给出的另一个任务:出海和国际化,音视频领域一定要做成国际标准。

  团队成员也颇为给力,腾讯也一举成为国际音视频编解码标准制定的主要贡献者之一。

  2019 年,腾讯音视频实验室正式更名腾讯多媒体实验室,团队成员横跨太平洋两岸,达到 100 多人。

  在他们的驱动下,腾讯多媒体实验室的研究深度与广度进一步增加,形成了国际标准研究与制定、实时音视频传输、沉浸式新媒体、视频编解码、音频处理、视频处理、异构平台、音视频通信质量评估、智慧媒体等九大研发领域。

  腾讯多媒体实验室成长启示录

  近年来,随着人工智能等前沿技术的兴起,不少公司都纷纷在企业内部设立了实验室,希望能够提前布局,抓住红利。

  当前 AI 研究到技术落地,中间始终存在不小差距,而且研究往往投入大,对核心产品和主营业务见效又不会立竿见影。

  因此不少实验室也就出现了各种各样的变动与困局。

谁在驱动腾讯会议?腾讯旗下又一顶级实验室浮出水面-冯金伟博客园

  腾讯多媒体实验室从为一个产品提供技术支持,到为整个集团的技术底座,现在走向世界,在整个领域拥有话事权。

  这也为如何在企业内打造实验室提供了一个参考:核心是技术研发,但本质是为业务服务。

  腾讯多媒体实验室,诞生于业务需求,腾讯 QQ 海量用户之下,需要更加强有力的技术团队提供支持。

  这也就为腾讯多媒体实验室的存在提供了必要条件,而且顺应通信技术发展,其也为腾讯在音视频业务方向发力提供了不少技术支撑。

  但它的发展并没有止步于此,而是基于业务经验,形成了通用的解决方案,为整个集团的业务提供技术支撑。

  这背后固然有企业发展战略上的考虑,但实验室在技术上的沉淀与研发也必不可少,因此在需求到来之时,才能够乘势而起。

  这也是其积极参与国际标准制定的动机之一,得到更多的认可,才能在更大的经济体系中,证明自己的价值。

  而现在,伴随着腾讯向企业级市场发力,多媒体实验室也通过腾讯云对外提供解决方案,并在内部提供技术能力,孵化新的产品。

  比如腾讯会议。