//

近年来，随着终端设备的全面发展，直播在日常生活中越来越普遍。越来越多的人在直播间与主播互动，作为娱乐的一种形式。然而，一些直播平台频繁的卡顿和单一的奖励效果会影响用户的直播。Livevideostack邀请腾讯云的江敏向我们介绍腾讯云如何将云渲染应用到直播场景中，为直播带来更好的体验。

文/江敏

编写/LiveVideoStack

大家好，我是腾讯云的江敏。我与大家分享的主题是即时云渲染与直播应用领域相结合的技术探索。2020年，我加入了腾讯云渲染团队。腾讯云渲染平台逐步从最初的云游戏平台发展起来。目前支持3D云应用、虚拟直播、云计算机等相关功能。今天，我们将从两个方面介绍云渲染及其结合云渲染的直播场景。

-01-

云渲染介绍

1.1 | 云渲染是什么意思？

云渲染是在云中安排软件或游戏，云渲染支持用户即时操作，适用于全端SDK（Web、安卓、iOS）连接，并为用户提供接近当地延迟和高画质的操作体验。图中显示了云渲染的主要流程，客户在web上、小程序或相关APP操作，其信令将发送给云渲染案例，云渲染案例可以是3D软件，也可以是游戏和其他应用程序。图中显示了云渲染的主要流程，客户在web上、小程序或相关应用程序操作，其信令将发送到云渲染案例，云渲染案例可以是3D软件，也可以是游戏和其他应用程序。使用或游戏接受相关命令，获得真实响应，并产生相应的界面，通过收集号码发送到云渲染终端。

1.2| 云渲染系统架构

介绍云渲染的基础设施。在功能上，云渲染架构可分为三层：客户接入层、云渲染逻辑处理层、云渲染计算率层。

顶级客户接入层通常是云渲染客户承担与云渲染终端SDK、云渲染案例管理和资源管理相关的API。

中间层为云渲染逻辑处理层，主要包括安装和运营客户应用、资源管理、并发调度和云渲染RTC传输。

底层是云渲染算率层，如GPU资源、CPU资源、网络资源、边缘节点资源等。

-02-

探索结合云渲染的直播场景

下面结合具体场景介绍云渲染在直播场景中的一些方向和技术探索。

2.1| 直播弹幕游戏

最先介绍一下近期比较火热的直播弹幕游戏。直播弹幕游戏的关键玩法是主播在直播间直播弹幕游戏，观众在直播中根据评价或礼物在屏幕上互动。弹幕游戏直播的关键玩法是主播在直播室直播弹幕游戏，观众根据评价或礼物在直播中在屏幕上互动。弹幕游戏不仅能有效提高直播室的知名度，还能提高直播的收入。与传统直播相比，弹幕游戏的直播具有更强的互动性和更强的观众参与感。例如，观众可以根据评价或礼物在下一场比赛中取得成败。调查发现，国内主流直播厂商已经支持弹幕游戏直播。

看看传统的播出过程，首先，主播在PC主机上安装游戏和播出工具，播出工具可能由直播制造商提供，也可能是一些开源项目，如：OBS；然后运行游戏和广播工具，调整广播工具的相关设置，并将游戏界面推送到直播后台；最后，主播和玩家进入直播，玩家在主播直播室推送弹幕或购买礼物参与游戏。

要解决三个问题：全过程汇总：

（1）Windows PC要求，绝大多数弹幕游戏都是围绕windows系统开发的，无法在手机或MAC系统电脑上运行；同时，在某些极端情况下，手机无法满足弹幕游戏。

(2)弹幕游戏直播观众根据推送弹幕和购买礼物即时参与互动，必须实时计算和渲染互动内容，并提交流畅、高质量的游戏和观看体验。因此，移动终端或普通计算机是否能满足当前的要求，如上图右侧显示弹幕游戏开放商推荐的播出设备清单：①CPU规定，最新13代英特尔CPU推荐CPU ；②显卡规定，建议不少于RTX2060；③内存规定不少于32G；④根据显示屏规定，建议使用两个4K屏幕。因此，借助云服务器更强的计算能力和图像处理水平，将弹幕游戏的运算渲染任务转移到云中，无需担心当地终端能量的限制。因此，借助云服务器更强的计算能力和图像处理水平，将弹幕游戏的操作渲染任务转移到云中，无需担心当地终端能量的限制。目前，大多数弹幕游戏已经被切割到云中进行处理和渲染。

(3)播出分辨率不足，画面模糊。观众关键是通过手机进入直播，所以弹幕游戏是根据坚屏开发的。此外，手机的分辨率将达到2K。因此，为了保证观众有更好的观看体验，主播播放的显示分辨率最好达到4K。

针对上述问题，腾讯云提出了三种解决方案：

第一个方案是传统的轻云渲染播出。根据腾讯云渲染的SaaS方案， 根据Web浏览器访问云渲染案例，客户不需要连接云渲染所有API或SDK。

根据腾讯云渲染的SaaS方案， 根据Web浏览器访问云渲染案例，客户不需要连接云渲染所有API或SDK。界面将传输到当地PC，然后根据一般的直播流程使用播出工具进行播出。这样，弹幕游戏运行云可以解决弹幕直播硬件的问题。只要主播提前预测游戏和主播室需要多少计算率，然后购买相应的计算设备及其并发性。然而，直播室的游戏屏幕收集可能在主播的PC机上，因此分辨率问题仍然没有得到有效解决。此外，主播可以直播多个游戏，并连接多个直播平台。不同的游戏和直播平台将有不同的设备。因此，广播环境不规范，广播流程不规范。在云渲染播出方案的深度结合下，可以轻松解决这一问题。

方案二是云渲染播出的深度结合。

具体来说，直播制造商将云渲染的SDK集成到制造商的广播工具中，使制造商的广播工具能够获得云渲染收集代码的初始音频和视频数据，并可以直接或二次优化将音频和视频流推送到直播室。该方案不仅可以解决播出硬件问题，还可以解决主播分辨率问题；而且主播只需要打开相应的播出助手，所以也规范了主播的播出流程。该方案不仅可以解决播出硬件问题，还可以解决锚主机分辨率问题；锚只需打开相应的播出助手，因此也规范了锚的播出过程。深度结合云渲染，直播平台制造商必须连接云渲染SDK和相关API，具有一定的项目成本。当然，一些制造商已经这样做了。

最后一个计划是云电脑播出。

云计算机播出是将所有计算机场景推给主播，而不仅仅是游戏界面，还将当地终端的麦克风、摄像头等硬件配置跳转到云计算机。

云计算机广播是将所有计算机场景推送给主播，而不仅仅是游戏界面，还将当地终端的麦克风、摄像头和其他硬件配置跳转到云计算机。在播出之前，主播在云计算机上组装弹幕游戏、广播助手和其他专业软件，然后在云计算机上播出。所有操作都在云计算机上进行。该方案游戏运行云，它必须能够解决播出硬件和能源问题；由于音频和视频信息是云计算机立即推送到直播平台系统，它也解决了锚主机分辨率的问题。自然平台也可以根据实际需要制作云计算机镜像，以实现场景。主播在播出前选择所需的镜像，以形成播出环境，因此整个播出步骤相对标准化。在所有方案中，平台连接非常轻，基本上没有额外的项目成本。

最后，我们来看看硬件要求、分辨率、播出环境、播出步骤和平台干预的比较。

2.2 | 虚拟特效

让我们来看看虚拟特效场景。传统的礼品奖励基本上是按照上图所示的步骤，用户购买礼品和消息发送到直播APP、礼品特效直接从观众终端本地渲染。传统的礼品奖励基本上是按照上图所示的步骤，用户购买礼品和消息发送到直播APP、礼品特效直接从观众终端本地渲染。由于特效是本地渲染，必须考虑不同终端的能量差异，因此特效相对简单，效果单一。云渲染虚拟特效期望实现以下目标：

如上图，我们将虚拟特效的渲染从观众终端转移到云端，屏蔽观众终端能量的差异，渲染更复杂的特效。上图右侧显示了云渲染虚拟特效的基本步骤。观众将在APP上奖励和奖励信息发送给各直播平台的服务，直播服务将特效请求转发给云渲染服务，特效将呈现给云渲染案例，云渲染案例将采集和编号渲染特效界面，将编码流数据转发给直播平台，将直播平台的混流特效和直播视频流和混流数据推送到直播室。

在规划虚拟特效时，我们在思考如何完成千人千面的虚拟特效。上图显示了融合AIGC能力，完成特效的千人千面的水平。上图显示了整合AIGC能力、完成特效的数千人和数千张脸的水平。在相关流程中，客户获得提示词，通过文本批准、单词提升、文学地图、图片审核，并整合相应的场景形成特效。这里还支持厂家提交自己的模型，整合云渲染服务，从而实现更多与自己业务相关的特效。

以腾讯云直播为例，上图显示，介绍云渲染虚拟特效与直播系统集成的架构。主播或粉丝奖励、消息发送到业务背景、业务背景将特效要求传输到云渲染系统、云渲染系统将渲染后的特效数据发送到腾讯云直播系统、直播混流，然后将混流后的数据推送到直播室。

2.3| 多人同屏互动直播

最后，我们来看看同台多人互动的场景。目前直播互动以视频连麦为主，互动相对单一。目前直播互动以视频连麦为主，互动相对单一。多人同台互动应在视频直播的应用中增加互动效果。同时，主播可以实时与观众进行语音或视频互动。

首先，让我们看一段视频，多人同台视频互动效果的直观感受。在视频中，主播和观众可以相互迁移操作权限，切换角色等服务。

上图右侧显示了多人同台视频互动的基本步骤。观众进入现场直播，向主播申请互动角色，主播批准，观众角色可以参与互动观众，互动观众可以在当地操作自己的游戏角色，云渲染SDK用户操作指令传达给云渲染案例，云渲染案例游戏接受互动观众操作指令，做出真正的回应。在整个过程中，云渲染系统需要支持权限迁移、角色转换、观众操作和相应的游戏角色的准确识别等。在整个过程中，云渲染系统需要支持权限迁移、角色转换、观众操作和相应的游戏角色的准确识别。此外，如何保证高画质、低延迟的感觉，提高互动总数的限制也是一个亟待解决的问题。

如何保证多人在同台视频互动中的顺畅游戏体验？这里的重点是处理传输问题。这里的重点是处理传输问题。危害传输主要有两个方面，

一个是物理距离，另一个是网络空间。

顾名思义，物理距离是现实中两地之间的距离。间距越长，传输效果越不能保证。另外，即使两个人都在同一个地址，不同网络空间的传输效果也大不相同。因此，“减少”物理距离，“消除”网络差异成为处理问题的核心。

通过增加边缘节点及其附近连接来解决“减少”物理距离。如遇近距离传输延迟也很高，将作为历史信息保留，作为下次调度策略的参考。

根据选择合适的代码流传输来解决“清除”网络差异。总的来说，当第一个新客户连接时，发布更大码率的流量，并保持它 t1 秒；t1 几秒钟后，系统根据算法评估的客户网络空间可接受的代码率B和系统代码的代码率（例如，系统编写三路代码流，从低到高代码率分别为B1、b2、b3)决定是否切流。总的来说，比较b和b1/b2/b3的大小，选择最接近b和小于b的路流进行转换。

码率切换分为：

①当大码率流入小码率流切换时，不断发布新流 t2 秒，然后转换回大码率再试，检测客户网络空间是否变好，再试n次，每次再试间隔逐渐增加；

②当小码率流入大码率流切换时，不断发布新流 T3秒；在持续发布新流量的过程中，如果评估的代码率变化率非常大，超过设定的阀值T，将停止发布路流，并根据实际代码率计算共享哪条路流。

根据上述讨论，多人同台视频互动场景引入多码率和边缘节点，所有架构如上图所示更新。观众可能不是直接访问云渲染案例，而是连接到数据传输服务。当观众连接时，他们可能不会直接访问云渲染案例，而是连接到数据传输服务。此外，整合连麦还需要增加混响效果，直播服务也可以根据实际情况进行分级转码。

2.4| 云原生拍摄

最后，让我们来看看云原的录制场景。首先，让我们来看看常规视频拍摄和手动手机录制所面临的困难。

常规视频拍摄是指直播系统后台内置录制功能，难以实现当地渲染的音视频内容，如弹幕拍摄、礼品特效等。

手动手机录制面临的问题是无法实现大规模、自动化材料的积累 ；其次，占用手机带宽，危害观看或游戏感受；最后，视频录制权限应向客户索取，成功率低。

云渲染云原创拍摄方案是指客户通过API启用云渲染案例，使其以观众角色进入直播，并在直播中拍摄所有音视频数据。AndroidAPP或云计算机可以在云渲染案例中运行。AndroidAPP或云计算机可以在云渲染案例上运行。对于云原生拍摄，必须提供直播厂商免登录或独特账户登录直播室，并确保能够收集到云渲染案例界面。例如，windows系统确保屏幕不关闭。有趣的是，我们发现一些客户直接将录制的视频拉到直播的后台，作为直播的视频源。

2.5| 资源自助管理

最后，无论是弹幕游戏、虚拟特效还是多人视频互动，这些资源都在云渲染案例中运行。如果这个资源管理交给云渲染团队，任务量会很大。因此，我们开发了资源自助管理系统，具有以下功能：版本控制、灰度升级（升级指定案例或比例）、自动分配、命令行工具(资源自动化管理需要与用户流水线相结合)。该功能的关键应用场景包括程序包自助更新和模型自助升级。

谢谢大家！