深度学习提供了改善视频流体验的潜力
来源：CPDA数据分析师网 / 作者：数据君 / 时间：2021-07-12
用户体验受到带宽和其他问题的威胁
在这里机器学习——尤其是深度学习——可能为解决其中一些问题提供一条途径，探索使用卷积神经网络 (CNN)——一种图像识别中常用的深度学习形式——作为许多性能问题的潜在解决方案，这些问题目前造成人们遇到的技术问题在播放视频时，在卷积神经网络 (CNN) 和其他形式的深度学习中，算法试图通过创建多层“神经元”连接来模仿人脑，这些连接会随着算法从其提供的数据中学习而进行调整，所谓的“神经元”实际上是来自数据集的特征（或属性）的组合，并根据它们的数学特性被算法“激活”以进行预测。
建议使用 CNN 来加速视频“多重表示”的编码
用外行人的话来说，视频以多种尺寸和质量的版本或“表示”形式存储。播放器从它所在的服务器请求视频内容，它会根据当时的网络条件选择合适的表示，这在理论上提高了编码和流处理的效率，然而实际上通过 Internet 传送视频的常见方法——HTTP 自适应流媒体 (HAS)——在以不同质量级别对相同内容进行编码的能力方面存在限制，我稍后将对此进行解释，这些限制反过来给内容提供商以及观众遇到的许多终用户体验带来了挑战，我们发现利用 CNN 的快速多速率编码方法可以通过参考来自先前编码表示的信息来提供加速过程的能力。
基于快的性能，而不是过程中慢的元素
多速率编码使用所谓的“表示”或用于定义未来帧的压缩视频帧，大多数现有方法无法加速编码过程，因为这些方法倾向于使用质量的表示作为参考编码，这意味着该过程会延迟到质量的表示（耗时长的表示）完成，而这正是用户遇到的许多流媒体问题的原因，从本质上讲这就像您要求系统首先处理复杂的问题，然后告诉它其他所有问题都必须等到解决为止。实际上，这意味着编码过程不能比其中注定耗时长的部分快，当然这不是提高效率的秘诀，您可以通过反转问题或基于质量表示进行编码来解决问题，这种表示编码速度快。
使用 CNN 加速编码过程
在这里机器学习——尤其是深度学习——可能为解决其中一些问题提供一条途径，探索使用卷积神经网络 (CNN)——一种图像识别中常用的深度学习形式——作为许多性能问题的潜在解决方案，这些问题目前造成人们遇到的技术问题在播放视频时，在卷积神经网络 (CNN) 和其他形式的深度学习中，算法试图通过创建多层“神经元”连接来模仿人脑，这些连接会随着算法从其提供的数据中学习而进行调整，所谓的“神经元”实际上是来自数据集的特征（或属性）的组合，并根据它们的数学特性被算法“激活”以进行预测。
建议使用 CNN 来加速视频“多重表示”的编码
用外行人的话来说，视频以多种尺寸和质量的版本或“表示”形式存储。播放器从它所在的服务器请求视频内容，它会根据当时的网络条件选择合适的表示，这在理论上提高了编码和流处理的效率，然而实际上通过 Internet 传送视频的常见方法——HTTP 自适应流媒体 (HAS)——在以不同质量级别对相同内容进行编码的能力方面存在限制，我稍后将对此进行解释，这些限制反过来给内容提供商以及观众遇到的许多终用户体验带来了挑战，我们发现利用 CNN 的快速多速率编码方法可以通过参考来自先前编码表示的信息来提供加速过程的能力。
基于快的性能，而不是过程中慢的元素
多速率编码使用所谓的“表示”或用于定义未来帧的压缩视频帧，大多数现有方法无法加速编码过程，因为这些方法倾向于使用质量的表示作为参考编码，这意味着该过程会延迟到质量的表示（耗时长的表示）完成，而这正是用户遇到的许多流媒体问题的原因，从本质上讲这就像您要求系统首先处理复杂的问题，然后告诉它其他所有问题都必须等到解决为止。实际上，这意味着编码过程不能比其中注定耗时长的部分快，当然这不是提高效率的秘诀，您可以通过反转问题或基于质量表示进行编码来解决问题，这种表示编码速度快。
使用 CNN 加速编码过程
在我们的研究中，我们使用 CNN 来预测多速率编码的帧细分的分割决策。由于质量的表示通常具有小的时间复杂度（或需要少的计算资源来执行任务），因此选择它作为参考编码，这改变了现状——选择具有时间复杂度的表示作为参考编码——并导致编码速度更快，因此流媒体性能更高，在我们的研究结束时，我们发现利用 CNN 的网络在并行编码中的整体时间复杂度降低了约 41%，总之我们看到在图像识别中大量使用的机器学习技术可以为视频流媒体公司现在面临的许多挑战提供有效的解决方案，这将是满足我们所看到的对视频流不断增长的需求的关键，我们目前正在准备对集成到生产型视频编码解决方案中的部件进行大规模测试，因此我们希望市场很快就会看到这些好处。
京公网安备 11010502034401号
课程体系 
试听申请 
复听申请 
在线报名 
考试大纲 
考试报名 
准考证打印 
