The State of VVC Adoption 和 Implementation
编解码器的采用就像整个城市正在缓慢发展的发展. It seems to take forever to get the roads, 风暴排水, 和 sewage systems in 和 the lot grading completed. 开发商会建造一两个样板房来激发人们的兴趣, 但至少在前几套房屋完工之前，没有人会购买. Adventurous first movers take the leap, 产生更多的看客，他们变成买家，产生更多的移动货车和被践踏的院子. 几个月或几年后, all of the homes are completed 和 occupied; trees, 灌木, 和 flower gardens are growing; 和 the development becomes a mature neighborhood.
I recently participated in a panel on VVC at 流媒体 East. 在哪里 VVC 在 编解码器采用过程? 道路、雨水渠和污水处理系统都安装好了，甚至还有一两个样房. If you read the tea leaves, you know that VVC has 位置, 位置, 位置, so it’s bound to be a success. 但不幸的是，大多数房屋还需要数年时间才能准备入住.
OK, that’s it for the metaphor, I promise. 在本文中, I’ll introduce you to the panel’s participants, briefly summarize key details from their talks, 和 share a download link to their presentations. Stay with me through this lengthy article, 这样你就能更好地理解VVC在哪里，什么时候会崭露头角. In the end, I’ll share some thoughts on what this all means for the AV1 codec.
适合TL和DR类型, 如果你是一家在VVC专利列表中排名不高的视频出版商，我会这么说, 在2026年或更晚之前，你可能不会考虑VVC. If you’re looking to augment your H.264 encodes with a more efficient codec before then, your most likely choices are HEVC 和 AV1, LCEVC也是一种选择. 然而, 如果你是流媒体生态系统中的产品或服务提供商, 早该开始考虑VVC何时何地适合你和你的目标客户了.
让我们来见见小组成员，大致了解一下他们的演讲.
VVC Performance 和 St和ardization Efforts
第一位演讲者是Alan Stein, google的技术副总裁 指状组合型这是一家专注于无线和视频技术的研发机构. (Download his presentation here.Stein首先概述了VVC的架构和新的编码工具, 使质量比HEVC提高了40%, 只有1.6x decode complexity versus HEVC. 你会看到, 这转化为几个早期的VVC部署和移动设备上高效的纯软件播放.
然后斯坦转移到部署状态，部分显示在 图1. 图中的部署在很大程度上与应用标准有关，这些标准将促进和加速VVC在未来设备中的采用. 例如, 包含在DVB工具箱中意味着编解码器可以在遵守DVB标准的地区或国家部署, which will naturally accelerate VVC’s deployment. 纳入ATSC标准意味着在某个时候，在ATSC 3之后.0 st和ard becomes m和atory, TVs sold 在 U.S. 加拿大将越来越有可能支持VVC，再次加速其部署.
图1. VVC在应用标准中的应用(摘自Alan Stein)
其他标准简化了潜在发布者和生态系统提供商实现VVC的过程. 例如, CTA WAVE内容规范用于开发编码和播放器开发人员与计算机的兼容性测试, 移动, 和 living room device manufacturers. 这有助于确保当编码器产生VVC流时, it plays without a hitch on all available players, 简化内容发布者的部署.
All of this is the plumbing that I referred to; as VVC is incorporated into more 标准, 这意味着未来会有更多兼容的设备和更快的部署. 从测试和兼容性的角度来看，部署VVC就越简单, the faster 和 more profitable the rollout. These are great harbingers, but only that.
VVC版税结构
The next speaker was Robert J.L. 摩尔, a patent attorney from Volpe Koenig, who discussed the two VVC-related patent pools, the major patent owners that are not in a pool, 版税结构, what’s subject to a royalty, 什么不是(看 图2). 摩尔说，与HEVC一样，大部分的版税将由设备制造商支付. 由于它与内容有关，Via LA池由 merger of MPEG LA 和 Via Licensing, does not charge for content. 而Access Advance池对vc编码的内容收费, it’s only on content shipped on physical media, 比如磁盘或u盘, 这是相同的模式Access Advance使用HEVC. 如果你在流式传输vvc编码的视频，就不收费，即使是按次付费或订阅.
图2. 两个VVC池及其各自的版税结构(来自Robert J.L. 摩尔)
摩尔还描述了Access Advance协议池的不同定价层，并指出Access Advance协议池的授权商如果同时授权VVC，只需要为同时使用两种编解码器的设备多支付25%的费用. 除了, 摩尔指出，像高通(Qualcomm)这样的大型VVC知识产权所有者并不在这两个阵营中，而是与设备制造商进行双边授权. 这个模式, in which the largest IP owners license directly, while smaller IP owners join pools, is common for most technology 标准.
摩尔最后谈到了MPEG LA和Via Licensing的合并, 并指出合并后Via LA的所有权与Access Advance非常相似. 报道, 他说，有人猜测Via LA可能会解散其VVC池，使市场向Access Advance拥有的单一VVC专利池迈进.
VVC播放状态
下一个, 我谈到了三个主要市场对VVC播放的支持:电脑, 移动, 还有客厅.ly / VVC_Playback). With在 context of my neighborhood example, 我应该最后说的, 因为播放支持代表了发行商进入的最终归宿. 不支持播放, 世界上所有的管道都无法说服发行商部署新的编解码器.
在这方面，消息就不那么乐观了，尽管这并不令人意外. 具体地说, the VVC spec was finalized in July 2020; about 3 years later, 目前还没有公布的计算机或移动cpu, gpu, or SoCs with VVC playback or encoding. 考虑到芯片和相关设备的开发周期, 这意味着我们可能要到2024年中后期才会看到第一台带有VVC的电脑或移动设备，而硬件播放的潜在市场也要到2-3年后才会出现.
为视角, AV1 was announced in April 2018, 2023年1月, just fewer than 5 years later, a ScientiaMobile研究 报告称，移动硬件对AV1的支持仍低于3%. 不幸的是, 硬件支持需要很长时间才能达到临界质量, 和, 如果有什么区别的话, VVC seems to be running behind AV1.
Despite the lack of hardware support, 几家软件公司, 包括葵, ByteDance, 腾讯, 和MX Player, 似乎是将VVC传送到移动设备上，仅供cpu播放. 图3 显示了葵和字节跳动在2022年1月发布的令人印象深刻的播放统计数据. 请注意, 两家公司都拥有对VVC有贡献的重要专利因此，他们有动力加速其部署.
图3. 令人印象深刻的播放统计数据从两个VVC利益相关者，葵和字节跳动移动设备
除了, 值得注意的是，据报道，来自印度的MX Player和MX TakaTak提供的VVC流高达其安装基础的20%. Neither company is listed as a significant IP owner, 因此，部署VVC的动机可能只是为了节省带宽. 不管是什么动机, 这些报告确实证实了指状组合型的Stein关于VVC播放效率相对较高的说法.
幸运的是, 客厅里的集成电路图要亮得多, 哪里有多个现有的硬件解码器从联发科, 瑞昱, 和VeriSilicon, 和, 事实上, several TVs shipping in 2023 with VVC decode (see Tommy Flanagan’s excellent article). HEVC也是如此, 在成为电脑和手机播放的目标之前，我们可能会看到VVC被广泛部署到客厅.
关于客厅的另一点是，当你的服务安装了控制播放的机顶盒时，部署一个新的编解码器要容易得多. So, 在我们看到IPTV VVC用于移动设备和计算机的通用部署之前，我们很可能会看到一些绿地IPTV VVC部署. 这些可能看起来很像本文后面描述的一些Ateme的VVC试验.
Encoding 和 Packaging VVC for VOD
这就引出了下一位演讲者，Igor Oreper，首席架构师 Bitmovin, who covered encoding 和 packaging for VOD. (His presentation is at bit.ly / VVC_File_Package.) Oreper首先确定了最近发布的和/或可用的一些VVC编码器. He mentioned two open source versions, 弗劳恩霍夫和JVET标准VVC开发团队各一个, 和 commercial encoders from MainConcept, ByteDance, 腾讯, 阿里巴巴, Ateme, 和Bitmovin.
Oreper表示，Bitmovin的云实现基于 Fraunhofer encoder, which I reviewed in 2021. He shared the chart shown in 图4，比较VVC(红色)、AV1(蓝色)和HEVC(灰色虚线)的质量。. HM和VTM编码器是标准开发团队制作的参考编解码器. 它们在最高质量设置下实现所有可用的工具，以表示该编解码器可用的最高质量.
图4. VVC的VOD编码选项(from Igor Oreper)
从图4的图例中可以看到，较低表示质量更好，而左边表示速度更快. 从图表中可以看出，两个版本的VVC都比AV1略快，质量也更高，比x265慢，但质量要高得多. VVenC编码器令人印象深刻地接近VTM参考编码器所代表的最高质量, with a much faster encoding time. 为了达到这些结果, Oreper报告说，VVC的计算需求是AVC的8倍, 比HEVC多4倍, 是AV1的2倍, 这预示着云服务的定价将会如何，以及内部生产VVC的成本会有多高.
他最后指出，包装分发的VVC将非常类似于AVC和HEVC, 具有ISO-BMFF(又名MP4)和MPEG-2 TS格式以及AAC和MPEG-H音频编解码器. DASH和HLS自适应比特率选项也应该相似, 对标题和字幕使用相同的格式，对加密和DRM使用相同的选项. 考虑到指状组合型的Stein提到的标准和测试状态, as well as these packaging considerations, 一旦目标受众存在，部署VVC应该是一件轻而易举的事情.
实时VVC编码
下一位发言者是Jan Outters，技术和标准主管 Ateme该公司早在2020年就开始用VVC直播赛事. 他首先讨论了实现一个新的编解码器所涉及的内容. 如你所料, 当你有一个复杂的编码工具，如Ateme的TITAN编码器, 以前执行的大部分工作都是预处理, 分析, 并将速率控制应用到新的编解码器中. 有趣的是, Oreper had the same sentiment, 当Bitmovin将弗劳恩霍夫VVenC编码器代码放入其云编码器时，他评论道, “这很有效。.” This indicates that for software-based encoders, 直播或视频点播, implementing VVC should be straightforward.
这是常有的事, VVC的直播结果与VOD编码产生的结果不太匹配, 其中一张幻灯片显示，与8K的HEVC相比，VVC的总体实际增益为20%.Outters随后回顾了atame帮助制作的各种VVC试验, including the first-ever VOD broadcast trial in June 2020; the first-ever live, low-latency trial in November 2020; 和 the more recent French Open trial in June 2022, 涉及高通公司, 法国电视, LG, 橙色, Enensys, 和Viaccess-Orca.
最近，阿特梅与巴西电视3台合作制作了2022年世界杯试播节目.0. 在这次广播中, atme将4K HDR VVC编码的视频与MPEG- h音频结合成15Mbps的流，以MPEG DASH格式分发，并在LG电视机上解码.
在他后来的一张幻灯片中, 外部显示了可能加速欧洲VVC部署的逆风和可能减缓其部署的顺风 图5). 积极的一面, 他提到了DVB成员的强烈兴趣，以及VVC带来的效率“飞跃”. 随着HEVC效率的不断提高，HEVC和AVC解码器的主要安装基础是部署速度变慢. 他还指出，最近或计划中的几项部署涉及HEVC甚至AVC. 如前所述, 尽管VVC的实施似乎是不可避免的, 这并不意味着我们会在短期内看到很大的进展.
图5. 影响欧洲VVC部署的逆风和顺风(来自Jan Outters)
VVC和HDR
The final talk of the day was by Patrick Griffis, 技术副总裁, 标准, 和 industry engagement at Dolby, 谁讨论过VVC和HDR. (See Patrick's presentation here.) Griffis started by reviewing the origins of HDR, 通过深入的方法，包括我们的眼睛如何感知亮度和颜色. The final takeaway was the data shown in 图6, 根据对人类视觉系统的实际影响和以像素为单位的成本，对可用的质量“改进”的好处进行排名. 如你所见, 增加动态范围具有最大的影响，并且与最低的比特率成本有关, 随着色彩的增加，帧率的提高，效果也会有所改善, but far more efficient from a data rate perspective. 简而言之, HDR的两个要素, color volume 和 dynamic range, 就显著的改进而言，提供最物有所值的效果, which is why HDR is such a priority with VVC.
图6. 根据数据速率成本和视觉影响对质量改进方法进行排名(来自Patrick Griffis)
后来的幻灯片中写道:“VVC从一开始设计时就考虑到了SDR和HDR. ‘HDR is now a first-class citizen.从本质上讲，这意味着HDR将从一开始就是VVC播放器的一个功能.
关键的外卖
以下是所有演讲的要点:
- 在VOD部署中，VVC的效率应比HEVC高40%以上，比AV1高10%-15%. These numbers will be lower for live deployments.
- The plumbing has been well laid for VVC deployments, 从实现的角度来看，哪个应该相对平滑.
- 在2026年或更晚之前，手机和电脑硬件播放市场可能还不足以吸引大多数发行商的注意.
- 软件VVC播放相对有效，可能是针对计算机或移动设备的出版商的一个选择. 从历史上看, 然而, only codec stakeholders like Meta have pursued this option; most independent publishers wait for hardware support.
- 客厅比手机/电脑和支持HDR的VVC早一到两年. 看起来VVC在客厅比在通用部署中更容易成功.
AV1怎么样??
人们很容易将编解码器世界视为零和游戏——如果VVC赢了，AV1就输了. But that seldom is the case. Alliance for Open Media (AOMedia) 会员拥有四大主要操作系统(Windows, Mac, iOS, 和 Android) 和 all of the major browsers (Chrome, 边缘, Safari, Firefox). 他们在计算机和移动芯片方面规模巨大(英特尔), AMD, NVIDIA), 移动设备(苹果), 谷歌, 亚马逊, 三星), 客厅(三星), 苹果, 亚马逊, 谷歌, Roku, 微软, LG), 和内容(YouTube), 网飞公司, 亚马逊, 元). 尽管苹果缺乏对AV1的支持和大量与vc相关的专利，但这让人挠头, AV1不会很快消失.
VVC具有10%-15%的效率优势，并且包含在许多电视标准中，但AV2即将到来. 甚至在客厅里, VVC的利益相关者似乎比amedia的成员更强大, 尤其是在中国, 和 VVC’s HDR advantages really shine, 图7 说明了为什么面向客厅销售的消费品制造商必须支持VP9，最终可能会支持AV1. Call it the YouTube effect.
图7. 为什么苹果支持VP9，最终会支持AV1
图中的表格显示了YouTube如何对 壮志凌云:特立独行 预告片, which has accumulated more than 30 million views. 如图7所示，如果您上传4K视频，YouTube会将H大写.264以1080p编码，并以更高的分辨率编码VP9(所有超高清视频)或VP9和AV1(最流行的超高清视频). So, if you manufacture smart TVs, 游戏平台, 机顶盒, 或其他OTT设备, 你必须支持VP9或AV1，这样你的买家才能看到汤姆克鲁斯著名的微笑在全分辨率. 这是最终迫使苹果支持VP9的筹码.
YouTube短期内不太可能放弃VP9编码, 但在某种程度上，也许在其第二代基于asic的Argos编码器与AV1上线之后，youtube可能会开始削减VP9编码, 也许在VP9中编码到2K，只有AV1在那之上. 因此，对AV1的支持很可能会继续扩大.
除了, 在客厅里，AV1比VVC有一个健康的开端, although the AV1-related HDR is still unproven. 整体, 展望未来, 除了一个基于标准的双编解码器世界之外，很难预测任何事情, 另一个来自amedia.
相关文章
当涉及到为媒体采用新兴编解码器的路线图决策时 & 从现在到2030年的娱乐内容交付, 这些数字说明了什么, 自疫情撼动流媒体市场以来，预测发生了什么变化? 在对流媒体学习中心的1月时的深入独家采访中, Rethink Technology 研究高级分析师Alex Davies讨论了Rethink的新M&电子编解码器市场预测.
2023年7月17日
Anytime you start working with a new codec, 为了实现最佳性能/质量优化，您应该运行一些基本测试. 在本文中, 我将带您完成这些测试，同时使用包含Fraunhofer VVC编解码器的FFmpeg版本编码VVC.
2023年3月21日
With the recent launch of version 1.0, SVT-AV1在质量上似乎已经赶上了libaom, with very definite performance advantages. Its two-pass rate control is tested 和 proven. 如果你今天正在创建一个AV1编码工作流程，强调编码速度和质量, SVT-AV1 should definitely be on your short list.
2022年9月8日
Companies 和 Suppliers Mentioned