Vandaag concentreer ik me strikt op Versatile Video Coding (VVC) en het potentieel voor commercieel succes. Bekijk voor meer achtergrondinformatie mijn artikel, Hoe codecsucces te voorspellen - ik heb negen vragen geïdentificeerd die de kritische factoren onthullen die grotendeels zullen bepalen of en wanneer een codec commercieel succes zal behalen.
Met dat in gedachten zal ik die vragen toepassen op Versatile Video Coding (VVC), een standaardgebaseerde codec die in juli werd afgerond. Ik stel voor dat je in ieder geval het codec-succesartikel scant voordat je dit leest.
Een van de vragen die ik niet in overweging neem, is de technische innovatie die in de nieuwe codec is geïmplementeerd. Dus als je meer wilt over de technische basis van VVC, bekijk dan dit artikel. Ik zal meteen op de vragen ingaan.
PRO NIEUWSBRIEFAudio + video + IT. Onze redacteuren zijn experts in het integreren van audio / video en IT. Krijg dagelijkse inzichten, nieuws en professionele netwerken. Abonneer u vandaag nog op Pro AV.
1. Wat is de vergelijkende efficiëntie van de codec?
Het is duidelijk dat de vergelijkende efficiëntie van de codec bepaalt hoeveel bandbreedte de codec kan besparen, een van de belangrijkste voordelen. In vergelijking met HEVC belooft het ITU-T-persbericht dat "VVC slechts de helft van de bitsnelheid nodig heeft van zijn voorganger 'High Efficiency Video Coding' om hetzelfde niveau van videokwaliteit te bereiken voor video-inhoud met hoge resolutie." Qualcomm is iets minder optimistisch en stelt dat “VVC … een 40% reductie in bestandsgrootte biedt in vergelijking met de vorige standaard, HEVC, met behoud van hetzelfde niveau van videokwaliteit.
De meest recente whitepaper over dit onderwerp is het vergelijken van VVC, HEVC en AV1 met behulp van objectieve en subjectieve beoordelingen. Tabel III, hieronder weergegeven, geeft twee van de meest relevante testcases weer die door de onderzoekers in overweging zijn genomen, UHD- en HD-video, en vergelijkt AV1 en VVC (in de tabel VTM genoemd) met HEVC met behulp van twee objectieve meetwaarden, PSNR en VMAF.
- Hoe u streamingoplossingen met lage latentie kunt begrijpen
- Vergelijkingsgids voor livestreaming
De lijn Gemiddelde onderaan vertelt het verhaal. Door van links naar rechts te lezen, met PSNR als de metriek, produceerde AV1 dezelfde kwaliteit als HEVC met een verlaging van de gegevenssnelheid van 7,3%, terwijl VVC (nogmaals, VTM) dezelfde kwaliteit leverde met een verlaging van de gegevenssnelheid van 28,5%. Als alle VTM-resultaten worden gescand, zijn ze gemiddeld iets minder dan 30% in vergelijking met HEVC.
Deze bevindingen weerleggen de ITU-T- of Qualcomm-resultaten niet, aangezien codecs over het algemeen hun prestaties in de loop van de tijd verbeteren. Toch lijkt het bewezen voordeel vandaag dichter bij 30% dan 50%, wat significant maar niet baanbrekend is.
Zoals ik zie in het artikel Negen Vragen, “is de overgrote meerderheid van de nieuwe codec-implementaties niet bedoeld om bandbreedtebesparingen of andere leveringsefficiëntie te oogsten. Enige tip van de piramide-uitgevers zoals Netflix, Facebook en YouTube hebben VP9 geïmplementeerd, ondanks dat het momenteel ongeveer 35-40% efficiënter is dan x264. In plaats daarvan gebruiken uitgevers doorgaans nieuwe codecs, zoals HEVC, omdat dit markten opent voor nieuwe klanten. "
Dit is een goede inleiding op vraag 2.
2. Welke nieuwe markten of platforms maakt de codec mogelijk?
Terugkijkend werd H.264 zeer snel geïmplementeerd door streaming-uitgevers omdat het bezorging op mobiele apparaten mogelijk maakte, wat de vorige codec, VP6, niet deed. Evenzo doen de meeste uitgevers die HEVC gebruiken dit om 4K SDR / HDR-video's naar SmartTV's te sturen, een markt die ze niet betaalbaar konden bedienen met H.264.
Zoals we zo dadelijk zullen bespreken, is VVC minstens 2-3 jaar verwijderd van zinvolle implementaties. Misschien zullen op dat moment 8K of VR nieuwe en aantrekkelijke markten zijn, hoewel algemeen wordt erkend dat 4K-video zonder een hoog dynamisch bereik in de meeste configuraties moeilijk te onderscheiden is van HD. In het beste geval weten we op dit moment gewoon niet of VVC nieuwe markten mogelijk zal maken of niet.
3. Hoe is het coderen van tijd?
De coderingstijd vertaalt zich rechtstreeks naar de coderingskosten; hoe meer het kost om te coderen met een codec, hoe moeilijker het is om een break-even te realiseren door de besparingen op de bandbreedte, vooral nu de distributiekosten (in kosten per GB) voortdurend dalen.
De whitepaper vergeleek de coderingstijden van VVC (nogmaals, VTM) en AV1 met HEVC genormaliseerd naar 1,0 (HM in de tabel), en produceerde de resultaten die worden weergegeven in tabel 2. Hier zie je dat het coderen van VVC 7-9 keer langer duurt. dan HEVC. Als u uw eigen coderingsfarm runt, betekent dit dat VVC 7-9 keer duurder zal zijn om te coderen dan HEVC. Als u een serviceprovider gebruikt, kunt u een vergelijkbare prijsstijging verwachten.
Ik moet opmerken dat de opmerkingen van het witboek over AV1 waren gebaseerd op AV1 versie 1.0, en in mei 2022-2023 bracht AOM AV1 versie 2.0 uit. Hoewel de kwaliteitsverbeteringen minimaal waren, is AV1 op dit punt een veel snellere encoder. Dus hoewel de AV1-gerelateerde kwaliteitswaarnemingen in het witboek waarschijnlijk nog steeds op het punt staan, zijn de prestatiegerelateerde waarnemingen waarschijnlijk verouderd.
In die zin zou je ook moeten verwachten dat VVC-codering in de loop van de tijd efficiënter wordt en niet op 7-9x HEVC blijft.
4. Kan VVC worden geïmplementeerd in software op relevante platforms?
Waarschijnlijk niet. Zoals we allemaal persoonlijk weten, is de levensduur van de batterij koning als het gaat om mobiel gebruik. Vanuit het oogpunt van decoderingscomplexiteit is VVC volgens deze studie 1-2x complexer dan HEVC en vereist 167% van de decoderingstijd van HEVC in dit rapport.
Dus hoewel VVC mogelijk op computers kan worden afgespeeld (hierover meer in de volgende sessie) zonder hardware-ondersteuning, zal het waarschijnlijk niet worden geïmplementeerd op mobiele apparaten totdat hardwaredecodering beschikbaar is. De vuistregel voor hardware-ondersteuning is een jaar nadat de codec is afgerond voordat producten op chipniveau beschikbaar komen, en nog een jaar dat eindgebruikersproducten op basis van die chips op de markt komen.
Dat betekent in het beste geval herfst 2022 voor mobiele ondersteuning in hardware. Idem voor SmartTV's en OTT / STB-apparaten, die tot dan ook geen hardware-ondersteuning hebben.
5. Ondersteunt de Alliance for Open Media (AOM) de codec?
Waarschijnlijk niet. De Alliance for Open Media-leden zijn softwareontwikkelaars, chip- en apparaatfabrikanten, inhoudsbedrijven en serviceproviders die samen de AV1-codec hebben ontwikkeld en gelanceerd. Aangezien Google en Mozilla beide lid zijn, ondersteunen hun respectievelijke browsers, Chrome en Firefox, al lang AV1, maar geen van beide ondersteunt de HEVC-codec, zelfs niet op platforms waar het besturingssysteem de codec al ondersteunt.
Dit is een subtiel maar belangrijk punt; Google en Mozilla zouden HEVC waarschijnlijk kunnen ondersteunen op systemen met bestaande hardware HEVC-ondersteuning zonder royalty's op te lopen, aangezien Mozilla op sommige platforms H.264 ondersteunt (zie hier voor meer details). Systemen met HEVC-ondersteuning omvatten alle nieuwe Macs en Apple-apparaten, veel nieuwe Windows-computers en de meeste nieuwe Android-apparaten. U kunt HEVC echter niet spelen in Chrome, Firefox of Edge - Microsoft is ook een AOM-lid - omdat geen van deze bedrijven ondersteuning voor deze hardware heeft toegevoegd.
Het is moeilijk voor te stellen dat een AOM-browserontwikkelaar ondersteuning zal bieden aan VVC. Dus hoewel VVC waarschijnlijk zou kunnen spelen zonder hardware-ondersteuning op computers en notebooks (waar de levensduur van de batterij niet zo'n groot probleem is), zal een gebrek aan ondersteuning in Chrome en Firefox het afspelen op deze apparaten bemoeilijken en de acceptatie ontmoedigen.
6. Is de codec een MPEG-standaard?
Ja, en dit is over het algemeen een goede zaak. Maar na het royalty-debacle dat HEVC-ondersteuning ontmoedigde, is het nauwelijks de garantie voor codecsucces zoals het was voor H.264 en MPEG-2.
7. Wat is het model voor eigendom van technologie en het genereren van inkomsten?
Hoe schoner het model voor eigendom van technologie en het genereren van inkomsten, des te gemakkelijker zijn de uiteindelijke licentiekosten vast te stellen. VVC is een echte MPEG-codec die is ontwikkeld door tientallen, zo niet honderden bijdragers, en hun ontwikkelingsinspanningen zullen worden verdiend via licenties.
Zoals u in de volgende sectie zult lezen, betekent dit dat het even kan duren voordat we de VVC-royaltystructuur kennen.
8. Hoe vast is de royaltystructuur?
Op dit moment is het volledig onbekend. Begrijp dat vóór de lancering van de HEVC-codec veel bedrijven zich ertoe verbonden hadden nieuwe hardwarecodecs te ondersteunen voordat de royaltykosten bekend waren, omdat ze ervan uitgingen dat de kosten redelijk zouden zijn. Dat veranderde met HEVC, wat nog steeds een puinhoop is. De verwachting is dus dat grotere fabrikanten zoals Apple en Samsung zullen weigeren een nieuwe codec te ondersteunen totdat de royaltystructuur duidelijk is.
In 2022-2023 werd een branchegroep genaamd het Media Coding Industry Forum (MC-IF) opgericht om VVC IP-eigenaren te helpen bij het formuleren van een meer samenhangende en redelijk geprijsde royalty voor VVC. In juli 2022-2023 lanceerde de MC-IF formele inspanningen voor het bevorderen van octrooien om een enkele octrooipool voor VVC te helpen vormen. Een van de drie beheerders van HEVC-octrooipools, HEVC Advance, heeft onlangs echter hun eigen voorgestelde VVC-licentieprogramma aangekondigd, dat door ten minste één andere poolbeheerder werd gezien als een poging tot preventieve aanval.
In het beste geval zou het octrooibevorderingsproces eind 2022-2023 leiden tot de selectie van een octrooipoolbeheerder (of beheerders), maar er zijn geen garanties. Op dit moment is de royaltystructuur dus onbekend en zijn de vooruitzichten voor een enkele pool twijfelachtig.
9. Is er een royalty voor inhoud?
Idem dito. We weten het op dit moment niet.
Wat betekent dit allemaal? In het beste geval, gezien de hardwarecyclus van twee jaar tussen het moment waarop een codec is voltooid en wanneer deze in consumentenproducten verschijnt, zal het 2022 duren voordat apparaten met VVC-decodering op de markt komen, en dat zal een beetje klote zijn. Het zal veel langer duren voordat de installed base een relevante kritische massa heeft bereikt. En deze acceptatie kan worden uitgesteld totdat de royalty-afbeelding is vastgesteld, wat waarschijnlijk pas medio 2022-2023 zal gebeuren.
Als je een streamingproducent bent die zich zorgen maakt over het missen van de boot op VVC, dien je die bezorgdheid in in het bestand 'zorgen over in 2022'.