Het codec-landschap verandert, met zes nieuwe codecs tegen eind 2022-2023. Begin 2022-2023 codeerden de meeste producenten van streaming video uitsluitend met de H.264-codec, die in 2003 debuteerde. Sommige grotere uitgevers zoals Netflix, Amazon, YouTube , en Facebook, implementeerden ook de op standaarden gebaseerde opvolger van H.264, de HEVC-codec en / of de VP9-codec van Google. Een stortvloed aan producenten experimenteerde met de AV1-codec van de Alliance for Open Media. Naast deze vier bestaande codecs, zal MPEG in 2022-2023 drie nieuwe codecs lanceren: Versatile Video Coding (VVC), Essential Video Coding (EVC) en Low Complexity Enhancement Video Coding (LCEVC).
Met zes nieuwe codecs die tegen het einde van 2022-2023 in overweging moeten worden genomen, is het de moeite waard om de factoren te bekijken die bijdragen aan de succesvolle acceptatie van een codec. In dit artikel zal ik die factoren bespreken met H.264 en HEVC, en een analysekader maken dat ik in toekomstige artikelen zal gebruiken om het potentiële succes van AV1 en de drie nieuwe MPEG-codecs te belemmeren.
Merk op dat ik voornamelijk vanuit het perspectief van de uitgever zal schrijven; niet vanuit het perspectief van de speler of leverancier van encoders.
- Inzicht in streamingoplossingen met lage latentie
- Beste PTZ-camera's, opname- en streaming-apparaten
1. Wat is de vergelijkende efficiëntie van de codec?
De belangrijkste rol van een codec is het verkleinen van de stream die nodig is om video aan onze kijkers te leveren. In veel gevallen wordt efficiëntie gemeten tegen H.264. U ziet dit in figuur 1, uit het HEVC-vergelijkingsrapport 2015 van de Moscow State University (MSU). Ter verduidelijking: MSU presenteert zijn gegevens altijd met x264, een van de vele H.264-codecs, met een kwaliteit van 100%. Vervolgens toont het voor elke andere codec het percentage reductie of toename van de gegevenssnelheid die nodig is om dezelfde kwaliteit als x264 te produceren.
In de grafiek kan de x265-codec bijvoorbeeld dezelfde kwaliteit leveren als x264 met 74% van de bitsnelheid, of een besparing van ongeveer 26%. De VP9-codec loopt niet zo ver achter, met 77%, of een besparing van ongeveer 23% ten opzichte van x264.
Deze besparing vertegenwoordigt een primair geldvoordeel dat wordt geleverd door de nieuwere codecs. De implementatie van x265 in 2015 zou de bandbreedtekosten voor levering van video van gelijke kwaliteit aan HEVC-compatibele spelers met 26% hebben verlaagd. VP9 zou de bandbreedtekosten met 23% hebben verlaagd.
Beschouw codec-aanpassing als een break-even-analyse. Er zijn twee bronnen van instroom; besparingen voor levering aan bestaande klanten, die we zojuist hebben behandeld, en extra inkomsten voor klanten in nieuwe markten, die ik in de volgende sectie zal behandelen. Er zijn meerdere kosten verbonden aan codec-implementaties. U levert in de nabije toekomst H.264-gecodeerde video, dus de coderings- en opslagkosten voor de nieuwe codecs zijn beide additief. U zult ook uw speler moeten updaten en een zekere mate van testen en QC moeten uitvoeren.
De besparing op bandbreedte heeft uiteraard betrekking op het aantal kijkers voor elke video. Hier is een eenvoudig voorbeeld. Stel dat het $ 20,00 kost om te coderen naar een HEVC-coderingsladder, en dat u $ 0,01 aan bandbreedtekosten per kijker hebt bespaard. Zodra 2000 kijkers de video hebben bekeken, heb je die kosten goedgemaakt. Als 2 miljoen kijkers de video bekijken, heb je $ 20.000 aan bandbreedtekosten bespaard. Daarom is het voor grote bedrijven zoals Netflix, YouTube, Amazon en Facebook gemakkelijker om nieuwe codes te implementeren.
Ongeacht de grootte, wanneer de besparingen of nieuwe inkomsten die met de nieuwe codec gepaard gaan, de implementatie- en andere kosten overstijgen, is het financieel zinvol om een nieuwe codec te implementeren. Het is duidelijk dat hoe groter de compressie-efficiëntie ten opzichte van de bestaande oplossing, hoe groter de besparing op bandbreedte.
Dit alles terzijde, de overgrote meerderheid van nieuwe codec-implementaties is niet bedoeld om bandbreedtebesparingen of andere leveringsefficiënties te oogsten. Enige tip van de piramide-uitgevers zoals Netflix, Facebook en YouTube hebben VP9 geïmplementeerd, ondanks dat het momenteel ongeveer 35-40% efficiënter is dan x264. In plaats daarvan nemen uitgevers doorgaans nieuwe codecs over, zoals HEVC, omdat dit markten opent voor nieuwe klanten.
Dit leidt tot de volgende vraag.
PRO NIEUWSBRIEFAudio + video + IT. Onze redacteuren zijn experts in het integreren van audio / video en IT. Krijg dagelijkse inzichten, nieuws en professionele netwerken. Abonneer u vandaag nog op Pro AV.
2. Welke nieuwe markten of platforms maakt de codec mogelijk?
Toen Adobe in 2007 H.264-weergave aan Flash toevoegde, was H.264 slechts ongeveer 15% efficiënter dan de VP6-codec, de meest gebruikte Flash-codec vóór H.264. Waarom zijn de meeste uitgevers, ondanks deze magere besparingen, snel en volledig overgestapt op H.264? Omdat hoewel VP6 niet speelde op iPods, iPhones of andere mobiele apparaten, H.264 dat wel deed. Met H.264 in zowel Flash als de overheersende codec op mobiele apparaten, kunnen uitgevers VP6 laten vallen en twee markten bereiken met een enkele codec, een totale no-brainer.
Evenzo hebben de meeste uitgevers HEVC geïmplementeerd om 4K- en / of HDR-video's (High Dynamic Range) te leveren aan smart-tv's, settopboxen en OTT-apparaten. In hun Global Media Format Report 2022-2023, dat verslag deed van hun productie in 2022-2023, meldde encoding.com bijvoorbeeld dat "we een zeer substantiële toename van het volume verwachten in 2022-2023, gedreven door UHD HDR-content, aangezien zowel premium HDR-standaarden Dolby Vision als HDR + in kaart brengen. het HEVC-videoformaat. " Helaas heeft encoding.com dat rapport voor 2022-2023-resultaten niet bijgewerkt.
Evenzo begon Apple eindelijk VP9 of AV1 te ondersteunen op hun 4K AppleTV-apparaten, zodat hun kijkers 4K-video's op YouTube konden bekijken. Dit geeft het belang aan dat Alliance for Open Media-leveranciers zoals Facebook, Netflix, YouTube en Amazon zullen hebben bij de acceptatie van AV1.
Waar het op neerkomt, is dat als de codec geen nieuwe markten mogelijk maakt, bandbreedtebesparing het enige voordeel is. Zoals gezegd hebben, om welke reden dan ook, buiten de grootste video-uitgevers, weinig anderen deze besparingen voldoende gemotiveerd om nieuwe codecs in te zetten.
3. Hoe is het coderen van tijd?
We hebben het gehad over de break-evenanalyse. Ik stel deze vraag omdat coderingstijd zich direct vertaalt in coderingskosten en hoe hoger de kosten, hoe moeilijker het is om break-even te bereiken.
AWS Elemental MediaConvert rekent bijvoorbeeld $ 0,024 per minuut voor H.264-codering, $ 0,048 per minuut voor HEVC-codering en $ 0,864 per minuut voor AV1-codering. Gelukkig zijn de AV1-coderingstijden de afgelopen maanden aanzienlijk gedaald en ik weet zeker dat de Elemental-prijzen zullen volgen. Maar als de coderingstijden zo ijzig zijn als AV1's vroeger waren, heb je miljoenen weergaven nodig om de bandbreedtebesparingen te verzamelen die nodig zijn om break-even te bereiken.
4. Kan het worden geïmplementeerd in software op relevante platforms?
Deze vraag geeft aan hoe snel een codec kan worden geïmplementeerd op platforms die relevant zijn voor uw service. In 2007, toen Adobe H.264 aan Flash toevoegde, was afspelen vrijwel universeel op alle computers en mobiele apparaten. Bij HEVC was hardware-ondersteuning op mobiele apparaten daarentegen nodig voor batterij-efficiënt afspelen, en was speciale HEVC-decoderingshardware nodig op de meeste smart-tv's, settopboxen en OTT-apparaten.
In de loop van de tijd begonnen steeds meer apparaten HEVC te ondersteunen, en nu is het bijna alomtegenwoordig in producten van de huidige generatie, met VP9 slechts iets achter. Maar nieuwe codecs die hardware nodig hebben voor efficiënt afspelen, beginnen helemaal opnieuw.
Als vuistregel geldt dat het ongeveer twee jaar duurt voordat de eerste consumentenapparaten met hardware-ondersteuning verschijnen. Zo werd de AV1-specificatie medio 2022-2023 afgerond en werden de eerste smart-tv's met AV1-ondersteuning medio 2022-2023 verzonden. Het maakt duidelijk niet uit hoe efficiënt een codec is wanneer deze wordt gestart; het wordt pas relevant wanneer afspelen beschikbaar is op een aanzienlijk aantal platforms waaraan u levert.
Wat leidt tot de volgende vraag.
5. Ondersteunt de Alliance for Open Media de codec?
Hoewel hardwareondersteuning twee jaar nodig heeft, kan het afspelen in een browser of mobiel besturingssysteem enkele weken duren als de afspeelvereisten bescheiden zijn. De Alliance for Open Media-leden Microsoft, Google, Mozilla en Apple beheren echter de meeste browsers en besturingssystemen en de formaten die ze ondersteunen. Daarom wordt HEVC zeven jaar na de lancering slechts ondersteund in 16,99% van alle browsers en mobiele besturingssystemen die worden gevolgd door www.caniuse.com (Figuur 2).
Het vergelijkbare aantal voor AV1, dat vijf jaar later werd gelanceerd? 36,56%. Hoe zit het met VP9, die rond dezelfde tijd als HEVC werd gelanceerd? 94,52%.
Als een aanzienlijk aantal van uw kijkers op browsers en mobiele apparaten kijkt, maakt platformondersteuning een enorm verschil in de economie. Dit geldt met name omdat softwareondersteuning zo snel kan worden bereikt.
Op dit moment lijkt het onwaarschijnlijk dat AOM-leden elke MPEG-codec zullen ondersteunen, of het nu gaat om HEVC, VVC, EVC of LCEVC. Dus waar op standaarden gebaseerde codecs zoals H.264 en MPEG-2 ooit de overhand hadden, hebben MPEG-codecs nu een duidelijk nadeel in traditionele computer- en mobiele markten.
6. Is de codec een MPEG-standaard?
De Motion Pictures Experts Group, of MPEG, creëerde en promootte meerdere audio- en videocodecs die hielpen bij de overgang van analoge video naar digitale video. Op een gegeven moment hadden MPEG-standaarden zoals MPEG-2 en H.264 veel duidelijkere paden naar succes dan eigen codecs zoals VP9. Tegenwoordig is die dynamiek veranderd, dus hoewel het standaardisatieproces bepaalde technologieën geloofwaardig maakt, is het geen garantie voor succes?
Wat is er veranderd? Bijna alles. Toen H.264 in 2003 werd gelanceerd, was uitzending koning, en streaming was niet de staart van de hond, het was een vingernagel. Nu is streaming duidelijk de hond, en uitzending de staart, en bedrijven die codec-implementatie in browsers en mobiele besturingssystemen beheren, en inhoudsbedrijven zoals Netflix en YouTube, hebben een ongelooflijke invloed op de codec-implementatie.
Zoals ik straks meer zal bespreken, was er met MPEG-2 en H.264 een duidelijk en samenhangend royaltybeleid, dat uit het raam ging met HEVC, dat drie patentpools heeft. Twee van de pools hebben tarieven gepubliceerd en de jaarlijkse limieten springen van ongeveer $ 10 miljoen voor H.264 naar meer dan $ 60 miljoen voor HEVC. De andere pool maakt zijn tarieven niet bekend en heeft meer dan zeven jaar na de release van HEVC nog steeds niet aangegeven of ze royalty's voor inhoud in rekening zullen brengen.
Indachtig de ontwikkelingscyclus van twee jaar voor codec-implementaties, besloten veel hardwarebedrijven om H.264 en HEVC te implementeren voordat het royaltybeleid duidelijk was. Na HEVC kunnen grote bedrijven zoals Apple en Samsung de acceptatie van technologie uitstellen totdat het royalty-beeld duidelijker is, wat de acceptatiecyclus nog eens 24 maanden zou kunnen verlengen.
Ten slotte, vanuit een videocodec-perspectief, is MPEG gekrompen van een cyclus van ongeveer tien jaar tussen MPEG-2, H.264 en HEVC, naar een cyclus van zeven jaar voor drie extra videocodecs die in 2022-2023 moeten worden afgerond. codec biedt een andere reeks functies, prestaties en andere kenmerken, en het is onwaarschijnlijk dat ze allemaal dezelfde commerciële acceptatie zullen bereiken.
7. Wat is het model voor eigendom van technologie en het genereren van inkomsten?
De meeste codecs zijn het resultaat van een samenwerking tussen meerdere partijen. Bij sommige codecs resulteert dit in een of meer patentpools waarmee bedrijven de kosten van hun R & D-investeringen kunnen terugverdienen. Daarentegen werd VP9 exclusief ontwikkeld door Google, terwijl AV1 werd ontwikkeld door de Alliance for Open Media-bedrijven die allemaal hun patenten op royaltyvrije basis aan AOM hebben bijgedragen.
Maar het feit dat een bedrijf of een organisatie beweert alle rechten op een technologie te bezitten, maakt het nog niet zo. Hoewel Google beweert dat VP9 open-source is, net als de Alliance for Open Media for AV1, heeft patentpoolbeheerder Sisvel patentpools gelanceerd voor zowel VP9 als AV1, waarin staat dat deze codecs gebruikmaken van uitvindingen die door patenteigenaren in hun pools worden gedekt (merk op dat de auteur overlegt met Sisvel over deze pools).
Natuurlijk zijn zowel H.264 als HEVC royalty-dragende voor zowel encoders als decoders en sommige soorten inhoud, dus het loutere bestaan van een royalty veroordeelt geen technologie. Potentiële licentiegevers geven eerder om de samenhang van die groep, de duidelijkheid van hun licentievoorwaarden en hoe snel ze beschikbaar zijn.
8. Hoe vast is de royaltystructuur?
In 2017 creëerde Jonathan Samuelsson, CEO van codec-ontwikkelaar Divideon, de afbeelding die wordt weergegeven in figuur 3, die het affichekind werd voor de disfunctionaliteit die wordt vertegenwoordigd door eigenaren van HEVC-gerelateerde patenten. Je ziet de drie pools en meerdere aanvullende bedrijven, sommige erg belangrijk, niet in een pool. Merk op dat dit de originele afbeelding is, ontworpen door Samuelsson; het eigendomsbeeld is sindsdien enigszins veranderd.
Het is duidelijk dat als u een potentiële licentiegever bent, u de voorkeur geeft aan één pool met alle bekende technologie-bijdragers, wat ook daadwerkelijk zou kunnen gebeuren voor EVC en LCEVC. Dat gezegd hebbende, de meeste grote normen hebben meer dan één pool; wat licentiegevers willen, is een tijdige en bekende structuur voor alle belangrijke bijdragers. Het is veelbetekenend dat, hoewel de VVC-standaard in juli 2022-2023 werd afgerond, het onwaarschijnlijk is dat de licentievoorwaarden tot medio 2022-2023 bekend zullen zijn. Als ze er ongeveer zo uitzien als in figuur 3, komt VVC misschien nooit van de grond.
9. Is er een royalty voor inhoud?
Als u een streaminguitgever bent, bepalen de vragen 4 t / m 8 hoe snel een codec kan worden overgenomen door hardware- en softwareontwikkelaars, waarmee wordt bepaald hoe snel u de codec kunt gaan gebruiken om aan uw kijkers te leveren. Deze vraag bepaalt hoeveel het u als streaming-uitgever gaat kosten om inhoud met die codec te implementeren.
Nogmaals, royalty's voor content zijn niet ongehoord en veroordelen een codec niet tot mislukking; zowel HEVC als H.264 hebben een aantal royalty's voor inhoud. Het is echter duidelijk dat deze kosten in het break-evenmodel moeten worden ingevoegd om te bepalen wanneer en of het economisch zinvol is om de nieuwe codec in te zetten.
Achteruit en vooruit kijken
Terugkijkend is het gemakkelijk in te zien waarom H.264 zo'n succes was (is): het bood een bescheiden bandbreedtebesparing, maar speelde dankzij Flash onmiddellijk op computers en bood toegang tot een nieuwe markt (mobiel). De licentieverlening werd beheerd door een enkele patentpool die de meerderheid van de bijbehorende patenten bezat, en hoewel hardware-weergave vereist was voor H.264-weergave op mobiele apparaten, was hardware-ondersteuning in het begin bijna universeel en werd deze al snel alomtegenwoordig.
Daarentegen debuteerde HEVC met een zeer onsamenhangende licentiestructuur die de acceptatie van technologie ontmoedigde. Hoewel HEVC-ondersteuning bijna universeel is op mobiele apparaten, smart-tv's en de nieuwste generaties OTT-apparaten, vermindert het gebrek aan browserondersteuning het algehele investeringsrendement, terwijl het gebrek aan duidelijkheid over royalty's voor inhoud een grote zorg is voor veel uitgevers. Als gevolg hiervan is HEVC voornamelijk geïmplementeerd door uitgevers die 4K- en HDR-video's naar de woonkamer distribueren.
