卡塔爾世界杯已經(jīng)結(jié)束，29天賽程，64場比賽，最終梅西帶領(lǐng)阿根廷時隔三十六年再次捧杯。世界杯期間，抖音提供的穩(wěn)定高質(zhì)直播畫面為觀眾帶來了完美的觀賽體驗，決賽的PCU高達3700W+。

為什么電腦看足球比賽畫質(zhì)不好（解鎖抖音世界杯的畫質(zhì)優(yōu)化實踐）

　　世界杯賽事涉及鏈路眾多，如何保障各鏈路的畫質(zhì)穩(wěn)定并進一步提升畫質(zhì)，是一個巨大的挑戰(zhàn)。本文主要介紹火山引擎多媒體實驗室在世界杯期間畫質(zhì)優(yōu)化的最佳實踐。

　　畫質(zhì)優(yōu)化鏈路

　　世界杯涉及鏈路較長，可簡化為下圖流程，F(xiàn)IFA現(xiàn)場信號首先傳到央視端進行合規(guī)安全處理，然后經(jīng)過演播室的制作傳輸給CDN再進一步分發(fā)到用戶測。從畫質(zhì)角度來看整個鏈路可分為畫質(zhì)檢測與畫質(zhì)優(yōu)化兩個部分，對于CDN之前的鏈路以畫質(zhì)監(jiān)測為主，以發(fā)現(xiàn)問題/定位問題/推動對應(yīng)鏈路人員解決問題為目的。畫質(zhì)優(yōu)化在CDN和客戶端兩側(cè)進行，下面的內(nèi)容主要介紹畫質(zhì)優(yōu)化部分。

　　

　　本次世界杯直播使用支持HDR（高動態(tài)范圍）設(shè)備錄制，團隊對支持HDR的設(shè)備增加了HDR檔位，同時提供了多種不同分辨率/幀率的檔位。為了使得觀眾獲得更好的畫質(zhì)體驗，團隊通過自研的自適應(yīng)ToneMapping，視頻降噪，ROI，端上超分等算法有效地提升了賽事畫質(zhì)。

　　卡塔爾世界杯采用HDR拍攝方式，HDR拍攝的片源擁有更廣的色域，更大的動態(tài)范圍。但對很多終端顯示設(shè)備而言，并不支持HDR信號播放，所以通過ToneMapping算法將HDR信號轉(zhuǎn)換為SDR（標準動態(tài)范圍）信號是十分必要的。

　　

　　相比SDR信號，HDR信號擁有更廣的色域和更大的動態(tài)范圍，在轉(zhuǎn)換到SDR信號的過程中不可避免會產(chǎn)生一些信息損失。常用的一些ToneMapping方法，不論是Reinhard，F(xiàn)ilmic或者Hable，其本質(zhì)都是設(shè)計固定的映射曲線實現(xiàn)從HDR到SDR的轉(zhuǎn)換，同時盡量保持對HDR效果的還原。但對于世界杯等大型賽事，現(xiàn)場動態(tài)范圍跨度極大，場館的燈光/草地/球員亮度差異明顯，觀眾感興趣的球員信息實際集中在暗部區(qū)域，這就導(dǎo)致ToneMapping之后的SDR信號過暗的問題，為了解決這一問題，團隊提出了內(nèi)容自適應(yīng)ToneMapping算法，通過統(tǒng)計視頻內(nèi)容的實際光照情況動態(tài)地進行ToneMapping，從而得到更優(yōu)效果。

　　左: Hable算法，右: 內(nèi)容自適應(yīng)ToneMapping

　　

　　

　　為了兼顧視頻碼率和主觀畫質(zhì)，團隊使用了基于LSTM（長短期記憶網(wǎng)絡(luò)）的時域ROI技術(shù)，通過人眼顯著性區(qū)域檢測和編碼相結(jié)合的方式，讓碼率在畫面上的分配更加合理。目前市面上沒有專門針對足球場景的saliency(顯著性物體檢測)數(shù)據(jù)集，通用的saliency數(shù)據(jù)集在世界杯這類特定場景中表現(xiàn)并不理想。針對這一問題，團隊專門制作了足球場景的saliency數(shù)據(jù)集，通過眼動儀追蹤球迷觀看球賽時的關(guān)注區(qū)域得到足球比賽的專用saliency數(shù)據(jù)集，從而極大增加了模型的準確性。針對足球場景中顯著性物體較多，顯著性區(qū)域分散的特點，團隊對檢測模型進行了專門的優(yōu)化，在保證檢測速度的前提下，提高了模型的召回率和不同場景的魯棒性，從而實現(xiàn)更優(yōu)的主觀質(zhì)量。

　　注：紅色框內(nèi)表示ROI區(qū)域，左邊為通用方案結(jié)果，右邊為優(yōu)化結(jié)果

　　

　　

　　同時團隊使用了視頻降噪算法，根據(jù)視頻信息對其進行空域、時域噪聲的去除，將帶有噪聲的視頻處理成干凈、沒有噪聲的視頻。由于去除了視頻的噪聲，在提升視頻質(zhì)量的基礎(chǔ)上同時降低了傳輸?shù)拇a率。由于用戶側(cè)網(wǎng)速的限制，端上存在多個檔位，當(dāng)看播端網(wǎng)速較慢時，可能會切換到480P/720P等低分辨檔位，此時會觸發(fā)端上超分算法提升畫面清晰度。超分辨率技術(shù)指的是，基于機器學(xué)習(xí)/深度學(xué)習(xí)方法，根據(jù)視頻信息對其進行空域、時域建模重構(gòu)出缺失的細節(jié)，將低分辨率的視頻重建出高分辨率視頻的技術(shù)。這樣即使是在低分辨檔位也能體驗到更清晰的畫質(zhì)。

　　左：視頻降噪前，右：視頻降噪后

　　

　　左：視頻超分前，右：視頻超分后

　　

　　除此之外團隊還提供大分辨率、高幀率、廣色域，并使用色彩增強、自適應(yīng)銳化等多種畫質(zhì)增強技術(shù)，呈現(xiàn)更加沉浸感的超高清畫面。

　　來源:微信公眾號:字節(jié)跳動視頻云技術(shù)團隊

　　出處

　　:https://mp.weixin.qq.com/s/lKsmuiA5Z926Hzoh5rtD8g