AI超清修復(fù)張國(guó)榮《熱·情》演唱會(huì)，22年前哥哥面部和舞臺(tái)極度還原，歌迷淚奔

豐色 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

AI超清修復(fù)了張國(guó)榮《熱·情》演唱會(huì)。

無(wú)數(shù)粉絲聚集在手機(jī)電視屏幕前重溫那場(chǎng)經(jīng)典。

這便是昨晚，在張國(guó)榮辭世19周年紀(jì)念日所上演的一幕：

可以看到前后對(duì)比明顯，修復(fù)后的張國(guó)榮臉部、舞臺(tái)等細(xì)節(jié)清晰可見(jiàn)。

作為張國(guó)榮生前最后一場(chǎng)，它的反響空前絕后，是無(wú)數(shù)歌迷心中的經(jīng)典之作。

在聽(tīng)說(shuō)騰訊修復(fù)了這場(chǎng)演唱會(huì)之后，有粉絲激動(dòng)地表示“高興地吃不下飯”。

在昨晚的現(xiàn)場(chǎng)直播中，不少歌迷更是直言淚奔：

“感謝AI修復(fù)師們的努力，我們好像瞬間回到了22年前的舞臺(tái)現(xiàn)場(chǎng)，得以再次感受哥哥的絕代風(fēng)采。”

修復(fù)歷史影像作品甚至殘損影像，對(duì)于經(jīng)驗(yàn)豐富的騰訊多媒體實(shí)驗(yàn)室來(lái)說(shuō)挑戰(zhàn)并不大。

他們已經(jīng)參與過(guò)《康熙王朝》、《天下人家》等多部經(jīng)典影視劇的高清修復(fù)工作。

而這次的唱片公司寶麗金珍藏的《熱·情》演唱會(huì)母帶和網(wǎng)上流傳的視頻，畫(huà)質(zhì)也是普遍欠佳。

但其中最大的難點(diǎn)還是演唱會(huì)視頻中的色彩、畫(huà)面切換太快。

如何才能給觀眾帶來(lái)融入其中的沉浸感體驗(yàn)，最大限度地還原原視頻的清晰度？

來(lái)自騰訊的修復(fù)師們一共用了四大步：智能分析、畫(huà)質(zhì)修復(fù)、畫(huà)質(zhì)增強(qiáng)和智能編碼。

具體來(lái)說(shuō)，首先要利用多種智能評(píng)估算法對(duì)視頻內(nèi)容進(jìn)行全方位、多維度分析，評(píng)估視頻的運(yùn)動(dòng)和紋理復(fù)雜度、壓縮失真程度等。

得到分析結(jié)果后，再利用畫(huà)質(zhì)修復(fù)模塊的多種智能算法（騰訊自研），修復(fù)各類破壞畫(huà)質(zhì)的主要因素，包括但不限于劃痕、豎線、雪花點(diǎn)、噪聲、壓縮失真、抖動(dòng)等問(wèn)題。

這其中比如劃痕修復(fù)就存在諸多難點(diǎn)。一方面劃痕修復(fù)不可逆且成本高昂；另一方面目前缺少龐大的劃痕公開(kāi)數(shù)據(jù)庫(kù)，算法難以調(diào)優(yōu)，建設(shè)成本也非常昂貴。

為此，實(shí)驗(yàn)室專門(mén)設(shè)計(jì)了針對(duì)性的多方向數(shù)據(jù)增廣方案。方案包括劃痕的裁切及合并、隨機(jī)尺寸、隨機(jī)模糊程度、局部及全局隨機(jī)亮度調(diào)整、隨機(jī)透明度調(diào)整等。

緊接著，畫(huà)質(zhì)增強(qiáng)模塊便會(huì)選擇最佳視頻增強(qiáng)算法，對(duì)畫(huà)面進(jìn)行多維度畫(huà)質(zhì)提升，在空間和時(shí)間上提升視頻的分辨率和幀率，在空域上提升細(xì)節(jié)清晰度、色彩豐富度。

這其中需要駕馭和平衡CNN(卷積神經(jīng)網(wǎng)絡(luò))和GAN(生成對(duì)抗網(wǎng)絡(luò))兩種智能算法。

CNN是經(jīng)過(guò)大量圖像數(shù)據(jù)訓(xùn)練而成的熟練工”，它修復(fù)的結(jié)果比較真實(shí)，但有時(shí)細(xì)節(jié)會(huì)不夠豐富；而GAN經(jīng)過(guò)自我博弈成長(zhǎng)而來(lái)，它修復(fù)的結(jié)果更為豐富細(xì)膩，但有時(shí)會(huì)顯得不太真實(shí)。

在完成視頻修復(fù)及畫(huà)質(zhì)增強(qiáng)后，智能編碼模塊可以通過(guò)自適應(yīng)編碼在減少輸出文件大小、視頻傳輸成本的同時(shí)，保證視頻的主觀質(zhì)量不受影響，實(shí)現(xiàn)最佳的畫(huà)面效果。

從歌迷們的反響來(lái)看，最終呈現(xiàn)的效果可以說(shuō)是讓他們感到非常滿意。

不少人還表示：

“可不可以把告別演唱會(huì)和98年的那場(chǎng)也修復(fù)了？真的好期待。”

騰訊多媒體實(shí)驗(yàn)室，是騰訊旗下的多媒體通信和處理研發(fā)團(tuán)隊(duì)，專門(mén)研究多媒體數(shù)據(jù)傳輸與壓縮、智慧融合媒體、互動(dòng)沉浸式媒體領(lǐng)域的技術(shù)與產(chǎn)品化。

實(shí)驗(yàn)室的總經(jīng)理則是劉杉博士，她是騰訊首位女性杰出科學(xué)家、IEEE Fellow，也是全球音視頻領(lǐng)域的技術(shù)帶頭人。

劉杉博士本科畢業(yè)于清華大學(xué)電子工程系，碩士和博士畢業(yè)于美國(guó)南加州大學(xué)，研究方向包括音視頻、沉浸式和新興多媒體VR/XR等的壓縮、處理、傳輸、系統(tǒng)和智能化應(yīng)用。

在劉杉博士的帶領(lǐng)下，騰訊多媒體實(shí)驗(yàn)室也多次參與國(guó)際國(guó)內(nèi)行業(yè)標(biāo)準(zhǔn)制定，包含多媒體數(shù)據(jù)壓縮，多媒體傳輸、系統(tǒng)與5G，以及多媒體AI等。

自2018年參與H.266/VVC標(biāo)準(zhǔn)制定以來(lái)，該實(shí)驗(yàn)室已有超過(guò)500項(xiàng)提案被多個(gè)國(guó)際標(biāo)準(zhǔn)采納。

本文來(lái)自微信公眾號(hào)“量子位”（ID：QbitAI），36氪經(jīng)授權(quán)發(fā)布。