• 台灣網移動版

    台灣網移動版

人工智慧為電影修復帶來了什麼

2023-08-24 08:51:00
來源:光明日報
字號

  原標題:人工智慧為電影修復帶來了什麼

  近日啟動的“經典香港電影修復計劃”,計劃將100部香港老電影修復至4K版本。

  電影修復流程繁雜瑣碎。過去,一位經驗豐富的修復師需要1個月的時間,才可以修復完成一部影片,而這次修復百部香港老片將使用深度學習等人工智慧技術,這將極大地提升電影修復效率,同時進一步優化影片的畫質,為觀眾帶來超高清的觀影沉浸感。

  傳統的修復方法更多關注光影、色彩、美學等,而人工智慧修復,可以從清晰度、流暢度等方面提升老片的畫面品質。那麼,人工智慧是如何介入電影修復的?

  由於拍攝設備、存儲方式等方面的限制,老電影往往帶有嚴重的膠片噪聲且解析度較低。此外,由於拍攝年代和拍攝方式等的不同,老電影的畫面品質也參差不齊,很多畫面模糊不清。

  提升影片的清晰度,須修復模糊的畫面。去模糊的難點在於,模糊的類型多種多樣。在拍攝、儲存、拷貝翻印、膠片數字化以及壓制導出的過程中,都可能産生模糊損傷,這導致模糊問題成因複雜,修復人員通常難以獲得精準的“模糊核”。

  利用人工智慧技術,可以從低質數據中抽取不同程度的模糊視頻,利用相關統計方法進行真實的“模糊核”估計,並通過主觀驗證進一步篩選“模糊核”的類型。同時,在自建的高清影視數據集上,生成“模糊—清晰”匹配數據對來訓練機器學習從低質到高清的潛在的映射關係。這樣就能快速分辨出不同影片、不同畫面模糊的原因,進而提升修復效率。

  在老電影修復中,電影中的人像需要重點關注和優化。利用人工智慧技術,使用基於生成式的人像修復模組,在保持人像真實特徵的前提下,可以進行高清五官重建。對低解析度、多次壓縮損傷以及拍攝環境(如暗場景和拍攝過程抖動)等造成的模糊、失焦、噪聲、馬賽克等畫質損傷,都能有效解決。

  在這次100部經典港片的修復中,人工智慧還為我們提供了老舊人像修復和人像超清化等不同的人像解決方案。對於低品質的人像,我們優化了人像模型在時域上的清晰度和穩定性,對不同大小的人臉(近景/中景/遠景)、不同姿態角度的人臉(側臉/俯視/仰視)、不同遮擋程度的人臉都有較好的修復增強效果。對於一些中高品質的人像,我們使用人像超清模組,優化五官清晰度,最大限度還原睫毛、眉毛、髮絲和膚質等臉部細節,修復結果更有質感。

  很多老電影由於膠片保存不當出現褪色情況,畫面存在色偏。為解決這一問題,需要對其進行色彩校正,還原符合電影美學風格的色彩。借助人工智慧技術,修復人員可以設計出符合電影美學標準的色彩校正方案。具體做法是,對影片內容進行場景分割,使用深度學習方案逐幀學習其色彩校正矩陣;針對幀間一致性問題,則按場景計算出色彩校正矩陣的均值;對同一場景,使用同一套色彩校正矩陣進行處理,從而得到穩定的校正結果。

  利用人工智慧技術還能提升老電影的流暢度。比如,一些武打片中,有很多人物快速運動的場景。當畫面幀與幀間運動較大,超過一定範圍時,光流就會估計不準確,容易産生拖影。利用智慧插幀演算法,通過對前後幀的內容進行光流估計,並根據光流資訊將前後幀像素都轉換到中間幀,然後進行整合,生成中間幀,提升視頻幀率,這樣就可以減少觀眾觀看時的卡頓感。

  一些老電影的膠片,由於保存不當,容易出現臟點、污漬和黴斑,呈現在畫面上就是大塊不規則形狀的陰影,既破壞了畫面的完整性,也會影響觀眾的觀影體驗。對於這些瑕疵,可以首先用去噪點和去劃痕等演算法批量處理,同時輔以人工二次校驗,對誤傷畫面的部分進行優化,這既提高了修復處理的速度,同時也保證了修復的精準性。

  此外,受限于拍攝時的設備和技術,早期的香港武打片會有不少穿幫鏡頭,如畫面出現威亞線。以往這種情況,只能依賴手工逐幀消除,而人工智慧演算法可以自動識別到威亞的位置並進行擦除。

  值得一提的是,在這次100部港片修復項目中,我們首次使用了AIGC(生成式人工智慧)視覺大模型。在更廣闊的數據規模、更龐大的模型參數、更豐富的算力的加持下,大模型顯示出遠超以往演算法的生成能力,生成內容的紋理細節更逼真、效果更自然。

  針對老片修復的具體場景,我們還對AIGC視覺大模型進行了生成品質、視頻任務和推理效率方面的演算法優化,有效提升了修復品質。相信隨著大模型技術的持續發展,人工智慧將在老電影修復以及經典文化傳承方面發揮更大作用。

  (作者:趙世傑,係火山引擎多媒體實驗室研究員)

[責任編輯:李丹]