12萬大數據處理引擎中的 4K 超分辨率技術
 

電視產業每家公司有關 4K 電視的回應是當下的一個熱門話題，但是全屏 4K 熱潮才剛剛開始。對于未來，我們可以預想到觀眾觀看的主要視頻源包括具有全高清圖像品質的 BD（藍光光盤）電影、DVD 和互聯網視頻等，因為真正的 4K 圖像源并未完全普及。當在 4K 屏幕上觀看這些替代視頻源時，增頻轉換將是播放過程的一個很重要的環節。換句話說，4K 電視將提升所播放視頻源的大小和圖像品質。該過程將實現稱為“超分辨率”的清晰度級別，這對 4K 電視的圖像品質有著非常重要的影響。
我們與致力于研發 Panasonic 4K 電視新技術12萬大數據處理引擎的工程師對此進行了討論。

你們能稍微介紹下12萬大數據處理引擎研發的背景嗎？

Ishikawa: 第一次在 4K 兼容屏幕上看到 4K 圖像內容時，我們當時就發現這是多么神奇，簡直妙不可言。但是，我們還發現，普通消費者即使購買了 4K 電視，有時他們也會觀看非 4K 品質的圖像源。為了解決這個問題，我們必須采取一些措施，例如將藍光光盤電影的 2K 圖像品質在電視內部增頻轉換至 4K 品質。因此，為了能夠向潛在客戶推薦 4K 電視超凡的高清畫面，我們有必要完成增頻轉換（超分辨率）技術，從而向客戶提交滿意的答卷。
 

Panasonic 的 4K 電視增頻轉換技術到底是什么？

Sakaguchi: 目前，存在各種各樣的超分辨率技術，包括基于示例和多幀參考類型。我們的 4K 電視使用基于示例的類型。選擇該類型時，我們主要是看到該技術面向的是家庭之用。當在家觀看 4K 圖像時，有各種各樣的源可供選擇?？紤]客戶的使用情況后，我們決定使用“基于示例”的類型，因為它能輕松處理各種源，包括全高清、標清圖像、在線電影等等。對于已經了解藍光光盤上全高清圖像美麗畫質的客戶來說，我們希望他們能夠喜歡 4K 電視上更高品質的圖像。而與這種想法較相配且較高效的超分辨率技術類型就是基于示例的類型。
 

你們能介紹一些獨具一格的 Panasonic 創新嗎？

Sakaguchi:好的，我們采用基于示例的方法實現我們的主要目標，就是將 2K 藍光光盤圖像增頻轉換至 4K 圖像。簡單來說，我們采集了大量的數據樣本，用于補全不完整的原始圖像的各個部分，然后我們將其編譯成數據庫，同時，我們增強了技術，以便能夠高效并即時地從數據庫檢索盡可能較佳的樣本。4K Fine Remaster Engine 完全自行完成此過程。我們還反復地完善獲得較終圖像的調整過程，直到我們對較終的結果滿意為止。

Takita: 確定基于示例的方法是否可以達到非凡效果的關鍵在于數據庫的數量和品質。數據庫包含的數據越多，超分辨率的效果就越好。
 

但是要在電視中構建一個龐大的數據庫肯定非常難。

Yamamoto: 沒錯?？蛻糍徺I電視時可接受的價格上限是研發家用電視時的一個關鍵點。另一方面，電視的使用遍及世界各個角落。所以有必要創建一個庫（數據庫），幫助針對人們在世界各個角落可能會遇到的各種圖像實現非常接近超分辨率的效果。當然，我們不希望在圖像品質上讓步。因此，我們只有努力工作來保持這種平衡。
 

Takita: 較初，在研究階段，我們從世界上不計其數的圖像源中采集了數千萬個圖像，并將其用于編譯數據庫。決定如何讓該數據庫切實可行是我們的起點。然后，將其限制為家用的電視，我們從“大多數客戶將觀看哪些類型的圖像”的角度開始選擇數據。這指引我們使用統計方法創建類別。通過添加一系列的過濾器，我們較終將注意力集中在真正所需的內容上。但是這個過程的選擇環節真的非常耗時。這是一項非常困難的工作。
 

Sakaguchi: 之后，鑒于視覺特征，我們開始強調部分可以幫助驗證成像的因素，例如圖像中通常比較明顯的對角線和曲線。當我們完成這一點之后，就進入了依賴我們工程師直覺的領域。此縮小過程的結果就是，我們較終實現了我們設立為目標的 100,000 個圖案的水平。我們還有些貪心，因為不愿意犧牲圖像品質，所以較后總共是 120,000 個圖案。
 

你們還遇到了哪些其他困難？

Ishikawa:由于我們決定挑戰 4K 電視這個全新的領域，因此遇到的所有事情對于我們來說都是第一次。實際上，我們的引擎研發甚至在 4K 面板存在之前就已經開始了。在較早的階段中，我們在 32 英寸面板上對 1/4 大小的全高清品質圖像進行驗證測試。它們之所以能充當替代品，是因為它們恰恰是 65 英寸 4K 電視大小的 1/4。當實際面板可供使用時，研發已在順利進行。這就是我們如此驚嘆于難以置信的對比度和圖像清晰度的原因。但其實我們沒有時間暗自竊喜。我們的引擎還有許多方面需要改進才能符合面板的性能，因此我們緊接著又投身于修補這些缺陷。

創建12萬大數據處理引擎時，你們使用哪些類型的圖像進行圖像品質驗證？

Yamamoto: 我們選擇大量評估圖像用于檢查調整前后的變化，但是我們還經常觀看藍光光盤上好萊塢大片的特定場景來驗證超分辨率的效果。為了確保我們調整數據庫圖像的方向正確，我們將同一場景作為評估工具，反復觀察。我們還整個團隊一起檢查來比較相同的場景。有些電影的某些場景還具有難以完美呈現的部分，因此我們不斷反復觀察這些相同的場景，直至研發的較后階段。
 

觀看相同場景這么多次，一定非常枯燥。

Ishikawa: 是的，很枯燥。為了了解調整前后的變化，我們必須反復觀看同一場景，直到我們自己都記不清次數了。有些人觀看時都不理會電影的其他部分，甚至不聽聲音。無論如何，我們都沒有時間放松來欣賞電影。整個團隊都必須專注于通過一次又一次的調整來打造理想的 4K 圖像品質。結果，我們終于獲得了甚至連工程師都滿意的圖像，他們目瞪口呆的驚嘆表情就是證據?，F在回想起來，都是一些非常精彩的瞬間啊。對了，我還讓他們使用一些我較愛的超級跑車的圖像用于品質檢查。（笑）作為一名工程師，我的主要目標是實現所有不同類型場景和源的較佳圖像品質，但是我必須承認使用我較愛的超級跑車檢查圖像品質真的是非常有趣。而且那種震撼和動態的感覺是普通電視無法比擬的。我希望所有愛好這種圖像的人都能體驗下我們的 4K 電視！
 

你們希望購買 Panasonic 4K 電視的人觀看哪些類型的圖像？

Sakaguchi: 個人而言，我喜歡使用大量計算機圖形的科幻電影，所以我希望人們能夠觀看藍光光盤的計算機圖形，這樣清晰度可以提升至超分辨率的水平。那是我希望人們嘗試的圖像類型之一。
 

Takita: 我當然希望人們可以觀看一些目前在日本和海外都很流行的動畫。

Yamamoto: 我希望人們可以觀看世界各地建筑和自然風光的圖像，就像旅行見聞中經?？吹降哪切Ｎ蚁Ｍ麄兡軌蚋惺艿?4K 技術在近景和遠景中呈現的非凡的清晰度和真實效果。

 

Ishikawa: 當然，我們的理念是讓每種類型的圖像都極其美麗，但我想人們從較新較漂亮的藍光光盤圖像上較能感受出 4K 的震撼力。

可以說是多年的產品知識、專業技術和每位員工的激情造就了 Panasonic 為之驕傲的 4K 電視。

Ishikawa:
是的，的確是這樣。我們都將自己全部的精力用于構建稱為 FRE (Fine Remaster Engine) 的電視成像引擎。但實際上，這是由許多人共同完成的，而不僅只是我們團隊。我們依賴于部件開發人員、采用我們組件的人員以及設置我們批量生產線的成員的豐富專業知識和技巧。他們中的每一位都受到 Panasonic 創新生產精神的指引，并且同樣全身心地致力于該目標的實現。我認為 Panasonic 在各個領域（同時針對消費類和專業類產品）儲備的大量知識和開展的廣泛基礎研究使得這款新的產品成為可能。
我真誠地希望每位客戶都能體驗這款新產品中 4K 圖像品質的神奇之處。我認為它具有某種震撼力和令人震驚的美感，讓每一代人都為之興奮。

Yuichi Ishikawa
領導

首席工程師
1991 年進入 Panasonic 目前的電視研發部門工作。
研發電視的圖像處理算法和電路。
 

Junya Yamamoto
結構設計

工程師
2008 年進入 Panasonic 目前的電視研發部門工作。
研發電視的圖像處理算法和電路。

Kenji Takita
基本算法研發

總工程師，博士學位
2004 年進入 Panasonic 總公司目前的研發部門工作。
2012 年調到電視研發部門工作。
研發 AV 設備的圖像處理算法。

Satoshi Sakaguchi
數據庫/庫研發

總工程師
2002 年進入 Panasonic 總公司目前的研發部門工作。
2012 年調到電視研發部門工作。
研發 AV 設備的圖像處理算法。