馬賽克能還原嗎(馬賽克能還原嗎2020)

1982 年上映的科幻電影《銀翼殺手》構想了一個充滿賽博朋克科技的 2019 年：漫天都是飛行汽車，人類可以使用一種大屏幕機器（Esper）完成許多不可思議的工作。

主角里克·戴卡德在追查復制人行蹤時，就用了 Esper 來挖掘一些被肉眼忽略掉的線索。

里克將現場找到的一張可疑的照片塞進了 Esper 里面， 一遍又一遍地無損放大照片上的一角，最后在鏡子的倒影找到了人造人朱拉。

科幻作品的想象力有時候確實會被當時的科技所局限，1982 年 PC 才剛開始流行，《銀翼殺手》沒有想象到互聯網的出現改變了人類生活的方式，也沒能想像出模擬技術會有一天被數字技術取代。

不過它對無損放大圖像技術的想象卻十分超前，這是一個至今都難以解決的難題。

你可能也遇到過這樣的情境：聚會過后朋友們一起拍了一張合照，回去后放大合照想看看老同學的臉，或者當晚喝的飲料品牌，結果看到的卻是模糊不清的馬賽克。

這是因為當我們將照片放大到一定程度時，局部分辨率已經非常低，看到的都是像素點組成的圖像。

我們有可能像 30 年前的幻想那樣，從微不足道的「馬賽克」提煉出額外的圖像信息嗎？

Google 的 AI 團隊近日的發布的一篇博客里提到了一個新的圖片算法，非常接近《銀翼殺手》的設想。

▲ 64 x 64 的皮卡丘

一張 64 X 64 像素的照片有多大？以 iPhone 拍攝的 1200 萬像素的照片為模版，大約只有其三千分之一的大小，顯示在一塊高清的屏幕上時，你只會看到滿滿的「馬賽克」。

▲ 超高分辨率的照片

在數字時代，我們在屏幕里看到的每一個圖像都是由密密麻麻的像素組成，單位面積組成圖像的像素越多，分辨率就越高，圖像也就相應得越清晰。

Google 的 AI 研究人員便在思考，有沒有可能從低分辨率提取到足夠多的圖片信息，用機器學習盡可能還原圖片的原貌，提高圖片的分辨率，得到一張清晰的圖片呢？

▲ 圖片來自：Google

在其最近發表的博客 ，Google 展現了其最新的研究成果，從效果來看十分震撼——通過兩種不同的算法，能將 64 X 64 像素的照片還原成 1024 X 1024 像素分辨率，并且細節效果非常逼真。

需要指出的是，Google 通過機器學習用算法還原出來的照片與原照片勢必會存在一些偏差，但當我們無法獲得原始景象（例如過去的老照片）時，一張盡可能貼近真實的「還原」照片確實難能可貴。

▲ 圖片來自：Google

根據 Google 的介紹，修復一張「馬賽克」照片由兩個過程組成——「破壞」與「重組」。

首先，為了盡可能挖掘「馬賽克」像素方塊的圖形細節，Google 的研究人員會先用高斯噪聲算法處理試驗樣本，得到一張完全由噪點組成的「雪花圖」，看起來有點像以前模擬電視無信號的畫面。

▲ 第三行是 Google 的修復算法，第四行是原圖參考 圖片來自：Google

接著，研究人員再利用神經網絡算法，逆轉高斯噪聲的破壞過程，通過反向復原的過程合成新的圖像數據，將從純噪聲圖盡可能地降噪，得到一張清晰的圖片。

▲ 圖片來自：Google

圖片修復的原理并不復雜，但是其中涉及到的算法并不簡單，為了修復出「一比一還原」的高清大圖，Google 的研究人員提出了超分辨率算法 SR3 和級聯擴散模型 CDM，通過大規模的圖片比對學習提高還原的準確性。

值得一提的是，雖然我們一直用「馬賽克」來稱呼低分辨率的大像素低清圖片，但這和真正經過打碼的照片有著本質上的差異。

▲ 圖片來自：Google

Google 的還原算法之所以能夠將低清圖片變清晰，本質上是根據圖片本身所包含的正確圖像信息，通過龐大的數據庫里的無數圖像進行比對、匹配，最后得到模擬出的近似像素填充。

而當照片被涂抹上馬賽克時，圖片所包含的圖像信息就會發生變化。

馬賽克算法簡單來說去在一個區域內，按照固定間隔，隨機選擇像素點的顏色，然后把區域內所有像素的顏色取得平均值，變成新的顏色填在方格里。

經過打碼后，原本的像素信息都以丟失，得到的只是隨機算出的錯誤信息，這時再讓機器學習去還原，就像是要求它對著一道題目完全出錯的試卷做出正確答案，幾乎不可能答得出來。

所以如果有人想用 Google 算法挖掘一些被抹掉的隱私信息，可以打消這個念頭了。

▲ 圖片來自：Google

Google 的高清修復算法最終很有可能應用到 Google 照片、Snaped 等 Google 圖像處理軟件中，像 HDR、視角矯正等算法一樣成為我們的修圖工具之一。

回到《銀翼殺手》電影上， Esper 其實是臺很有趣的機器，它有點是模擬技術與數字技術的融合。

一方面它很先進，人們可以用語音控制它，并且實現無損放大；另一方面它又很老套，有著清晰的大屏幕卻還是 CRT 結構，導入照片的過程還是從實體照片掃描。

根據電影的效果，Esper 有可能是定點照片的某一處坐標后，通過精密的鏡片結構（顯微鏡）放大照片觀察?，F在來看，無損放大的想法很超前，但模擬技術顯然不是屬于現實的未來。

對于現代人來說，拿在手里的手機和電腦就是每個人的「Esper」。

▲ 圖片來自：Adobe

如今照片早已完成了全數字化工作流的演變，用數字技術放大照片已經不是難事。換句話說，其實你已經邁入了《銀翼殺手》所描繪的「未來」。

▲ 圖片來自：Adobe

圖像超分辨率一直是計算機視覺領域一個熱門的研究主題，Adobe 等公司都在開拓相關的圖像處理技術，在 Photoshop、Lightroom 等圖形處理軟件已經有所應用。

以 Photoshop 為例，在導入了 RAW 格式圖片后，可以選擇「增強」功能的「超分辨率」功能，軟件會根據相似內容參照，豐富圖片的紋理，將圖片的分辨率放大 4 倍，整個過程大概需要一分鐘。

▲ 圖片來自：Adobe

對比增強前后的照片可以看到，分辨率提高后照片的銳度有了明顯的提高，一些模糊不可辨認的細節也變得清晰。

Adobe 在今年 3 月發布的一篇技術博客中提到，其采用的超分辨率算法也是通過了大量的機器學習訓練，不斷地在完善和改進。

▲ 圖片來自：Adobe

讓圖片分辨率爆炸式地提高有什么意義嗎？也許在拍攝完照片后，你不會將之放大深究每一個細節，但是當你需要將這張照片打印出來時，照片成像的分辨率直接決定了打印的最大尺寸。

這對攝影師來說顯得尤為重要，有時候在用廣角鏡頭拍攝風光時天邊飛過一只老鷹，用廣角鏡頭抓拍往往不能拍攝到鷹身上的羽毛細節，這時用超分辨率放大后再裁切，很可能就能得到想要的畫面。

▲ 先裁剪，再用超像素放大得到 1000 萬像素的照片 圖片來自：Adobe

Adobe 在博客里用了一張 250 萬像素的照片作為例子，用超分辨率功能放大到了 1000 萬像素，使之可以打印成「像樣」的照片，Adobe 將這個過程形容為「數字變焦」。

對比 Adobe 和 Google 的算法，兩者存在著一些差異，Adobe 需要保留了大量圖片原始信息的 RAW 格式照片進行計算，而 Google 的算法可以基于一些非常粗糙的信息來還原照片。

▲ Adobe 的算法經過大量機器學習不斷進步的過程 圖片來自：Adobe

目前來看，兩種算法都仍未完全成熟，還需要大量的機器學習提高計算還原的準確度。

不過可以肯定的是，超分辨率技術會在不久的將來成為最流行的圖像技術之一，幫助人們擺脫長焦鏡頭等器材的限制，記錄下生活的每一個細節瞬間。為了看到更清晰的世界，我們仍未停止探索。