idanmu(愛彈幕)

智東西（公眾號(hào)：zhidxcom）

編譯 | ZeR0

編輯 | 漠影

智東西9月30日消息，谷歌母公司Alphabet旗下頂級(jí)英國AI研究機(jī)構(gòu)DeepMind又放大招了！

此次DeepMind聚焦天氣預(yù)報(bào)這一重大挑戰(zhàn)，與英國氣象局合作將AI應(yīng)用于預(yù)測(cè)降雨，能比現(xiàn)有預(yù)測(cè)模型更準(zhǔn)確地預(yù)測(cè)未來1-2小時(shí)內(nèi)的降雨量。

DeepMind的AI模型提前90分鐘預(yù)測(cè)天氣事件

根據(jù)論文，DeepMind采用深度生成模型來實(shí)現(xiàn)精準(zhǔn)降雨預(yù)測(cè)，使用NVIDIA V100 GPU，該模型只需1.3秒即可生成一個(gè)全分辨率的臨近天氣預(yù)測(cè)樣本。

DeepMind研究團(tuán)隊(duì)稱，氣象專家經(jīng)評(píng)估表示，比起傳統(tǒng)方法，他們普遍更看好DeepMind提出的新AI模型，這為利用AI大大改善準(zhǔn)確度的新天氣預(yù)報(bào)方法鋪平了道路。

這項(xiàng)研究剛剛發(fā)表于頂級(jí)學(xué)術(shù)期刊Nature上，題目為《用雷達(dá)深度生成模型進(jìn)行有技巧的降雨臨近預(yù)報(bào)》，論文對(duì)模型、數(shù)據(jù)和驗(yàn)證方法均進(jìn)行了系統(tǒng)梳理及討論。

此外，DeepMind已將訓(xùn)練數(shù)據(jù)及一個(gè)預(yù)訓(xùn)練的英國模型傳至GitHub。

鏈接：https://dpmd.ai/github_nowcasting

“今天晚上要下雨，記得帶傘！”像這樣圍繞天氣話題的討論和叮囑，在人們的聊天中相當(dāng)常見。

小到生活日常，大到災(zāi)害預(yù)防，都需要天氣預(yù)報(bào)越早越好、越來越準(zhǔn)確。但直至今日，預(yù)測(cè)降水降雨量，仍是氣象學(xué)家面臨的重大挑戰(zhàn)。

在中世紀(jì)，氣象學(xué)家首先使用恒星進(jìn)行預(yù)測(cè)。慢慢地，記錄季節(jié)和降雨模式的表格開始保存。幾個(gè)世紀(jì)后，英國物理學(xué)家兼數(shù)學(xué)家劉易斯·弗萊·理查森設(shè)想了一個(gè)“預(yù)測(cè)工廠”（Forecast Factory），使用計(jì)算和大氣物理方程來預(yù)測(cè)全球天氣。

如今，在天氣預(yù)報(bào)系統(tǒng)中，DeepMind添加了“機(jī)器學(xué)習(xí)”這一新元素。

現(xiàn)代天氣預(yù)報(bào)是由數(shù)值天氣預(yù)報(bào)（NWP，numerical weather prediction）系統(tǒng)驅(qū)動(dòng)的。通過求解物理方程，NWP能做到提前幾天預(yù)測(cè)未來天氣。這類方法通常在預(yù)測(cè)6小時(shí)到2周后的天氣時(shí)準(zhǔn)確度很好，但在預(yù)測(cè)2小時(shí)內(nèi)的天氣時(shí)準(zhǔn)確度會(huì)下降。

現(xiàn)在，臨近預(yù)報(bào)填補(bǔ)了這個(gè)關(guān)鍵時(shí)間間隔的性能差距。

臨近天氣預(yù)報(bào)對(duì)于水管理、農(nóng)業(yè)、航空、應(yīng)急計(jì)劃和戶外活動(dòng)等部門至關(guān)重要，支持了許多依賴天氣決策的行業(yè)的現(xiàn)實(shí)社會(huì)經(jīng)濟(jì)需求。

天氣傳感技術(shù)的進(jìn)步使測(cè)量地面降水量的高分辨率雷達(dá)數(shù)據(jù)能夠以高頻率提供（如每5分鐘1公里分辨率）?，F(xiàn)有方法難以解決的關(guān)鍵領(lǐng)域和高質(zhì)量數(shù)據(jù)的可用性的結(jié)合，為機(jī)器學(xué)習(xí)在臨近預(yù)報(bào)中做出貢獻(xiàn)提供了機(jī)會(huì)。

近年來，已有幾種基于機(jī)器學(xué)習(xí)的方法問世，他們?cè)诶走_(dá)觀測(cè)的大數(shù)據(jù)集上訓(xùn)練，目的是更好地模擬強(qiáng)降雨和其他難以預(yù)測(cè)的降雨現(xiàn)象。例如，谷歌與美國國家海洋和大氣管理局（NOAA）合作研究可能注入NOAA企業(yè)的機(jī)器學(xué)習(xí)系統(tǒng)，微軟還出資從歷史數(shù)據(jù)中識(shí)別重復(fù)的天氣和氣候模式，以改進(jìn)次季節(jié)性和季節(jié)性預(yù)測(cè)模型。

在我國，彩云天氣等天氣預(yù)報(bào)公司基于氣象雷達(dá)圖和AI算法，已經(jīng)實(shí)現(xiàn)了分鐘級(jí)精準(zhǔn)降水預(yù)報(bào)，短時(shí)降雨預(yù)報(bào)精度達(dá)1分鐘，預(yù)報(bào)范圍縮小至1公里，預(yù)報(bào)準(zhǔn)確率達(dá)80%~90%。

DeepMind專注于預(yù)測(cè)臨近降雨量：提前2小時(shí)預(yù)測(cè)降雨的數(shù)量、時(shí)間和地點(diǎn)。

研究人員采用一種類似于GAN的深度生成模型方法DGMR，以過去的雷達(dá)數(shù)據(jù)為基礎(chǔ)，對(duì)未來的雷達(dá)作出詳細(xì)和可信的預(yù)測(cè)。

從概念上講，這是一個(gè)生成雷達(dá)影像的問題。降雨深度生成模型DGMR學(xué)習(xí)了數(shù)據(jù)的概率分布，描述隨機(jī)變量可能獲得的所有可能值，以從其學(xué)習(xí)的分布中生成“臨近預(yù)報(bào)”。

有了這些方法，研究團(tuán)隊(duì)既可以準(zhǔn)確地捕捉到大規(guī)模的降雨事件，同時(shí)也可以產(chǎn)生許多替代的降雨情景（也稱集成預(yù)測(cè)enmble prediction），從而探索降雨的不確定性。研究期間，研究團(tuán)隊(duì)使用了英國和美國的雷達(dá)數(shù)據(jù)。

在訓(xùn)練過程，研究團(tuán)隊(duì)通過比較CPU（10核心AMD EPYC）和GPU（NVIDIA V100）硬件的速度來評(píng)估采樣速度，發(fā)現(xiàn)生成每個(gè)樣本，CPU所用平均時(shí)間為23.7秒，GPU為1.3秒。

利用過去20分鐘的觀測(cè)雷達(dá)資料，用降雨深度生成模型（DGMR）提供未來90分鐘的概率預(yù)測(cè)。

DeepMind團(tuán)隊(duì)在博客中提到：“我們特別感興趣的是這些模型對(duì)中到大雨事件的預(yù)測(cè)能力，這些事件對(duì)人們和經(jīng)濟(jì)的影響最大?！彼麄冋故玖伺c競(jìng)爭(zhēng)方法相比，這些模型在統(tǒng)計(jì)方面的顯著改進(jìn)。

為了驗(yàn)證DGMR生成預(yù)測(cè)結(jié)果的精度，研究團(tuán)隊(duì)準(zhǔn)備了2個(gè)現(xiàn)有降雨預(yù)測(cè)模型，分別隱藏模型名，請(qǐng)英國國家氣象局的56名氣象預(yù)報(bào)專家來評(píng)估。

與其他主流臨近預(yù)測(cè)方法相比，DGMR對(duì)1536公里乘1280公里的區(qū)域做出了更現(xiàn)實(shí)、更一致的預(yù)測(cè)，提前5~90分鐘進(jìn)行預(yù)測(cè)。

“與廣泛使用的臨近預(yù)報(bào)方法相比，他們（56名氣象專家）在89%的案例中將我們的新方法評(píng)為他們的首選，這體現(xiàn)我們的方法有能力為現(xiàn)實(shí)世界決策者提供洞察力?！盌eepMind研究人員寫道。相對(duì)于另外兩種競(jìng)爭(zhēng)方法，DGMR在準(zhǔn)確性和實(shí)用性評(píng)估方面排名第一。

如圖所示，下圖左上角為觀測(cè)到的實(shí)際雨云的移動(dòng)，右上是DGMR模型生成的預(yù)測(cè)結(jié)果，相比降水強(qiáng)度過高的對(duì)流方法（PySTEPS）和模擬結(jié)果模糊的確定性深度學(xué)習(xí)方法（UNet），DGMR能更好地捕捉環(huán)流、強(qiáng)度和結(jié)構(gòu)，并更準(zhǔn)確地預(yù)測(cè)東北部的降雨量和運(yùn)動(dòng)，同時(shí)生成清晰的預(yù)測(cè)。

2019年4月英國上空的一個(gè)具有挑戰(zhàn)性的事件（目標(biāo)是觀察到的雷達(dá)）

論文提到：“我們證明，生成式臨近預(yù)報(bào)可以提供概率預(yù)測(cè)，提高預(yù)測(cè)值，支持運(yùn)營效用，并在解決方案和交付時(shí)間方面，替代方法難以做到?！?/p>

2019年4月美國東部的一次大降水事件（目標(biāo)是觀測(cè)到的雷達(dá)）。生成方法DGMR平衡了降水強(qiáng)度和程度，相比之下，PySTEPS方法的強(qiáng)度往往過高，UNet的結(jié)果相對(duì)模糊。

天氣預(yù)報(bào)往往受多重因素影響，也許一個(gè)預(yù)測(cè)對(duì)了降雨位置但算錯(cuò)強(qiáng)度，另一個(gè)預(yù)測(cè)在錯(cuò)誤的位置預(yù)測(cè)對(duì)了強(qiáng)度等。在這項(xiàng)研究中，研究人員付出了很多努力，根據(jù)廣泛的指標(biāo)來評(píng)估其算法。

DeepMind研究人員稱，DGMR可以預(yù)測(cè)由于潛在的隨機(jī)性而本質(zhì)上難以追蹤的天氣事件，還可以像調(diào)整任務(wù)的系統(tǒng)一樣準(zhǔn)確地預(yù)測(cè)降雨的位置，同時(shí)保留對(duì)決策有用的屬性。

通過使用統(tǒng)計(jì)、經(jīng)濟(jì)和認(rèn)知分析，DeepMind展示了一種新的、有競(jìng)爭(zhēng)力的雷達(dá)降雨臨近預(yù)報(bào)方法。

“建模復(fù)雜現(xiàn)象、快速預(yù)測(cè)和代表不確定性的能力使AI成為環(huán)境科學(xué)家的強(qiáng)大工具?！盌eepMind高級(jí)專職科學(xué)家Shakir Mohamed說。

他認(rèn)為盡管現(xiàn)在還為時(shí)過早，但這次試驗(yàn)表明，AI能讓預(yù)測(cè)人員不必將時(shí)間耗費(fèi)在不斷增加的預(yù)測(cè)數(shù)據(jù)堆里，而是專注于更好地了解其預(yù)測(cè)的影響?！斑@將是減輕當(dāng)今氣候變化不利影響、支持適應(yīng)不斷變化的天氣模式并可能拯救生命不可或缺的一部分。”

不過，任何方法都有局限性，需要做更多的工作來提高長(zhǎng)期預(yù)測(cè)的準(zhǔn)確性和對(duì)罕見和激烈事件的準(zhǔn)確性。

因此研究團(tuán)隊(duì)計(jì)劃在未來的工作中，開發(fā)更多的評(píng)估性能的方法，并進(jìn)一步將這些方法專業(yè)化，以適應(yīng)具體的現(xiàn)實(shí)應(yīng)用。

DeepMind研究人員相信，這是一個(gè)令人興奮的研究領(lǐng)域，他們希望這篇論文能為新的工作提供數(shù)據(jù)和驗(yàn)證方法，使提供有競(jìng)爭(zhēng)力的驗(yàn)證和操作效用成為可能。

他們還希望與英國氣象局的合作將促進(jìn)機(jī)器學(xué)習(xí)和環(huán)境科學(xué)的更大整合，并更好地支持應(yīng)對(duì)氣候變化的決策。

AI和數(shù)據(jù)分析的價(jià)值正更多滲透到天氣預(yù)報(bào)領(lǐng)域。去年年初，華為云與深圳市氣象局合作，采用AI方法將預(yù)測(cè)準(zhǔn)確率提高10%~20%。借助AI及大數(shù)據(jù)，國內(nèi)的彩云天氣應(yīng)用、蘋果去年4月收購的第三方天氣應(yīng)用Dark Sky均實(shí)現(xiàn)了分鐘級(jí)的降雨預(yù)測(cè)，預(yù)測(cè)準(zhǔn)確度還在不斷提升。

Facebook首席AI科學(xué)家Yann LeCun、知名AI科學(xué)家吳恩達(dá)均曾表示，緩解氣候變化和促進(jìn)能源效率對(duì)于AI研究人員來說是值得的挑戰(zhàn)。

環(huán)境科學(xué)和AI之間的合作側(cè)重于決策者的價(jià)值，為臨近預(yù)報(bào)降雨開辟了新渠道，也體現(xiàn)出AI在不斷變化的環(huán)境中支持應(yīng)對(duì)決策挑戰(zhàn)的機(jī)會(huì)。

從去年發(fā)布破解蛋白質(zhì)折疊難題的AI蛋白質(zhì)預(yù)測(cè)模型AlphaFold，到如今AI降雨預(yù)測(cè)模型DGMR再登Nature，DeepMind的AI研究愈發(fā)展現(xiàn)出解決關(guān)鍵科學(xué)問題的實(shí)際應(yīng)用價(jià)值。

來源：DeepMind，Nature，VentureBeat