fross(fross音響)

安妮 維金 李杉 編譯自 Medium

量子位 出品 | 公眾號(hào) QbitAI

深度學(xué)習(xí)的質(zhì)疑者中有位戰(zhàn)士。

他有底氣與大牛Yann LeCun激辯AI是否需要人類的認(rèn)知能力，有勇氣在AlphaZero研討會(huì)當(dāng)場(chǎng)diss哈薩比斯。他常年給深度學(xué)習(xí)潑冷水，認(rèn)為單憑深度學(xué)習(xí)無(wú)法帶來(lái)通用人工智能（AGI）。

Gary Marcus

他是馬庫(kù)斯（Gary Marcus），紐約大學(xué)心理學(xué)教授，曾任Uber AI實(shí)驗(yàn)室的負(fù)責(zé)人。新年第二天，他發(fā)表長(zhǎng)文提出深度學(xué)習(xí)的十大挑戰(zhàn)，犀利指出“深度學(xué)習(xí)不是萬(wàn)能溶劑，只是眾多工具中的一種”。

一石激起千層浪。深度學(xué)習(xí)圈大面積的“煉丹師”已經(jīng)坐不住了，贊同和怒懟交織涌向馬庫(kù)斯。

馬庫(kù)斯敗陣而歸？Naive了。昨天，馬庫(kù)斯再發(fā)長(zhǎng)文，他收集了14個(gè)被質(zhì)疑的觀點(diǎn)并實(shí)力回懟。

無(wú)監(jiān)督學(xué)習(xí)適用于何處？馬庫(kù)斯為什么一開始就對(duì)深度學(xué)習(xí)持否定態(tài)度？對(duì)于可微分編程他又怎么看？

量子位將這篇文章翻譯整理如下：

1. 什么是通用智能？

AAAI前主席Thomas Dietterich是一位著名的機(jī)器學(xué)習(xí)教授，也是迄今為止最徹底和最直率的批評(píng)者。他曾給出一個(gè)我很贊同的答案：

“通用智能”是一套可以在廣泛目標(biāo)和環(huán)境中采取智能行為的系統(tǒng)。在Rusll和Norvig的教科書中，他們對(duì)智能的定義是“理性的行為”。

2. 馬庫(kù)斯對(duì)深度學(xué)習(xí)太不友好了

前面提到的Dietterich談到了這兩點(diǎn)：

我對(duì)@GaryMarcus的文章很失望。他很少提到深度學(xué)習(xí)的成就（例如自然語(yǔ)言翻譯），還輕視他人，比如說(shuō)ImageNet中的1000個(gè)分類太少了（很有限）。

關(guān)于第一部分。沒(méi)錯(cuò)，我是應(yīng)該多說(shuō)些好話，但我并不是從來(lái)不說(shuō)好話。在之前提到Dietterich的文章的第一頁(yè)我就說(shuō)過(guò)：

從那時(shí)起，深度學(xué)習(xí)在語(yǔ)音識(shí)別、圖像識(shí)別、語(yǔ)言翻譯等領(lǐng)域產(chǎn)生了大量的尖端成果，并在當(dāng)前的人工智能應(yīng)用領(lǐng)域發(fā)揮了重要作用。

此外，我還在文章的后面引用了一些優(yōu)質(zhì)的文章和博客。但提到的這些內(nèi)容，很多都不算是通用人工智能，這是我論文的重點(diǎn)。比如谷歌翻譯效果不錯(cuò)，但它不是通用的。它不能回答與它已經(jīng)翻譯的內(nèi)容有關(guān)的問(wèn)題，而人類翻譯卻能做到。

第二部分更為實(shí)質(zhì)性。1000個(gè)類別真的非常有限嗎？與認(rèn)知的靈活性相比確實(shí)如此。認(rèn)知科學(xué)家通常把一個(gè)人所知道的不可分割的概念的數(shù)量定為5萬(wàn)左右，人類可以很容易地把這些概念組合成大量復(fù)雜的思想。寵物和魚很可能被算到這5萬(wàn)里面；寵物魚則不同的，很可能沒(méi)有被計(jì)算在內(nèi)。

我可以很容易地想到“一只寵物魚生病了”，或者注意到“買一條寵物魚后發(fā)現(xiàn)它生病了總是令人很失望”（我小時(shí)候有過(guò)這種經(jīng)歷，顯然至今仍然很討厭這種狀況）。我能表達(dá)多少類似的想法？肯定遠(yuǎn)超1000。

我不太確定一個(gè)人能識(shí)別多少個(gè)視覺(jué)類別，但懷疑數(shù)字大致相似。在谷歌上搜搜“寵物魚”的圖片，效果不錯(cuò)。搜搜“戴護(hù)目鏡的寵物魚”，你會(huì)看到戴護(hù)目鏡的狗，錯(cuò)誤率超過(guò)80%。

在區(qū)分相似品種狗的過(guò)程中，機(jī)器可以勝過(guò)不具備專家水平的人類，但是人類卻在解釋復(fù)雜的場(chǎng)景時(shí)勝出，比如一個(gè)戴著背包而不是降落傘的跳傘者會(huì)發(fā)生什么。

在我看來(lái)，專注于1000個(gè)類別的機(jī)器學(xué)習(xí)本身就是一種“幫倒忙”，它只是帶來(lái)了短期的成功感受，但卻否認(rèn)了更困難、更開放的問(wèn)題（例如場(chǎng)景和句子理解），而后者必須最終解決。與我們能看到和理解的幾乎無(wú)限的句子和場(chǎng)景相比，1000確實(shí)很小。

3. 馬庫(kù)斯說(shuō)深度學(xué)習(xí)沒(méi)用，但這在很多方面都表現(xiàn)優(yōu)異

當(dāng)然有用。我從來(lái)沒(méi)有說(shuō)過(guò)深度學(xué)習(xí)沒(méi)用，我只說(shuō)過(guò)，a）在目前的監(jiān)督模式下，深度學(xué)習(xí)可能已經(jīng)接近極限，b）那些限制將在完全的通用人工智能出現(xiàn)后消失——除非，也許，我們開始融合一些其他的東西，比如符號(hào)處理技術(shù)和先知。

我的結(jié)論的核心是：

盡管我提出很多問(wèn)題，但我不認(rèn)為我們需要放棄深度學(xué)習(xí)。

相反，我們需要重新定義它：不是作為一種萬(wàn)能溶劑，而是簡(jiǎn)單地作為一個(gè)工具，就像一個(gè)強(qiáng)大的螺絲刀，而我們同時(shí)還需要錘子、扳手和鉗子，更不用說(shuō)鑿子、鉆頭、電壓表、邏輯探針和示波器。

4. “有一件事我不明白。@GaryMarcus說(shuō)，深度學(xué)習(xí)對(duì)層次結(jié)構(gòu)不太好。但@ylecun在自然評(píng)論文章中說(shuō)，深度學(xué)習(xí)特別適合利用這種層次結(jié)構(gòu)。”

這是一個(gè)狡猾的問(wèn)題，是Ram Shankar提出來(lái)的。我應(yīng)該更清楚地給出答案：層次結(jié)構(gòu)有很多類型。對(duì)于LeCun討論的功能層次來(lái)說(shuō)，深度學(xué)習(xí)是很好的，甚至可能是最好的，我通常把它稱為層次特征檢測(cè)；就用像素構(gòu)建線條，用線條表示字母，用字母表示單詞，等等。

Kurzwel和Hawkins也強(qiáng)調(diào)了這類問(wèn)題，這可以追溯到Hubel和Wiel(1959)的神經(jīng)科學(xué)實(shí)驗(yàn)，而在AI領(lǐng)域則可以追溯到Fukushima（Fukushima, Miyake, & Ito, 1983）。

Fukushima在他的Neocognitron模型中，手動(dòng)連接那些依次更有抽象特征的層次；LeCun和其他許多人后來(lái)證明，其實(shí)不需要手動(dòng)完成（至少在某些情況下）。

但是在這個(gè)過(guò)程中，你不需要追蹤遇到的部件，頂層系統(tǒng)不需要依據(jù)過(guò)程中看到的部分明確對(duì)整個(gè)輸出的結(jié)構(gòu)進(jìn)行編碼；這就是為什么一個(gè)深度學(xué)習(xí)系統(tǒng)可以被欺騙，導(dǎo)致其把黑色和黃色條紋誤認(rèn)成校車。(Nguyen, Yosinski， & Clune, 2014)。

條紋模式與校車輸出單元的激活緊密相關(guān)，后者反過(guò)來(lái)與一組低級(jí)特征相關(guān)，但在一個(gè)典型的圖像識(shí)別深度網(wǎng)絡(luò)中，沒(méi)有一個(gè)由車輪、底盤、窗戶組成的完整的校車典型。幾乎所有欺騙神經(jīng)網(wǎng)絡(luò)的文獻(xiàn)都利用了這一點(diǎn)。

我所討論的結(jié)構(gòu)上的層次不同于這種特征的層次，它關(guān)心的是讓系統(tǒng)可以從整體明確推斷出有哪些部件。經(jīng)典的例子是Chomsky講的層次結(jié)構(gòu)：一個(gè)句子由日益復(fù)雜的語(yǔ)法單位構(gòu)成。我不認(rèn)為深度學(xué)習(xí)能處理好這些問(wèn)題，盡管它們做過(guò)嘗試。

即使在視覺(jué)上，這個(gè)問(wèn)題也沒(méi)有完全解決。例如，Hinton最近的“capsule”(Sabour, Frosst， & Hinton, 2017)就是一個(gè)嘗試，通過(guò)使用更結(jié)構(gòu)化的網(wǎng)絡(luò)，來(lái)構(gòu)建更強(qiáng)大的由部分到整體的圖像識(shí)別。我認(rèn)為這是一個(gè)很好的趨勢(shì)，也是解決欺騙問(wèn)題的一種可能方式，但也反映了標(biāo)準(zhǔn)深度學(xué)習(xí)方法面臨的問(wèn)題。

5. “在通用人工智能的背景下討論深度學(xué)習(xí)很奇怪，通用人工智能并不是深度學(xué)習(xí)的目標(biāo)！”

推特上的最佳反駁，來(lái)自魁北克大學(xué)的教授Daniel Lemire：“噢！得了吧！Hinton，Bengio……都在公開的尋找人類智慧的模型。”

第二個(gè)最佳反駁，來(lái)自就職于谷歌的數(shù)學(xué)博士Jeremy Kun。他不同意“通用人工智能不是深度學(xué)習(xí)的目標(biāo)”的說(shuō)法，理由是“如果這是真的，深度學(xué)習(xí)專家肯定就不出來(lái)糾錯(cuò)了”。

我曾引用《哈佛商業(yè)評(píng)論》中吳恩達(dá)的文章，暗示了深度學(xué)習(xí)將很快做到人類能做到的事情。Thomas Dietterich的推特也說(shuō)過(guò)“深度學(xué)習(xí)似乎沒(méi)有邊界”。Kaggle前主席Jeremy Howard擔(dān)心這種深度學(xué)習(xí)被過(guò)度吹捧的想法本身就被夸大了，并表示所有曾被認(rèn)為是障礙的事情，都已經(jīng)被克服了。

在DeepMind關(guān)于AlphaGo的一篇論文中提到的觀點(diǎn)也有些類似：

我們的研究結(jié)果已完全證明，即使在最具挑戰(zhàn)性的領(lǐng)域，單純用（深度）強(qiáng)化學(xué)習(xí)的方法也完全可行。

在這篇論文的結(jié)尾討論中，我之前提出的深度學(xué)習(xí)的十大挑戰(zhàn)一個(gè)都沒(méi)被提到。

我們之所以一直對(duì)人工智能系統(tǒng)進(jìn)行基準(zhǔn)測(cè)試，主要是因?yàn)槲覀兊哪繕?biāo)是通用人工智能。

6. Marcus所說(shuō)的是監(jiān)督學(xué)習(xí)，而不是深度學(xué)習(xí)的問(wèn)題。

Yann LeCun在我Facebook頁(yè)面的評(píng)論區(qū)中說(shuō)：

我沒(méi)有時(shí)間去做適當(dāng)?shù)幕貞?yīng)，但簡(jiǎn)而言之：1）我認(rèn)為這大部分是錯(cuò)的，但如果將論文中所有的表述從“深度學(xué)習(xí)”改為“監(jiān)督學(xué)習(xí)”，那么錯(cuò)得不是那么厲害；2）在過(guò)去兩年半中，我一直在提倡的是，探索各種方法，從無(wú)監(jiān)督的學(xué)習(xí)和推理方向去拓展深度學(xué)習(xí)的概念。這不是我的一時(shí)興起，實(shí)際上我一直在這樣做。你也清楚這點(diǎn)，但這沒(méi)有體現(xiàn)在你的論文中。

我被指控沒(méi)有注意到LeCun近期的工作，這很奇怪。確實(shí)，我沒(méi)有找到一篇很好的、可以引用的總結(jié)性文章（LeCun也在電子郵件中告訴我，現(xiàn)在還沒(méi)有這樣的總結(jié)文章），但我明確提到了他的興趣：

深度學(xué)習(xí)先驅(qū)Geoff Hinton和Yann LeCun最近都指出，在突破受監(jiān)督、需要大量數(shù)據(jù)的深度學(xué)習(xí)版本方面，無(wú)監(jiān)督學(xué)習(xí)是個(gè)關(guān)鍵方法。

我還指出：

顯然，深度學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)在邏輯上并不是對(duì)立的。深度學(xué)習(xí)主要用于帶標(biāo)簽數(shù)據(jù)的有監(jiān)督環(huán)境，但我們也可以通過(guò)其他途徑，以無(wú)監(jiān)督的方式來(lái)利用深度學(xué)習(xí)。

我的結(jié)論也是積極的。雖然我對(duì)目前建立無(wú)監(jiān)督系統(tǒng)持保留態(tài)度，但我最終得出了樂(lè)觀的結(jié)論：

如果我們能建立（無(wú)監(jiān)督）系統(tǒng)，讓系統(tǒng)自主設(shè)立目標(biāo)，在更抽象的層面進(jìn)行推理，解決問(wèn)題，那么或許很快就能取得重大進(jìn)展。

LeCun觀點(diǎn)的正確之處在于，我提到的許多問(wèn)題都是監(jiān)督學(xué)習(xí)的普遍問(wèn)題，而不是針對(duì)深度學(xué)習(xí)的問(wèn)題，我本可以更清楚地說(shuō)明這點(diǎn)。許多其他監(jiān)督學(xué)習(xí)技術(shù)也面臨著類似挑戰(zhàn)，例如對(duì)大型數(shù)據(jù)集泛化和依賴。我提到的深度學(xué)習(xí)獨(dú)有的問(wèn)題確實(shí)相對(duì)較少。在我關(guān)于深度學(xué)習(xí)的評(píng)論中，確實(shí)忽略了這點(diǎn)。

然而，就算他監(jiān)督學(xué)習(xí)技術(shù)的情況也是如此，也對(duì)深度學(xué)習(xí)的前景沒(méi)什么幫助。如果有人能設(shè)計(jì)出一種強(qiáng)大的系統(tǒng)，以無(wú)監(jiān)督方式去利用深度學(xué)習(xí)技術(shù)，那么我們可能需要重新評(píng)價(jià)深度學(xué)習(xí)。

然而我并不認(rèn)為，無(wú)監(jiān)督學(xué)習(xí)，至少是在當(dāng)前情況下，能解決我提出的挑戰(zhàn)，例如關(guān)于推理、層級(jí)表示、遷移、健壯性和可解釋性等方面的挑戰(zhàn)。這只是遙遠(yuǎn)的設(shè)想。

正如波特蘭州立大學(xué)圣達(dá)菲研究所教授Melanie Mitchell所說(shuō)的：

@ylecun說(shuō)，Marcus的文章是“完全錯(cuò)誤”的，但如果局限至“受監(jiān)督學(xué)習(xí)”，那么“錯(cuò)得不那么嚴(yán)重”。我很想看看，目前有哪些無(wú)監(jiān)督學(xué)習(xí)項(xiàng)目的案例能證明Marcus的說(shuō)法是錯(cuò)誤的。

我也很想看看。

與此同時(shí)我認(rèn)為，目前還沒(méi)有原則性的理由，去相信無(wú)監(jiān)督學(xué)習(xí)能解決我提出的問(wèn)題，除非首先加入更抽象的、象征性的表達(dá)。

7. 深度學(xué)習(xí)不僅是（像Marcus所說(shuō)的）只有卷積網(wǎng)絡(luò)，這“本質(zhì)上是一種新的編程風(fēng)格”：可微分編程。這個(gè)領(lǐng)域的研究者正嘗試以這種風(fēng)格找出可重用的架構(gòu)。我們已經(jīng)獲得了一些：卷積、pooling、LSTM、GAN、VAE、存儲(chǔ)單元、路由單元等。—— Tom Dietterich

從Dietterich的一系列Twitter消息來(lái)看，這是一種批評(píng)，但我對(duì)此感到困擾，因?yàn)槲覍?shí)際上是可微編程的支持者，并且一直也在這么說(shuō)。或許重點(diǎn)在于，深度學(xué)習(xí)可以更寬泛地去理解。

在任何情況下，我都不會(huì)把深度學(xué)習(xí)和可微編程（例如我引用的一些方法，包括神經(jīng)圖靈機(jī)和神經(jīng)編程）等同起來(lái)。深度學(xué)習(xí)是許多可微系統(tǒng)的組成部分，但這樣的系統(tǒng)也基于從符號(hào)處理中提取的元素，包括內(nèi)存單元和變量操作，以及類似路由單元的其他系統(tǒng)。

實(shí)際上，我一直在呼吁這方面的整合，并且在最近兩篇文章中強(qiáng)調(diào)了這些。如果把所有這些東西整合至深度學(xué)習(xí)能給我們帶來(lái)AGI，那么我的結(jié)論將被證明是正確的：

從某種程度上來(lái)說(shuō)，大腦可以被看作包含“廣泛的可復(fù)用基元陣列——，這些基本單元可以處理類似微處理器中基本指令集的東西。這些陣列并行地整合到一起，就像FPGA這種可重配的集成電路”。正如我在其他論文中所說(shuō)，為我們的計(jì)算系統(tǒng)構(gòu)建更豐富的指令集將是件好事。

8. 現(xiàn)在vs未來(lái)。或許深度學(xué)習(xí)現(xiàn)在行不通，但其后續(xù)技術(shù)可能讓我們實(shí)現(xiàn)AGI。

或許是這樣。我確實(shí)認(rèn)為，如果首先加入一些關(guān)鍵的東西（很多還沒(méi)有被發(fā)現(xiàn)），那么深度學(xué)習(xí)可能會(huì)在我們實(shí)現(xiàn)AGI的過(guò)程中發(fā)揮重要作用。

然而，關(guān)鍵的是我們能添加什么，以及將某些未來(lái)的系統(tǒng)稱作深度學(xué)習(xí)的實(shí)例是否合理。或者，一種更明智的方法是將“終極系統(tǒng)”稱作“使用了深度學(xué)習(xí)方法的某種東西”。這取決于深度學(xué)習(xí)是否適合最終解決方案。例如，或許在真正的自然語(yǔ)言理解系統(tǒng)中，符號(hào)處理的重要性可能會(huì)等同于、甚至超過(guò)深度學(xué)習(xí)。

毫無(wú)疑問(wèn)，這個(gè)問(wèn)題部分取決于如何運(yùn)用術(shù)語(yǔ)。一個(gè)朋友最近問(wèn)我，為什么我們不能把所有包含深度學(xué)習(xí)技術(shù)的東西統(tǒng)稱為深度學(xué)習(xí)，即使這其中涉及到符號(hào)處理？對(duì)深度學(xué)習(xí)的一些增強(qiáng)應(yīng)當(dāng)發(fā)揮作用。而我對(duì)此的回答是：為什么我們不能把所有包含符號(hào)處理的東西統(tǒng)稱為符號(hào)處理，即使這其中涉及到深度學(xué)習(xí)？

基于梯度的優(yōu)化應(yīng)該得到認(rèn)可，但符號(hào)處理也是如此，因?yàn)檫@是用于系統(tǒng)性表達(dá)，實(shí)現(xiàn)更高層次抽象的唯一已知工具，是全世界幾乎所有復(fù)雜計(jì)算系統(tǒng)，無(wú)論是電子表格、編程環(huán)境，還是操作系統(tǒng)的基礎(chǔ)。

我推測(cè)，最終，這兩種技術(shù)將不可避免地聯(lián)姻，從而將20世紀(jì)人工智能最偉大的兩種思想，即符號(hào)處理和神經(jīng)網(wǎng)絡(luò)結(jié)合在一起。這兩種思想都誕生于20世紀(jì)50年代。其他尚未發(fā)明出來(lái)的新工具可能也是關(guān)鍵。

對(duì)于深度學(xué)習(xí)的真正追隨者來(lái)說(shuō)，任何東西都是深度學(xué)習(xí)，不管其包含什么，與當(dāng)前技術(shù)有多大不同。如果你將經(jīng)典符號(hào)微處理器中的每個(gè)晶體管替換為一個(gè)神經(jīng)元，同時(shí)保持芯片的邏輯完全不變，那么深度學(xué)習(xí)的追隨者仍然會(huì)宣稱勝利。然而，如果只是將這些東西堆積在一起，我們并不理解驅(qū)動(dòng)最終成功的原理。

9. 不存在可推斷的機(jī)器。指望一個(gè)神經(jīng)網(wǎng)絡(luò)從偶數(shù)泛化到奇數(shù)是不公平的。

找規(guī)律——

f(110)=011

f(100)=001

f(010)=010

那么，f(111)=？

正常人類不難推斷出，函數(shù)不就是把括號(hào)里的數(shù)字反過(guò)來(lái)了么，結(jié)果明顯是111。但對(duì)神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，理解這些抽象概念真是太難了，連簡(jiǎn)單的“奇數(shù)和偶數(shù)”的概念都可能是個(gè)挑戰(zhàn)，因?yàn)樯窠?jīng)網(wǎng)絡(luò)沒(méi)有整數(shù)的先驗(yàn)概念。

神經(jīng)網(wǎng)絡(luò)難以理解抽象概念背后，有三個(gè)本質(zhì)問(wèn)題。

首先，神經(jīng)網(wǎng)絡(luò)不能推斷人類無(wú)法推斷的東西。判斷奇數(shù)和偶數(shù)這種問(wèn)題對(duì)神經(jīng)網(wǎng)絡(luò)很不公平，因?yàn)槲覀儾](méi)有給出訓(xùn)練規(guī)則。

因?yàn)槿祟惖淖⒁饬υ诟叩囊?guī)則上，能用“外推法”找出抽象概念之間的關(guān)系。這是種在訓(xùn)練樣本外，對(duì)一對(duì)一映射進(jìn)行泛化的能力。如果想讓機(jī)器的理解超過(guò)人類，那這明顯是場(chǎng)不公平的較量，因?yàn)槿祟愶@然是在依靠先驗(yàn)知識(shí)，而機(jī)器沒(méi)有。

正確的先驗(yàn)知識(shí)幫助神經(jīng)網(wǎng)絡(luò)獲得和表示普遍量化的一對(duì)一映射，而一般的神經(jīng)網(wǎng)絡(luò)基本無(wú)法表示這樣的映射。重點(diǎn)是，一些特定類型的神經(jīng)網(wǎng)絡(luò)可能沒(méi)有好方法將正確的先驗(yàn)知識(shí)整合起來(lái)。

其次，如果我們想得到AGI，就應(yīng)該讓系統(tǒng)學(xué)會(huì)上述的一般化概括。

第三，也不能找借口說(shuō)目前還沒(méi)有系統(tǒng)能夠做我說(shuō)的這種推斷，隨手可用的微軟Excel中的快速填充函數(shù)就能推斷數(shù)值。背后并不是機(jī)器學(xué)習(xí)在支持這種推理，但它能在很窄的環(huán)境中進(jìn)行推斷。

由此推斷，只有建立在變量之上的“混合運(yùn)算”才能完成這種抽象推理任務(wù)，這與大多數(shù)人看好的卷積神經(jīng)網(wǎng)絡(luò)有很大不同。

用一種不同的方式反思目前大多數(shù)機(jī)器學(xué)習(xí)系統(tǒng)，它們只是不打算“跳出框框”思考。這對(duì)某些目的來(lái)說(shuō)是可以的，但對(duì)其他目的卻不行。如果想實(shí)現(xiàn)通用人工智能，機(jī)器的推斷必須跳出這些框框，達(dá)到人類思考的寬度。

10. 這個(gè)領(lǐng)域所有人都知道這些，沒(méi)什么新鮮的。

當(dāng)然不是所有人。就像我之前說(shuō)過(guò)的，很多評(píng)論者認(rèn)為我們還不了解深度學(xué)習(xí)的局限性，還有一些人認(rèn)為局限性可能存在，但還沒(méi)被發(fā)現(xiàn)。

也就是說(shuō)，我從來(lái)沒(méi)說(shuō)過(guò)我的觀點(diǎn)是全新的，我也引用了一些其他學(xué)者的工作，他們都獨(dú)立地得出了相似的結(jié)論。

11. 馬庫(kù)斯沒(méi)引用X。

絕對(duì)正確。我所做的文獻(xiàn)綜述不夠完整。

在沒(méi)能引用的論文中，Shanahan的深度符號(hào)強(qiáng)化學(xué)習(xí)(Garnelo, Arulkumaran, & Shanahan, 2016)是我的最愛(ài)之一，忘了提Richardson and Domingos’ (2006)的馬爾科夫邏輯網(wǎng)絡(luò)也是簡(jiǎn)直難以置信，同樣，我也希望自己當(dāng)時(shí)引用了DeepMind一篇非常優(yōu)秀的論文Evans and Edward Grefenstette (2017)，以及Smolensky的張量微積分工作和Noah Goodman的概率編程。這些工作，都想拉近規(guī)則和網(wǎng)絡(luò)的距離。

還有Jordan Pollack、Forbus和Gentner、Hofstadter和Mitchell等人關(guān)于模擬的工作等等。我相信還有更多的文獻(xiàn)可以引用。

總的來(lái)說(shuō)，我想選擇有代表性的文獻(xiàn)，不求全面，但的確做得還不夠好。

12. 馬庫(kù)斯沒(méi)資格在這個(gè)領(lǐng)域說(shuō)三道四，他不是實(shí)踐者，只是個(gè)評(píng)論家而已。

我很猶豫要不要談這個(gè)問(wèn)題，但是各種回復(fù)里都提到了這一點(diǎn)，甚至很多知名人士也在說(shuō)。正如Ram Shankar所說(shuō)，作為一個(gè)社區(qū)，我們的批評(píng)必須限制在基于科學(xué)和價(jià)值的討論上。雖然我堅(jiān)信自己的資歷足以做出這些評(píng)論，但我還是想說(shuō)，資格不重要，論證的有效性才重要。

我的論點(diǎn)要么是對(duì)的，要么是錯(cuò)的。

13. 回復(fù)：需要層級(jí)結(jié)構(gòu)的話，Socher的tree-RNN怎么樣？

我給他寫了郵件，想更好地了解這項(xiàng)研究的現(xiàn)狀。我私下里也在推動(dòng)其他幾支團(tuán)隊(duì)做類似于Lake and Baroni (2017)的嘗試。

Pengfei et al (2017)在這方面也有一些有趣的討論。

要詳細(xì)了解tree-RNN，見斯坦福CS224n第14課，地址：https://www.youtube.com/watch?v=RfwgqPkWZ1w

14. 你還可以對(duì)深度學(xué)習(xí)更挑剔一些。

其實(shí)，沒(méi)人確切地這么說(shuō)，但是有些人私底下跟我說(shuō)了一些類似的話。

比如說(shuō)我的一個(gè)同事指出，我們對(duì)未來(lái)的預(yù)測(cè)可能存在嚴(yán)重的錯(cuò)誤：

我們就像站在遼闊的平原上，看見了很多低垂的果實(shí)，但一旦果實(shí)消失，深度推理的進(jìn)展（就會(huì)放慢）。另外，現(xiàn)在識(shí)別貓的準(zhǔn)確率才95%，我不清楚人們?yōu)槭裁淳驮撜J(rèn)為我們會(huì)遇到AGI、倫理、道德等等難題，這些難題要在更復(fù)雜的空間中才能存在。

他還說(shuō)：

（研究人員）在某些領(lǐng)域去的勝利的速度太快了。比如說(shuō)圖像處理，我們發(fā)現(xiàn)了一類更適合計(jì)算機(jī)去做的圖像處理問(wèn)題，但這些算法可能被對(duì)抗攻擊搞暈，而且當(dāng)它們出錯(cuò)的時(shí)候，常常錯(cuò)得離譜。

與之相反的是，我在街上開車，可能會(huì)把樹當(dāng)成路燈，但不會(huì)像這些深度學(xué)習(xí)應(yīng)用一樣犯這么離譜的錯(cuò)誤，因?yàn)槲覍?duì)意義和語(yǔ)境有深刻的理解。確實(shí)，人們熟知這些局限，但同時(shí)，那些ImageNet結(jié)果也讓人產(chǎn)生了這樣一個(gè)基本觀點(diǎn)：計(jì)算機(jī)比人類更擅長(zhǎng)識(shí)別圖像。

我還有一個(gè)同事，機(jī)器學(xué)習(xí)研究員Pedro Domingos說(shuō)，現(xiàn)在的深度學(xué)習(xí)方法還有一些我沒(méi)有提到的缺點(diǎn)。就和其他靈活的監(jiān)督學(xué)習(xí)方法一樣，深度學(xué)習(xí)系統(tǒng)也是不穩(wěn)定的，訓(xùn)練數(shù)據(jù)中的細(xì)微變化就會(huì)導(dǎo)致結(jié)果模型中的巨大差異。

就算少量數(shù)據(jù)就夠用，它們也需要更多的數(shù)據(jù)。數(shù)據(jù)擴(kuò)充（data augmentation）很昂貴，而且從人類的角度來(lái)看并不是必須的。

它們可能很脆弱。對(duì)數(shù)據(jù)的一點(diǎn)小改動(dòng)——比如翻轉(zhuǎn)數(shù)字?jǐn)?shù)據(jù)集中的黑白顏色，就能引發(fā)災(zāi)難性的失敗。

它們的準(zhǔn)確率通常比我們所推斷的要低。比如說(shuō)Ribeiro，Singh和Guestrin (2016)發(fā)現(xiàn)，算法能精確區(qū)分ImageNet中的狼和狗，其實(shí)靠的是狼圖像中的白雪。

在機(jī)器學(xué)習(xí)的歷史中，到目前為止，每一種范式都在風(fēng)靡十年左右之后喪失了突出優(yōu)勢(shì)。比如80年代的神經(jīng)網(wǎng)絡(luò)、90年代的貝葉斯學(xué)習(xí)和2000年代的Kernel方法。

正如Domingos所說(shuō)，我們無(wú)法確保這種大起大落不會(huì)重演。從1957年Ronblatt第一次提出感知器Perceptron以來(lái)，神經(jīng)網(wǎng)絡(luò)的地位幾經(jīng)起落，我們不應(yīng)該把周期性的熱情混同于智能的完整解決方案，在我看來(lái)，后者還需要幾十年的努力才能實(shí)現(xiàn)。

如果我們想要實(shí)現(xiàn)AGI，就需要在感受成功的同時(shí)，敏銳察覺(jué)到我們所面臨的挑戰(zhàn)。

在這篇實(shí)力回懟中，馬庫(kù)斯老師還標(biāo)注了一些注釋和參考文獻(xiàn)，查看原文可獲取：

https://medium.com/@GaryMarcus/in-defen-of-skepticism-about-deep-learning-6e8bfd5ae0f1

— 完 —

誠(chéng)摯招聘

量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請(qǐng)?jiān)诹孔游还娞?hào)(QbitAI)對(duì)話界面，回復(fù)“招聘”兩個(gè)字。

量子位 QbitAI · 頭條號(hào)簽約作者

?'?' ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)