qqwangm(qq網(wǎng)名 女生 昵稱 好聽)

機(jī)器之心&ArXiv Weekly Radiostation

參與：杜偉，楚航，羅若天

本周的重要論文包括 AAAI 2020 最佳論文、最佳學(xué)生論文以及Hinton組提出的新型無監(jiān)督方法SimCLR。

目錄：

A Simple Framework for Contrastive Learning of Visual ReprentationsWinoGrande: An Adversarial Winograd Schema Challenge at ScaleFair Division of Mixed Divisible and Indivisible GoodsEfficient Neural Architecture Search via Proximal IterationsEpidemiological and clinical features of the 2019 novel coronavirus outbreak in ChinaReady Policy One: World Building Through Active LearningIs BERT Really Robust? A Strong Baline for Natural Language Attack on Text Classification and EntailmentArXiv Weekly Radiostation：NLP、CV、ML更多精選論文（附音頻）。

論文 1：A Simple Framework for Contrastive Learning of Visual Reprentations

作者：Ting Chen、Simon Kornblith、Mohammad Norouzi、Geoffrey Hinton論文鏈接：https://arxiv.org/pdf/2002.05709.pdf

摘要：如今，在 ImageNet 上的圖像識別準(zhǔn)確率的性能提升每次通常只有零點(diǎn)幾個百分點(diǎn)，而來自圖靈獎獲得者 Geoffrey Hinton 等谷歌研究者的最新研究一次就把無監(jiān)督學(xué)習(xí)的指標(biāo)提升了 7-10%，甚至可以媲美有監(jiān)督學(xué)習(xí)的效果。SimCLR 是一種簡單而清晰的方法，無需類標(biāo)簽即可讓 AI 學(xué)會視覺表示，而且可以達(dá)到有監(jiān)督學(xué)習(xí)的準(zhǔn)確度。論文作者表示，經(jīng)過 ImageNet 上 1% 圖片標(biāo)簽的微調(diào)，SimCLR 即可達(dá)到 85.8％的 Top-5 精度——在只用 AlexNet 1% 的標(biāo)簽的情況下性能超越后者。

Hinton 發(fā)推推薦其領(lǐng)導(dǎo)小組推出的 SimCLR 無監(jiān)督方法。

SimCLR 與此前各類自監(jiān)督方法在 ImageNet 上的 Top-1 準(zhǔn)確率對比（以 ImageNet 進(jìn)行預(yù)訓(xùn)練），以及 ResNet-50 的有監(jiān)督學(xué)習(xí)效果（灰色×）。

推薦：Hinton 組推出的這種新型無監(jiān)督學(xué)習(xí)方法在推特引起熱議，也得到了機(jī)器學(xué)習(xí)社區(qū)的廣泛關(guān)注。

論文 2：WinoGrande: An Adversarial Winograd Schema Challenge at Scale

作者：Keisuke Sakaguchi、Ronan Le Bras、Chandra Bhagavatula、Yejin Choi論文鏈接：https://mp.weixin.qq.com/s/QpT-oiocE1n2ZwD4-r-3oQ

摘要：維諾格拉德模式挑戰(zhàn)賽（Winograd Schema Challenge：WSC）是一個用于常識推理的基準(zhǔn)測試，該測試有 273 個專家編寫的問題，專門應(yīng)對依賴選擇偏好和詞語聯(lián)想的統(tǒng)計學(xué)模型。但是近來，許多模型在該基準(zhǔn)測試的性能已達(dá)到 90%。因此，研究者希望了解，這些模型是否真正獲得了魯棒的常識能力。

因此，研究者提出了 WINOGRANDE，一個有著 44k 個問題的大規(guī)模數(shù)據(jù)集。該數(shù)據(jù)集在規(guī)模和難度上較之前的數(shù)據(jù)集更大。該數(shù)據(jù)集的構(gòu)建包括兩個步驟：首先使用眾包的方式設(shè)計問題，然后使用一個新的 AFLITE 算法縮減系統(tǒng)偏見（systematic bias），使得人類可以察覺到的詞匯聯(lián)想轉(zhuǎn)換成機(jī)器可以檢測到的嵌入聯(lián)想（embedding association）。現(xiàn)在最好的 SOTA 模型可以達(dá)到的性能是 59.4 – 79.1%，比人臉性能水平（94%）低 15-35%（絕對值）。這種性能波動取決于訓(xùn)練數(shù)據(jù)量（2% 到 100%）。

WSC 的問題通過問題對（pairs）的方式構(gòu)建。其中，這兩個問題基本上是類似的，并有著兩個答案項(xiàng)。問題中包含一個觸發(fā)詞（trigger word），用來標(biāo)明哪個選項(xiàng)是正確的。

使用 AFLITE 算法檢測出的數(shù)據(jù)集偏見，使用 X 標(biāo)記。

推薦：本論文榮獲了 AAAI 2020 最佳論文獎，文中提出的 WINOGRANDE 是一個很好的遷移學(xué)習(xí)資源；但同時也說明我們現(xiàn)在高估了模型的常識推理的能力。研究者希望通過這項(xiàng)研究能夠讓學(xué)界重視減少算法的偏見。

論文 3：Fair Division of Mixed Divisible and Indivisible Goods

作者：Xiaohui Bei, Zihao Li, Jinyan Liu, Shengxin Liu, Xinhang Lu論文鏈接：https://arxiv.org/pdf/1911.07048.pdf

摘要：本文研究了當(dāng)資源包含可分割商品及不可分割商品時的公平分配問題。比如，無嫉妒性（envy-freeness，EF）及無嫉妒性最多可用于單一商品（envy-freeness up to one good, EF1）這種經(jīng)典公平問題概念，是無法直接應(yīng)用于混合商品的分配問題中。而在此次研究中提出了一個新的公平概率-混合商品的無嫉妒性（envy-freeness for mixed goods, EFM），而它是 EF 和 EF1 針對混合商品集合的直接通用化結(jié)果。

研究者證明了對于任意數(shù)量的代理（agents）而言，EFM 的分配始終存在。他們還提出了一個有效算法去計算兩個代理和 n 個代理的 EFM 分配問題，并且對可分割商品進(jìn)行分段化的線性評估。最后，研究者放松了對無嫉妒性的要求，改為針對混合商品的?-無嫉妒性（?-EFM），以及提出了一種算法，使其在一定的代理數(shù)量、一定的不可分割商品數(shù)量和的 1 /?的情況下，找到時間多項(xiàng)式的?-EFM 分配。

算法 1：EFM 算法。

推薦：本論文榮獲了 AAAI 2020 最佳學(xué)生論文獎，論文作者來自南洋理工大學(xué)、清華大學(xué)和香港大學(xué)。

論文 4：Efficient Neural Architecture Search via Proximal Iterations

作者：Quanming Yao，Ju Xu，Wei-Wei Tu，Zhanxing Zhu論文鏈接：https://arxiv.org/abs/1905.13577

摘要：神經(jīng)架構(gòu)搜索（NAS）因其比手工構(gòu)建的架構(gòu)更能識別出更好的架構(gòu)而備受關(guān)注。近年來，可微分的搜索方法因可以在數(shù)天內(nèi)獲得高性能的 NAS 而成為研究熱點(diǎn)。然而，由于超級網(wǎng)的建設(shè)，其仍然面臨著巨大的計算成本和性能低下的問題。

在本文中，我們提出了一種基于近端迭代（NASP）的高效 NAS 方法。與以往的工作不同，NASP 將搜索過程重新定義為具有離散約束的優(yōu)化問題和模型復(fù)雜度的正則化器。由于新的目標(biāo)是難以解決的，我們進(jìn)一步提出了一種高效的算法，由近端啟發(fā)法進(jìn)行優(yōu)化。通過這種方式，NASP 不僅比現(xiàn)有的可微分的搜索方法速度快，而且還可以找到更好的體系結(jié)構(gòu)并平衡模型復(fù)雜度。最終，通過不同任務(wù)的大量實(shí)驗(yàn)表明，NASP 在測試精度和計算效率上均能獲得更好的性能，在發(fā)現(xiàn)更好的模型結(jié)構(gòu)的同時，速度比 DARTS 等現(xiàn)有技術(shù)快 10 倍以上。此外，NASP 消除了操作之間的關(guān)聯(lián)性。

在所有這些工作中，最為出色的是 DARTS [1]，因?yàn)樗Y(jié)合了可微分以及小搜索空間兩者的優(yōu)點(diǎn)，實(shí)現(xiàn)了單元內(nèi)的快速梯度下降。然而，其搜索效率和識別體系結(jié)構(gòu)的性能仍然不夠令人滿意。

在第三步中，研究者利用臨近迭代算子產(chǎn)生離散結(jié)構(gòu)；再在第四步中更新連續(xù)的結(jié)構(gòu)參數(shù)（單步梯度下降，無二階近似）；最后，在離散的網(wǎng)絡(luò)結(jié)構(gòu)下，更新網(wǎng)絡(luò)權(quán)重。

實(shí)驗(yàn)結(jié)果顯示，DARTS 的二階比一階慢得多，NASP 不僅比 DARTS 快得多，而且可以達(dá)到與其他最先進(jìn)的方法相當(dāng)?shù)臏y試性能。

推薦：在本周結(jié)束的 AAAI 2020 中，第四范式提出了一種基于臨近迭代（Proximal Iterations）的 NAS 方法，其速度比 DARTS 快了 10 倍以上。

論文 5：Epidemiological and clinical features of the 2019 novel coronavirus outbreak in China

作者：Yang Yang、Qingbin Lu、Mingjin Liu、Yixing Wang 等論文鏈接：https://www.medrxiv.org/content/10.1101/2020.02.10.20021675v1

摘要：近日，一篇名為《中國 2019 新型冠狀病毒爆發(fā)流行病學(xué)和臨床特征》的論文在醫(yī)學(xué)預(yù)印本平臺 medRxiv 上線，對 8866 名新冠肺炎患者的臨床學(xué)和流行病學(xué)特征進(jìn)行了總結(jié)，是迄今為止樣本量最大的新冠病毒肺炎臨床研究。這篇論文采用了來自 30 個省級行政單位 8866 名患者的數(shù)據(jù)，其中包括確診患者 4021 名（占比 45.35%），其余為疑似患者。數(shù)據(jù)截止到 2020 年 1 月 26 日 [注]，這是當(dāng)前樣本規(guī)模最大的新冠疫情臨床回顧性研究。

這篇論文得出以下主要結(jié)論：近半數(shù)（47.7%）患者的年齡在 50 歲及以上；每 10 萬人的發(fā)病率存在著明顯的性別差異，男性為 0.31，女性為 0.27（P<0.001）；新型冠狀病毒肺炎對年紀(jì)較大的男性影響大于其他群體，確診率和病死率都是最高的；重癥、輕癥的患者比例分別為 25.5% 和 69.9%，剩下 4.5% 的受調(diào)查者無肺炎癥狀；潛伏期中位數(shù)為 4.75 天，四分位距為 3.0-7.2 天；總體 CFR（病死率）估計為 3.06% 左右（95% 置信區(qū)間 2.02-4.59%），低于 SARS-CoV (9.2%) 和 MERS-CoV (34.4%)，年齡大于等于 60、性別為男性、初診時已經(jīng)發(fā)展為嚴(yán)重肺炎（滿足其中一個或多個條件）的患者群體病死率更高。R0 值（基本再生數(shù)）估計為 3.77（95% 置信區(qū)間 3.51-4.05），根據(jù)潛伏期和感染期的不同，R0 的敏感性分析取值范圍在 2.23 和 4.82 之間。

病死率的預(yù)估情況。以上都是 2020 年 1 月 26 日前，癥狀出現(xiàn)時間小于 14 天的病例。該組統(tǒng)計的過程中，d 可能為 5 到 8 天不等。

年齡、性別因素對于新冠病毒感染的影響。A：所有病人根據(jù)年齡和性別的分布情況；B：確診病例；C：疑似病例。D：根據(jù)性別進(jìn)行的統(tǒng)計，限于中國大陸的確診病例；E：武漢報告的確診病例；F：非武漢報告的確診病例。

推薦：根據(jù)發(fā)現(xiàn)結(jié)果，研究者認(rèn)為，新冠病毒與 SARS-CoV 有著類似的傳染性，但病死率更低。在癥狀轉(zhuǎn)為嚴(yán)重之前，應(yīng)盡早發(fā)現(xiàn)年紀(jì)較大的患者并及時治療，尤其是男性患者。但需注意的是，這篇論文還處于同行評審階段，其結(jié)果有待評估，不能用來指導(dǎo)臨床實(shí)踐。

論文 6：Ready Policy One: World Building Through Active Learning

作者：Philip Ball、Jack Parker-Holder、Aldo Pacchiano、Stephen Roberts 等論文鏈接：https://arxiv.org/pdf/2002.02693.pdf

摘要：基于模型的強(qiáng)化學(xué)習(xí)（Model-Bad Reinforcement Learning，MBRL）為樣本高效學(xué)習(xí)提供了一個有前途的方向，通常可以實(shí)現(xiàn)連續(xù)控制任務(wù)（continuous control task）的 SOTA 結(jié)果。然而，許多現(xiàn)有的 MBRL 方法依賴于貪婪策略（greedy policy）與探索啟發(fā)法的結(jié)合，甚至那些利用原則試探索獎金（exploration bonus）的方法也能夠以特定方式構(gòu)建雙重目標(biāo)。

在本文中，研究者介紹了 Ready Policy One（RP1），這是一種將 MBRL 視為主動學(xué)習(xí)問題的框架。研究者的目標(biāo)是在盡可能少樣本中改進(jìn)世界模型（world model）。RP1 通過利用混合目標(biāo)函數(shù)來實(shí)現(xiàn)這一目標(biāo)，該函數(shù)在優(yōu)化過程中的適應(yīng)性調(diào)整至關(guān)重要，從而使算法可以權(quán)衡不同學(xué)習(xí)階段的獎勵與探索。此外，一旦擁有足夠豐富的軌跡批（trajectory batch）來改進(jìn)模型，研究者會引入一種原則式機(jī)制（principled mechanism）來終止樣本收集。

給定時間步為 10 的四次方時的最佳性能中位數(shù)對比。

RP1 關(guān)鍵組件的控制變量研究。

推薦：在實(shí)驗(yàn)階段，研究者在各類連續(xù)控制任務(wù)上對他們的方法進(jìn)行了嚴(yán)格的評估，結(jié)果證明與現(xiàn)有方法相比具有統(tǒng)計學(xué)上的顯著優(yōu)勢。

論文 7：Is BERT Really Robust? A Strong Baline for Natural Language Attack on Text Classification and Entailment

作者：Di Jin、Zhijing Jin、Joey Tianyi Zhou、Peter Szolovits論文鏈接：https://arxiv.org/pdf/1907.11932.pdf

摘要：眾所周知，CV 領(lǐng)域的 adversarial attack 被非常廣泛的研究，但是在 NLP 領(lǐng)域的對抗攻擊卻因?yàn)槲谋镜碾x散的特性而難以推進(jìn)。對于 NLP 的模型來說，那些在人們眼里幾乎沒變的文本卻會被模型非常不同地對待，甚至錯判。這些是特別致命的、且急需研究的方向。這是一篇與 MIT 合作的 AAAI 2020 Oral 文章，自然語言對抗樣本生成，我們將詳細(xì)解讀如何簡單高效地生成自然語言對抗樣本，并且高度 attack 文本分類和文本推測的 7 個數(shù)據(jù)集。

研究者探究了對抗攻擊在文本分類和文本蘊(yùn)涵兩項(xiàng)重要 NLP 任務(wù)上的有效性，并采用了不同的數(shù)據(jù)集。

對于每個數(shù)據(jù)集，研究者在訓(xùn)練集上訓(xùn)練了三個 SOTA 模型，并得到了與原始實(shí)現(xiàn)相近的測試集準(zhǔn)確率分?jǐn)?shù)。

本文攻擊系統(tǒng)與其他已發(fā)表系統(tǒng)的比較。

推薦：本文二作金致靜，香港大學(xué)畢業(yè)，目前在亞馬遜上海人工智能實(shí)驗(yàn)室做實(shí)習(xí)研究。

ArXiv Weekly Radiostation

機(jī)器之心聯(lián)合由楚航、羅若天發(fā)起的ArXiv Weekly Radiostation，在 7 Papers 的基礎(chǔ)上，精選本周更多重要論文，包括NLP、CV、ML領(lǐng)域各10篇精選，并提供音頻形式的論文摘要簡介，詳情如下：

10 NLP Papers來自機(jī)器之心00:0019:30

本周 10 篇 NLP 精選論文是：

1. Training with Streaming Annotation. (from Tongtao Zhang, Heng Ji, Shih-Fu Chang, Marjorie Freedman)

2. Limits of Detecting Text Generated by Large-Scale Language Models. (from Lav R. Varshney, Nitish Shirish Keskar, Richard Socher)

3. Joint Embedding in Named Entity Linking on Sentence Level. (from Wei Shi, Siyuan Zhang, Zhiwei Zhang, Hong Cheng, Jeffrey Xu Yu)

4. ConvLab-2: An Open-Source Toolkit for Building, Evaluating, and Diagnosing Dialogue Systems. (from Qi Zhu, Zheng Zhang, Yan Fang, Xiang Li, Ryuichi Takanobu, Jinchao Li, Baolin Peng, Jianfeng Gao, Xiaoyan Zhu, Minlie Huang)

5. Pre-Training for Query Rewriting in A Spoken Language Understanding System. (from Zheng Chen, Xing Fan, Yuan Ling, Lambert Mathias, Chenlei Guo)

6. Exploring Structural Inductive Bias in Emergent Communication. (from Agnieszka S?owik, Abhinav Gupta, William L. Hamilton, Mateja Jamnik, Sean B. Holden, Christopher Pal)

7. Abstractive Summarization for Low Resource Data using Domain Transfer and Data Synthesis. (from Ahmed Magooda, Diane Litman)

8. Learning to Compare for Better Training and Evaluation of Open Domain Natural Language Generation Models. (from Wangchunshu Zhou, Ke Xu)

9. Incorporating Visual Semantics into Sentence Reprentations within a Grounded Space. (from Patrick Bordes, Eloi Zablocki, Laure Soulier, Benjamin Piwowarski, Patrick Gallinari)

10. Snippext: Semi-supervid Opinion Mining with Augmented Data. (from Zhengjie Miao, Yuliang Li, Xiaolan Wang, Wang-Chiew Tan)

10 CV Papers來自機(jī)器之心00:0020:34

本周 10 篇 CV 精選論文是：

1. Automatically Discovering and Learning New Visual Categories with Ranking Statistics. (from Kai Han, Sylvestre-Alvi Rebuffi, Sebastien Ehrhardt, Andrea Vedaldi, Andrew Zisrman)

2. Continuous Geodesic Convolutions for Learning on 3D Shapes. (from Zhangsihao Yang, Or Litany, Tolga Birdal, Srinath Sridhar, Leonidas Guibas)

3. Subspace Capsule Network. (from Marzieh Edraki, Nazanin Rahnavard, Mubarak Shah)

4. Revisiting Spatial Invariance with Low-Rank Local Connectivity. (from Gamaleldin F. Elsayed, Prajit Ramachandran, Jonathon Shlens, Simon Kornblith)

5. How Does Gender Balance In Training Data Affect Face Recognition Accuracy?. (from Vítor Albiero, Kai Zhang, Kevin W. Bowyer)

6. Image-to-Image Translation with Text Guidance. (from Bowen Li, Xiaojuan Qi, Philip H. S. Torr, Thomas Lukasiewicz)

7. Enmble of Deep Convolutional Neural Networks for Automatic Pavement Crack Detection and Measurement.(from Zhun Fan, Chong Li, Ying Chen, Paola Di Mascio, Xiaopeng Chen, Guijie Zhu, Giuppe Loprencipe )

8. PointHop++: A Lightweight Learning Model on Point Sets for 3D Classification. (from Min Zhang, Yifan Wang, Pranav Kadam, Shan Liu, C.-C. Jay Kuo)

9. Finding novelty with uncertainty. (from Jacob C. Reinhold, Yufan He, Shizhong Han, Yunqiang Chen, Dashan Gao, Junghoon Lee, Jerry L. Prince, Aaron Carass)

10. Validating uncertainty in medical image translation.(from Jacob C. Reinhold, Yufan He, Shizhong Han, Yunqiang Chen, Dashan Gao, Junghoon Lee, Jerry L. Prince, Aaron Carass)

10 ML Papers來自機(jī)器之心00:0019:30

本周 10 篇 ML 精選論文是：

1. Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization. (from Samuel Horváth, Lihua Lei, Peter Richtárik, Michael I. Jordan)

2. Weakly-Supervid Dintanglement Without Compromis. (from Francesco Locatello, Ben Poole, Gunnar R?tsch, Bernhard Sch?lkopf, Olivier Bachem, Michael Tschannen)

3. Capsules with Inverted Dot-Product Attention Routing. (from Yao-Hung Hubert Tsai, Nitish Srivastava, Hanlin Goh, Ruslan Salakhutdinov)

4. Cyclic Boosting -- an explainable supervid machine learning algorithm. (from Felix Wick, Ulrich Kerzel, Michael Feindt)

5. DynamicPPL: Stan-like Speed for Dynamic Probabilistic Models. (from Mohamed Tarek, Kai Xu, Martin Trapp, Hong Ge, Zoubin Ghahramani)

6. Explore, Discover and Learn: Unsupervid Discovery of State-Covering Skills. (from Víctor Campos, Alexander Trott, Caiming Xiong, Richard Socher, Xavier Giro-i-Nieto, Jordi Torres)

7. Towards Mixture Proportion Estimation without Irreducibility. (from Yu Yao, Tongliang Liu, Bo Han, Mingming Gong, Gang Niu, Masashi Sugiyama, Dacheng Tao)

8. On the Effectiveness of Richardson Extrapolation in Machine Learning. (from Francis Bach, SIERRA)

9. Learning State Abstractions for Transfer in Continuous Control. (from Kavosh Asadi, David Abel, Michael L. Littman)

10. Consistency of a Recurrent Language Model With Respect to Incomplete Decoding. (from Sean Welleck, Ilia Kulikov, Jaedeok Kim, Richard Yuanzhe Pang, Kyunghyun Cho)