江苏快三开奖结果

您正在使用IE低版瀏覽器,為了您的雷鋒網賬號安全和更好的產品體驗,強烈建議使用更快更安全的瀏覽器
此為臨時鏈接,僅用于文章預覽,將在時失效
人工智能學術 正文
發私信給楊曉凡
發送

0

2019年十大精彩AI學術論文盤點

導語:理解越發深刻,模型日新月異

2019年十大精彩AI學術論文盤點

雷鋒網(公眾號:雷鋒網) AI 科技評論按:2019 年馬上就要結束了,這一年里我們又一同見證了雪片般密集(越來越密集)的論文,見證了全世界研究人員在各種問題上的新探索。

LEIFENGWANG AI KEJIPINGLUNCANKAO TopBots、Heartbeat、New World AI DENGJIGOUDE 2019 LUNWENBANGDAN,ZONGJIECHU 2019 NIANFABIAODEJUYOUYANJIUFENGXIANGDAIBIAOXINGDE、YOUXUESHUYINGXIANGLI、NEIRONGYEJINGCAIDE AI LUNWEN。QIZHONGYIXIELUNWENBAXIANYOUDEJISHUSILUGAIJINDEGENGJIAWANSHAN,YOUYIXIEJIASHENLEWOMENDUIJIQIXUEXI/SHENDUXUEXIZHENGJIANSHIDELIJIE,YEYOUDECHANGSHILEQUANXINDEJIASHUO、DAKAILEXINDETANSUOFANGXIANG。DANGRAN,ZHEYINIANYOUXUDUOLUNWENDOUJUYOUXIANZHUDEXUESHUJIAZHI,XIAMIANZONGJIECHUDEZHISHIBINGSHANYIJIAO。RUGUONIJUEDEHUANYOUNAXIELUNWENSHITONGYANGZHIDEBEIHUIGUDE,HUANYINGZAIPINGLUNQULIUYANHEWOMENTAOLUN。

江苏快三开奖结果CHUCIZHIWAI,WOMENHUANZHUNBEILEYIPIAN「2019 NIANSHIDAXINQILUNWEN」,ZONGJIELEZHEYINIANZHONGYOUQIXINYINGYOUQU、SHENZHICHUGEZHAOZHIPIPINGDELUNWEN。


2019 年精彩學術論文 Top10(按首字母排序)

A Style-Based Generator Architecture for Generative Adversarial Networks ( CVPR 2019 )

2019年十大精彩AI學術論文盤點

一個基于風格的GAN生成器架構

作者:江苏快三开奖结果NVIDIA 實驗室 Tero Karras, Samuli Laine, Timo Aila

推薦理由:江苏快三开奖结果StyleGAN 無疑是 2019 年最熱門的 GAN 網絡模型。在 StyleGAN 之前,GAN 的相關研究已經遇到了條件式生成困難、單純增加模型大小的收益有限、無法生成逼真的高分辨率圖像等等多種困境,StyleGAN 就沖破了這個瓶頸,在生成控制的可控制性、不同屬性的互相搭配、高分辨率高清晰度(且具備一致性)方面都帶來了大幅進步。為此,StyleGAN 獲得了 CVPR 2019 最佳論文榮譽提名獎。

2019年十大精彩AI學術論文盤點

StyleGAN ZAIWANGLUOSHANGYINFALEDALIANGTAOLUN,TAJINGRENDERENLIANSHENGCHENGXIAOGUOBUJINZHEFULECHIGUAQUNZHONG,YEXIYINLEHENDUORENZHUANXIEZIJIDESHIXIANBINGKAIFANG demo GONGSUOYOURENCHANGSHI,BAOKUOSHENGCHENGRENLIAN(thispersondoesnotexist.com)、SHENGCHENGMAO(thiscatsondoesnotexist.com)、SHENGCHENGERCIYUANMEIZI(thiswaifudoesnotexist.net)、SHENGCHENGFANGJIANZHAOPIAN(thisairbnbdoesnotexist.com)DEMOXING。

江苏快三开奖结果JIUZAIJINQI,BAOKUOLUNWENYUANZUOZHEZAINEIDE NVIDIA SHIYANSHIYANJIURENYUANMENFABIAOLE StyleGAN2 LUNWEN(Analyzing and Improving the Image Quality of StyleGAN,arxiv.org/abs/1912.04958),ZHENDUIXINGDIXIUZHENGLE StyleGAN SHENGCHENGDETUXIANGZHONGDEQUEXIANDENGWENTI、TIGAOLETUXIANGZHONGYUANSUDEYIZHIXING,CONGERBATUXIANGSHENGCHENGZHILIANGDAIDAOLEXINDEGAOFENG。

論文地址:江苏快三开奖结果StyleGAN ,StyleGAN2 

代碼開源:


Bridging the Gap between Training and Inference for Neural Machine Translation ( ACL 2019 )

彌補神經機器翻譯模型訓練和推理之間的缺口

作者:中科院計算所智能信息處理重點實驗室,中國科學院大學,微信 AI 模式識別中心,伍斯特理工學院,華為諾亞方舟實驗室

推薦理由:江苏快三开奖结果神經機器翻譯模型的訓練方式是給定上下文,預測某一些被掩模的詞,但推理過程(真正的翻譯過程)是需要從零生成整個句子。這種偏差問題其實在序列到序列轉換任務中長期普遍存在。這篇論文就研究了這種偏差,并探討如何彌補這種偏差。

ZUOZHEMENTICHUDEJIEJUEFANGANSHI,SHENGCHENGTIAOJIANZAI「JIYUCANKAOWENBENZHONGDECI」HE「JIEMAQIZIJIDESHUCHUZHONGYUXUANZECI」LIANGZHONGZHIJIANQIEHUAN,LUNWENDESHIYANZUODEFEICHANGWANSHAN,JIEGUOLINGRENXINFU。GENJU ACL 2019 LUNWENJIANGPINGXUANWEIYUANHUIDEYIJIAN,ZHEZHONGFANGFASHIYONGYUDANGQIANDECHUNXUEXIXUNLIANFANSHI,YENENGWEIGUIHUACAIYANGDAILAIGAIJIN;ERQIE,ZHEBUJINKENENGYINGXIANGBENLAIZHENDUIDEJIQIFANYIRENWUDEWEILAIYANJIUHEYINGYONG,YENENGYONGLAIPUBIANDIGAIJINQITADEXULIEDAOXULIEZHUANHUANMOXING。ZHEPIANLUNWENYEBEIXUANWEI ACL 2019 ZUIJIALUNWEN。

論文地址: 


Grandmaster Level in StarCraft II Using Multi-agent Reinforcement Learning ( Nature )

2019年十大精彩AI學術論文盤點

通過多智能體強化學習在星際2中達到「Grandmaster」段位

作者:DeepMind Oriol Vinyals、Demis Hassabis、Chris Apps & David Silver 等

推薦理由:2019 年 1 月,DeepMind 開發的星際 2 AI「AlphaStar」首次亮相就擊敗了人類職業選手。雖然當時的比賽規則明顯對 AI 方有利,但我們已經感受到了 AI 并不是靠操作速度、而主要是靠優秀的策略取得勝利的。后來,在公平規則的、基于星際 2 天梯的大規模人機 1v1 比賽中,AlphaStar 繼續發揮出了優秀的表現,取得了「Grandmaster」段位,大概為所有活躍玩家的前 0.15%。這也成為了 AlphaStar 論文發表在《Nature》雜志 2019 年 10 月刊所需要的最后一個實驗。

2019年十大精彩AI學術論文盤點

AI ZAIYOUXIZHONGSHENGGUORENLEIDANGRANBUSHIDIYICILE,BUGUO DeepMind KAIFA AlphaStar BINGBUJINJIN(HEQITAYOUXI AI YIYANG)SHIYONGLEDALIANGDEJISUANNENGLI,TAMENSHIYONGDEQUNTIQIANGHUAXUEXI(QUNTIJINHUA、BAOLIUDUOZHONGBUTONGCELVE)DENGSHEJIYEGAISHANLETONGCHANGQIANGHUAXUEXIZUOFADEWENTI,TIGAOLEZHINENGTIZAIFUZAHUANJINGZHONGDEBIAOXIAN。BUWANQUANXINXI、GAOWEILIANXUXINGDONGKONGJIANDECHANGXULIEJIANMOWENTIDEJIEJUEFANGANRIQUCHENGSHU。

論文地址:江苏快三开奖结果  (開放閱讀版 )

詳細介紹:http://vuwiazai.com/news/201901/aDDh5MOlOsU22WvK.html


Learning the Depths of Moving People by Watching Frozen People ( CVPR 2019 )

2019年十大精彩AI學術論文盤點

通過觀察靜止的人學習預測移動的人的深度

作者:江苏快三开奖结果谷歌 AI 研究院 Zhengqi Li, Tali Dekel, Forrester Cole, Richard Tucker, Noah Snavely, Ce Liu, William T. Freeman

推薦理由:這篇論文要解決的任務「從單個攝像頭估計運動物體的深度」乍看上去是無法完成的。這篇論文用了很巧妙的方法,一方面,作者們把 YouTube 上用戶們自己上傳的「時間靜止」視頻作為數據集,它們提供了海量的、天然的、帶有人物的三維空間回放,經過傳統方法還原之后就可以作為標注數據,免去了采集之苦。這實際上提醒我們,除了用傳統眾包方法專門收集數據集之外,網絡上還有許多公開數據經過處理以后也可以成為很有價值的訓練數據集。

2019年十大精彩AI學術論文盤點

LINGYIFANGMIAN,ZAIYONGSHENDUMOXINGXUEXIKONGJIANCHANGSHI、XUEXIYUCESHENDUDETONGSHI,ZUOZHEMENHUANZENGJIALEEWAIDEJIEGOURANGWANGLUONENGGOUTIQULINJINDEZHENZHIJIANDEBIANHUAXINXI,TIGAOLEWANGLUOCHULIYUNDONGWUTIDENENGLI。ZUIZHONGXIAOGUOSHI,ZHIXUYAODANGESHEXIANGTOUSHIJIAODESHURU,MOXINGJIUKEYISHUCHUWENDING、GAOZHUNQUELVDESANWEISHENDUYUCE,DUIYUYUNDONGDEWUTIYEYOUHENHAOXIAOGUO。ZHEPIANLUNWENYEHUODELE CVPR 2019 ZUIJIALUNWENRONGYUTIMINGJIANG。

論文地址:

詳細介紹:http://vuwiazai.com/news/201905/comu6TnFl5ejaAG1.html

代碼開源:


The Lottery Ticket Hypothesis:Finding Sparse, Trainable Neural Networks ( ICLR 2019 )

彩票假說:找到稀疏、可訓練的神經網絡

作者:MIT 計算機科學與人工智能實驗室 Jonathan Frankle, Michael Carbin

推薦理由:作為縮小網絡體積、降低運算資源需求的技術路線,網絡稀疏化和知識蒸餾一起得到了越來越多的關注。目前最常用的稀疏化方法是先訓練一個大網絡然后剪枝,稀疏的網絡也可以得到和稠密網絡差不多的性能。

江苏快三开奖结果JIRANXISHUDEWANGLUOKEYIYOUHECHOUMIWANGLUOCHABUDUODEXINGNENG,ZHEPIANLUNWENLIZUOZHEMENJIUTICHUYIGEDADANDEJIASHE,KANZUOSHIXIANGYAODEXISHUWANGLUOBENLAIJIUZAICHOUMIWANGLUOLI,WOMENZHIXUYAOBATAZHAOCHULAIJIUKEYI —— GENGJUTIDI,RUGUOCONGSUIJICHUSHIHUADEWANGLUOSUIJIZUO n CIDIEDAIKEYIDEDAOXUNLIANHAODECHOUMIWANGLUO,CONGSUIJICHUSHIHUADEWANGLUOLIZUOLEISISHUMUDEDIEDAIYEKEYIZHAODAOBIAOXIANCHABUDUODEXISHUWANGLUO。ZHIBUGUO,ZHAODAONEIGEXISHUWANGLUOFEICHANGYILAIHAODECHUSHIZHI,ERXIANGZAISUIJICHUHAODECHUSHIZHIJIANZHIJIUXIANGCHOUCAIPIAO。ZHEJIUSHILUNWENHEXINDE「CAIPIAOJIASHUO」。

江苏快三开奖结果ZUOZHEMENSHEJILESUANFAQUEREN「SHIFOUCHOUDAOLEHAODEHAOMA」,YEYONGYIXILIESHIYANYANZHENGLEJIASHUO、ZHANSHILEHAODECHUSHIZHIDEZHONGYAOXING。SHENZHI,CONGHAODECHUSHIZHICHUFADEDAODEXISHUWANGLUOKEYIDEDAOBICHOUMIWANGLUOGENGHAODEBIAOXIAN。ZHEPIANLUNWENHUODELE ICLR 2019 DEZUIJIALUNWENJIANG。

江苏快三开奖结果DADANDE「CAIPIAOJIASHUO」LIKEYINFALEJILIETAOLUN。ZUOZHEMENZUOLEHOUXUYANJIUFABIAOLE Stabilizing the Lottery Ticket Hypothesis(arxiv.org/abs/1903.01611);Uber AI SHIYANSHIFABIAOLEYIPIANLUNWEN Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask(arxiv.org/abs/1905.01067)JIESHAOLETAMENDUIZHEGEXIANXIANGDESHENRUTANJIUJIEGUO,JIESHILE「CAIPIAOJIASHUO」ZAIPENGYUNQIZHIWAIDEHELIXING;LUNWEN Sparse Networks from Scratch: Faster Training without Losing Performance(arxiv.org/abs/1907.04840)YEJINJIEZHUTICHU「CAIPIAOJIASHE」ZHILEIDEXISHUWANGLUOSHENGCHENGFANGSHIJISUANDAIJIATAIGAO,TAMENDEXINFANGFAKEYIZHIJIECONGXISHUDEWANGLUOJIEGOUKAISHIXUNLIAN,DUIJISUANZIYUANXUQIUGENGSHAO、XUNLIANGENGKUAI,BINGDADAOHECHOUMIWANGLUOXIANGJINDEBIAOXIAN;FB TIANYUANDONGZUYEFABIAOLE One ticket to win them all: generalizing lottery ticket initializations across datasets and optimizers(arxiv.org/abs/1906.02773)BINGBEI NeurIPS 2019 JIESHOU。

論文地址:

詳細介紹:http://vuwiazai.com/news/201905/ZwDWnaSGZHDveLiO.html

代碼開源: 


On the Variance of the Adaptive Learning Rate and Beyond

關于自適應學習率的變化以及更多

作者:UIUC Liyuan Liu、韓家煒,微軟研究院 高劍峰 等

推薦理由:這篇來自韓家煒團隊的論文研究了深度學習中的變差管理。在神經網絡的訓練中,Adam、RMSProp 等為了提升效果而加入了自適應動量的優化器都需要一個預熱階段,不然在訓練剛剛啟動的時候就很容易陷入不好的、可能有問題的局部最優,而這篇論文中提出的 RAdam 能為優化器提供好的初始值。借助一個動態整流器,RAdam 可以根據變差大小來調整 Adam 優化器中的自適應動量,并且可以提供一個高效的自動預熱過程;這些都可以針對當前的數據集運行,從而為深度神經網絡的訓練提供一個扎實的開頭。

2019年十大精彩AI學術論文盤點

江苏快三开奖结果TONGYISHIQIHUANYOULINGYIPIANYANJIUGAIJINYOUHUAGUOCHENGDELUNWEN《LookAhead optimizer: k steps forward, 1 step back》(arxiv.org/abs/1907.08610),TADEHEXINSILUSHIWEICHILIANGTAOQUANZHONG,BINGZAILIANGZHEZHIJIANJINXINGNEICHA,KEYISHUOSHI,TAYUNXUGENGKUAIDENEIYIZUQUANZHONG「XIANGQIANKAN」(YEJIUSHITANSUO),TONGSHIGENGMANDENEIYIZUQUANZHONGKEYILIUZAIHOUMIAN,DAILAIGENGHAODECHANGQIWENDINGXING。ZHEZHONGZUOFADAILAIDEXIAOGUOJIUSHIJIANGDILEXUNLIANGUOCHENGZHONGDEBIANCHA,JIU「JIANSHAOLECHAOCANSHUDIAOJIEDEGONGZUOLIANG」,TONGSHI「ZAIXUDUOBUTONGDESHENDUXUEXIRENWUZHONGDOUYOUGENGKUAIDESHOULIANSUDU、ZUIXIAODEJISUANKAIXIAO」(GENJULUNWENZUOZHEZIJIDEJIESHAO)。

2019年十大精彩AI學術論文盤點

ZHELIANGPIANLUNWENBUJINDOUDUISHENJINGWANGLUODEYOUHUAGUOCHENGTICHULEYOUXIAOGAIJIN,ERQIELIANGZHEHUANKEYIGONGTONGSHIYONG。ZHEXIECHENGGUODOUJIZENGJINLEWOMENDUISHENJINGWANGLUOSUNSHIKONGJIANDELIJIE,HUANSHIFEICHANGYOUXIAODEGONGJU。

論文地址:

代碼開源:江苏快三开奖结果(RAdam),(LookAhead)

詳細介紹:RAdam 和 LookAhead 可以合二為一 http://vuwiazai.com/news/201908/SAFF4ESD8CCXaCxM.html


Reasoning-RCNN: Unifying Adaptive Global Reasoning Into Large-Scale Object Detection ( CVPR 2019 )

2019年十大精彩AI學術論文盤點

Reasoning-RCNN: 在大規模目標檢測中應用統一的自適應全局推理

作者:華為諾亞方舟實驗室,中山大學

推薦理由:江苏快三开奖结果隨著目標識別的規模越來越大、粒度越來越細,類別不平衡、遮擋、分類模糊性、物體尺度差異性等等問題越來越明顯。我們很容易想到,人類視覺識別能力中的一個重要環節是「基于常識的推理」,比如辨認出了 A 物被 B 物遮擋之后,對這兩個物體的識別都能更準確。這篇論文就把這種思想融入到了 RCNN 模型中,作者們為模型設計了顯式的常識知識,并且用基于類別的知識圖把圖像中物體的語義知識表示出來。

YIFANGMIAN,ZAIGANZHIMOXINGZHONGJIARUCHANGSHI、JIARUJICHUDETUILINENGLISHIGOUJIAN「SHIJUEZHINENG」DEQUSHI;LINGYIFANGMIAN,QITAYANJIUZHESUIRANZAIGENGZAODEYANJIULIJIUTICHUGUO「CONGTUXIANGDEMUBIAOSHIBIESHENGCHENGGUANXITU」,DANSHIGUANXITUSHENGCHENGLEYIHOUYOUSHENMEZUOYONGNI,ZHEPIANLUNWENJIUZHANSHILE,KEYIYONGTUJINYIBUGAISHANMUBIAOSHIBIERENWUBENSHENDEBIAOXIAN。

2019年十大精彩AI學術論文盤點

江苏快三开奖结果CHUCIZHIWAI,ZUOZHEMENHUANZUOLEXUDUOGAIJIN,RANGMOXINGGENGSHIYINGDAGUIMOWUTISHIBIE、ZENGQIANGJIEDUANZHIJIANDELIANXI、YOUHUASHIBIEXIAOGUO。ZUIZHONG,MOXINGDE  mAP ZAIDUOGESHUJUJISHANGDOUYOUDAFUTIGAO。ZUOZHEMENDEFANGFABIJIAOQINGLIANG,KEYIYONGZAIGEZHONGMUBIAOSHIBIEZHUGANWANGLUOSHANG,YEKEYIJICHENGGEZHONGBUTONGDEZHISHILAIYUAN。

論文地址:

代碼開源:


Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning ( ICML 2019 )

2019年十大精彩AI學術論文盤點

在多智能體強化學習中把社交影響作為固有動機

作者:江苏快三开奖结果MIT,DeepMind,普林斯頓大學

推薦理由:隨著多智能體強化學習研究越來越多,為智能體設計/讓智能體學會行動協調和信息交換成了一個重要課題。這篇論文中作者們的著力點就是在多智能體環境下,讓智能體從其他智能體身上學會固有的社交動機。他們的方法是,如果一個智能體能影響其他智能體、讓它們在協同和溝通方面都有更好的表現,那就獎勵它。更具體地,作者們在論文中展示了,如果一個智能體讓其他智能體的行為發生了較大的改變,那獎勵它就更有可能鼓勵不同的智能體之間有更多的共同信息交換。這樣的機制會讓智能體形成歸納偏倚,更有意愿學會協同運動,即便這些智能體都是各自獨立地訓練的。并且影響力的獎勵是使用一種分布式的方式來計算的,能夠有效解決突發通信的問題。這篇論文獲得了 ICML 2019 最佳論文榮譽提名。

江苏快三开奖结果TONGQIHUANYOULINGYIPIANLAIZI Facebook AI YANJIUYUANDELUNWEN Learning Existing Social Conventions via Observationally Augmented Self-Play (arxiv.org/abs/1806.10071)CONGLINGYIGEJIAODUSHEJILEXIEDIAOJIZHI:ZAIJIARUYIGETUANTIZHIQIAN,XINDEZHINENGTIYAOTONGGUOGUANCHAHEZHONGFANGJIZHIXUEXIZHEGETUANDIDANGQIANDEXINGWEIMOSHI(RENLEIJIAODUDE「FENGSUXIGUAN」),RANGZIJINENGGOURONGRU,BIMIANJIARUTUANTIZHIHOUTADECELVEWUFADEDAOJIANGLI(JIBIANZAIWUHEZUODEJINGZHENGXINGHUANJINGXIAKEYIDEDAOJIANGLI)。BUGUODAGAIHUANSHIQIANYIPIANXUEHUIGUYOUSHEJIAODONGJIGENGGAOMINGYIDIAN?XIANGBIZHIXIATAKESHIMINGMINGBAIBAIDICUJINLEZHINENGTIDOUBIANDEGENGXIEDIAO、GENGZHUDONGGOUTONGA(XIAO)。

論文地址: 


Weight Agnostic Neural Networks

2019年十大精彩AI學術論文盤點

權重無關的神經網絡

作者:江苏快三开奖结果谷歌 AI Adam Gaier 和 David Ha

推薦理由:現代的神經網絡研究都有一個固定的模式,固定網絡架構,通過優化尋找好的連接權重(訓練)。這種慣例也引發了一些討論,「如果我們把網絡結構看作先驗,把連接權重看作學到的知識」,那么我們能在多大程度上把知識以結構(先驗)的形式集成在模型中呢?以及這樣做是好還是壞呢?

ZHEPIANLUNWENJIUSHIYICIZHIJIEDETANSUO,WANGLUODEXUNLIANGUOCHENGBUSHIWEILEXUNZHAOQUANZHONG,ERSHIZAIXIANGDUIGUDINGQIESUIJIDEQUANZHONGXIAXUNZHAOGENGHAODEWANGLUOJIEGOU。DUIYUJICHENGLEHAODEXIANYANDEWANGLUOJIEGOU,JIBIANWANGLUOZHONGSUOYOUDEQUANZHONGDOUTONGYIQIESUIJIDEYENENGYOUHAODEBIAOXIAN;ZAICIJICHUSHANGRUGUONENGYUNXUFENBIEYOUHUABUTONGDEQUANZHONG,WANGLUODEBIAOXIANJIUKEYIGENGSHANGYICENGLOU。ZHEZHONGFANGSHIZHAODAODEXIANYANZHISHIYEHUIYIWANGLUOJIEGOUDEXINGSHIZHIJIETIXIANCHULAI,YOUGENGHAODEKEJIESHIXING。

2019年十大精彩AI學術論文盤點

RUGUOSHUO「GUDINGWANGLUOJIEGOU,XUNZHAOQUANZHONG」HE「GUDINGQUANZHONG、XUNZHAOWANGLUOJIEGOU」FENBIEJIUXIANG「QIZONG」YU「JIANZONG」,NEIMEXIANZAISHUANGFANGZHONGYUDOUDENGCHANGLE,WOMENKEYIQIDAIWEILAIYOUGENGDUODEHAOXISHANGYAN。

論文地址:

詳細介紹:http://vuwiazai.com/news/201906/wMjVvtWT2fr8PcxP.html 

代碼開源:


XLNet: Generalized Autoregressive Pretraining for Language Understanding

2019年十大精彩AI學術論文盤點

XLNet:用于語言理解的通用自回歸預訓練

作者:CMU,谷歌 AI

推薦理由:江苏快三开奖结果基于 BERT 的改進模型很多,XLNet 是其中非常成功的一個。XLNet 的改進重點在于,1,用基于輸入順序置換的新的掩模方式替代 BERT 的掩模+雙向預測(這種機制設計使得 BERT 更像是文本降噪模型,而在生成任務中表現不佳),2,使用了 token 內容和 token 位置分離的雙流自注意力機制,3,采用了和改進 2 匹配的新的掩模方式。這些設計讓 XLNet 兼具了序列生成能力(類似傳統語言模型)和上下文信息參考能力。

ZAIJIASHANGXUANYONGGENGDADEXUNLIANSHUJUJI、YONGGENGSHIYINGCHANGXULIEDE Transformer-XL ZUOWEIZHUGANWANGLUO、XUNLIANFANGSHIDUIYANMODELIYONGLVGENGGAO、YUNXUBUFENYUCEXUNLIANDENGGAIJIN,KEYISHUO XLNet XIANGDUIYU BERT DEJISHUGAIJINSHICONGTOUDAOWEIDE,ZAIZUOZHEMENCESHIDESUOYOURENWUZHONGDOUQUDELEBI BERT GENGHAODEBIAOXIANYESHIQINGLIZHIZHONG(SUIRANYOUYIXIERENWUZHONGTISHENGBINGBUDA)。

XLNet ZHEYANGDEMOXINGCHUXIANDAIBIAOZHU NLP YUXUNLIANMOXINGYUEFACHENGSHU,SHIYINGDEXIAYOURENWUYUELAIYUEDUO、BIAOXIANYUELAIYUEHAO;YEDAIBIAOZHUYIGETONGYIDEMOXINGJIAGOUJIUYOUKENENGJIEJUEGEZHONGBUTONGDE NLP RENWU。

論文地址:

代碼開源:


CHUCIZHIWAI,YIXIAZHE 10 PIANLUNWENYECENGZAIWOMENDEHOUXUANLIEBIAOLI,TAMENGETUCHUZHICHU,WOMENLIEJURUXIA:

  • AI surpasses humans at six-player poker ( Science Magazine)

    • ZAI 6 RENDEZHOUPUKEYOUXIZHONGSHENGGUORENLEIDEPUKE AI(ZHEYESHI Science ZAZHIZONGJIEDE 2019 NIAN 10 DAKEXUETUPODI 10 MING)

  • ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

    • JIANHUABAN BERT,DANBUSHIJIANDANDESUOXIAOLESHI,TAMENYONGGENGSHAODECANSHUHUODELEGENGHAODEBIAOXIAN

  • A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction

    •  

    • 「FEISHIXIANNEIDEWUTIXINGZHUANGZHONGJIAN」,YEJIUSHI「RUHEKANDAOQIANGJIAOHOUMIANDEDONGXI」SHIZHEPIANLUNWENDEYANJIUKETI。SUIRANZHEGERENWULVEXIANLENGMEN,DANZHEPIANLUNWENBIAOMINGJISUANJISHIJUEJISHUYOUQIANLIRANGGENGDUOKANSIBUKENENGDESHIQINGBIANDEKENENG。HUODELE CVPR 2019 ZUIJIALUNWEN

  • Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems ( ACL 2019 )

    •  

    • 江苏快三开奖结果MIANXIANGRENWUDEDUOLUNDUIHUAXITONGTONGCHANGHUIWEIBUTONGDERENWUSHEJIYUDINGYIDEMOBAN,DANBUTONGMOBANZHIJIANDESHUJUGONGXIANG、SHUJUQIANYISHIYIDANANDIAN。ZHEPIANLUNWENJIUTICHULEYOUXIAODEZHISHIZHUIZONG、GONGXIANG、QIANYIFANGFA

  • Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos

    • JIYUDANSHIJIAOSHIPIN,GENJUYUNDONGWUTIDEYIDONGJIESUANSANWEIKONGJIANJIEGOUDEZUOFAZAICHUANTONGJISUANJISHIJUEZHONGJIUYOUHENDUOYANJIU,ZHEPIANLUNWENLIBATAHESHENDUXUEXIJIEHEYIHOUDAILAILEGENGHAODEXIAOGUO,ZUOZHEMENZENGJIADEZAIXIANXUEXINENGLIYERANGZHEGEFANGFADUIBUTONGDESHUJUJI、BUTONGDECHANGJINGYOUGENGHAODESHIYINGXING。

  • EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

    • 江苏快三开奖结果YANJIU CNN MOXINGDESUOFANGHEKETUOZHANXING,YONGGENGXIAODEMOXINGDEDAOGENGGAODEZHUNQUELV,ERQIEWEIBUTONGGUIMODEJISUANZIYUANTIGONGLEYIXILIEYOUHUAGUODEMOXING。ICML 2019 Spotlight LUNWEN

  • Emergent Tool Use From Multi-Agent Autocurricula

    • 通過隱式的課程學習中,在一個具備互動和競爭機制的環境中,不同的智能體之間可以持續地找到新任務,它們也就可以持續地學會新的策略

  • RoBERTa: A Robustly Optimized BERT Pretraining Approach

    • 專門研究 BERT 的預訓練過程并提出一種新的改進思路,用新的預訓練目標做更充分的訓練。也就是說,設計一個大模型容易,但還要想辦法確定是否已經訓練夠了。

  • SinGAN: Learning a Generative Model from a Single Natural Image


    • 這篇論文嘗試從單張圖像學習 GAN,多種不同尺度的 GAN 組成的金字塔結構分別學習圖像中不同大小的小塊,整個模型的學習效果得以同時兼顧圖像中的全局結構和細節紋理。ICCV 2019 最佳論文

  • Towards Artificial General Intelligence with Hybrid Tianjic Chip Architecture

    • QINGHUADAXUETUANDUISHEJIDETIANJIXINPIANYONGRONGHEJIAGOUTONGSHIZHICHILAIZIJISUANJIKEXUEDE、JIYUSHUZHIDEFEIXIANXINGBIANHUANDERENGONGSHENJINGWANGLUO,YIJILAIZISHENJINGKEXUEDE、JIYUXINHAOXIANGYINGDEMOCHONGSHENJINGWANGLUO。LUNWENFABIAOZAI Nature ZAZHI。


江苏快三开奖结果YISHANGJIUSHILEIFENGWANG AI KEJIPINGLUNZONGJIEDESHIDAJINGCAIXUESHULUNWEN(YIJITONGYANGZHIDEKANKANDELINGWAISHIPIANBEIXUAN)。RUGUONIYOUSHENMEBUTONGDEJIANJIE,HUANYINGLIUYANHEWOMENTAOLUN。

LEIFENGWANGYUANCHUANGWENZHANG,WEIJINGSHOUQUANJINZHIZHUANZAI。XIANGQINGJIAN。

江苏快三开奖结果

分享:
相關文章

文章點評:

表情
最新文章
請填寫申請人資料
姓名
電話
郵箱
微信號
作品鏈接
個人簡介
為了您的賬戶安全,請驗證郵箱
您的郵箱還未驗證,完成可獲20積分喲!
請驗證您的郵箱
立即驗證
完善賬號信息
您的賬號已經綁定,現在您可以設置密碼以方便用郵箱登錄
立即設置 以后再說