AI学会「搞」科研登Nature,知乎网友:不忍直视的水

人工智能可以繁杂的围棋游戏中轻松打败人类,但它们可以帮帮我们做出科学发明吗?美国能源部劳伦斯伯克利国家实行室近来发外《自然》杂志上的一篇论文惹起了人们的广泛体恤。研讨职员外示,人工智能主动阅读 300 万篇材料学范畴的论文之后发清楚全新的科学常识。

人们的广泛印象里,论文上了 Nature,那结论自然也就八九不离十了。然而关于熟习人工智能的人来说,该研讨有些奇异的是:论文中模子运用的技能是「词嵌入」——既不是卷积神经收集,也不是轮回神经收集等更繁杂的模子。这么简单的模子,真的可以帮帮我们找到成百上千研讨者众年来从未找到的新材料吗?

这篇作品发外之后引来了板滞进修社区的大宗阻挡看法,人们纷纷对如许的「灌水」行径外示不忍直视。

让我们先看看论文是怎样说的:

AI 学会「看论文」了,研讨还上了 Nature

该论文的作家来自伯克利国家实行室能量存储与分布式资源部分(Energy Storage & Distributed Resources Division)科学家 Anubhav Jain 指导的团队,他们搜罗了 330 万篇已发外的材料科学论文的摘要,并将它们馈入到一个名为 word2vec 的算法中。通过标明词间的联系,该算法可以提前数年给出新热电材料的预测,目前未知的材料中寻得有运用潜力的候选材料。

这篇名为《Unsupervised Word Embeddings Capture Latent Knowledge from Materials Science Literature》的论文发外 7 月 3 日的 Nature 上。

论文地址:https://www.nature.com/articles/s41586-019-1335-8

论文一作 Vahe Tshitoyan 是伯克利国家实行室博士后研讨员,现就职于谷歌。另外,同属伯克利国家实行室的科学家 Kristin Persson 和 Gerbrand Ceder 也到场了此项研讨。

Gerbrand Ceder 外示:「该论文认为,对科学文献举行文本开掘可以发明躲藏的常识,纯粹的文本提取可以修立基本科学常识。」

论文一作 Tshitoyan 外示,该项目标动机是人们很难完备弄清楚数目过众的已发外研讨。以是,他们念到板滞进修是否可以以无监视的方法应用所有集团常识(collective knowledge)。

King - queen + man = ?

该团队拾掇了 1922 年至 2018 年间发外 1000 众个期刊上的 330 万篇论文摘要(是的,AI 读论文只看摘要)。Word2vec 从这些摘要中提取了大约 50 万个差别的单词,并将每个单词转化为 200 维的向量或者包罗 200 个数字的数组。

Jain 外示:「主要的不于数字,而是应用这些数字察看单词之间的联系」。比如,你可以应用标准向量数学做向量减法。其他研讨者曾经标明,假如你要非科学文本资源上教练该算法,并从『king 减去 queen』中提取向量,则可以取得与『man 减去 woman』临近的结果。

同样地,当材料科学文本中举行教练时,该算法仅依据摘要中单词的位置以及它们与其他单词的共现联系就可以进修科学术语和看法的寄义。比如,正如该算法可以解「king-queen + man」方程式相同,它可以盘算出方程式「ferromagnetic(铁磁的)—NiFe(镍铁)+ IrMn(铱锰)」的谜底是「antiferromagnetic」(反铁磁的)。

左:Word2vec 的元素外征(投影到二维空间);右:门捷列夫元素周期外。图源:Berkeley Lab

如上图所示,当元素周期外中的化学元素投影到二维空间时,Word2vec 以致可以进修它们之间的联系。

提前数年预测新材料

那么,假如 Word2vec 那么聪慧,它能预测新的热电材料吗?一种好的热电材料可以高效地将热能转换为电能,而且是用平安、充沛、易生产的原料制成的。

该算法依据词向量与单词「热电」的相似性对每种化合物举行排序,研讨者采纳烈盟惴ㄗ钗引荐的热电材料。然后,他们通过盘算来验证算法的预测结果。

他们发明,算法预测出的前 10 位热电材料中,所有预测都盘算出了略高于已知热电元件的功率因数(权衡电气配备服从上下的一个系数,该值越高效益越好);前三位材料的功率因数高于 95% 的已知热电学元件。

接下来,他们测试了该算法是否适用于「过去」的预测实行,即只给它 2000 年之前的摘要。结果再次给人惊喜,算法给出的排名靠前的预测结果许众都呈现了厥后的研讨中,这一数字是随机挑选结果的四倍。比如,应用 2008 年之前的数据教练取得的预测结果有 5 个,此中三个曾经被发明,而其余的两个十分稀有或含有有毒物质。

研讨者说:「该研讨外明,假如该算法可以早点运用,少许材料早几年前就可以被发清楚。」

跟着研讨的举行,研讨者正发布由算法预测出的前 50 位热电材料。他们还将发布研讨顶用到的词嵌入,以帮帮其他人发明更好的材料。另外,他们还开辟一个更增强大的智能搜寻引擎,帮帮研讨者应用更加有用的方法搜寻摘要。

遭受板滞进修社区挖苦

人工智能真的可以主动发明新材料吗?这篇论文曾经发外便社交收集上激起了热闹的议论。目前为止,该帖子曾经有 14 万的浏览量。

材料学的同窗们起首外示诧异:AI 替代科研职员,我们都会赋闲吗?熟习板滞进修的人们看完论文之后回过神来,则开启了「挖苦方式」。

知乎上,新加坡国立大学博士、腾讯算法工程师「霍华德」外示:看完这篇 paper 后,我的心里久久不行平复,良久没看到这么烂的 paper 了!

也有人倡议其他范畴的学者运用板滞进修方法做本人的研讨前要先打好根底。「到处挖坑蒋成全」外示:我真心倡议作品通信作家和审稿人都去学学 CS224n…这作品的决计还挺不错的,可是实行的完成也太水了,完备不配发 Nature。

板滞进修社区的人们细心剖析了这篇论文:

该论文中,作家用 t-SNE 将词向量投影到二维空间,并发明本家元素聚集了一同。「霍华德」外示,本家元素上下文当然容易提及,它们只是共现联系罢了。另外,作家声称可以直接用词向量预测化合物,并外示预测结果与表面盘算的绝对偏向十分小,但表面能算出来东西,用神经收集做拟合的原理真的很大吗?

这里,作家连神经收集适用的基本场景都弄不清,关于 Formation Energy 的盘算有完美的量子力学表面做支撑,关于如许可以精准修模的题目,用古板的物理学第一性表面来盘算更好,更加牢靠!

着末,作家用余弦相似度盘算了和 thermoelectric 最接近的单词,然后此中的 326 位和 345 位发清楚两种材料 Li2CuSb 和 Cu3Nb2O8,然后声称他们的算法可以预测潜的新型热电材料。读者看来,这是一种「令人停滞」的操作。因为 thermoelectric 和两种材料之以是余弦相似度接近,基本启事是有人作品里同时提到过 thermoelectric 和 Li2CuSb、Cu3Nb2O8,这仅仅是共现联系罢了。

以是结论来了:所谓可以预测潜的新型热电材料的 AI 算法属于无稽之道,材料学研讨者们的保存并没有于是受到要挟——因为这篇论文没有提出任何能让 AI 看懂论文的算法。

也有研讨材料的学者知乎上外示,为了蹭大数据、板滞进修深度进修的热度,许众范畴的研讨都做相关的义务。「声嘶力竭」先容了本人的阅历:刚开端接触和进修 AI 相关技能,本认为可以应用这个东西做出何等伟大的义务,可是本人真正做了之后,才觉得「这未便是个高维特征空间的统计东西嘛,为什么被吹得这么玄幻?」

板滞进修不行这么乱花

论文上了《自然》、《科学》杂志,却仍然经不起人们的琢磨,这种事近来板滞进修社区曾经爆发了不是一两次了。

人工智能搞科研」研讨之前,是「深度进修预测地动」。客岁 8 月,《Nature》上发外了一篇题为《Deep learning of aftershock patterns following large earthquakes》的火爆论文。该论文由哈佛和谷歌的数据科学家联合撰写,论文一作所属单位是哈佛大学地球与行星科学系。

该论文展现了怎样应用深度进修技能预测余震。研讨者指出,他们应用神经收集预测余震位置方面的准确率超越了古板方法。

但很速,这一方法就遭到了深度进修从业者的质疑。一位名叫 Rajiv Shah 的数据科学家外示,论文中运用的修模方法保管少许根天性的题目,于是实行结果的准确性也有待讲究。这名数据科学家本着厉谨的精神通过实行验证之后联络了原作和《Nature》,却没取得什么主动的再起。

于是,Rajiv Shah 颠末半年时间,研讨了论文作家公然的代码,随后 medium 上发外作品揭露论文中保管的根天性缺陷以及《Nature》的不举措,厥后这件事又 Reddit 上惹起了广泛的议论。

人们除了批判 Nature 除外,也对深度进修、AI 技能被滥用的状况外示担忧。跟着板滞进修渐渐成为热门学科,越来越众其他范畴的学者开端运用械澜法来办理题目,有些取得了效果,有些则因为实行和数据的过失方法而导致了不厉谨的结果。

更令人担忧的是,有时分有缺陷的研讨还可以取得人们的承认。

这篇深度进修预测余震的论文登上了 Nature,还成为了 TensorFlow 2.0 新版本上宣扬作品中提到的案例——然而却被板滞进修社区从业者们诟病。

顶级期刊的事,怎样能说胡编乱制呢?然而这一次,人工智能学者们真的有点忍不住了。

参考实质:

https://techxplore.com/news/2019-07-machine-learning-algorithms-uncover-hidden-scientific.html

https://www.nature.com/articles/s41586-019-1335-8

https://www.zhihu.com/question/333317064/answer/738462156


表面NLPNatureWord2Vec词嵌入
1
相关数据
深度进修技能

深度进修(deep learning)是板滞进修的分支,是一种试图运用包罗繁杂构造或由众重非线性变换构成的众个处理层对数据举行高层笼统的算法。 深度进修是板滞进修中一种基于对数据举行外征进修的算法,至今依鳌有种深度进修框架,如卷积神经收集和深度置信收集和递归神经收集等已被运用盘算机视觉、语音识别、自然言语处理、音频识别与生物新闻学等范畴并获取了极好的效果。

板滞进修技能

板滞进修是人工智能的一个分支,是一门众范畴交叉学科,涉及概率论、统计学、迫近论、凸剖析、盘算繁杂性表面等众门学科。板滞进修表面重假如计划和剖析少许让盘算机可以主动“进修”的算法。因为进修算法中涉及了大宗的统计学表面,板滞进修与推测统计学联络尤为亲密,也被称为统计进修表面。算法计划方面,板滞进修表面体恤可以完成的,卓有用果的进修算法。

人工智能技能

学术研讨范畴,人工智能一般指可以感知四周状况并接纳举动以完成最优的可以结果的智能体(intelligent agent)

词嵌入技能

词嵌入是自然言语处理(NLP)中言语模子与外征进修技能的统称。看法上而言,它是指把一个维数为所有词的数目标高维空间嵌入到一个维数低得众的延续向量空间中,每个单词或词组被映照为实数域上的向量。

数据科学技能

数据科学,又称材料科学,是一门应用数据进修常识的学科,其目标是通过从数据中提取出有代价的部分降生产数据产物。它联合了诸众范畴中的表面和技能,包罗运用数学、统计、方式识别、板滞进修、数据可视化、数据堆栈以及高功用盘算。数据科学通过运用种种相关的数据来帮帮非专业人士了解题目。

TensorFlow技能

TensorFlow是一个开源软件库,用于种种感知和言语了解义务的板滞进修。目前被50个团队用于研讨和生产许众Google商业产物,如语音识别、Gmail、Google 相册和搜寻,此中许众产物曾运用过其前任软件DistBelief。

神经收集技能

(人工)神经收集是一种根源于 20 世纪 50 年代的监视式板滞进修模子,那时分研讨者念象了「感知器(perceptron)」的念法。这一范畴的研讨者一般被称为「勾结主义者(Connectionist)」,因为这种模子模拟了人脑的功用。神经收集模子一般是通过反向传达算法运用梯度下降教练的。目前神经收集有两大主要类型,它们都是前馈神经收集:卷积神经收集(CNN)和轮回神经收集(RNN),此中 RNN 又包罗好坏期记忆(LSTM)、门控轮回单位(GRU)等等。深度进修是一种主要运用于神经收集帮帮其取得更好结果的技能。尽管神经收集主要用于监视进修,但也有少许为无监视进修计划的变体,比如主动编码器和生成对立收集(GAN)。

卷积神经收集技能

卷积神经网道(Convolutional Neural Network, CNN)是一种前馈神经收集,它的人工神经元可以呼应一部分掩盖范围内的四周单位,关于大型图像处理有精美外现。卷积神经网道由一个或众个卷积层和顶端的全连通层(对应经典的神经网道)构成,同时也包罗联系权重和池化层(pooling layer)。这一构造使得卷积神经网道可以应用输入数据的二维构造。与其他深度进修构造比较,卷积神经网道图像和语音识别方面可以给出更好的结果。这一模子也可以运用反向传达算法举行教练。比较拟其他深度、前馈神经网道,卷积神经网道需求考量的参数更少,使之成为一种颇具吸引力的深度进修构造。 卷积收集是一种特别用于处理具有已知的、网格状拓扑的数据的神经收集。比如时间序列数据,它可以被认为是以必定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

准确率技能

分类模子的准确预测所占的比例。众种别分类中,准确率的定义为:准确的预测数/样本总数。 二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

word2vec技能

Word2vec,为一群用来发生词向量的相关模子。这些模子为浅而双层的神经收集,用来教练以从头修构言语学之词文本。收集以词外现,而且需猜念相邻位置的输入词,word2vec中词袋模子假设下,词的序次是不主要的。 教练完毕之后,word2vec模子可用来映照每个词到一个向量,可用来外示词对词之间的联系。该向量为神经收集之躲藏层。 Word2vec依赖skip-grams或延续词袋(CBOW)来修立神经词嵌入。Word2vec为托马斯·米科洛夫(Tomas Mikolov)Google率领的研讨团队创制。该算法垂垂被其他人所剖析和标明。

腾讯机构

腾讯科技股份有限公司(港交所:700)是中国范围最大的互联网公司,1998年11月由马化腾、张志东、陈一丹、许晨晔、曾李青5位创始人配合创立,总部位于深圳南山区腾讯大厦。腾讯由即时通信软件起家,营业拓展至社交、文娱、金融、资讯、东西恬静台等差别范畴。目前,腾讯具有中国国内运用人数最众的社交软件腾讯QQ和微信,以及中国国内最大的收集游戏社区腾讯游戏。电子书范畴 ,旗下有阅文集团,运营有QQ读书和微信读书。

http://www.tencent.com/
知乎机构

知乎举措中文互联网出名常识鼻槭平台,努力于构修一私人人都可接入的常识分享收集,让人们便捷地与天下分享常识、体验和睹地,高效取得可托赖的解答。 目前,知乎曾经掩盖「问答」社区、一站式常识效劳平台「知乎大学」、短实质分享功用「念法」等一系列产物和效劳,并修立了包罗音频、视频内的众元前言方式。截止 2018 年 8 月底,知乎用户数已打破 2 亿,答复数超越 1.2 亿。未来,知乎进一步加大对 AI 技能和运用的加入,构修一个由 AI 驱动的智能社区,让常识普惠每一私人。

https://www.zhihu.com
暂无评论
暂无评论~