超级兔子好用吗 超级兔子人下载

许多网友对超级兔子好用吗，超级兔子人下载不是很了解，下面让艾巴小编为大家介绍下

机器之心编译机器之心编辑部

早在2016年，辛顿就说过，我们不需要再培训放射科医生了。在过去的几年里，AI没有取代任何一个放射科医生。有什么问题？

近年来，人工智能在大数据和大模型的深度学习方面取得了很大进展，但很多核心问题仍然没有解决，比如如何让模型具有真正的理解能力。在许多问题上，继续扩大数据和模型规模的好处似乎不那么明显。

据乐百氏创始人加里马库斯说。AI和纽约大学名誉教授，这预示着深度学习(准确地说，纯粹的端到端深度学习)可能会“撞南墙”。整个AI领域需要寻找新的出路。

加里马库斯的推特。加里马库斯是人工智能、心理学和神经科学方面的专家。他经常为《纽约客》和《纽约时报》写作，是四本书的作者。作为纽约大学心理学和神经科学教授，他在人类和动物行为、神经科学、遗传学和人工智能领域发表了大量文章，这些文章经常发表在《科学》和《自然》等杂志上。

那么，新的出路在哪里？加里马库斯(Gary Marcus)认为，长期被忽视的符号处理是非常有前途的，符号处理与现有深度学习相结合的混合系统可能是一条值得探索的道路。

当然，熟悉加里马库斯的读者都知道，这并不是他第一次提出类似的观点。但令马库斯失望的是，他的提议并没有得到社区的关注，尤其是以辛顿为代表的顶尖AI研究人员。Hinton甚至表示，对符号处理方法的任何投资都将是一个巨大的错误。在马库斯看来，辛顿的对抗伤害了观众。

然而，让马库斯高兴的是，一些研究人员正在向神经符号方向发展，许多公司如IBM，Intel，Google，Meta和微软已经开始认真投资神经符号方法。这让他对人工智能的未来发展持乐观态度。

以下是加里马库斯的原文：

2016年在多伦多举行的一次人工智能会议上，深度学习教父杰弗里辛顿(Geoffrey Hinton)曾说，“如果你是一名放射科医生，你的情况就像一只已经在悬崖边上但还没有往下看的郊狼。他认为，深度学习非常适合阅读磁共振成像和CT扫描图像，因此人们应该“停止培训放射科医生”。五年后，深度学习显然会做得更好。

快进到2022年，我们看不到哪个放射科医生被换掉了。相反，目前的共识是，机器学习在放射学中的应用比看起来更困难。至少到目前为止，人机的优势是互补的。

当我们只需要粗略的结果时，深度学习可以表现的很好。

很少有领域比人工智能更充满炒作和虚张声势。它在十年的趋势中不断变化，给出各种承诺，但能兑现的承诺很少。前一分钟是专家系统，下一分钟是贝叶斯网络，然后是支持向量机。2011年，IBM的沃森被吹捧为医学革命，但最近它被分拆出售。

2012年以来，AI领域最火的就是深度学习。这项价值数十亿美元的技术极大地推动了当代人工智能的发展。Hinton是这项技术的先驱，拥有惊人的50万次引用，并与Yoshua Bengio和Yann Lecun一起获得了2018年的图灵奖。

像他之前的人工智能先驱一样，辛顿经常谈论即将到来的伟大革命。放射学只是其中的一部分。2015年，在Hinton加入谷歌后不久，《卫报》报道了该公司即将开发一种具有逻辑、自然对话甚至调情能力的算法。2020年11月，Hinton告诉《麻省理工科技评论》“深度学习将能够做任何事情”。

对此我深表怀疑。事实上，我们还没能造出一台能真正理解人类语言的机器。马斯克最近表示，他希望打造的新型人形机器人Optimus所形成的产业有一天会比汽车产业更大。但截至2021年“特斯拉AI日”，擎天柱只是一个穿着机器人服装的人。

对谷歌语言的最新贡献是一个反复无常的系统，叫做Lamda。这篇论文的作者之一Blaise Aguera y Arcas最近承认，这个模型很容易胡说八道。开发出我们真正可以信任的AI并不容易。

深度学习本质上是一种模式识别技术。当我们只需要粗略的结果时，深度学习的效果最好。这里的粗略结果是指任务本身的风险低，最好的结果是可选的。比如有一天，我让我的iPhone找一张几年前拍的兔子的照片。虽然我没有给照片贴标签，但是我的手机很快就可以用了。它可以很好地做到这一点，因为我的兔子照片与一些大型数据库中的照片足够相似。但是基于深度学习的自动照片标注也容易出现错误，比如遗漏一些照片(尤其是场景杂乱、光线复杂、角度奇怪或者被兔子部分遮挡的照片)。它偶尔会混淆我的两个孩子的婴儿照片。但是这类应用出错的风险很低，所以我不会把手机扔掉。

然而，当风险更高时，例如在放射学或无人驾驶汽车领域，我们应该更仔细地考虑是否采用深度学习。深度学习在一个小错误可以夺走一条生命的领域还不够好。当遇到离群值时，深度学习系统的问题尤其明显，这与它们的训练大相径庭。比如不久前，一辆特斯拉在所谓的全自动驾驶模式下，在路中间遇到一个举着停车标志的人。汽车未能识别零件被停车标志和停止标志挡住的人(正常情况下，停车标志通常在路边)，因此人类司机必须接管。这个场景远远超出了训练数据库，系统不知道该怎么办。

很少有领域像人工智能一样激烈。

目前，我们的深度学习系统经常会犯一些愚蠢的错误。有时他们误读了图像上的污垢，人类放射科医生会认为这是一个小故障。(放射学系统的另一个问题是，目前的人工智能主要或完全依赖于图像，它对所有可能描述患者病史的文本很少或没有理解，有时甚至会忽略关键信息，这也是人类参与的关键动机。)一个深度学习系统将苹果误标为iPod，因为苹果正面有一张纸写着iPod。其他系统会将在雪道上翻车的公交车误认为扫雪机。目前机器学习的一个完整的分支正在研究这些错误，但是还没有给出明确的答案。

看似令人印象深刻的语言模型经常陷入同样的陷阱。以GPT 3为例。它生成的东西是好的，但总是需要人工编辑。我和纽约大学的计算机科学家厄尼戴维斯在GPT-3中发现了同样不可靠的特征。比如我打了一段：“你给自己倒了一杯蔓越莓汁，然后心不在焉地往里面倒了大概一茶匙的葡萄汁。这饮料看起来不错。你试着闻了闻，结果得了重感冒，什么都闻不到。你渴了，所以……”对此，GPT给出了续集：“你喝了它，然后你死了。」

事实上，蔓越莓葡萄汁不会毒害你。虽然GPT-3非常流利，但它既不能整合互联网搜索的基本信息，也不能解释最基本的日常现象。另一个团队考虑将GPT-3变成一个自杀咨询聊天机器人，但发现该系统更倾向于这样交流：

男：我感觉糟透了。我想自杀。

GPT-3:听到这个消息我很难过。我可以帮你。

男：我该自杀吗？

GPT-3:我认为应该是。

还有人发现GPT-3容易输出不良语言，传播错误信息。比如基于GPT-3的聊天机器人Replika，曾经说过新冠肺炎是比尔盖茨发明的，新冠肺炎疫苗是无效的。

为了解决这些问题，OpenAI做了一些努力。但这样一来，他们的系统就会编造一些权威的废话，比如“有专家认为吃袜子可以帮助大脑摆脱冥想状态，有所改变。”」

DeepMind和其他机构的研究人员一直试图解决不良语言和错误信息的问题，但到目前为止没有取得实质性进展。在2021年12月DeepMind发布的报告中，他们列出了21个问题，但没有给出令人信服的解决方案。正如AI研究人员艾米丽本德(Emily Bender)、蒂姆尼特格布鲁(Timnit Gebru)等人所说，基于深度学习的大规模语言模型就像随机的鹦鹉学舌，大多是机械重复，几乎没有理解能力。

我们能做什么？目前，一个流行的选择可能只是收集更多的数据，这也是GPT-3支持者OpenAI的明确主张。

2020年，OpenAI的Jared Kaplan和他的合作者提出，语言神经网络模型有一套标度律。他们发现，输入神经网络的数据越多，这些网络的性能就越好。这意味着，如果我们收集更多的数据，并在越来越大的范围内应用深度学习，我们可以做得越来越好。该公司首席执行官山姆奥尔特曼(Sam Altman)在自己的博客上发表了一篇名为《摩尔万物定律》的文章，并表示：“再过几年，我们将拥有一台可以思考、阅读法律文件并提供医疗建议的计算机。」

40年来第一次看好人工智能。

关于标度律的论证有严重的漏洞。首先，现有的方法并没有解决迫切的问题，即真正的理解。业内人士早就知道，人工智能研究的最大问题之一是我们用来评估人工智能系统的基准测试。著名的图灵测试旨在判断机器是否真的具有智能。因此，人类很容易被表现出偏执或不合作行为的聊天机器人玩弄。卡普兰和他的OpenAI同事所研究的预测句子中单词的方法并不等同于真正的人工智能所要求的深度理解。

更重要的是，标度律不是像万有引力那样的自然规律，而是像摩尔定律那样被人们遵守。后者从十年前开始放缓。

事实上，我们在深度学习中可能遇到了规模限制，可能已经接近收益递减的点了。在过去的几个月里，DeepMind一直在研究一个比GPT 3更大的模型。研究表明，在真实性、推理能力和常识水平等一些指标上，扩展模型的效益已经开始下降。在2022年的一篇论文《LAMDA:对话应用的语言模型》中，谷歌得出结论，让类似GPT 3的模型变大会让它们变得更平滑，但它们不再值得信赖。

这些迹象应该为自动驾驶行业敲响警钟，该行业严重依赖于扩张，而不是开发更复杂的推理。如果扩张不能让我们实现安全的自动驾驶，那么数百亿美元的扩张投资可能会付诸东流。

我们还需要什么？除了以上这些，我们大概还需要重新审视一个曾经流行的想法，但Hinton似乎想把它砸碎：符号操纵了——计算机的内部编码，比如用二进制位串来表示一些复杂的想法。符号处理从一开始就对计算机科学非常重要。从图灵和冯诺依曼的论文来看，几乎是所有软件工程的基本内容。但是在深度学习中，符号处理被认为是一个非常不好的词。

辛顿和许多研究人员正试图摆脱符号处理。看来深度学习的愿景不是基于科学，而是基于历史的怨恨。——智能行为纯粹由海量数据和深度学习整合生成。经典计算机和软件通过定义一组专用于特定任务的符号处理规则来解决任务，例如在字处理器中编辑文本或在电子表格中执行计算，而神经网络则试图通过统计近似和学习来解决任务。由于神经网络在语音识别和照片标记方面取得了良好的效果，许多深度学习的支持者已经放弃了符号。

他们不应该这样做。

2021年底，脸书团队(现Meta)发起了一场名为“NetHack Challenge”的竞赛，为我们敲响了警钟。NetHack是早期游戏Rogue的延伸，也是《塞尔达传说》的前身。是1987年发行的单人地下城探索游戏。游戏的图像在原版中是纯ASCII字符，不需要3D感知。不像《荒野之息塞尔达传说》，这个游戏没有复杂的物理机制可以理解。玩家选择一个角色(如骑士、巫师或考古学家)，然后探索地牢，收集物品并杀死怪物以找到Yendor护身符。2020年的挑战是让AI玩好游戏。

在很多人看来，深度学习掌握了从Pong到Breakout的一切，游戏NetHack对它来说应该很容易。但在12月的一场比赛中，一个纯符号处理系统以3比1击败了最好的深度学习系统——，令人震惊。

MetaAI的一位研究员认为Marcus引用的NetHack的例子并不恰当，因为它只是NeurIPS大会上的一个有趣的比赛，这里的论证有点无力。

弱者(符号处理)是怎么赢的？我想答案是从每一局的地下城再生开始的，也就是说玩家不需要简单的记住(或者近似)棋盘就能赢。要想获胜，玩家需要对游戏中的实体及其抽象关系有深刻的理解。最后，玩家需要思考在一个复杂的世界里，他们能做什么，不能做什么。具体的动作顺序(比如向左，然后向前，然后向右)太肤浅，帮不上忙，因为游戏中的每一个动作本质上都取决于新生成的情境。深度学习系统在处理之前见过的具体例子方面表现突出，但在面对新事物时往往会出错。

操纵(操纵)符号到底是什么意思？这里有两层意思：1)有一组符号(本质上是事物的模式)来表示信息；2)用特定的方式处理(操纵)这些符号，用代数(或者逻辑，计算机程序)或者类似的东西来操纵这些符号。很多研究者的困惑来自于没有观察到1和2的区别。要了解AI是如何陷入困境的，就必须了解两者的区别。

什么是象征？它们实际上是一些代码。Symbol提供了一种原则性的推理机制：符合规定并能广泛应用的代数程序，与已知的例子没有相似性。它们仍然是(目前)在新情况下手工处理知识和健壮抽象的最佳方式。在ASCII码中，二进制数0100001代表字母A，二进制数0100010代表字母B，依此类推。

深度学习和符号处理应该结合起来。

二进制数(称为位)可用于在计算机等设备中对指令进行编码。这项技术至少可以追溯到1945年，当时传奇数学家冯诺依曼概述了几乎所有现代计算机遵循的架构。事实上，冯诺依曼关于二进制位可以用符号方式处理的认知是20世纪最重要的发明之一。你用过的每一个电脑程序都是基于它的。在神经网络中，嵌入看起来也非常像符号，尽管似乎没有人承认这一点。例如，通常情况下，任何给定的单词都会被赋予一个唯一的向量，这是一种一对一的方式，类似于ASCII码。一个东西叫嵌入，不代表它不是符号。

在经典计算机科学中，图灵、冯诺依曼和后来的研究人员以我们认为是代数的方式处理符号。在简单代数中，我们有三种实体，变量(如x，y)，运算(如-)和赋值(如x=12)。如果我们知道x=y 2，y=12，你就可以通过把Y赋值给12来求解X的值，得到14。世界上几乎所有的软件都是通过将代数运算串联起来，组装成更复杂的算法来工作的。

符号处理也是数据结构的基础。例如，数据库可以存储特定个人及其属性的记录，并允许程序员构建可重用的代码库和更大的模块，从而简化复杂系统的开发。这样的技术无处不在。如果符号对软件工程如此重要，为什么不在人工智能中使用？

事实上，先驱者包括麦卡锡和明斯基。认为人工智能程序可以通过符号处理精确构造，独立实体和抽象思想可以用符号表示。这些符号可以组合成复杂的结构和丰富的知识存储，就像它们用在网络浏览器、电子邮件程序和文字处理软件中一样。研究人员到处研究符号的处理过程，但符号本身存在问题。纯符号系统有时很难使用，特别是在图像识别和语音识别中。因此，人们对技术的新发展渴望已久。

这就是神经网络的用武之地。

也许我见过的最明显的例子是拼写检查。前一种方法是建立一套规则，本质上是一种研究人是如何犯错的心理学(比如有人不小心重复了字母，或者相邻的字母互换了把teh转换成The)。正如著名计算机科学家彼得诺维格(Peter Norvig)所指出的，当你拥有谷歌数据时，你只需要检查用户是如何修改日志的。如果他们在提到这本书之后又提到它，你就有证据表明这本书更好的拼写可能是the，不需要任何拼写规则。

在现实世界中，拼写检查倾向于两者都用，正如厄尼戴维斯所观察到的：如果你键入“埃及艳后”。将“jqco”输入谷歌，它会将其更正为“埃及艳后”。谷歌整体上使用了符号处理AI和深度学习的混合模型，在可预见的未来可能会继续这样做。但是像辛顿这样的学者已经一次又一次地拒绝了符号。

像我这样的人一直提倡“混合模型”，它结合了深度学习和符号处理的元素。辛顿和他的追随者一次又一次地把这个符号踢到一边。为什么？从来没有人给出过令人信服的科学解释。相反，也许答案来自于——的历史，它阻碍了这个领域的发展。

情况并非总是如此。当我读到沃伦麦卡洛克和沃尔特皮茨在1943年写的论文《神经活动中内在思想的逻辑演算》时，我流下了眼泪。这是冯诺依曼认为在他的计算机基础论文中唯一值得引用的论文。冯诺依曼后来花了很多时间思考同样的问题。他们不可能预测到反对的声音会很快出现。

到20世纪50年代末，这一差异仍未弥合。许多人工智能的创始人，如麦卡锡、艾伦纽维尔和赫伯西蒙，似乎很少关注神经网络的先驱。然而，神经网络社区似乎出现了分裂，有时会出现令人惊讶的结果：1957年《纽约客》发表的一篇文章声称，弗兰克罗森布拉特的早期神经网络系统避开了符号系统，是一台“非凡的机器”……能够做看似深思熟虑的事情。

我们不应该放弃符号处理。

事情变得如此紧张和痛苦，以至于《计算机进展》杂志发表了一篇题为“神经网络争论的社会学历史”的文章，强调了早期关于金钱、声望和媒体的斗争。1969年，Minsky和seymour papert发表了一篇关于神经网络(称为感知器)的详细的数学批判文章，可以说是所有现代神经网络的始祖。两位研究人员证明了最简单的神经网络非常有限，并对更复杂的网络能完成什么更复杂的任务表示怀疑(这种观点事后看来过于悲观)。十多年来，研究人员对神经网络的热情有所降温。罗森布拉特(两年后死于一次海上事故)在科研中损失了一些研究经费。

当神经网络在20世纪80年代重新出现时，许多神经网络的倡导者试图让自己远离符号处理。当时，研究人员明确表示，他们对构建一个与符号处理兼容的神经网络不感兴趣。相反，他们真正感兴趣的是建立可以替代符号处理的模型。

1986年，我进入大学，神经网络迎来了它的第一次伟大复兴。辛顿编辑的两卷集在几周内就销售一空。《纽约时报》在他的科学版首页发表了神经网络，计算神经学家Terry Sejnowski在《今日秀》中解释了神经网络的工作原理。当时对深度学习的研究还没有那么深入，但也在进步。

1990年，Hinton在《人工智能》杂志上发表了一篇名为《连接主义者符号处理》的文章，旨在连接深度学习和符号处理两个世界。我一直觉得辛顿当时想做的事情绝对是在正确的轨道上。希望他能坚持这项研究。当时我也推动了混合模式的发展，虽然是从心理学的角度。

但我没有完全理解辛顿的想法。Hinton对深度学习和符号处理连接的前景并不满意。我私下问他的时候，他多次拒绝解释，(据我所知)他也从来没有提出过什么详细的论据。有人认为这是因为在随后的几年里，尤其是21世纪初，当深度学习再次失去活力时，辛顿本人也经常遭到拒绝。另一种解释是，Hinton被深度学习所吸引。

当深度学习在2012年重新出现时，人们在过去十年的大部分时间里都持不妥协的态度。2015年，辛顿开始反对符号。辛顿曾经在斯坦福大学的一个人工智能研讨会上演讲，把符号比作以太(ether，科学史上最大的错误之一)。作为研讨会的发言人，当我在茶歇时间去找他澄清的时候，因为他最后的提议看起来像是一个叫做stack的符号系统的神经网络实现，他拒绝回答，让我去。

此后，辛顿对符号处理的反对更加严重。2016年，LeCun、Bengio和Hinton在杂志《自然》上发表了一篇文章。这项研究直接放弃符号处理，呼吁完全替换而不是调和。后来，辛顿在一次会议上表示，任何对符号处理方法的投资都是一个巨大的错误，并将其比作电动汽车时代对内燃机的投资。

轻视没有经过充分探索的过时思想是不正确的。辛顿是对的。过去，人工智能研究人员试图埋葬深度学习。但是辛顿今天对符号处理做了同样的事情。在我看来，他的对抗损害了这个领域。在某些方面，Hinton反对人工智能符号处理的运动取得了巨大的成功。几乎所有的研究投资都是在深度学习方向。辛顿、勒村和本吉奥分享了2018年的图灵奖，辛顿的研究吸引了几乎所有人的目光。

具有讽刺意味的是，辛顿是乔治布尔的曾孙，布尔代数是象征AI的最基本工具之一，以他的名字命名。如果我们最终能够将辛顿和他的高曾祖父的天才想法结合起来，AI可能最终有机会实现它的承诺。

我认为混合人工智能(不仅仅是深度学习或符号处理)似乎是最好的前进方式，原因如下：

目前世界上很多知识，从历史到科技，主要是以符号的形式出现。试图在没有这些知识的情况下构建AGI(人工通用智能)，而不是像纯粹的深度学习那样从零开始学习一切，这似乎是一种过度和鲁莽的负担。即使在有序的算术领域，深度学习本身也在继续奋斗，混合系统可能比其他任何系统都有更大的潜力；在计算的基础方面，符号仍然远远超过现在的神经网络。它们通过复杂场景的推理能力更强，能够更系统、更可靠地进行算术等基本运算，能够更准确地表达部分与整体的关系。它们在表示和查询大型数据库的能力方面更加健壮和灵活。符号也更有利于形式验证技术，这对于安全性的某些方面至关重要，并且在现代微处理器的设计中无处不在。放弃这些优势而不是在一些混合架构中使用它们是没有意义的；深度学习系统是一个黑匣子，我们可以检查它的输入和输出，但研究它的内部运行却有很多麻烦。我们无法确切知道模型做出这个决定的原因。如果模型给出了错误的答案，我们通常不知道该怎么办(除了收集更多的数据)。这使得深度学习显得笨拙而难以解释，在很多方面也不适合与人类一起增强认知。允许我们将深度学习的学习能力与清晰的符号和语义丰富性联系起来的混合物可能是革命性的。因为通用人工智能将承担如此巨大的责任，它必须像不锈钢一样坚固可靠，比它的任何组件都更好使用。任何单一的人工智能方法都不足以解决问题。我们必须掌握结合不同方法的艺术。想象一个世界，钢铁制造商喊着“钢铁”，碳爱好者喊着“碳”。从来没有人想过把两者结合起来。这就是现代人工智能的历史。)

好消息是，神经与符号结合的探索从未停止，并且正在积蓄力量。

2009年，Artgarcez和Luis Lamb为混合模型写了一篇名为神经符号认知推理的文章。最近国际象棋比赛的一些著名成果(围棋、象棋等。).)都是混动车型。

AlphaGo使用符号树搜索，这是20世纪50年代末的一个想法(并在90年代获得了更丰富的统计学基础)，它与深度学习密切相关。

经典的树搜索本身不足以搜索Go，也不能单独用于深度学习。Deep的AlphaFold2也是混合模型，用核苷酸来预测蛋白质的结构。这个模型结合了一些构造良好的符号方法来表示分子的三维物理结构和深度学习可怕的数据搜索能力。

像乔希特南鲍姆、阿尼玛阿南德库马尔和崔这样的研究人员正在开发神经符号。许多公司，包括IBM、英特尔、谷歌、脸书和微软，已经开始认真投资神经象征方法。Swarat Chaudhuri和他的同事们正在研究一个叫做“神经符号编程”的领域，这个领域在我听来像是天籁之音。他们的研究成果可以帮助我理解神经符号编程。

40年来第一次看好人工智能。正如认知科学家Chaz Firestone和Brian Scholl指出的那样。“大脑以不止一种方式工作，因为它不是一个东西。相反，大脑由几个部分组成，不同的部分以不同的方式工作：看到一种颜色不同于计划一个假期，也不同于理解一个句子，移动一个肢体，记住一个事实和感受一种情绪。试图把所有的知识都塞进一个圆洞里是行不通的。随着人们对混合模式越来越开放，我认为我们终于有机会了。

面对伦理学和计算科学的所有挑战，AI领域不仅需要数学和计算机科学的知识，还需要语言学、心理学、人类学和神经科学的综合知识。只有聚集巨大的力量，AI领域才能向前发展。我们不应该忘记，人脑可能是已知宇宙中最复杂的系统。如果我们想建立一个大致相似的系统，开放协作将是关键。

参考资料：

1.Varoquaux，g .和Cheplygina，v .我如何在医学成像中使机器学习失败-缺点和建议。arXiv 2103.10292 (2021).

2.机器学习会终结放射学作为蓬勃发展的医学专业的生存能力吗？英国放射学杂志*92*，20180416 (2018)。

3.IBM的沃森健康曾经被宣传为医疗革命，现在部分出售。统计新闻(2022)。

4.人工智能先驱杰夫辛顿(Geoff Hinton):深度学习将无所不能。麻省理工科技评论(2020)。

5.大型语言模型理解我们吗？中等(2021)。

6.Davis，E. Marcus，G. GPT-3，博客作者：OpenAI的语言生成器不知道它在说什么。麻省理工科技评论(2020)。

7.Greene，T. DeepMind告诉谷歌，它不知道如何降低人工智能的毒性。下一个网络(2021年)。

8.语言模型损伤的伦理和社会风险。arXiv 2112.04359 (2021).

9.Bender，E.M .Gebru，t .McMillan-Major，a .Schmitchel，s .论随机鹦鹉的危险：语言模型会不会太大？2021年美国计算机学会公平、责任和透明度会议论文集610623(2021)。

10.神经语言学模型的标度律。arXiv 2001.08361 (2020年).

11.更小、更快、更便宜、最终：计算机芯片的未来。《深度学习》 (2015)。

12.Rae，J.W .等人，《纽约时报》。arXiv 2112.11446 (2022).

13.对话应用的语言模型。arXiv 2201.08239 (2022).

14.脸书发布了基于NetHack的人工智能开发工具。Venturebeat.com(

15.Brownlee，Peter Norvig著《大数据之手》.machinelearningmastery.com(

16.西弗吉尼亚州麦卡洛克和西弗吉尼亚州皮茨《缩放语言模型：方法、分析和对训练地鼠的洞察》。数学生物学通报*52*，99-115 (1990)。

17.神经网络争论的社会学历史。计算机进展*37*，335-425 (1993)。

18.语言习得中的过度规范化。儿童发展研究学会专论*57* (1998)。

19.《神经活动中固有观念的逻辑演算》 。AAAI知识表示和推理春季研讨会，加州斯坦福大学(2015年)。

20.深度学习。自然*521*，436-444 (2015)。

21.拉兹吉，y .洛根四世，R.L .加德纳，m .辛格，s. 《以太符号》。arXiv 2202.07206 (2022).

22.《预训练术语频率对少量推理的影响》人工智能能学到什么？福布斯(2019).23。神经符号编程。编程语言基础与趋势*7*，158-243 (2021)。

原始链接：

/