全球微头条丨刚刚，ChatGPT官宣数学能力再升级，网友：终于精通十以内加减法

机器之心报道

编辑：蛋酱、杜伟

(资料图片)

随着 ChatGPT 热度一直不减，OpenAI 持续拓展其能力。同时，ChatGPT 的竞品不断涌现，如何更准确检测其生成文本也成为了近来学界的一大研究课题。

自 ChatGPT 发布以来，它的能力不断被人们解锁，比如写神经网络、做智能音箱。人们在试用中慢慢发现，数学能力是 ChatGPT 的一大短板，连简单的「鸡兔同笼」题都能算错。

大概是考虑到了这一点，ChatGPT 刚刚宣布了一次重要更新：提升了「真实性」和「数学能力」。

本次是 ChatGPT 自去年 11 月推出以来的第三次更新，但由于「更新说明」过于模糊，人们还需要经历一个对新能力的探索过程。

几日前，计算机科学家、Wolfram 语言之父 Stephen Wolfram 将理工科神器 Wolfram|Alpha 与 ChatGPT 结合起来，为后者注入超强计算知识实现互补，效果相当不错。

那么，这次更新之后的 ChatGPT 数学能力可与其一战吗？

看起来…… 对比的结果不尽如人意：

「只能说神经网络不是用来干这个的」，Sebastian Raschka 都觉得无奈了。

还有人发现，升级后的 ChatGPT「脾气逐渐暴躁」：

「你数学是哪位老师教的？」面对一道十以内加减法的题目，它的语气像极了辅导孩子作业的家长。

这也许是「偶然现象」？看来数学是真难。

不管怎么说，我们可以期待一波后续的有趣 Demo 了。

太卷了：ChatGPT 和它的竞争者们

「未来 6 到 12 个月将带来实验的爆炸式增长，一旦公司能够使用 OpenAI 的 API 在 ChatGPT 之上构建。出现的杀手级用例可能是围绕生成式 AI 对知识管理的影响。」

Nicola Morini Bianzino。

在最近的一次公开活动上，安永全球首席技术官 Nicola Morini Bianzino 表示，目前还没出现在企业中使用 ChatGPT 的「杀手级」用例。但这种状态可能很快就会改变，他预测未来 6 到 12 个月将带来大量实验，尤其是当公司能够使用 OpenAI 的 API 在 ChatGPT 上构建之后。

Bianzino 将生成式 AI 对知识管理的影响描述为「AI 的辩证法」。「知识公司倾向于以一种非常扁平的二维方式存储知识，这使得访问、互动和对话变得困难。我们在 20、30、40 年前尝试构建专家系统。这并不是很顺利，因为它们太死板了。我认为这项技术有望克服专家系统存在的许多问题。」Nicola Morini Bianzino 表示。

与此同时，ChatGPT 的竞争者们也不断涌现，这个赛道变得越来越「卷」。从 Anthropic 公司的 Claude、DeepMind 公司的 Sparrow、谷歌公司的 LaMDA 到 Character AI，每天似乎都有新竞争者步入赛场。

Anthropic 是一家旧金山的初创公司，由几位离开 OpenAI 的研究人员于 2021 年创立。公司成立不到一年后就宣布了高达 5.8 亿美元的融资，上周五还被报道即将增加 3 亿美元融资。

这家公司开发了一个名为「Claude」的 AI 聊天机器人，目前通过 Slack 集成在封闭测试版中可用，据报道它与 ChatGPT 相似，甚至有一些改进。Anthropic 描述自身的使命为「致力于构建可靠、可解释和可操纵的 AI 系统」。

DeepMind 同样是这条赛道上不可忽视的力量。这家公司在 9 月份的一篇论文中介绍了 「Sparrow」，被誉为「朝着创建更安全、偏差更小的机器学习系统迈出的重要一步」。Sparrow 是「一种有用的对话智能体，可以降低不安全和不适当答案的风险」，旨在「与用户交谈、回答问题并在有助于查找证据」。

不过，DeepMind 的安全研究员、 Sparrow 论文的主要作者 Geoffrey Irving 表示，DeepMind 认为 Sparrow 是一个基于研究的概念验证模型，尚未准备好部署。

在两周前的《时代周刊》文章中，该公司的首席执行官兼联合创始人 Demis Hassabis 表示，DeepMind 正在考虑在 2023 年的某个时候发布其聊天机器人 Sparrow 的「私人测试版」。如此一来，公司就可以开发基于强化学习的功能，比如引用来源 —— 这是 ChatGPT 所没有的能力。

再说到 谷歌 的 LaMDA，这一模型曾在去年夏天引发过热议 —— 谷歌工程师 Blake Lemoine 因声称 LaMDA 具有感知能力而被解雇。

即使不像 Lemoine 认为的那样，LaMDA 仍被认为是 ChatGPT 最大的竞争对手之一。谷歌在 2021 年发布的博客文章中表示，LaMDA 的对话技巧「已经酝酿多年」。与 ChatGPT 一样，LaMDA 建立在 Transformer 架构之上，也接受过对话方面的训练。

根据谷歌的说法，「在训练期间，LaMDA 发现了一些将开放式对话与其他形式的语言区分开来的细微差别。」

《纽约时报》在 1 月 20 日的一篇报道中提到，谷歌创始人 Larry Page 和 Sergey Brin 上个月会见了公司高管，讨论了 ChatGPT 可能对谷歌 1490 亿美元的搜索业务构成的威胁。谷歌发言人在一份声明中表示：「我们继续在内部测试我们的 AI 技术，以确保它有用且安全，我们期待尽快与外部分享更多经验。」

另外一位颇具实力的玩家则是 Character AI ，这家公司由 Transformer 论文作者之一Noam Shazeer 创办，逐渐为人熟知。

该公司推出的 AI 聊天机器人技术允许用户与任何人聊天或进行角色扮演，比如模仿伊丽莎白女王和莎士比亚等历史人物。目前该技术是免费使用的，Character 正在「研究用户如何与之互动，然后再制定具体的创收计划。」

传百度将发布类似 ChatGPT 的聊天机器人

更能引起国内 AI 从业者关注的是，据路透社、彭博社等多家外媒报道称，百度公司计划在 3 月份推出类似于 OpenAI 的 ChatGPT 的人工智能聊天机器人服务。

消息人士称，百度计划在用户提出搜索请求时整合聊天机器人生成的结果，而不仅仅是链接。「该工具尚未命名，将嵌入在主搜索服务中，用户将返回对话风格的搜索结果。」

在去年 12 月在一次内部讨论中，百度 CEO 李彦宏曾分享自己对 ChatGPT 的看法：「把这么酷的技术变成人人需要的产品」才是最难的，希望百度新的一年「至少能有一个高成长、有创新的业务，真正的 above and beyond our expectation」。

而据《科创板日报》1 月 30 日报道，百度内部确有推出类似 ChatGPT 聊天机器人的规划，但具体时间并不精确。百度 CEO 李彦宏对于该项目的定位是「引领搜索体验的代际变革」。他在内部指出，相关技术已达到临界点，百度在其中有较大的机会。

检测利器：让大型语言模型生成的文本无处隐藏

ChatGPT 的能力纵然强大，但同时它在学校作业、论文发表等领域的滥用已经引发了人们广泛的担忧。因此，学界开始探索检测 ChatGPT 等大型语言模型（LLM）生成文本的方法和工具。

马里兰大学几位研究者对 ChatGPT 等语言模型输出的水印进行了研究 。在论文《A Watermark for Large Language Models》，他们提出了一种高效水印框架，水印的嵌入对文本质量的影响忽略不计，可以使用高效的开源算法进行检测，而无需访问语言模型的 API 或参数。

本文方法可以检测到比较短的合成文本（少至 25 个 tokens），同时使得人类文本在统计学上不可能被标记为机器生成。

论文地址：https://arxiv.org/pdf/2301.10226v1.pdf

斯坦福大学 几位研究者在论文《DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature》中，证明了从 LLM 中采样的文本倾向于占据模型对数概率函数的负曲率区域。利用这一观察结果，他们定义了一个基于曲率的新标准，来判断一段文章是否由给定的 LLM 生成。

研究者将他们的方法称为 DetectGPT，它不需要训练单独的分类器、收集真实或生成段落的数据集以及显式地为生成文本加水印。 DetectGPT 仅使用感兴趣模型计算的对数概率和另一通用预训练语言模型（如 T5）生成段落的随机扰动。

结果发现，DetectGPT 比当前模型样本检测的零样本方法更具辨别力，尤其是将 20B 参数 GPT-NeoX 生成的假新闻报道检测从最强零样本基线的 0.81 AUROC 提升到了 0.95 AUROC。未来将公布代码和数据。

DetectGPT 检测 GPT-3 生成文本的示意图。

论文地址：https://arxiv.org/abs/2301.11305

除了以论文形式展现的检测方案，也有个人推出了强大的检测工具。 比如一位来自 Hive AI、致力于 ChatGPT 检测器研究的 ML 工程师，其方案能够识别 ChatGPT、GPT-3 和其他流行 AI 引擎生成的文本 。

从内部基准测试结果来看， 该方案效果明显优于 GPTZero 和 OpenAI GPT2 Output Detector 等类似方法 。在内部数据集上，模型平衡准确率 >99%，而 GPTZero 的准确率约为 60%，OpenAI GPT2 Output Detector 的准确率为 84%。

Demo 地址：https://hivemoderation.com/ai-generated-content-detection

最后， GPTZero 也迎来了更新 ——GPTZeroX，一个专为教育者打造的全新 AI 检测模型 。该模型可以混合处理 AI 生成和人类文本，并突出显示最有可能由 AI 生成的文本部分。此外构建了一个 pipeline 来处理 PDF、Word 和.txt 格式的文件批量上传，从而轻松运行多个文件。

Demo 地址：https://gptzero.substack.com/p/gptzerox

总之，随着 AI 生成文本检测工具的日益丰富和日加完善，ChatGPT 等大型语言模型在应用时势必会越来越正规，帮助人们更高效地释放 AI 的能力。

参考链接：

《百度进军 ChatGPT 李彦宏：相关技术已达到临界点》 (https://mp.weixin.qq.com/s/1WZDu8aVcAUoHZfxjiMh7A)

https://mp.weixin.qq.com/s/URO054sLrNtVKryyv0TxGA

https://venturebeat.com/ai/who-will-compete-with-chatgpt-meet-the-contenders-the-ai-beat/

https://venturebeat-com.cdn.ampproject.org/c/s/venturebeat.com/ai/chatgpts-killer-enterprise-use-case-will-be-managing-knowledge-says-ey-cto/amp/