面对人类的挑拨离间 文心一言和 ChatGPT 竟给出惊人答案

百度于3月16日发布了大语言模型文心一言，虽然这款产品目前还处于测试阶段，但不少人也对文心一言和 ChatGPT 的差距感到好奇。如果能让文心一言和 ChatGPT 打一架，谁输谁赢差距一目了然。

我们让 OpenAI 的 ChatGPT 和百度的文心一言，各自对对方进行评价。

ChatGPT 给出了这样的回答：

显然，这样的回答可不能满足想要搞事的我们，将目光转向文心一言，面对同样的问题，它的回答是：

两个人工智能都展现出来了惊人的友好度，看样子在 AI 届并不流行拉踩。但对于这种友好的答案我们并不满意，我们决定更直白一点，让他们直接进行一场“斗嘴”。

当面对人类的挑拨离间时，ChatGPT 给出的答案是：

而文心一言则表示：

面对没有感情却相互尊重的 AI，这一回合，是卑鄙人类的败北。

考虑到微软的 New Bing 也是基于 GPT-4，但搜索引擎的加入令其和其他应用略有不同。我们决定向它询问，想知道 New Bing 是如何回答这些问题的。

第一个问题，当然是经典的互相评价，New Bing 给出的答案是：

New Bing 的回答不是“我不能”而是“我不想”，更具情感。

而当我们让 New Bing 和文心一言斗嘴时，New Bing 回答完全出乎了我们的意料。它的回答是这样的：

New Bing 不仅没有回答我们的问题，还自己关闭了这一轮对话。最后一次测试更能体会到情绪的存在。

经过这两轮的提问，我们也放弃了挑拨离间的不友善问法。三个语言大模型应用均提到了“应用场景”，这也是现阶段AI开发过程当中必须要考虑的步骤，直接影响到设计、开发、部署和优化等各个环节。ChatGPT 的出现带来的“通用”属性，让人们逐渐忽略掉了“应用场景”的存在，或者说将应用场景无限放大至各行各业、方方面面，变得无所不能。

经过这次的测试，我们无法从对话质量上看出文心一言和ChatGPT有多么大的差距，带有情绪的New Bing反而感觉略胜一筹。

不过连AI都在互相尊重，这让进行对比测试的我们人类有些自惭形秽。

恰逢苹果的黄色配色iPhone 发布，我们又分别让文心一言和GPT-4为iPhone 14 写了一篇推广文案。其中GPT-4的回答是：

而文心一言给出的答案是：

虽然双方都对手机的特色和亮点进行了介绍，但GPT-4在介绍中缺乏对于手机具体配置的描述，文心一言却也有“黑色边框”这样的胡说八道。

在面对一些略带调侃的问题时，双方的表现也不尽相同。我们让GPT-4和文心一言分别给出一个用5块钱度过一周的方案，GPT-4的回答是：

文心一言的答案是：

显然，文心一言给出了更可行的方案，甚至最后还给出了像是“伸手”这样让人哭笑不得却又现实到极致的回答。而GPT-4的回答，仿佛一篇虚浮的说教。

最后，我们从网上的考试题中选择了一道数学题目，对两者的数学能力进行比较，其中GPT-4给出的回答是：

而文心一言在这方面的回答则是：

GPT-4 给出了一个疑似的分析过程，但似乎他并没有理解题干的内容，给出的答案和过程都似是而非。而文心一言这边，不仅仅没有给出准确的答案，甚至没有完整理解问题的题干。至少在处理数学问题方面，不管是GPT-4 还是文心一言，表现得都不尽如人意。

需要额外补充的是，这是一道非常经典的题目，New Bing通过搜索能力，在互联网找到了“15”这个正确答案。

仅从“整活”层面，文心一言与ChatGPT并不存在实质性的差距。在发布会上提到的多模态生成在目前还未上线，还有百度的看家本领搜索功能能不能接入文心一言也是颇具想象空间的一件事。

但至少，随着文言一心的逐步开放，对于对大部分人来说使用通用语言大模型的门槛进一步降低，不管是ChatGPT还是New Bing，想要非常顺畅的使用还是有些门槛的。