谷歌翻译与ChatGPT:测试的方法和语言
为了进行这项研究,PC Mag招募了精通七种非英语语言并居住在美国或为美国公司工作的人。他们要求他们参加一个盲测,他们使用谷歌翻译、ChatGPT 和 Microsoft Bing对英语段落的翻译进行排名。
他们测试的语言包括:
- 波兰语
- 法语
- 朝鲜语
- 西班牙语
- 阿拉伯语
- 塔加洛语
- 阿姆哈拉语
虽然他们的研究并不详尽,但结果为这些人工智能模型在语言翻译中的表现提供了宝贵的见解。
为翻译而设计的段落
为了挑战翻译服务并了解其局限性,他们精心制作了英文段落。
第一段包括棘手的口语表达,如“发泄”(意思是在紧张的一天后放松)和“干杯!(意思是“谢谢!
它还具有需要转换的度量值,例如美元($)和英里。
第二段是给一部分参与者的,包括“流氓”和“流行香槟”等俚语。
他们的目标是捕捉不同语言挑战中翻译的细微差别。
谁是谷歌翻译与 ChatGPT 冲突的赢家?
在他们提供的十二个例子中,人工智能聊天机器人查特,Google Bard和Microsoft Bing比Google Translate更受欢迎。ChatGPT名列前茅。与会者称赞ChatGPT提供的翻译类似于自然对话。他们赞赏其一贯的非正式性和口语表达的准确翻译,并指出谷歌翻译与ChatGPT的获胜者是每个人心爱的聊天机器人。
谷歌Bard另一方面,它的功能有限,但在少数情况下(韩语、法语和西班牙语)的性能优于谷歌翻译。
然而,所有的翻译服务,包括聊天机器人,都在货币和距离测量方面苦苦挣扎。参与者希望聊天机器人的对话性质能够引发有关首选货币或单位的后续问题,但事实并非如此。不同语言和服务之间的不一致和不完善是显而易见的。
谷歌翻译根本不受欢迎
参与者批评谷歌翻译的直译,经常缺少上下文的细微差别。相比之下,聊天机器人擅长捕捉细微差别和上下文。这归因于他们使用带有人类反馈的强化学习(RLHF)。通过收集人类对模型响应的偏好,聊天机器人可以提供更符合文化的翻译,特别是对于非母语人士。
虽然人工智能聊天机器人在PC Mag的评估中超过了谷歌翻译,但没有一个选项可以完全取代人工翻译。尽管聊天机器人表现出更高的准确性和对话能力,但它们仍然偶尔会犯错误并使用尴尬的单词选择。
翻译技术的进一步发展是必要的。随着人工智能的不断发展,更大的模型可能会提高翻译质量,我们将在谷歌翻译与ChatGPT的竞争中有一个明显的赢家。