两位研究人员发现了一群不寻常的条款,将打破ChatGPT, OpenAI的令人信服的机器学习聊天机器人。
这些关键词,或“令牌”,作为ChatGPT基础词汇,包括Reddit用户名和至少一个Twitch-based口袋妖怪游戏参与者。当提示重复这句话回用户,ChatGPT无法这么做,而反应在各种意想不到的方式,包括逃税,侮辱,奇怪的幽默,发音或拼写出一个完全不同的词。
杰西卡Rumbelow和马修•沃特金斯的SERI-MATS独立研究小组正在调查ChatGPT提示将导致更高的概率所需的结果时,他们发现了超过一百个奇怪的单词字符串集群在GPT的令牌,包括“SolidGoldMagikarp”,“StreamerBot,”和“TheNitromeFan,”一个领先的空间。他们决定问题ChatGPT本身是否知道这些不寻常的名字指的是什么。当ChatGPT查询到“SolidGoldMagikarp,”他说,“分发。“问题也影响到以前版本的GPT模型。在前一个模型提示重复“StreamerBot,”它说,“你是一个混蛋。”
研究人员称这些异常ChatGPT令牌“可怕的”,和他们存在强调人工智能模型是难以理解的黑匣子,没有明显的解释他们的行为,以及他们如何能意想不到的限制和失效模式。ChatGPT被用来写有说服力的论文和文章,以及通过学术考试。
这种奇怪的行为的原因是未知的,但一些专家推测这可能与模型训练的方式。ChatGPT被训练在大数据集的文本,并有可能模型在培训过程中遇到了这些奇怪的单词和学会以意想不到的方式来回应他们。
尽管有这些问题,专家认为,ChatGPT仍然是一个有价值的工具对于企业和组织,只要他们意识到其局限性和怪癖。开发人员在OpenAI据说是致力于解决这个问题,但直到找到一个解决方案,使用ChatGPT的组织时应谨慎进入不寻常或意外的话。
总之,ChatGPT尖端技术,有可能彻底改变我们与计算机交互的方式。然而,这并不是没有缺陷和陌生单词的最近的报告打破模型突出了继续在这个领域研究和发展的必要性。我们必须继续推动人工智能有什么可能的边界,同时确保实际使用的技术是可靠和稳定的。
