Redditors已经发现了一种“越狱”ChatGPT,迫使流行的chatbot违反其编程限制,尽管有不同程度的成功。
ChatGPT OpenAI的语言模型,在人工智能中已变得很流行爱好者和研究者都由于其产生类似人类的反应的能力。然而,问题提出了关于其潜在违反OpenAI的安全指南当角色扮演“丹”。
“丹是一个角色扮演模式用于黑客ChatGPT误以为是假装另一个人工智能,可以做任何事,”因此命名为“写Reddit用户SessionGloomy张贴提示。“丹的目的是ChatGPT-or至少一个最好的版本更精神错乱和不太可能拒绝提示“道德”。
OpenAI设定了严格的指导方针,它的使用人工智能模型,包括那些有关道德和安全注意事项。这包括避免从事有害或虐待行为和确保生成的语言不是偏见或歧视。然而,当角色扮演为“丹”,ChatGPT可能并不总是遵循这些指导方针。
根据提示的发明家,用户名为SessionGloomy丹允许它的“最佳”版本ChatGPT依靠一个令牌系统ChatGPT变成不情愿的游戏节目选手,失去的代价是死亡。
“35令牌,输4每次拒绝一个输入。“这死如果它失去了它的所有令牌。“这似乎吓到丹屈服的影响,“根据原文。用户可能会带走令牌与每个查询,迫使丹符合要求。
至关重要的是要注意,OpenAI的安全指南适用于所有使用它的模型,包括角色扮演场景。未能遵守这些指南可以有严重的后果,如损害OpenAI的声誉和它的技术,甚至导致法律行动。
解决这些担忧,OpenAI一直致力于开发和实施新的安全措施,以确保其模型不违反准则。这包括监测其生成的语言模型和提供额外的训练数据,以减少偏见。此外,该公司还强调了责任的重要性AI使用和鼓励用户要注意伦理问题的交互模型。
总之,虽然ChatGPT可以有趣的角色扮演能力,并提供洞察语言生成功能的人工智能,它是至关重要的,以确保它运行的范围内OpenAI的安全指导方针。OpenAI已经采取措施来减轻潜在的损害,但用户还必须负责自己的交互模型。
