GATE:解决用户不会LLMs提示词的问题
麻省理工学院研究人员开发出一种GATE框架,GATE会主动地与你进行开放式的对话,通过一些列对话了解你的需求和偏好。
了解了你的需求后,GATE就会生成适当的Prompt,然后传给LLMs。这样模型就能更准确地生成符合你需求的答案。
相当于是帮你写Prompt…
这也意味着搞提示词培训的和开发提示词产品的即将失业。
GATE优点:
GATE通过对话来了解用户需求的,所以用户不需要事先准备很多信息或进行复杂的思考。
这种互动方式还可能让用户思考到一些他们之前没有考虑过的问题,从而更全面地了解自己的需求。
GATE框架的核心思想:
GATE(Generative Active Task Elicitation)简而言之,就是通过主动与用户对话来帮助用户生成更有效的Prompt,从而提高LLMs的准确性和可用性。
开放式互动:模型可能会提出一些开放式的问题,比如“你想要找什么类型的音乐?”或者“你对这个话题有什么特别的看法吗?”。
边缘情况生成:模型还可能生成一些特殊或边缘的情况,让用户标记或评论,以更准确地了解用户的偏好。
工作原理:
GATE框架的核心组件:
开放式互动:模型与用户进行自由形式的、基于语言的互动。这可以是提出问题、生成示例或其他任何形式的语言输出。
用户反馈:用户通过回应模型的输出来提供反馈,这些反馈用于更新模型的理解和预测。
模型更新:根据收集到的用户反馈,模型的参数或结构会被相应地更新。
工作流程:
1、初始化:模型开始与一个基础的理解或预设任务。
2、互动:模型生成一个或多个基于语言的输出,以引导用户提供更多信息。
3、反馈收集:用户回应模型的输出,提供他们的观点、需求或偏好。
4、模型更新:使用收集到的反馈来更新模型。
5、迭代:这个过程会不断重复,直到模型能够准确地理解和执行用户的任务。
举例展示:
下面我们通过一个具体的使用场景来解释GATE框架如何工作:
用户需求:用户想要创建一个有趣的游戏,并请求GATE系统进行设计。
GATE的提问:GATE系统询问用户在创建游戏时考虑哪种平台或者哪种类型的游戏。例如,是移动游戏、PC游戏还是街机游戏。
用户回应:用户说他们正在考虑移动游戏,并特别喜欢拼图游戏。
GATE的进一步提问:GATE系统询问用户是否已经考虑了游戏的目的和规则,或者是否需要一些创意或建议。
用户的需求细化:用户表示还没有决定具体的游戏规则,希望听到一些新的概念或建议。
GATE的建议:GATE系统建议可以考虑加入时间操作的元素,比如让玩家能够倒退时间或暂停时间来解决拼图。
用户的反馈:用户觉得这个主意很有趣,并请求更多关于这个游戏的细节。
最终的Prompt:GATE系统生成了一个最终的Prompt:“设计一个用于移动设备的拼图游戏,其中玩家可以通过操作时间来解决各种障碍并达到目标。”
这个案例展示了GATE如何通过与用户的开放式对话来了解用户的具体需求,并据此生成有效的Prompt,以便大规模语言模型(LLMs)能更准确地满足用户的需求。
GitHub:https://github.com/alextamkin/generative-elicitation
论文:https://arxiv.org/abs/2310.11589
