如何减少LLM幻觉

95 0 0

语言模型（LLMs）如GPT-4是无监督任务的强大工具，但可能会出现“幻觉”，即生成似是而非的信息。为了缓解这一问题，可以采用以下几种策略：

高级提示：这涉及在系统提示中提供清晰的指示，以避免传播错误或不可验证的信息。例如，使用一个提示来指导模型不要传播不正确的数据。
少样本提示：向LLM提供少量特定示例以引导其回应，有助于它专注于主题和上下文。示例的质量至关重要，因为糟糕的示例可能导致更多幻觉。
思维链式提示：鼓励LLM在最终答案之前生成推理步骤，可以通过逐步思考或提供推理示例来实现。然而，这可能会引入产生幻觉推理的风险。
数据增强：当上下文超出模型窗口时，数据增强可以通过添加专有数据或外部工具/知识来帮助。技术包括：
- 检索增强生成（RAG）：将模型知识与检索系统结合起来，在实时中获取相关数据。
- 工具集成：使用函数调用、API调用和其他工具来提高准确性，尽管这需要进行广泛测试和实验。
微调: 对于有足够数据量标准化任务有效果。它涉及收集高质量提示/完成对，并尝试不同模型和超参数以优化性能。