我建構了一個能強制自我引用的RAG系統——它甚至能阻止自己的合併
大多數RAG教學都以相同的方式結束:你發送一個問題,LLM返回一個答案,然後你就上線了。但教學沒告訴你的是:這個答案可能是自信地編造的。LLM可能引用了它虛構的源。你根本無法知道。我花了整整三天調試完全相同的問題——在一個原型系統中。系統聽起來權威十足,但它一直在編造檢索上下文中根根本不存在的塊引用。修復方案不是更好的提示詞。
大多數RAG教學都以相同的方式結束:你發送一個問題,LLM返回一個答案,然後你就上線了。但教學沒告訴你的是:這個答案可能是自信地編造的。LLM可能引用了它虛構的源。你根本無法知道。我花了整整三天調試完全相同的問題——在一個原型系統中。系統聽起來權威十足,但它一直在編造檢索上下文中根根本不存在的塊引用。修復方案不是更好的提示詞。