RAG 是什麼?AI 客服不亂編答案的關鍵機制

RAG 是什麼?

RAG(Retrieval-Augmented Generation,檢索增強生成)是一種「先查資料、再回答」的 AI 架構:使用者提問後,系統先從指定的文件庫裡檢索出相關段落,再把這些段落連同問題一起交給語言模型,要求它依據查到的內容作答。差別聽起來小,結果差很大——沒有 RAG 的 AI 是憑記憶答題的考生,有 RAG 的 AI 是開書考:書就是你家的規格書、報價原則與操作手冊。

為什麼不直接問大模型就好?

因為模型的知識來自訓練資料,而訓練資料是公開網路——裡面沒有你家產品的規格、沒有你的報價政策、更沒有你上週才改版的作業流程。更麻煩的是語言模型的本性:遇到不知道的事,它的預設行為是「把話流暢地接下去」,而不是停下來說不知道——這就是所謂的幻覺(hallucination)。放在企業客服場景,兩個問題疊在一起就是災難:資料它沒有,答案它照編,而且編得看起來很專業。

RAG 怎麼減少亂編?

核心是把「知道」與「說」分開。知識放在文件庫裡——看得到、改得了、可以稽核;模型只負責把檢索到的內容組織成通順的回答。這個分工帶來三個實際的好處:答案可以附上出處,讓人點回原文核對;知識更新不必重新訓練模型,換掉文件就生效;查不到相關內容時,系統可以誠實回「找不到依據」,而不是硬編一段。換句話說,RAG 沒有讓模型變誠實,是讓系統的架構允許誠實。

RAG 不是萬靈丹:三個極限

第一,檢索錯,答案就錯:相關段落沒被找出來,模型拿到的就是錯的原料——檢索品質決定答案品質的上限。第二,文件過期,答案跟著過期:RAG 忠實反映文件庫,文件庫裡是舊價格,它就答舊價格。第三,模型仍可能在檢索內容之外自行發揮——機率被壓低,不是歸零。所以成熟的做法是在 RAG 之外再加三道保險:每個答案附出處、判斷不了就婉拒、重要回覆由人審核後送出。宣稱「有了 RAG 就不會錯」的,把架構當成了保證。

當一份文件裝不下答案:混合檢索

實務上還有一層:很多問題的答案不在單一段落裡。「A 料跟 B 料相容嗎?」要同時比對兩份規格書;「這顆的替代方案?」要把規格表、應用手冊與變更通知湊在一起。所以成熟的系統會混用幾種檢索:關鍵字檢索(BM25)對付料號、型號這種一個字都不能錯的查詢;語意檢索對付「客人問耐不耐熱、文件寫工作溫度範圍」的換句話說;知識圖譜(GraphRAG)與階層式索引(RAPTOR)負責跨文件把線索接起來。單獨用哪一種都會在某類問題上失手——混合,是因為問題本來就長得不一樣。GraphRAG 與 RAPTOR 各自怎麼運作、解什麼題,另有一篇白話解釋。

怎麼看出供應商是不是「套殼」?

四個問題,當面問:一,答案有沒有出處?能不能點回原始文件的段落?二,檢索範圍限不限定在我的文件庫?會不會「查不到就去外面找」?三,查不到的時候,它會承認,還是硬答?四,文件更新之後,多久生效?四題的答案拼起來,大致就能分辨對方是把 RAG 當架構在做,還是把「AI」兩個字當貼紙在賣。

Kinsunn AI 的做法

Kinsunn AI 的檢索就是上面說的混合式:關鍵字、語意、知識圖譜三路同時運轉,結果合併重排後才交給模型作答;每個回答附來源出處,判斷不了權限或依據不足時寧可不答,而回覆預設由真人審核後才送出——架構減少錯誤,流程接住剩下的。文件理解的完整說明見規格書 AI 問答;全自動與審核制的取捨,見這一篇。

參考資料

• Lewis et al.,Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(2020)——RAG 一詞的原始論文。arxiv.org
• 延伸閱讀:AI 客服該全自動,還是真人審核後送出?、企業文件問答系統,自己建還是買現成的?