2026 年 11 月 2 日提交的一項基於 LLM 的法律信息提取研究表明，修訂後的指令使準確率從52% 提高到 70%。但 Tomáš Knap 及其同事也發現，模型自身結果一致並不能保證它提取出了正確的答案。
研究人員提出了一種將刑事判決轉化爲結構化數據集的流程。這些判決描述了犯罪行爲，可以爲定量法律研究提供支持，但組織這些信息所需的屬性和提取規則並非總是可以預先確定的。
該方法結合了屬性探索、文本跨度提取和值規範化，並有法律專家協助完善指導該過程的註釋說明。
基於LLM的交通違法行爲法律信息提取測試
該研究考察了兩種具體的違法行爲：酒後駕駛（DUI）和無證駕駛（DDB） 。研究結果表明，指令清晰度與提取準確性和一致性之間存在關聯。
在酒駕案件中，指令修訂後，正確提取數值的比例從 52% 提高到 70%。人工標註者在改進後也更容易達成一致。
重複運行的結果顯示出不同的區別。同一模型的輸出結果彼此之間的匹配度高於與用於比較的黃金標註的匹配度。研究人員的發現將一致性與正確性區分開來：反覆產生相同的結果並不能證明該結果是正確的。
標註者之間以及模型之間的分歧有助於發現不明確的指令。在這個法律信息提取流程中，這些分歧爲指導原則需要澄清的地方提供了證據。
對於DDB，指令中明確規定了固定的類別和輸出格式。在該評估中，大多數屬性的一致性都很高。
本文由人工智能輔助生成，並經編輯團隊審覈。