2026 年 11 月 2 日提交的一项基于 LLM 的法律信息提取研究表明，修订后的指令使准确率从52% 提高到 70%。但 Tomáš Knap 及其同事也发现，模型自身结果一致并不能保证它提取出了正确的答案。
研究人员提出了一种将刑事判决转化为结构化数据集的流程。这些判决描述了犯罪行为，可以为定量法律研究提供支持，但组织这些信息所需的属性和提取规则并非总是可以预先确定的。
该方法结合了属性探索、文本跨度提取和值规范化，并有法律专家协助完善指导该过程的注释说明。
基于LLM的交通违法行为法律信息提取测试
该研究考察了两种具体的违法行为：酒后驾驶（DUI）和无证驾驶（DDB） 。研究结果表明，指令清晰度与提取准确性和一致性之间存在关联。
在酒驾案件中，指令修订后，正确提取数值的比例从 52% 提高到 70%。人工标注者在改进后也更容易达成一致。
重复运行的结果显示出不同的区别。同一模型的输出结果彼此之间的匹配度高于与用于比较的黄金标注的匹配度。研究人员的发现将一致性与正确性区分开来：反复产生相同的结果并不能证明该结果是正确的。
标注者之间以及模型之间的分歧有助于发现不明确的指令。在这个法律信息提取流程中，这些分歧为指导原则需要澄清的地方提供了证据。
对于DDB，指令中明确规定了固定的类别和输出格式。在该评估中，大多数属性的一致性都很高。
本文由人工智能辅助生成，并经编辑团队审核。