司法领域大模型调研二

调研任务

司法领域大模型应用研究：对应修改申报书国内外研究现状部分（面向司法知识图谱的基础数据构建）
根据上述目标可以细分以下调研思路：

1. 继续调研司法大模型国内外研究与应用现状。
2. 阅读申报书国内外研究现状部分，补充完善已有的并加入代表性的。

研究现状

强调研究领域的重要性：
法律知识体系是多种逻辑和知识的结合，知识图谱能够表达这种逻辑关联，并显示被关联的体系内的知识。

url: https://www.faxin.cn/
title: "法信 - 懂法，更懂法律人"
host: www.faxin.cn

法信 - 懂法，更懂法律人

url: https://powerlaw.ai/about
title: "幂律智能"
description: "幂律智能（PowerLaw AI）是一家专注于法律领域的初创人工智能公司，旨在利用人工智能技术为法律服务行业赋能。"
host: powerlaw.ai
favicon: /favicon.ico

幂律智能

url: https://www.pkulaw.com/law?isFromV5=1
title: "法律法规数据库-法律法规检索系统-北大法宝V6官网"
description: "北大法宝法律法规数据库，收录300余万件法律法规文件，来自《立法法》认可的权威文件来源，平均每日更新千余篇。是中国法律法规大全网站，同时是目前国内成熟、专业、先进的法律法规检索系统。"
host: www.pkulaw.com

北大法宝

url: https://www.ailaw.cn/
title: "华宇元典Yodex智慧法务管理平台，助力企业法务案件管理、风控管理、合规体系建设。"
description: "华宇元典打造了集法律智能与知识自动化服务为一体的智慧法务平台，推动企业提高主动维权能力和纠纷解决质效，打造大合规时代的企业数字化法务部。"
host: www.ailaw.cn

华宇元典Yodex智慧法务管理平台，助力企业法务案件管理、风控管理、合规体系建设。

url: https://sf.xfyun.cn/services/IFlyLegal
title: "法小飞-司法AI平台"
description: "法小飞"
host: sf.xfyun.cn

法小飞-司法AI平台

url: https://metaso.cn/#/
title: "秘塔科技"
description: "秘塔检索是法律人工智能领域的一家新锐科技公司，致力于运用人工智能技术为法律人打造得心应手的生产工具，大幅提升法律行业工作效率，让法律人享受科技的便利。"
host: metaso.cn

秘塔检索

url: https://hub.baai.ac.cn/view/29492
title: "论文浅尝 | 大语言模型与知识图谱：机遇与挑战 - 智源社区"
description: "本文介绍了大语言模型（LLMs）在知识表示（KR）和自然语言处理任务中的应用。LLMs的参数化知识已经达到了人类相媲美的性能，这种知识正在逐渐被接受。"
host: hub.baai.ac.cn
favicon: https://hub.baai.ac.cn/_nuxt/favicon.ico
image: https://simg.baai.ac.cn/hub-detail/b8ec3d60935010c7fcb62a739880aa391693101602312.webp

论文浅尝 | 大语言模型与知识图谱：机遇与挑战 - 智源社区

国内研究现状

1. 陈玉博-大模型与知识图谱大模型助力知识图谱构建。在构建知识图谱的过程中，利用大模型可以提高知识的抽取和注入效率，增强知识图谱的覆盖范围和泛化性能。知识图谱辅助大模型进行知识校准和提升可解释性。大模型可以借助知识图谱提高知识的准确性，同时利用知识图谱来解释大模型的知识和推理过程，增强模型的可解释性。大模型和知识图谱协同工作。充分利用数据驱动和知识驱动的优势，提升自然语言处理各任务的能力，促进人工智能技术的发展。

2. 海致科技与高性能图计算院士工作站共同开发的 Atlas LLM 知识图谱与大模型融合应用平台，该平台运用知识图谱这项人工智能基础技术，帮助大模型在企业级和工业界应用中克服“幻觉”，实现基于行业与场景的精准推演。

3. 厦门大学洪文兴-面向司法案件的案情知识图谱自动构建提出融合平移嵌入的多任务联合的语义关系抽取模型 BERT-Multitask 进行关系抽取，基于司法判决书构建了针对交通事故的案件知识图谱. 实体识别的 $F_1$ 值可提升 0.36, 关系抽取的 $F_1$ 值提升高达 2.37, 为交通事故领域类案推荐的司法人工智能应用提供语义支撑.

4. 黄茜茜-基于司法判决书的知识图谱构建与知识服务应用分析基于 2015 年-2020 年的“网络诈骗”领域司法判决书，构建了含有约 3 万个实体和 18 万条关系的网络诈骗案件知识图谱, 提出了基于知识图谱的智慧司法知识服务框架.

5. 杨阳融合公安、工商、银行等多库情报资源信息，搭建涉众型经济犯罪知识图谱，着重描绘案件、罪犯、账户三者之间的社交、资金流向等各类关系，为警方打击此类犯罪提供决策支持。

6. 黄治纲-南京大学学报-基于司法案例知识图谱的类案推荐，提出基于知识图谱的案件推荐（Knowledge Graph based Case Recommendation，KGCR）模型, 利用文本分类和信息抽取技术构建面向刑事案例的知识图谱. 针对 TransH 算法的负采样问题进行改进，提出 FU⁃TransH 算法模型. 以公开的刑事判决书为数据集进行实验，与相关的具有代表性的算法相比，该算法的推荐准确率更高.

7. 陈彦光等在公开的 30 余万份涉毒类案件中抽取实体建成了关于涉毒案件的知识图谱；

8. 刘焕勇构建起了一个 20 万问答集, 856 个罪名的知识库，实现了罪名预测、法务咨询问题分类及自动问答功能。

9. 马灿提出“智慧司法 ”的知识图谱构建，并实现了关于案件的查询系统；

10. 乔钢柱等实现了基于知识图谱的盗窃案件推理；

11. 叶菁菁提出结合文本相似性和协同过滤技术的法条推荐，协同过滤缩小了备选法条的范围，解决了法条数目过多导致模型训练困难的问题；

12. CAIL 2023一共设置了七个任务，分别为：司法考试、对话式类案检索、类案检索、事实认定、论辩理解、信息抽取、司法大模型，同时将提供海量司法文书数据作为数据集。

---

---

国外研究现状

1. Pandey R 针对凶杀案调查年表展开研究，从中提取证人、嫌疑人、侦探、证据四大类型的实体，构建凶杀案件知识图谱，可辅助调查人员对是否能侦破案件做出合理判断。
2. Winkelsetal 发明了一种基于荷兰案例法的法律推荐系统
3. Kimetal 建立了一个结合法律信息检索和文本蕴含的法律问答系统
4. Srinivasa K 等基于在线报刊网站上的案件报导构建案件知识图谱，除了包含常见的时间、地点、人物等实体节点外，还纳入了图片类型实体，丰富案件信息的表现形式。
5. Wu H 利用物联网技术融合案件电子数据和纸质报告、光盘等非电子数据，再依托自然语言处理、图像识别等人工智能技术构建含有文本、音频、视频等多模态数据的案件知识图谱。
6. Chalkidis等于 2019 年发布的欧洲人权法院案件的段落级合理化注释数据集为法律领域生成段落级合理化注释以增加对系统决策的信任和促进司法决策支持工具的使用的重要性
7. Joel Niklaus 多语言的法律判决预测基准数据集，包含来自瑞士联邦最高法院的 85,000 个案例，但案例长度增加时性能下降、不同法律领域或不同地区的案例结果差异。

现存问题

1. 类案推荐: 存在的推荐准确性差、传统知识图谱向量化表示精度不高等问题。
2. 数据低质：部分文书存在错别字、标点符号错误等问题，可能会影响文本的准确性和可用性。
3. 样本不均衡：不同类别的样本数量存在较大的不平衡，可能导致模型在训练和评估时对少数类别的判断能力较弱。

结果

司法知识图谱在智慧司法建设中具有举足轻重的地位。它不仅能够提升司法智能化水平，确保司法公正性，还能加强决策支持能力，推动智慧司法的创新。但是由于司法领域数据的特殊性，司法知识图谱在基础数据方面存在着一些问题： 1）已公开的原始司法数据多来源于真实司法程序，公开前需对数据进行脱敏，公开后的数据需进行大量过滤、清洗和数据均衡工作，才能用于 NLP 模型或知识图谱的数据来源。2） 司法数据大多是非结构化纯文本，计算机无法直接理解，因此，需要对纯文本做高质量的信息抽取可以为下游知识图谱、法律文书处理、类案检索、判决预测等相关司法服务提供有价值的数据支持。3）现有司法数据集之间相互独立、覆盖面窄，不同网络间的数据共享交换体系建立尚不健全，而司法工作中需频繁交互多类数据，“数据孤岛”等现象较为突出。
为促进智慧司法的学术研究与应用发展，自 2013 年起，国内逐步搭建了中国审判流程信息公开网、中国裁判文书网、中国执行信息网等信息公开平台，归纳整合司法领域数据，实现了审判管理等数据公开化，为司法知识图谱提供了数据基础。中国法律智能技术评测CAIL(Challenge of AI in Law)自2018年起设置了多项司法评估任务包括司法考试、类案检索、信息抽取、司法大模型等，为研究者提供海量司法文书数据作为数据集，以推动自然语言处理、智能信息检索等人工智能技术在法律领域的应用。目前已有学者基于公开司法数据集，如法律法规数据集、司法案例数据集、法考试题数据集、判决预测数据集、司法问答数据集等，在法条检索、类案推荐、法律咨询、信息抽取、审判辅助、信息管理等领域做出了相关研究；陈玉博等提出在构建知识图谱的过程中，利用大模型进行信息抽取可以提高知识的抽取和注入效率，增强知识图谱的覆盖范围和泛化性能。刘焕勇构建起了一个 20 万问答集, 856 个罪名的知识库，实现了罪名预测、法务咨询问题分类及自动问答功能。还有部分学者就司法领域的“数据孤岛”问题，研究数据协同交换技术。但数据集的标注、覆盖范围、数据集间的融合协同方面，还面临着巨大挑战。
国外在构建高质量的司法数据集方面也进行了相关研究。Srinivasa K 等基于在线报刊网站上的案件报导构建案件知识图谱，除了包含常见的时间、地点、人物等实体节点外，还纳入了图片类型实体，丰富案件信息的表现形式。Wu H 利用物联网技术融合案件电子数据和纸质报告、光盘等非电子数据，再依托自然语言处理、图像识别等人工智能技术构建含有文本、音频、视频等多模态数据的案件知识图谱。Chalkidis等于 2019 年发布的欧洲人权法院案件的段落级合理化注释数据集为法律领域生成段落级合理化注释以增加对系统决策的信任和促进司法决策支持工具的使用。Joel Niklaus 构建了多语言的法律判决预测基准数据集，包含来自瑞士联邦最高法院的 85,000 个案例，但案例长度增加时性能下降、不同法律领域或不同地区的案例结果存在一定差异。
因此，本项目将通过远程监督手段，构建大规模法律法规和司法案件数据集，借助大模型提升复杂法条和司法案件事件抽取任务的表现，同时也对解决高质量司法相关数据稀疏问题具有重要意义。

---

近年来，面向司法领域的知识图谱构建已成为人工智能研究的热点之一。国内外研究者在这一领域取得了丰硕的成果，主要体现在以下几个方面：

1. 知识图谱自动构建：厦门大学洪文兴通过提出融合平移嵌入的多任务联合的语义关系抽取模型 BERT-Multitask，实现了关系抽取和实体识别的 $F_1$ 值提升，为交通事故领域类案推荐的司法人工智能应用提供了语义支撑。
2. 知识服务应用：黄茜茜基于司法判决书的知识图谱构建与知识服务应用分析，构建了含有约 3 万个实体和 18 万条关系的网络诈骗案件知识图谱，提出了基于知识图谱的智慧司法知识服务框架。
3. 多库情报资源融合：杨阳通过融合公安、工商、银行等多库情报资源信息，搭建了涉众型经济犯罪知识图谱，着重描绘案件、罪犯、账户三者之间的社交、资金流向等各类关系，为警方打击此类犯罪提供决策支持。
4. 基于知识图谱的案件推荐：黄治纲提出基于知识图谱的案件推荐（Knowledge Graph based Case Recommendation，KGCR）模型，利用文本分类和信息抽取技术构建面向刑事案例的知识图谱。相较于相关算法，该算法的推荐准确率更高。
5. 涉毒案件知识图谱：陈彦光等在公开的 30 余万份涉毒类案件中抽取实体建成了关于涉毒案件的知识图谱。
6. 罪名的知识库：刘焕勇构建起了一个 20 万问答集、856 个罪名的知识库，实现了罪名预测、法务咨询问题分类及自动问答功能。
7. 盗窃案件推理：乔钢柱等实现了基于知识图谱的盗窃案件推理。
8. 法条推荐：叶菁菁提出结合文本相似性和协同过滤技术的法条推荐，协同过滤缩小了备选法条的范围，解决了法条数目过多导致模型训练困难的问题。
9. 司法大模型：CAIL 2023 设置了七个任务，分别为司法考试、对话式类案检索、类案检索、事实认定、论辩理解、信息抽取、司法大模型，同时将提供海量司法文书数据作为数据集。
   国外研究现状方面，研究者也在开展类似的工作。例如，Pandey R 针对凶杀案调查年表展开研究，从中提取证人、嫌疑人、侦探、证据四大类型的实体，构建凶杀案件知识图谱。此外，Winkelsetal 发明了一种基于荷兰案例法的法律推荐系统，Kimetal 建立了一个结合法律信息检索和文本蕴含的法律问答系统。
   尽管在司法知识图谱构建方面取得了一定的成果，但仍存在一些问题需要解决，如类案推荐准确性差、传统知识图谱向量化表示精度不高、数据稀疏、数据质量、样本不均衡等。未来研究将继续在这些方面进行深入探讨，以期为司法领域的发展做出更大的贡献。

---

核心问题

模型评测

CoLLaM - 法律大模型评估框架

为了促进智能技术赋能司法，实现更高水平的数字正义，在最高人民法院和中国中文信息学会的指导下，从 2018 年起，CAIL 已连续举办了五届中国法律智能技术评测，先后吸引了来自海内外高校、企业和组织的近 5000 支队伍参赛，成为中国法律智能技术评测的重要平台。CAIL 2018 设置了罪名预测、法条推荐、刑期预测三个任务，并提供了包含 268 万刑事法律文书的数据集；CAIL 2019 设置了阅读理解、要素识别、相似案例匹配三个任务；CAIL 2020 设置了阅读理解、司法摘要、司法考试、论辩挖掘四个任务；CAIL 2021 设置了阅读理解、类案检索、司法考试、司法摘要、论辩理解、案情标签预测、信息抽取七个任务；CAIL 2022 设置了司法考试、事件检测、文书校对、类案检索、涉法舆情摘要、论辩理解、信息抽取、可解释类案匹配八个任务。随着智能技术与法律需求交叉融合的不断深入，CAIL 的任务设置更加符合司法需求，任务难度也逐年升级。
CAIL 2023一共设置了七个任务，分别为：司法考试、对话式类案检索、类案检索、事实认定、论辩理解、信息抽取、司法大模型，同时将提供海量司法文书数据作为数据集。CAIL 2023 赛程为 8 月初至 12 月持续 5 个月时间，预计将于 2024 年 1 月在北京举办颁奖典礼暨法律智能技术研讨会。诚邀学术界和工业界的研究者和开发者积极参与和支持评测！

CAIL 评测介绍网站：CAIL (China AI and Law Challenge

CoLLaM 将大语言模型在法律领域的应用划分为六个能力层次，分别是：记忆（Memorization）、理解（Understanding）、逻辑推理（Logic Inference）、辨别（Discrimination）、生成（Generation）和伦理（Ethic）。

• 任务定义
  基于法律认识能力评估框架，我们构造了一系列涉及不同能力层次的司法能力评估任务。
  

个人总结