数据集汇总与评测

数据集

信息抽取 IE 数据集

ACE 数据集

ACE2005语料库是语言数据联盟(LDC)发布的由实体，关系和事件注释组成的各种类型的数据，包括英语，阿拉伯语和中文培训数据，目标是开发自动内容提取技术，支持以文本形式自动处理人类语言。

获取来源：ACE 2005 Multilingual Training Corpus - Linguistic Data Consortium

 ACE注释任务对应于三个研究目标：实体检测和跟踪（EDT），关系检测和表征（RDC）以及事件检测和表征（EDC）。第四个注释任务，实体链接（LNK），将对单个实体及其所有属性的所有引用分组到一个复合实体中。

司法数据集

裁判文书网： https:/wenshu.court.gov.cn/
openlaw： https://openlaw.cn/
把手案例（需要积分，不容易爬取）： https://www.lawsdata.com/
密塔搜索（脱密后数据意义不大不推荐）： https://metaso.cn/

大模型评测

OpenCompass

OpenCompass是一款开源、高效、全面的评测大模型体系及开放平台。我们提供完整开源可复现的评测框架，支持大语言模型、多模态模型各类模型的一站式评测。利用分布式技术，即使面对千亿参数模型也能在数小时内完成评测。基于多个不同维度的高认可度数据集开放多样化的评测方式，包括零样本评测、小样本评测和思维链评测，全方位量化模型各个维度能力。