T/SAITA 001-2023 自然语言处理系统测评规范
标准编号:T/SAITA 001-2023
标准名称:自然语言处理系统测评规范
英文名称:Specification for natural language processing system test and evaluation
发布日期:2023-12-18
实施日期:2023-12-20
团体名称:上海市人工智能技术协会
起草人
朱伟民、陈敏刚、赵春昊、丁敏捷、汪未雅、王文广、刘彩霞、谢芳艺、王士进、邱锡鹏、瞿晶晶、贺樑、张志忠、陈玉珑、宋海涛、王资凯、刘权、贺梦洁、马永宁、赵迎功、吴蕾、钱程、曹嘉彦、杨长林、朱俊杰、吴良敏、李媛媛、穆泽林、隋言东
起草单位
上海市人工智能技术协会、上海计算机软件技术开发中心、上海依图网络科技有限公司、达观数据有限公司、公安部第三研究所、科大讯飞股份有限公司、复旦大学、上海交通大学、上海人工智能实验室、华东师范大学、上海人工智能研究院有限公司、竹间智能科技(上海)有限公司、上海乐言科技股份有限公司、澳鹏数据科技(上海)有限公司、上海依图智安人工智能科技有限公司、虎博网络技术(上海)有限公司、上海工程技术大学、木心智能科技集团有限公司
标准范围
本文件规定了自然语言处理系统的基本框架、测评指标体系、测评流程、测试方法,提供了自然语言处理系统的评价指南。
本文件适用于自然语言处理系统的设计、研发、测试、应用与维护。