T/ZSA 15-2021 任务型智能对话系统的能力评价

内容简介

本文件确立了任务型对话系统的智能能力评价体系，明确了能力分类，并对每类能力给出分级评价表，明确了各等级的能力表现要求
本文件适用于智能对话系统能力的分类、分级与评价
人工智能理论和技术兴起以来，各种理论观点和应用分析大量涌现，导致各种技术规范、指南、文件条文复杂，术语繁多。其中，以人工智能应用为最大特点的对话机器人研究领域，细分领域众多，评价标准不一致、不兼容、不互通，给研究人员、开发者和使用产品的用户都带来了很多困扰。因此，为对话机器人或人工智能对话系统，建立智能能力评价标准，有助于构建兼容社会规范的、安全的、系统扩展性良好的人工智能设施。本文件在人工智能领域内，对以完成任务为目标的智能对话系统，确立了评价体系，把智能能力分为三个类型、五个等级，明确了各自的能力组成和相应的能力表现要求。本文件与国内已有的智能语音交互系统、人工智能等级评估等国家标准、团体标准都兼容。本文件适用于面向任务型的智能对话系统，非任务型的其他智能对话系统也可参考使用。本文件可供人工智能系统的设计和开发人员、理论研究人员，以及实际使用对话系统的用户参考使用。依托本文件，可评价对话系统的智能等级水平，并指导对话系统的研究、设计、生产和应用分析。