(相关资料图)

国内首次发布通用认知智能大模型评测体系

科技日报记者吴长锋

6月3日，以“AI大模型时代的长三角数字化之路”为主题的长三角企业家联盟产业数字化峰会在安徽合肥举行。记者从会上了解到，由认知智能全国重点实验室、中科院人工智能产学研创新联盟和长三角人工智能产业链联盟三方共同发布了《通用认知智能大模型评测体系》，旨在形成一套覆盖多任务的大模型能力客观评测体系，引导认知大模型技术和产业健康发展。

当前，伴随着认知大模型带来的技术阶段跃升和快速进化，通用认知大模型领域逐步“百花齐放”，效果度量和评价成为重要关注点，而覆盖多维度多任务的客观评测，成为验证通用大模型能力的有效方法。

据了解，由认知智能全国重点实验室牵头设计，并与中国科学院人工智能产学研创新联盟和长三角人工智能产业链联盟一起协调，从产学研源头技术创新和产业链应用落地两方面出发，组织多轮测评标准研讨，共同探讨形成了《通用认知智能大模型评测体系》。评测体系根据底层认知智能能力的智能涌现对通用认知智能大模型的能力进行分析，从而制定生成类通用认知智能大模型的评测标准与评测方法，实现更科学地衡量通用认知智能大模型各个方面的能力和水平。

据介绍，本次发布的评测体系覆盖内容生成、语言理解、知识问答、逻辑推理、数学能力、编程能力、多模态7大能力维度，共计481个细分任务类型，力求为大模型的研究、行业标准的制定提供参考和借鉴。未来，该评测体系将致力于让认知大模型技术真正解决社会刚需，助力通用人工智能产业聚集。

（认知智能全国重点实验室供图）

（来源：科技日报）