AI 中文语言理解得分首超人类

11月25日最新消息，最新中文语言理解领域权威榜单 CLUE，诞生了一项新的纪录：来自阿里达摩院的大模型，获得了超越人类成绩的 86.685 高分。

这是该榜单诞生近三年以来，首次有 AI 超过人类得分。

这也意味着 AI 理解中文的水平又达到了一个新的高度。

那么，创下这一纪录的 AliceMind，是如何做到的？

作为业界最权威的中文自然语言理解榜单之一，CLUE 从文本分类、阅读理解、自然语言推理等 9 项任务中全面考核 AI 模型的语言理解能力。

过去三年，该榜单吸引了众多国内 NLP 团队的参与，尽管榜首位置多次易主，但参评 AI 模型一直未能超越人类成绩。

本次，这个来源于阿里通义大模型系列的 AliceMind，一举在 4 项任务中超过了人类水平，并实现总分的首次超越。

据介绍，AliceMind 一共靠下面两个关键技术获得这一成绩。

AliceMind 的基础模型在通用语言预训练模型 StructBERT1.0（入选 ICLR 2020）之上，进行了迭代升级。

此前 1.0 的工作聚焦于通过在句子级别和词级别引入两个新的目标函数，相当于给机器内置一个“语法识别器”。

这使机器在面对语序错乱或不符合语法习惯的词句时，仍能准确理解并给出正确的表达和回应，大大提高机器对词语、句子以及语言整体的理解力。

本次，达摩院通过使用此前团队用于 PLUG / 中文 GPT-3 等超大规模模型训练所使用的海量高质量中文文本，以及近两年训练技术的经验，进行了以下改进：

· 替换激活函数，用 GLU 替换 GeLU；

· 使用更大规模的字 / 词混合的词表，替换了原始的字级别词表

· 使用相对位置向量替代绝对位置向量；

· 选取 5 亿规模的模型，在增加约 60% 模型参数和计算量的前提下，获得性能显著提升。

此外，阿里达摩院配合 AliceMind 在大规模预训练领域训练端和推理端的加速技术的积累，利用 StrongHold (SuperComputing 2022) 等技术实现了在 16 卡 A100 上用 14 天时间完成超过 500B tokens 的训练。

预训练模型是语义理解的重要基础，但是如何将其应用于下游任务同样也是一项重要的挑战。

达摩院 NLP 团队面对语义相似度、文本分类、阅读理解等下游任务，从迁移学习、数据增强、特征增强等方面进行了一系列的探索，来提升下游任务的性能表现。

阿里达摩院历经三年研发出阿里通义 AliceMind。

该模型体系涵盖预训练模型、多语言预训练模型、超大中文预训练模型等，具备阅读理解、机器翻译、对话问答、文档处理等能力。

并先后登顶了 GLUE、CLUE、XTREME、VQA Challenge、DocVQA、MS MARCO 在内的自然语言处理领域的的六大权威榜单，斩获 36 项冠军。

AliceMind 已于去年 6 月开源。

本次在 CLUE benchmark 上首超人类中所使用的 backbone 模型，已经在达摩院此前发布的 ModelScope 平台中开放。