11月25日最新消息,最新中文语言理解领域权威榜单 CLUE,诞生了一项新的纪录:来自阿里达摩院的大模型,获得了超越人类成绩的 86.685 高分。
这是该榜单诞生近三年以来,首次有 AI 超过人类得分。
这也意味着 AI 理解中文的水平又达到了一个新的高度。
那么,创下这一纪录的 AliceMind,是如何做到的?
作为业界最权威的中文自然语言理解榜单之一,CLUE 从文本分类、阅读理解、自然语言推理等 9 项任务中全面考核 AI 模型的语言理解能力。
过去三年,该榜单吸引了众多国内 NLP 团队的参与,尽管榜首位置多次易主,但参评 AI 模型一直未能超越人类成绩。
本次,这个来源于阿里通义大模型系列的 AliceMind,一举在 4 项任务中超过了人类水平,并实现总分的首次超越。
据介绍,AliceMind 一共靠下面两个关键技术获得这一成绩。
首先,基础模型迭代升级
AliceMind 的基础模型在通用语言预训练模型 StructBERT1.0(入选 ICLR 2020)之上,进行了迭代升级。
此前 1.0 的工作聚焦于通过在句子级别和词级别引入两个新的目标函数,相当于给机器内置一个“语法识别器”。
这使机器在面对语序错乱或不符合语法习惯的词句时,仍能准确理解并给出正确的表达和回应,大大提高机器对词语、句子以及语言整体的理解力。
本次,达摩院通过使用此前团队用于 PLUG / 中文 GPT-3 等超大规模模型训练所使用的海量高质量中文文本,以及近两年训练技术的经验,进行了以下改进:
· 替换激活函数,用 GLU 替换 GeLU;
· 使用更大规模的字 / 词混合的词表,替换了原始的字级别词表
· 使用相对位置向量替代绝对位置向量;
· 选取 5 亿规模的模型,在增加约 60% 模型参数和计算量的前提下,获得性能显著提升。
此外,阿里达摩院配合 AliceMind 在大规模预训练领域训练端和推理端的加速技术的积累,利用 StrongHold (SuperComputing 2022) 等技术实现了在 16 卡 A100 上用 14 天时间完成超过 500B tokens 的训练。
其次,Finetune
预训练模型是语义理解的重要基础,但是如何将其应用于下游任务同样也是一项重要的挑战。
达摩院 NLP 团队面对语义相似度、文本分类、阅读理解等下游任务,从迁移学习、数据增强、特征增强等方面进行了一系列的探索,来提升下游任务的性能表现。
关于 AliceMind
阿里达摩院历经三年研发出阿里通义 AliceMind。
该模型体系涵盖预训练模型、多语言预训练模型、超大中文预训练模型等,具备阅读理解、机器翻译、对话问答、文档处理等能力。
并先后登顶了 GLUE、CLUE、XTREME、VQA Challenge、DocVQA、MS MARCO 在内的自然语言处理领域的的六大权威榜单,斩获 36 项冠军。
AliceMind 已于去年 6 月开源。
本次在 CLUE benchmark 上首超人类中所使用的 backbone 模型,已经在达摩院此前发布的 ModelScope 平台中开放。




还没有评论,来说两句吧...