达摩院推出新型预训练对话模型 首次利用半监督学习注入知识

4月12日消息，据天下网商消息，今日，阿里达摩院研究人员首次利用半监督学习将标注的人类知识注入预训练对话模型，在MultiWOZ2.1等三个国际主流对话数据集中均实现了最佳效果，为知识和数据融合探索出新路径。

（融合知识后，AI会进行思考）

据了解，一个模型只能解决一项任务，通用性差是AI的一大问题。而预训练模型可能是破解之道，因此近些年备受关注，已迅速发展出万亿参数的大模型。不少研究者认为，数据量只是一方面，如果能将人类知识有机注入预训练模型， AI有望像人类一样思考。

但知识注入并不容易，简单混合容易导致知识被淹没，或者出现严重的过拟合。达摩院研究人员此次利用半监督学习来对预训练对话模型注入知识，在人机对话领域尚属首次。

（图为半监督使用示意图）

据介绍，预训练对话模型有别于常见的预训练语言模型，需更多考虑对话轮次、上下文情境、对话人员的角色等，以便理解对方意图并做出恰当回复。也就是说，这类模型必须考虑对话过程中的策略，他们属于特定场景下的人类知识。业界通常用对话动作标签（dialog act）来刻画对话策略，比如模糊澄清、信息问询和信息告知等。

为此，达摩院研究人员构建了目前最大的对话动作标签知识库，总量达97万轮次，将其注入新设计的预训练对话模型SPACE 1.0中，随后在下游任务进行验证。新模型在斯坦福 In-Car，剑桥MultiWOZ2.0和亚马逊 MultiWOZ2.1这三个国际主流对话数据集上均实现了SOTA（最佳效果），部分提升超过5%，幅度较大。在具体案例中，新模型能够更准确预测出对话动作，能够更好和人类进行对话，避免答非所问。

（图为达摩院新模型在三大国际数据集上的表现）

值得一提的是，在AI应用方面，此前，全国特大型钢企南京钢铁上线了AI质检系统，借助阿里达摩院先进算法，钢板表面缺陷检出率从原来人工的90%提升至98%，钢板出厂质量明显提升，质量异议金额从0.06元/吨降至0.02元/吨。