COMET阅读笔记|Commonsense Transformers for Automatic Knowledge Graph Construction

Introduction

本文是Allen实验室发表在ACL2019的一篇关于自动常识知识库构建的文章。作者提出了Commonsense Transformers（COMET）生成模型，主体框架是Transformer语言模型，在ATOMIC和ConceptNet知识库中选取种子知识训练集进行预训练，使得模型可以自动构建常识知识库。Allen实验室也提供了Demo和Code，Demo挺有意思的，输入一个event（有参与者），就可以返回一个常识知识图。

COMET与许多使用规范模板存储知识的传统知识库相反，常识知识库仅存储松散结构的开放式知识描述。实验结果表明，COMET能够产生新的人类评价为高质量的知识，高达77.5％（ATOMIC）和91.7％（ConceptNet）精度。使用常识生成模型COMET进行自动构建常识知识库，也许就会成为知识抽取构建知识库的合理替代方案。

Motivation

针对问题：

1. 之前大部分自动知识库构建的工作针对的是百科知识，百科知识的特点是实体和关系之间很好建模，关系是比较明确的。但是常识知识不一样，实体间的关系是难以确定的，这就导致现有工作实效。
2. 华盛顿大学的OpenIE通过抽取开放文本中的实体和关系，构建知识库。对于常识知识来说，有一定比例是隐含知识，换言之就是未知的生成的知识。

解决方案：

借鉴Transformer上下文感知语言模型，在ATOMIC和ConceptNet知识库中选取种子知识训练集进行预训练，使得模型可以自动构建常识知识库，给定头实体和关系，生成尾实体。

Model

任务定义

训练样例${s,r,o}$，s是三元组的头实体，r是实体间的关系，o是尾实体。

例如ConceptNet中：(s=“take a nap”, r=Causes, o=“have energy”)。

定义 $X^{s}=\left\{x_{0}^{s}, \dots, x_{|s|}^{s}\right\}$ 为头实体集合，同理 $X^{r}=\left\{x_{0}^{r}, \dots, x_{|r|}^{r}\right\}$ 为集合的tuple， 并且$X^{o}=\left\{x_{0}^{o}, \ldots, x_{|o|}^{o}\right\}$ 为尾实体tuple

Transformer语言模型

模型基于GPT生成式Transformer， 对于每一层，有：

模型输入

输入：word+position embedding

Loss Function