Title: XLNet: Generalized Autoregressive Pretraining for Language Understanding. 1. Introduction1.1 AE && AR无监督表征学习已经在自然语言处理领域取得了巨大的成功。在这种理念下， ...
Trans系列模型详解
当前主流知识库中，知识被存储为$(h,r,t)$的三元组形式，其中 $h$ 表示头实体，$r$ 表示联系，$t$表示尾实体。知识表示学习的任务就是学习 $h,r,t$ 的分布式表示（也被叫做知识图谱的嵌入表示(embedding)）。 目前，知识表示学习方法从实现形式上可以分为两类：基于结构的方法和 ...
ERNIE: Enhanced Language Representation with Informative Entities论文阅读笔记
论文地址：https://arxiv.org/pdf/1905.07129 github地址：https://github.com/thunlp/ERNIE 1. Abstract自然语言表征模型最近受到非常多的关注，很多研究者将其视为 NLP 最重要的研究方向之一。例如在大规模语料库上预训练的 B ...
KBGAN 论文阅读笔记
1. 特色 首次尝试用对抗学习去生成有用的副样本来提升embedding效果 对抗学习框架泛化能力强，适配很多KGE模型，不需要额外本体限制 在三个常用的数据集上显示出一致性能 2. 相关工作与模型构建近年来很多KGE方法被提出来。RESCAL（2011）首先用矩阵分解来进行embedding，并 ...
经典Graph Embedding 方法
Graph Embedding 目前已经在深度学习很多领域取得很好的成绩。目前，Graph Embedding是推荐系统、计算广告领域最近非常流行的做法，是从word2vec等一路发展而来的Embedding技术的最新延伸，并且很多大厂已经用Graph Embedding 取得了很好的效果。 wor ...
百度知识图谱构建技术|《Mining Type Information from Chinese Online Encyclopedias》论文阅读
《Mining Type Information from Chinese Online Encyclopedias》论文阅读1. Introduction 找到一种从中文百科中挖掘类型信息的方案，作为中文LOD的补充 使用attribute propagation algorithm 生成了很多属 ...