平面向量

cs224uGloVe词向量方法
作者信息   时间2021-10-23   

GloVe是JeffreyPennington等作者于2014年提出的一种词向量方法,该方法基于全局词汇,通过统计单词共现的信息训练词向量,将统计信息与局部上下文窗口方法结合起来。

论文中约定的几个变量:

对于任意的单词i、单词j,单词k,如果单词k与单词i比单词k与单词j有更深的关联,则Pik>Pjk,反之亦然,如果单词k与单词i和单词j的关系都不大,则Pik约等于Pjk。用数学语言表示如下,其中wi是第i个单词的词向量,wj是第j个单词的词向量,wk是上下文窗口context_windows中的词向量。具体推导过程请阅读论文,这里不再赘述:

友情链接 Links

江州数学信息网