Text-2014-08-22

word2vec 相关会议纪要

1. 在训练字向量的时候 predict 出词向量:

    a）在训练完成 字向量A，B时，通过查表得到词AB成词，训练 A·Miα·B 得出 <类语法矩阵或语法关系> Miα
    b）思路：
       1）通过直接训练字向量A，B 又AB成词，通过预先设置好的规则，学出使 AB 成词的关系 Mi
       2）在训练过程中，学习出关系 Mi 通过AMiB生成AB的词向量
       3）将关系Mi进行人为分类，满足一定关系的字predict 词向量。 满足一定关系的词向量满足一种三元组关系 <A，Mi，B> 通过分类问题可以将三元组进行分类

2. 更改训练过程中的cost function:

    a）在训练word vector过程中 由传统的 wT·w 变换为 f(wT)·f(w)
    b）转化为∏f(Xi|θ)的形式

3. word vector training model:

    a）通过学习产生一些relation vector or matrix
    b）使用 SSA feature 进行迭代
    c）car <= cars， cars' 归一化 也就是stem

recorded by xinchao