“Text-2014-08-22”版本间的差异
来自cslt Wiki
| （相同用户的一个中间修订版本未显示） | |||
| 第1行： | 第1行： | ||
| − | word2vec | + | ==word2vec 相关会议纪要== |
| − | + | 1. 在训练字向量的时候 predict 出词向量: | |
a）在训练完成 字向量A，B时，通过查表得到词AB成词，训练 A·Miα·B 得出 <类语法矩阵或语法关系> Miα | a）在训练完成 字向量A，B时，通过查表得到词AB成词，训练 A·Miα·B 得出 <类语法矩阵或语法关系> Miα | ||
b）思路： | b）思路： | ||
| 第6行： | 第6行： | ||
2）在训练过程中，学习出关系 Mi 通过AMiB生成AB的词向量 | 2）在训练过程中，学习出关系 Mi 通过AMiB生成AB的词向量 | ||
3）将关系Mi进行人为分类，满足一定关系的字predict 词向量。 满足一定关系的词向量满足一种三元组关系 <A，Mi，B> 通过分类问题可以将三元组进行分类 | 3）将关系Mi进行人为分类，满足一定关系的字predict 词向量。 满足一定关系的词向量满足一种三元组关系 <A，Mi，B> 通过分类问题可以将三元组进行分类 | ||
| − | + | 2. 更改训练过程中的cost function: | |
a）在训练word vector过程中 由传统的 wT·w 变换为 f(wT)·f(w) | a）在训练word vector过程中 由传统的 wT·w 变换为 f(wT)·f(w) | ||
b）转化为∏f(Xi|θ)的形式 | b）转化为∏f(Xi|θ)的形式 | ||
| − | + | 3. word vector training model: | |
a）通过学习产生一些relation vector or matrix | a）通过学习产生一些relation vector or matrix | ||
b）使用 SSA feature 进行迭代 | b）使用 SSA feature 进行迭代 | ||
2014年8月23日 (六) 02:35的最后版本
word2vec 相关会议纪要
1. 在训练字向量的时候 predict 出词向量:
a）在训练完成 字向量A，B时，通过查表得到词AB成词，训练 A·Miα·B 得出 <类语法矩阵或语法关系> Miα
b）思路：
1）通过直接训练字向量A，B 又AB成词，通过预先设置好的规则，学出使 AB 成词的关系 Mi
2）在训练过程中，学习出关系 Mi 通过AMiB生成AB的词向量
3）将关系Mi进行人为分类，满足一定关系的字predict 词向量。 满足一定关系的词向量满足一种三元组关系 <A，Mi，B> 通过分类问题可以将三元组进行分类
2. 更改训练过程中的cost function:
a）在训练word vector过程中 由传统的 wT·w 变换为 f(wT)·f(w)
b）转化为∏f(Xi|θ)的形式
3. word vector training model:
a）通过学习产生一些relation vector or matrix
b）使用 SSA feature 进行迭代
c）car <= cars， cars' 归一化 也就是stem
recorded by xinchao
