Sinovoice-2015-12-30 - 版本历史

2015年12月30日 (三) 06:37 Yanglibo

2015-12-30T06:37:04Z

2015年12月30日 (三) 05:06 Yanglibo

2015-12-30T05:06:18Z

Yanglibo：以“==数据== 第三季度目标 ===语音数据=== 16K 灵云数据 10000小时实际语料的标注目标，已立项400小时的标注；语料从1000小时中...”为内容创建页面

2015-12-30T05:04:20Z

以“==数据== *第三季度目标 ===语音数据=== *16K 灵云数据 10000小时实际语料的标注目标，已立项400小时的标注；语料从1000小时中...”为内容创建页面

新页面

==数据==
*第三季度目标
===语音数据===

*16K 灵云数据
10000小时实际语料的标注目标，已立项400小时的标注；
语料从1000小时中，通过ASR打分，取出中间的400小时；

*粤语标注了一个测试集，增量9小时，CER：54%；30h,50%
60h trained. no tag text to lm, CER 45%
discard english text;
已完成80小时。

*维语
已完成120小时；last train 50h;

===大模型===
1）16K10000小时的跑一个DNN训练，加深加宽：7层2400x10000 rectifier 保留英文
数据已处理完，提参数中；DNN 92上跑；
pdf：10000 8000中文 2000英文
训练第七轮；cer9.20； 900mdl/3500

拷贝一份，启动8个job；
原来的继续；进行MPE；

MPE的训练:
Context的窗大(-10,+10)的时候不收敛。
小数据过拟合，大数据再看下结果；

2）8K 领域模型，领域通用：设备 4层1200x8000 信道、口音
华为V3信道压缩：4000小时，GMM
2天，过了10遍；网络结构，
分成了100份
识别率下降：下降1-2个点；网络结构增大；
MPE今天跑起来一个；用Context有问题的脚本先跑起来；

生成lattice；
MPE中间会输出模型，测试识别率；

===嵌入式===
DarkKnowledge训练；小网络学习大网络，学的会更准，目标函数会更平滑一些；
rectifier
4层600*800
DarkKnowledge先不训练。
10000从头训练，nnet3 rectifier 4层600*800

小模型测试，cer20+；
bigLM的生成还有问题！

生成结果有乱码：已解决，依赖的软件包的编译问题。
识别率不稳定，变化比较大：测试一万句的测试集；
将测试集分成4块，识别率基本一致；
句子越长，识别率越高；

深度的影响更大，宽度相对较小；
sigmod，改为rectifier

MPE Contect(6)跑一个；xEnt Contect(-3 -2 -1 0 1 2 3)+MPE；
Darkknowledge一个；4*600*800 Nnet3的训练脚本；
5*600*800加深一层跑一个；

生成lattice，训练MPE，转格式专用空间太大，修改脚本，降低存储空间；

解码效率：
NNet3的产品化

===TagModel===
Weight大，没有出来，路径不一样，路径的整体分值导致不一致；
路径走完，但是也错了，需要查一下晓明
count：只留两个，不分词，merge可能首外面影响；
count和分词有关：lm中词重了；
词的长度不多，加到lm中，当做新词，lm的state就不merge；
*加重path或词边：组合词，lm中加重；晓明、小韩
测试加重“xx导演的巩俐演的”待测试。

如果加很多新词，需要找到合适的Context。之勇、晓明
张艺谋：替换姜文合适，但是替换屠呦呦不合适。

*WordVector？基于词向量的新词加重。会训练WordVector，但是没有加入模型。
每个词的权重不一样（distance）。
计算PPL的，如果太低的词，就不要加了。
加重点词和关注的词。老词（词表中已有的）加重；

语料中超过5词，就可以使用。

拼语料和Tag的效果验证比较晓明
做了几个试验：
1）加几百个词，两个的效果基本一致；
2）加1万、2万、10万个词识别率差不多；10万拼语料太大，没有做出来；Tag比拼语料差3个点；

小米的测试结果：
LM和TagModel的合并fst, union，不是compose。晓明
测试集：句式在Tag中

*识别后处理
已知道这个词错了，可以处理。不知时，还需要处理？

人名识别不好，lm，人名的单字path加重？？？

===勤威项目===
*发布了一个模型：数据62H台湾POI，在6776MPE3上增量；词表量250多万，识别不好；
省市路，分词，句式：tag的方法来做。晓明
需要测试集，数据中心14日标完。

===语音自适应===
针对个人的
能提高2~3%(基数CER约10%)
客户端提取ivector，传给服务器；

===RNN===
LSTM不稳定，和End-to-End Merge，

*End-to-End算法，描述上下文不强，将stat去掉；
100小时验证和预期的差不多，但是大数据和大的LM上，还需要验证。
CTC Kaldi版本，并行的算法完成，在1400h上跑并行。
小汤，目前已超过DNN，还没有加MPE；NET3
LSTM

8K CTC 4000小时（8-10天）梦原
TDNN，效果不太好；TimeDelayDNN

训练数据的并行读取问题？Hadoop？分布式磁盘？特征+lattice

96，实验室；92 8核GPU 16K，215 8K；

==粤语16K==
===声学模型===
已训练完成 130H
===语言模型===
下载语料，训练模型，PPL：1000+
16K模型：字错误率21.78

==粤语8K==
69小时的（CER28%） FreeTalk
90小时的（CER27.5%）质检
之前测试集有问题
字面和英文加入，测试集有，训练现在没有；
粤语只训练最后一层；90小时单独训练模型的最后一层加到1400的最后一层；
LM差的比较远；
英文单词还没有加（英文的标音：用粤语的音素标）；
粤英文的模型，需要训练；

==维语8K==
===声学模型===
已训练35小时；借用梦原的模型；用16K的lm Model，WER：30%左右；
===语言模型===
和新疆大学调试：公司Word；实验室
35H标注文本数据已提供实验室处理；
toolkit做完了，维语句子转成monphone串；

发布了一个维语模型，需要识别标注语料，发布的是word模型：
model_35h_20150828 CER:0.419693683925

导出64小时，声学和语言模型进行优化。

==声纹识别==
* 数字串模型训练正在采集数字串语音数据，预期本月内完成；
* 聚类分类算法基于Affinity距离的算法研究
* D-Vector
* 短语音的识别：

数字模型：单独训练，ivector和plda需要用数字需要训练。
之前录得语料，独立人只有100人；
16K的找到一个1200人的数据，从中挑选；
8K的采购；但是音量小，是否会有影响?

8个Phone和1个Tele的录音模型已训练完，尚未测试完成；

考勤系统，mic指定；
定制背景模型；

加入情绪，场景的分析，分类的分析；

将测试数据加入训练，看是否有提高？

使用条件的问题：
音量的影响？
背景噪音：如大厅中，人声噪杂的影响？

信道适应？
端点检测
Mic信道
背景噪音

端点检测，信噪比计算；
发音方式：坐着、站着

PLDA adaptation

←上一版本		2015年12月30日 (三) 05:06的版本
第166行：		第166行：

	8个Phone和1个Tele的录音模型已训练完，尚未测试完成；		8个Phone和1个Tele的录音模型已训练完，尚未测试完成；
		+	<pre>
		+	测试集 iv200_digital_8p1t_vox_8k_new_model iv200_digital_mobile_tele_vox_8k
		+	20_people_same_device1 1.28205%, at threshold 0.541794 1.28205%, at threshold 0.468932
		+	20_people_same_device2 1.25%, at threshold 0.564912 0%, at threshold 0.561153
		+	20_people_same_device3 2.5%, at threshold 0.562019 1.25%, at threshold 0.565247
		+	20_people_same_device4 1.25%, at threshold 0.632257 1.25%, at threshold 0.67539
		+	20_people_diff_device 11.5044%, at threshold 0.412102 15.0442%, at threshold 0.191909
		+	</pre>

	考勤系统，mic指定；		考勤系统，mic指定；

@@ 第10行： / 第10行： @@
 h trained. no tag text to lm, CER 45%
 discard english text;
 *维语
 已完成120小时；last train 50h;
 ===大模型===
@@ 第23行： / 第23行： @@
     拷贝一份，启动8个job；
     原来的继续；进行MPE；
 MPE的训练:
@@ 第28行： / 第29行： @@
     小数据过拟合，大数据再看下结果；
-）8K 领域模型，领域通用：设备 4层1200x8000   信道、口音
+）8K 领域模型，领域通用：设备 7层TDNN2048x10000,含有英文   信道、口音
     华为V3信道压缩：4000小时，GMM
     分成了100份
     识别率下降：下降1-2个点；网络结构增大；
     MPE今天跑起来一个；用Context有问题的脚本先跑起来；
-    生成lattice；
+    生成lattice已完成；
-    MPE中间会输出模型，测试识别率；
+    aliment，MPE中间会输出模型，测试识别率；6台机器；
 ===嵌入式===
@@ 第47行： / 第48行： @@
     小模型测试，cer20+；
     bigLM的生成还有问题！
     深度的影响更大，宽度相对较小；
@@ 第61行： / 第57行： @@
     生成lattice，训练MPE，转格式专用空间太大，修改脚本，降低存储空间；
     解码效率：
@@ 第66行： / 第69行： @@
 ===TagModel===
-Weight大，没有出来，路径不一样，路径的整体分值导致不一致；
+*加重path或词边：组合词，lm中加重；                             晓明、小韩
-路径走完，但是也错了，需要查一下                                   晓明
+   Path加重，修改fst；
-count：只留两个，不分词，merge可能首外面影响；
+   测试加重“xx导演的巩俐演的”；
-    count和分词有关：lm中词重了；
+   Word Vector：分堆 加词表的15万；
-    词的长度不多，加到lm中，当做新词，lm的state就不merge；
-    *加重path或词边：组合词，lm中加重；                             晓明、小韩
-      测试加重“xx导演的巩俐演的”待测试。
-−
-如果加很多新词，需要找到合适的Context。                            之勇、晓明
-张艺谋：替换姜文合适，但是替换屠呦呦不合适。
-−
-    *WordVector？基于词向量的新词加重。 会训练WordVector，但是没有加入模型。
-    每个词的权重不一样（distance）。
-    计算PPL的，如果太低的词，就不要加了。
-    加重点词和关注的词。老词（词表中已有的）加重；
-−
-语料中超过5词，就可以使用。
-−
-拼语料和Tag的效果验证比较                                          晓明
-    做了几个试验：
-）加几百个词，两个的效果基本一致；
-）加1万、2万、10万个词识别率差不多；10万拼语料太大，没有做出来；Tag比拼语料差3个点；
-−
-小米的测试结果：
-LM和TagModel的合并fst, union，不是compose。                         晓明
-测试集：句式在Tag中
-−
 *识别后处理
 已知道这个词错了，可以处理。不知时，还需要处理？
@@ 第114行： / 第95行： @@
 小时验证和预期的差不多，但是大数据和大的LM上，还需要验证。
 CTC Kaldi版本，并行的算法完成，在1400h上跑并行。
-小汤，目前已超过DNN，还没有加MPE；NET3
+小汤，目前已超过DNN，MPE：NET3已跑起来。
 LSTM
 训练数据的并行读取问题？Hadoop？分布式磁盘？特征+lattice
@@ 第168行： / 第147行： @@
 <pre>
 测试集                    iv200_digital_8p1t_vox_8k_new_model       iv200_digital_mobile_tele_vox_8k
-_people_same_device1       1.28205%, at threshold 0.541794               1.28205%, at threshold 0.468932
+_people_same_device1       1.28205%, at threshold 0.541794            1.28205%, at threshold 0.468932
-_people_same_device2       1.25%, at threshold 0.564912                    0%, at threshold 0.561153
+_people_same_device2       1.25%, at threshold 0.564912                0%, at threshold 0.561153
-_people_same_device3       2.5%, at threshold 0.562019                      1.25%, at threshold 0.565247
+_people_same_device3       2.5%, at threshold 0.562019                 1.25%, at threshold 0.565247
-_people_same_device4       1.25%, at threshold 0.632257                    1.25%, at threshold 0.67539
+_people_same_device4       1.25%, at threshold 0.632257                1.25%, at threshold 0.67539
-_people_diff_device             11.5044%, at threshold 0.412102              15.0442%, at threshold 0.191909
+_people_diff_device        11.5044%, at threshold 0.412102             15.0442%, at threshold 0.191909
 </pre>
 考勤系统，mic指定；

Sinovoice-2015-12-30 - 版本历史

2015年12月30日 (三) 06:37 Yanglibo

2015年12月30日 (三) 05:06 Yanglibo

Yanglibo：以“==数据== *第三季度目标 ===语音数据=== *16K 灵云数据 10000小时实际语料的标注目标，已立项400小时的标注； 语料从1000小时中...”为内容创建页面

Yanglibo：以“==数据== 第三季度目标 ===语音数据=== 16K 灵云数据 10000小时实际语料的标注目标，已立项400小时的标注；语料从1000小时中...”为内容创建页面