Sinovoice-2015-09-18 - 版本历史

2015年9月18日 (五) 07:15 Yanglibo

2015-09-18T07:15:27Z

Yanglibo：以“==数据== 第三季度目标 ===语音数据=== 数字字母串电话录音,已录音完毕，已完成1500句校对，还有5500句尚未校对完毕； *16K...”为内容创建页面

2015-09-18T05:38:16Z

以“==数据== *第三季度目标 ===语音数据=== *数字字母串电话录音,已录音完毕，已完成1500句校对，还有5500句尚未校对完毕； *16K...”为内容创建页面

新页面

==数据==
*第三季度目标
===语音数据===
*数字字母串
电话录音,已录音完毕，已完成1500句校对，还有5500句尚未校对完毕；

*16K 灵云数据
正在标注输入法数据，除了地点的都标注；
每周能够标注50H；

*8K
平安：已标注895小时，未再标注；
英大：已标注80小时，还有20小时，在继续，优先级低于无锡；
无锡地税：目标50小时，已标注30小时；
滴滴：已提供404，清洗后训练358小时；已标注共计550小时，正在导出，导出的数据有问题；在继续标注，现有已切语料，预计能标注600小时；

*粤语标注了一个测试集，测试CER:88%；
兼职有一些，验收一人；
在开展培训，计划10月18日标注100小时；
合格0.2小时；20个人标注；1个人验收；

*维语
已标注完成54.05小时，提供训练;
还有10小时成品，尚未导出，等下次训练时导出；
又传上了一批开始标注；

===文本数据===
*香港文本
在继续下载；
需要主要下载新闻网站，之前理发店的就下了40G；共10G清理出400M；

*台湾文本
在继续下载；

==2 中文16K==
*第三季度目标当前WER:93.5% 目标WER:>94.5%
===DNN===

===RNN===
*1700+776H
baseline 6776 dnn mpe 27.89
LSTM_xent_iter03_910h 27.99 模型训练中
六轮结束：26.06 slm解码（blm 19.x,解码变差，可选路径比较多）相对与baseline:18.x
七轮进行中：
测试集从1000句中挑的；

*newschedule结论：速度快，但是效果会差些；

*MPE的问题：
发现NAN，赋给一个0；
NAN错误，根本原因还没有解决

===TagModel===
*代码有错：fst加tag时串了；修改后，小实验上效果良好；小米的正在进行merge（nest)；通用模型做的。
加多个Tag时，只有第一个Tag起作用，后面的没有起作用；
gmerge，小韩测试，可以出多个，梦原需要核对一下脚本；
只有biglm时存在问题；

Tag方法要解决的问题：
语言模型没有覆盖到；
新的电影名称，人名；
将新的人名或电影名称加进去；
老的，如巩俐等，使用加重，weight是手工选的，不是统计的；

期望解决语料不足的问题，但是只能缓解，不能指望有太大的提高；

TagModel名词：
Tag position 词表大小
Tag：人名电影名 ...
Position：借用语言模型中词；
词表大小：每个Tag中的词汇量；

原则：
LM能解决的，就不要用Tag；
Tag的词表尽量小；
Position的选择：从发音词典中的词，计算PPL，排序，根据Tag的类型，找PPL最小的词，这些词作为Tag的Position；

问题是：都已解决
添加一个Tag，小词表范围上是可以的；验证是一致的，添加更多词条，100和10万，结果差不多；Tag的weight值，-1到-5；
添加多个Tag，目前小韩测试可以，梦原这有问题，之前马习应该已解决，需要对以下脚本；也已解决：fst上的标号乱了；

先做一个测试集，最新的电影名：
统计Count；
几个Tag（尽可能少）：人名？电影名，电视剧？需要调整weight；
训练Tag模型测试；

LM和句式的Merge的实验？

振龙测试：
小米1.75模型，random语料；
在这个上加tag，按照梦原的方法；
选10个词，和梦原的一样；
加Tag，10万级；
但是识别结果比较离谱；

遗留：
根据句式，fst的compose，找到唯一路径，选择position；
在句式模型上，直接进行Tag处理；

*如果Tag中的词加入count，是否有效？

需要验证的(pair的方法)：
添加一个Tag：
添加多个Tag：38句，从6.x提高到4.x;

LM和Grammar的试验：
句式模型，试验有问题，需要查；
识别率还行，但是有奇怪的问题发生。
识别偏差大：舒淇；黄渤，韩国；
G_merge，句式模型，有死循环；

Count还有问题？

===月度语言模型更新===
*2015-9月,语料下载；

===领域语言模型===
领域相关模型，类似于声学的mpe，如何描述这个领域？关键词？Grammar？

===小米项目===
*TagModel:
Tag：
句式补充：赵涛在做；
词表整理：电影里面不是电影名的去掉；还没有做；

*小米线上模型：xiaomi_20150814 0.0175

*多选
调试已差不多了，速度也不慢了；

*速度慢
灵云SDK在查；

*识别后处理

===勤威项目===
*发布了一个模型：数据62H台湾POI，在6776MPE3上增量；尚未得到用户反馈；

===语音自适应===
针对个人的
能提高2~3%(基数CER约10%)
客户端提取ivector，传给服务器；

==中文8K==
*第三季度目标当前WER:75%；目标WER:>78% (相对下降10%)
===并行训练===
训练机更换第四块GPU卡？
启动1400H的8K,DNN,大约1.6倍，正确率基本一样，没有下降；
RNN的还不支持；

===Darkknowledge===
*三种方法
<pre>
未标注：soft
已标注：soft + hard label，diff加权和实验室是：加权比只有hard会好些。
mix训练：未标注+已标注
</pre>

*辽宁移动:
<pre>
400h dark knowledge xEnt + MPE，有标注和无标注的一起训练，
Mix训练方法：400h迭代优化，加500小时未标注，晓明已训练完，小韩测试效果变差；
分析：应该没有太大的增长，对100小时以内的数据，比较显著；
有时间再查具体原因；已基本达标，优先级降低；
</pre>

*Ensemble training
<pre>
13 model ensemble training: 30.81%
解码ensemble decoding，声学部分，对多个模型的声学后验概率合并输出给后面的解码器；
准备训练：分领域，分省；
8K24省的数据，一共500+,每省20小时左右；
列出数据的编码类型；晓明找一下思思给出；
训练方法：DNN的标准训练方法；
数据标注抽检合格率85%；
优先级低，先搁置，等GPU
</pre>

===Data selection===
<pre>
Acoustic-based selection: ubm-decoding done.
Phonetic-based selection: decoding done.
没有跑。脚本的效率太慢，准备分布式跑，如果还慢，换C++语言重写；
脚本还没有再修改；
</pre>

===滴滴项目===
引擎修改多选输出；
HCLG的可以了；CLG的还没有修改；

使用358H语料训练：
PPL：66 CER：0.15073

准备：增加标注数据，整理数据，在迭代训训练；

===平安项目===
DNN_xent：1400H + 700H 18.16
DNN_mpe：1400H + 700H 16.87
CNN：15.37；引擎模型的打包工具已修改完，引擎提交测试；

目标有变化：坐席90%；客户：80%；原来是平均85%；
一个声学模型，两个语言模型，同时计算；
文本的自动分类：

声学模型895H，开始训练；从头开始训练，已训练完成DNN的MPE，准备再迭代一次MPE；
语言模型，需要话者分离，进行分类模型训练：正在做工具；

===RNN===
700H LSTM_new-sched_4400h 17.39 训练中，平安的数据
已训练完：17.13；
MPE的问题已解决，已启动训练；
平安的数据，如果超过CNN的15.37，则可以商用；CNN MPE有迭代一次，没有明显提升；

===训练算法===
*梯度算法改进：
共有5个，clean数据训练，noise数据测试好；noise训练，noise数据测试，不如baseline不好；
*batch normalization：
对隐藏输出，进行线性变换，再解码；效果是clean好，但是noise不好；
*phone级识别算法
还在跑；需要接近Baseline，现在差10~20%；

==中英混识==
*第三季度目标支持中英混识，对纯中文影响<1%，混识识别率达到纯中文的95%；
===8K===
*RNN 1400+100H
DNN_xent 中文：20.83 英文：57.50
DNN_xent_ft4200h-hl3 中文：19.52 英文：57.20
LSTM_xent_iter08_1270h 中文：17.49 英文：48.06
基本已收敛：17.17% 英文 48.46%
MPE训练已启动；

*RNN 1400+300H
DNN_xent_ft4200h-hl3 中文：20.56 英文：39.75
LSTM_xent_iter04_1340h 中文：18.93 英文：40.08 训练中
已跑6轮：中文：17.30；英文：38.16
第8轮：中文：17.91；英文：38.69
第9轮：中文：17.82；英文：36.38
Decision Tree Balance;

==中文16K远场==
*第三季度目标 2米有效角度内，WER:>88%
===山东共达===
鲁磊提供了远场声音增强的工具；
准备用近场声音处理后，进行一个模型的训练；

在使用232小时做实验；在6776H上的增量，已训练完毕，测试集没有没有做增强，测试不好；

录制是单声道还是双声道，增强是对单声道还是双声道的？
录制，保留原始数据和增强数据；
6776模型测试，测试集不做增强，11.x;增强后是3.1；
小米测试集重录，使用小米的模型，从3.1提高到2.8，提高0.3；

===科声讯的方案===
远场处理方案；Mic芯片；
芯片已到，先用已有的近场模型测试；

==粤语16K==
*第三季度目标目前不支持，目标：支持，WER:>80%
===声学模型===
已训练完成 130H
===语言模型===
下载语料，训练模型，PPL：1000+
16K模型：字错误率21.78

==粤语8K==
*目标 WER:>65%
===声学模型===
*需要标注语料，正在招标注员、验收员，进行招聘；"
*语言模型 "语言模型训练完了，测试结果：
8k模型：字错误率22.0
测试集采用的是海天润声给的样本数据，从16k转8k。"

用实际语料标注的8K测试，CER：88%；
声学和语言模型，均不匹配；

==维语16K==
WER:85%

==维语8K==
*第三季度目标目前不支持，目标：支持，WER:>65%
===声学模型===
已训练35小时；借用梦原的模型；用16K的lm Model，WER：30%左右；
===语言模型===
和新疆大学调试：公司Word；实验室
35H标注文本数据已提供实验室处理；
toolkit做完了，维语句子转成monphone串；

word模型：3G+原Word+35H语料 4元
monphone模型： 4元
老的模型：word 3元，monphone 4元；
需要验证元数的影响：将monphone裁剪为3元；

word比monphone好，都是35小时的文本，4元；
42.5% 44%
请米吉提老师查一下monphone的分词是否正确？

分词有问题？

实验结论：
3元的monphone比word好2个点；

发布了一个维语模型，需要识别标注语料，发布的是word模型：
model_35h_20150828 CER:0.419693683925

==其他语种==
蒙语
藏语
哈语
朝鲜语
彝族语
ASR和TTS，技术方案：客户提供数据，能否和学校合作：需要懂语言的人来处理数据；
翻译局：朗读

==情感识别==
*第三季度目标目前：识别生气，正确率<30%；目标破：识别生气：16K >65%; 8K >60%;

===OpenEar产品化===
待引擎产品化；

===8K模型训练===
开发完引擎，选取语料，进行标注；

==话者分离==
*第三季度目标目前：正确率82%；目标：暂无计划，结合项目进行
===DNN端点检测===
*端点检测模型：4*400+500，MPE1：
<pre>
1、字正确率
引擎版本字错误率总数错误警告缺失
r925 cer:0.229239308333; allcount:28106; subcount:1757; addcount:889; errcount:3797;
r946; cer:0.23354443891; allcount:28106; subcount:1860; addcount:881; errcount:3823;
2、话者分离效果
引擎版本时长正确率错误警告缺失
r925 all total:3429752.000000 correct:0.824830 err:0.051051 alarm:0.104936 miss:0.019183
r946 all total:3423533.000000 correct:0.810460 err:0.052723 alarm:0.103310 miss:0.033507
3、实时率：
本次使用引擎测试工具测试r946版本的质检引擎实时率约为0.283
</pre>
MPE4的模型出来了，但是测试效果没有MPE1好；
需要测试以下MPE2，MPE3，找到一个最好的；

*聚类存在BUG，确认是不同数据库的精度造成的，是算法不太鲁棒；
*英达财险角色判定错误，需要定位问题；

==声纹识别==
*第三季度目标数字串串长6的EER<1%;支持百万级的实时辨识；
*数字串模型训练正在采集数字串语音数据，预期本月内完成；
*TZNorm算法 TZNorm算法，与预期不符，检查算法的正确性；
*聚类分类算法基于Affinity距离的算法研究
*D-Vector
*短语音的识别：

@@ 第7行： / 第7行： @@
 *16K 灵云数据
 正在标注输入法数据，除了地点的都标注；
-每周能够标注50H；
+每周能够标注50H；8月250小时；
 *8K
-平安：已标注895小时，未再标注；
+平安：已标注895小时，继续完成200小时；语言模型极少；
-英大：已标注80小时，还有20小时，在继续，优先级低于无锡；
+英大：已标注110小时，还有几个小时，在继续；；
-无锡地税：目标50小时，已标注30小时；
+无锡地税：标注50小时，已标注完成；
-滴滴：已提供404，清洗后训练358小时；已标注共计550小时，正在导出，导出的数据有问题；在继续标注，现有已切语料，预计能标注600小时；
+滴滴：已提供625，目标标到700小时；
-*粤语标注了一个测试集，测试CER:88%；
+*粤语标注了一个测试集，测试CER:88%；模型:16K降8K；
 兼职有一些，验收一人；
 在开展培训，计划10月18日标注100小时；
-合格0.2小时；20个人标注；1个人验收；
+合格1.26小时；提交了10多个小时；30人标注；
 *维语
@@ 第28行： / 第32行： @@
 *香港文本
 在继续下载；
-需要主要下载新闻网站，之前理发店的就下了40G；共10G清理出400M；
+需要主要下载新闻网站，之前理发店的就下了40G,没有用；共10G清理出400M；
 *台湾文本
@@ 第41行： / 第49行： @@
 baseline 6776 dnn mpe 27.89
 LSTM_xent_iter03_910h 27.99  模型训练中
-六轮结束：26.06  slm解码（blm 19.x,解码变差，可选路径比较多）相对与baseline:18.x
+七轮结束：25.96  slm解码（blm 19.x,解码变差，可选路径比较多？sil_scale没有调优？）相对与baseline:18.x
-七轮进行中：
+八轮进行中：
 测试集从1000句中挑的；
 *newschedule结论：速度快，但是效果会差些；
-*MPE的问题：
+*MPE的问题：已解决，跑1400已过；
-发现NAN，赋给一个0；
+MPE慢，1小时处理4小时语音；更瘦的
-NAN错误，根本原因还没有解决
+快速MPE？800sil
 ===TagModel===
@@ 第128行： / 第139行： @@
 *小米线上模型：xiaomi_20150814   0.0175
 *速度慢
@@ 第192行： / 第201行： @@
 使用358H语料训练：
-PPL：66 CER：0.15073
+PPL：64 CER：0.14
 准备：增加标注数据，整理数据，在迭代训训练；
@@ 第213行： / 第222行： @@
 MPE的问题已解决，已启动训练；
 平安的数据，如果超过CNN的15.37，则可以商用；CNN MPE有迭代一次，没有明显提升；
 *phone级识别算法
-还在跑；需要接近Baseline，现在差10~20%；
+On 1400h Chinese data, raid96.
 ==中英混识==
@@ 第327行： / 第345行： @@
 ===DNN端点检测===
 *端点检测模型：4*400+500，MPE1：
-<pre>
-、字正确率
-引擎版本	字错误率	总数	错误	警告	缺失
-r925	cer:0.229239308333;	allcount:28106;	subcount:1757;	addcount:889;	errcount:3797;
-r946;	cer:0.23354443891;	allcount:28106;	subcount:1860;	addcount:881;	errcount:3823;
-、话者分离效果
-引擎版本	时长	正确率	错误	警告	缺失
-r925	all total:3429752.000000	correct:0.824830	err:0.051051	alarm:0.104936	miss:0.019183
-r946	all total:3423533.000000	correct:0.810460	err:0.052723	alarm:0.103310	miss:0.033507
-、实时率：
-本次使用引擎测试工具测试r946版本的质检引擎实时率约为0.283
-</pre>
 MPE4的模型出来了，但是测试效果没有MPE1好；
 需要测试以下MPE2，MPE3，找到一个最好的；

Sinovoice-2015-09-18 - 版本历史

2015年9月18日 (五) 07:15 Yanglibo

Yanglibo：以“==数据== *第三季度目标 ===语音数据=== *数字字母串 电话录音,已录音完毕，已完成1500句校对，还有5500句尚未校对完毕； *16K...”为内容创建页面

Yanglibo：以“==数据== 第三季度目标 ===语音数据=== 数字字母串电话录音,已录音完毕，已完成1500句校对，还有5500句尚未校对完毕； *16K...”为内容创建页面