“Sinovoice-2015-09-01”版本间的差异

2015年9月1日 (二) 07:35的最后版本

数据

第三季度目标

语音数据

数字字母串

电话录音,已录音完毕，7000句尚未校对完毕；

16K 灵云数据

正在标注输入法数据，除了地点的都标注；每周能够标注50H；

8K

平安：已标注895小时，未再标注；英大：已标注50小时，还有50小时，在继续，优先级低于无锡；无锡地税：目标50小时，验收合格3小时；滴滴：已提供404，清洗后训练358小时；已标注共计520小时，尚未提供训练；在继续标注，现有已切语料，预计能标注600小时；

粤语标注了一个测试集，测试CER:88%；

兼职有一些，验收一人；在开展培训，计划10月18日标注100小时；

文本数据

香港文本

在继续下载；需要主要下载新闻网站，之前理发店的就下了40G；共10G清理出400M；

台湾文本

在继续下载；

2 中文16K

第三季度目标当前WER:93.5% 目标WER:>94.5%

DNN

RNN

1700+776H

baseline 6776 dnn mpe 27.89 LSTM_xent_iter03_910h 27.99 模型训练中五轮结束：26.48 slm解码（blm解码变差，可选路径比较多）六轮进行中：测试集从1000句中挑的；

newschedule结论：速度快，但是效果会差些；

MPE的问题：NAN错误，还没有解决

TagModel

代码有错：fst加tag时串了；修改后，小实验上效果良好；小米的正在进行merge（nest)；通用模型做的。

加多个Tag时，只有第一个Tag起作用，后面的没有起作用； gmerge，小韩测试，可以出多个，梦原需要核对一下脚本；只有biglm时存在问题；

Tag方法要解决的问题：语言模型没有覆盖到；新的电影名称，人名；将新的人名或电影名称加进去；老的，如巩俐等，使用加重，weight是手工选的，不是统计的；

期望解决语料不足的问题，但是只能缓解，不能指望有太大的提高；

TagModel名词： Tag position 词表大小 Tag：人名电影名 ... Position：借用语言模型中词；词表大小：每个Tag中的词汇量；

原则： LM能解决的，就不要用Tag； Tag的词表尽量小； Position的选择：从发音词典中的词，计算PPL，排序，根据Tag的类型，找PPL最小的词，这些词作为Tag的Position；

问题是：添加一个Tag，小词表范围上是可以的；添加多个Tag，目前小韩测试可以，梦原这有问题，之前马习应该已解决，需要对以下脚本；

错误率：原来1.7，修改后40+；小韩：先浮现梦原的结果；

振龙测试：小米1.75模型，random语料；在这个上加tag，按照梦原的方法；选10个词，和梦原的一样；加Tag，10万级；但是识别结果比较离谱；

遗留：根据句式，fst的compose，找到唯一路径，选择position；在句式模型上，直接进行Tag处理；

如果Tag中的词加入count，是否有效？

月度语言模型更新

2015-8月,已训练完成，并准备上线：

           7月             8月
New_10000  0.159341411132  0.159250193837
8000       0.0623416329864 0.0629908068603
10000      0.0952451394759 0.0954142011834
新词测试集 0.0771803447389 0.0774376125547
<pre/>

===领域语言模型===
领域相关模型，类似于声学的mpe，如何描述这个领域？关键词？Grammar？

===小米项目===
*TagModel:
Tag：
句式补充：赵涛在做；
词表整理：电影里面不是电影名的去掉；还没有做；

*小米线上模型：xiaomi_20150814   0.0175

*多选
调试已差不多了，速度也不慢了；

*速度慢
灵云SDK在查；

===勤威项目===
*发布了一个模型：数据62H台湾POI，在6776MPE3上增量；尚未得到用户反馈；

===语音自适应===
针对个人的
能提高2~3%(基数CER约10%)
客户端提取ivector，传给服务器；

==中文8K==
*第三季度目标	当前WER:75%；目标WER:>78% (相对下降10%) 
===并行训练===
并行训练：需要新版本cublas的支持；kaldi不支持，需要支持；
可以在多个GPU上跑了。2个GPU上比1个快1.6倍；

训练机更换第四块GPU卡？
启动1400H的8K,DNN,大约1.6倍，正确率基本一样，没有下降；

===Darkknowledge===
*三种方法
<pre>
未标注：soft
已标注：soft + hard label，diff加权和 实验室是：加权比只有hard会好些。
mix训练：未标注+已标注

辽宁移动:

400h dark knowledge xEnt + MPE， 有标注和无标注的一起训练，
Mix训练方法：400h迭代优化，加500小时未标注，晓明已训练完，小韩测试效果变差；
分析：应该没有太大的增长，对100小时以内的数据，比较显著；
有时间再查具体原因；已基本达标，优先级降低；

Ensemble training

13 model ensemble training: 30.81%
解码ensemble decoding，声学部分，对多个模型的声学后验概率合并输出给后面的解码器；
准备训练：分领域，分省；
8K24省的数据，一共500+,每省20小时左右；
列出数据的编码类型；晓明找一下思思给出；
训练方法：DNN的标准训练方法；
数据标注抽检合格率85%；
优先级低，先搁置，等GPU

Data selection

	
Acoustic-based selection: ubm-decoding done. 
Phonetic-based selection: decoding done.
没有跑。脚本的效率太慢，准备分布式跑，如果还慢，换C++语言重写；
脚本还没有再修改；

滴滴项目

引擎修改多选输出；

使用358H语料训练： PPL：66 CER：0.15073

平安项目

DNN_xent：1400H + 700H 18.16 DNN_mpe：1400H + 700H 16.87 CNN：15.37；引擎模型的打包工具已修改完，引擎提交测试；

目标有变化：坐席90%；客户：80%；原来是平均85%；一个声学模型，两个语言模型，同时计算；文本的自动分类：

声学模型895H，开始训练；从头开始训练，先训练DNN，CNN尚未启动；语言模型，需要话者分离，进行分类模型训练；

RNN

700H LSTM_new-sched_4400h 17.39 训练中已训练完：17.13； MPE马上启动；平安的数据，如果超过CNN的15.37，则可以商用；

中英混识

第三季度目标支持中英混识，对纯中文影响<1%，混识识别率达到纯中文的95%；

8K

RNN 1400+100H

DNN_xent 中文：20.83 英文：57.50 DNN_xent_ft4200h-hl3 中文：19.52 英文：57.20 LSTM_xent_iter08_1270h 中文：17.49 英文：48.06 基本已收敛：17.17% 英文 48.46% 等MPE的问题解决后，进行MPE训练；

RNN 1400+300H

DNN_xent_ft4200h-hl3 中文：20.56 英文：39.75 LSTM_xent_iter04_1340h 中文：18.93 英文：40.08 训练中已跑6轮：中文：17.30 英文：38.16 第8轮：中文：17.91；英文：38.69

中文16K远场

第三季度目标 2米有效角度内，WER:>88%

山东共达

鲁磊提供了远场声音增强的工具；准备用近场声音处理后，进行一个模型的训练；

在使用232小时做实验；大概9月2日能出来模型；

科声讯的方案

远场处理方案；Mic芯片；

粤语16K

第三季度目标目前不支持，目标：支持，WER:>80%

声学模型

已训练完成 130H

语言模型

下载语料，训练模型，PPL：1000+ 16K模型：字错误率21.78

粤语8K

目标 WER:>65%

声学模型

需要标注语料，正在招标注员、验收员，进行招聘；"
语言模型 "语言模型训练完了，测试结果：

8k模型：字错误率22.0 测试集采用的是海天润声给的样本数据，从16k转8k。"

用实际语料标注的8K测试，CER：88%；声学和语言模型，均不匹配；

维语16K

WER:85%

维语8K

第三季度目标目前不支持，目标：支持，WER:>65%

声学模型

已训练35小时；借用梦原的模型；用16K的lm Model，WER：30%左右；

语言模型

和新疆大学调试：公司Word；实验室 35H标注文本数据已提供实验室处理； toolkit做完了，维语句子转成monphone串；

word模型：3G+原Word+35H语料 4元 monphone模型： 4元老的模型：word 3元，monphone 4元；需要验证元数的影响：将monphone裁剪为3元；

word比monphone好，都是35小时的文本，4元； 42.5% 44% 请米吉提老师查一下monphone的分词是否正确？

发布了一个维语模型，需要识别标注语料，发布的是word模型： model_35h_20150828 CER:0.419693683925

其他语种

蒙语藏语哈语朝鲜语彝族语 ASR和TTS，技术方案：客户提供数据，能否和学校合作：需要懂语言的人来处理数据；翻译局：朗读

情感识别

第三季度目标目前：识别生气，正确率<30%；目标破：识别生气：16K >65%; 8K >60%;

OpenEar产品化

待引擎产品化；

8K模型训练

开发完引擎，选取语料，进行标注；

话者分离

第三季度目标目前：正确率82%；目标：暂无计划，结合项目进行

DNN端点检测

端点检测模型：4*400+500，MPE1：

1、字正确率
引擎版本	字错误率	总数	错误	警告	缺失
r925	cer:0.229239308333;	allcount:28106;	subcount:1757;	addcount:889;	errcount:3797;
r946;	cer:0.23354443891;	allcount:28106;	subcount:1860;	addcount:881;	errcount:3823;
2、话者分离效果
引擎版本	时长	正确率	错误	警告	缺失
r925	all total:3429752.000000	correct:0.824830	err:0.051051	alarm:0.104936	miss:0.019183
r946	all total:3423533.000000	correct:0.810460	err:0.052723	alarm:0.103310	miss:0.033507
3、实时率：
本次使用引擎测试工具测试r946版本的质检引擎实时率约为0.283

MPE4的模型出来了，但是测试效果没有MPE1好；需要测试以下MPE2，MPE3，找到一个最好的；

聚类存在BUG，确认是不同数据库的精度造成的，是算法不太鲁棒；
英达财险角色判定错误，需要定位问题；

声纹识别

第三季度目标数字串串长6的EER<1%;支持百万级的实时辨识；
数字串模型训练正在采集数字串语音数据，预期本月内完成；
TZNorm算法 TZNorm算法，与预期不符，检查算法的正确性；
聚类分类算法基于Affinity距离的算法研究
D-Vector
短语音的识别：

@@ 第2行： / 第2行： @@
 *第三季度目标
 ===语音数据===
-*数字串
+*数字字母串
-电话录音
+电话录音,已录音完毕，7000句尚未校对完毕；
 *16K 灵云数据
-正在标注输入发数据
+正在标注输入法数据，除了地点的都标注；
+每周能够标注50H；
 *8K
-按照项目走，平安标注了100小时多，开始训练；（一共700+100）;
+平安：已标注895小时，未再标注；
-平安895小时
+英大：已标注50小时，还有50小时，在继续，优先级低于无锡；
-英大标注50小时
+无锡地税：目标50小时，验收合格3小时；
-滴滴358小时
+滴滴：已提供404，清洗后训练358小时；已标注共计520小时，尚未提供训练；在继续标注，现有已切语料，预计能标注600小时；
 *粤语标注了一个测试集，测试CER:88%；
-已传到平台，等待标注；招聘标注员；
+兼职有一些，验收一人；
+在开展培训，计划10月18日标注100小时；
 ===文本数据===
+*香港文本
+在继续下载；
+需要主要下载新闻网站，之前理发店的就下了40G；共10G清理出400M；
+*台湾文本
+在继续下载；
 ==2 中文16K==
@@ 第22行： / 第32行： @@
 ===RNN===
-*1700+776H LSTM_xent_iter03_910h 27.99  模型训练中
+*1700+776H
-iter05_
+baseline 6776 dnn mpe 27.89
-四轮跑完；
+LSTM_xent_iter03_910h 27.99  模型训练中
-没有进展，SGE故障，在恢复；
+五轮结束：26.48  slm解码（blm解码变差，可选路径比较多）
+六轮进行中：
+测试集从1000句中挑的；
-*三轮中的一个模型，newschedule
+*newschedule结论：速度快，但是效果会差些；
-小LM1e-5(几M)，比6000+H的DNN要好，好1个点；
-大LM，没有DNN的好；
-*MPE的问题：还没有解决
+*MPE的问题：NAN错误，还没有解决
 ===TagModel===
-*实验室解决技术问题,还没有调出一个好的结果，直接在语言模型上fst调权重，可以出来；
-# lm中加重；
-# tag，在lm中有的去掉；选择词替换，test数据到lm中试；
-# 后处理：替换；
-*video Tag，不能加太多；不是Name的去掉；清理Video；
-*梦原:有问题的加入Tag，验证是否有效？
-*晓明:指导数据加工，过滤出有效的数据；
-<pre>
-. 没必要调参数，word vector选词；纠错不行；similary pair；
-   宁可：纠错词典，下周1之前会有一个简单能用的版本；
-. 分类：word vector 人名 电视剧名 电影名；
-   宁可去掉，不能错放；
-   重名？
-</pre>
 *代码有错：fst加tag时串了；修改后，小实验上效果良好；小米的正在进行merge（nest)；通用模型做的。
 加多个Tag时，只有第一个Tag起作用，后面的没有起作用；
+gmerge，小韩测试，可以出多个，梦原需要核对一下脚本；
 只有biglm时存在问题；
-人名加重；
+Tag方法要解决的问题：
+语言模型没有覆盖到；
+新的电影名称，人名；
+将新的人名或电影名称加进去；
+老的，如巩俐等，使用加重，weight是手工选的，不是统计的；
-*脚本移到公司，在小米模型上进行训练；
+期望解决语料不足的问题，但是只能缓解，不能指望有太大的提高；
-用PPL选词；
-position，借用一个词的context，电影名->黑猫警长
-最有效的position的词；
-个position，选的词都加在这个7各position上；
-振龙：在小米模型上加了Tag，但是识别结果比较离谱；
+TagModel名词：
+Tag position 词表大小
+Tag：人名 电影名 ...
+Position：借用语言模型中词；
+词表大小：每个Tag中的词汇量；
+原则：
+LM能解决的，就不要用Tag；
+Tag的词表尽量小；
+Position的选择：从发音词典中的词，计算PPL，排序，根据Tag的类型，找PPL最小的词，这些词作为Tag的Position；
+问题是：
+添加一个Tag，小词表范围上是可以的；
+添加多个Tag，目前小韩测试可以，梦原这有问题，之前马习应该已解决，需要对以下脚本；
+错误率：原来1.7，修改后40+；
+小韩：先浮现梦原的结果；
+振龙测试：
+小米1.75模型，random语料；
+在这个上加tag，按照梦原的方法；
+选10个词，和梦原的一样；
+加Tag，10万级；
+但是识别结果比较离谱；
+遗留：
+根据句式，fst的compose，找到唯一路径，选择position；
+在句式模型上，直接进行Tag处理；
-*13万词，加进去并不好；Tag还是需要筛查；
 *如果Tag中的词加入count，是否有效？
@@ 第109行： / 第130行： @@
 训练机更换第四块GPU卡？
+启动1400H的8K,DNN,大约1.6倍，正确率基本一样，没有下降；
-<pre>
--------------------------------------------------------------------------------------------------
-|              | FACC(tr, cv) | loss (tr, cv) |    TIME    | WER(test_2000ju)| WER_(test_8000ju)|
--------------------------------------------------------------------------------------------------
-|   baseline   | 56.89, 53.01 |  1.664, 1.911 | 50min * 16 |      35.29      |       20.37      |
--------------------------------------------------------------------------------------------------
-| 2-gpu-gap60  | 57.03, 53.16 |  1.653, 1.901 | 30min * 14 |      35.37      |       20.08      |
--------------------------------------------------------------------------------------------------
-</pre>
 ===Darkknowledge===
@@ 第171行： / 第183行： @@
 文本的自动分类：
-声学模型895H，开始训练；
+声学模型895H，开始训练；从头开始训练，先训练DNN，CNN尚未启动；
 语言模型，需要话者分离，进行分类模型训练；
 ===RNN===
 H LSTM_new-sched_4400h 17.39 训练中
+已训练完：17.13；
+MPE马上启动；
+平安的数据，如果超过CNN的15.37，则可以商用；
 ==中英混识==
@@ 第183行： / 第198行： @@
 DNN_xent                   中文：20.83   英文：57.50
 DNN_xent_ft4200h-hl3       中文：19.52   英文：57.20
+LSTM_xent_iter08_1270h     中文：17.49   英文：48.06
 基本已收敛：17.17% 英文 48.46%
+等MPE的问题解决后，进行MPE训练；
-LSTM_xent_iter08_1270h     中文：17.49   英文：48.06
 *RNN 1400+300H
 DNN_xent_ft4200h-hl3   中文：20.56   英文：39.75
 LSTM_xent_iter04_1340h 中文：18.93   英文：40.08 训练中
-已跑6轮：中文：17.30 英文：38.16"
+已跑6轮：中文：17.30 英文：38.16
+第8轮：  中文：17.91；英文：38.69
 ==中文16K远场==
@@ 第234行： / 第250行： @@
 toolkit做完了，维语句子转成monphone串；
-word比monphone好；
+word模型：3G+原Word+35H语料 4元
+monphone模型： 4元
+老的模型：word 3元，monphone 4元；
+需要验证元数的影响：将monphone裁剪为3元；
+word比monphone好，都是35小时的文本，4元；
 .5%  44%
+请米吉提老师查一下monphone的分词是否正确？
-发布了一个维语模型，需要识别标注语料：
+发布了一个维语模型，需要识别标注语料，发布的是word模型：
 model_35h_20150828 CER:0.419693683925
@@ 第275行： / 第297行： @@
 </pre>
 MPE4的模型出来了，但是测试效果没有MPE1好；
+需要测试以下MPE2，MPE3，找到一个最好的；
 *聚类存在BUG，确认是不同数据库的精度造成的，是算法不太鲁棒；

“Sinovoice-2015-09-01”版本间的差异

2015年9月1日 (二) 07:35的最后版本

目录

数据

语音数据

文本数据

2 中文16K

DNN

RNN

TagModel

月度语言模型更新

Data selection

滴滴项目

平安项目

RNN

中英混识

8K

中文16K远场

山东共达

科声讯的方案

粤语16K

声学模型

语言模型

粤语8K

声学模型

维语16K

维语8K

声学模型

语言模型

其他语种

情感识别

OpenEar产品化

8K模型训练

话者分离

DNN端点检测

声纹识别

导航菜单

搜索