2014-10-27 - 版本历史

2014年10月28日 (二) 02:03 Zhangzy

2014-10-28T02:03:03Z

2014年10月27日 (一) 09:34 Liuc

2014-10-27T09:34:12Z

2014年10月27日 (一) 09:33 Liuc

2014-10-27T09:33:29Z

2014年10月27日 (一) 09:28 Liuc

2014-10-27T09:28:40Z

2014年10月27日 (一) 09:27 Zhangzy

2014-10-27T09:27:06Z

2014年10月27日 (一) 09:22 Zhangzy

2014-10-27T09:22:53Z

2014年10月27日 (一) 09:08 Zhangzy

2014-10-27T09:08:03Z

2014年10月27日 (一) 08:20 Zhangzy

2014-10-27T08:20:28Z

Lr：/* QA */

2014-10-27T05:57:56Z

‎QA

Lr：/* RNN LM */

2014-10-27T05:55:27Z

‎RNN LM

@@ 第14行： / 第14行： @@
      grid-14    |     yes         |
     ------------------------------------------------------------
-:* buy 760
+:* buy 760-GPU
 ==== Sparse DNN ====
@@ 第39行： / 第39行： @@
       -------------------------------------------------------------------------
 .5 |     5.39    |    4.80    |   4.75     |  4.36      |    4.55
-:* Frame-accuarcy seems not consistent with WER.
+:** Frame-accuarcy seems not consistent with WER.
-:* Using the train-data as cv, verify the learning ability of the model.
+:** Using the train-data as cv, verify the learning ability of the model.
 :* AURORA4 dataset
@@ 第80行： / 第80行： @@
                dp-1.0             |  9.94           |  11.33           |  12.05          |  8.32
      ---------------------------------------------------------------------------------------------------------
-:* Losing important features, enlarge the hidden-layer dim to 2048.
+:** Losing important features, enlarge the hidden-layer dim to 2048.
-:* Follow the standard dnn training learn-rate to avoid the different learn-rate changing time of various DNN training.
+:** Follow the standard dnn training learn-rate to avoid the different learn-rate changing time of various DNN training.
-:* Test out of known noise test-data.
+:** Test out of known noise test-data.
-:* Continue the droptout on normal trained XEnt NNET , eg wsj(learn-rate:1e-4/1e-5). (++)
+:** Continue the droptout on normal trained XEnt NNET , eg wsj(learn-rate:1e-4/1e-5). (++)
-:* Draft the dropout-DNN weight distribution. (++)
+:** Draft the dropout-DNN weight distribution. (++)
 * Rectification

@@ 第171行： / 第171行： @@
    |       0        |       |       |        |
 ====Scoring====
 * Harmonics program done, experiment to be done.

@@ 第48行： / 第48行： @@
             std-baseline          |  6.04           |  29.91           |  27.76          |  16.37
      ---------------------------------------------------------------------------------------------------------
-	      dp-0.4             |  6.61           |  29.59           |  30.12          |  19.40
+              dp-0.4             |  6.61           |  29.59           |  30.12          |  19.40
      ---------------------------------------------------------------------------------------------------------
-	      dp-0.5             |  6.40           |  28.07           |  27.88          |  19.88
+              dp-0.5             |  6.40           |  28.07           |  27.88          |  19.88
      ---------------------------------------------------------------------------------------------------------
                dp-0.6             |  6.36           |  26.68           |  24.85          |  18.32
      ---------------------------------------------------------------------------------------------------------
-	      dp-0.7             |  6.13           |  25.53           |  23.90          |  15.69
+              dp-0.7             |  6.13           |  25.53           |  23.90          |  15.69
      ---------------------------------------------------------------------------------------------------------
                dp-0.8             |  5.94           |  24.94           |  23.67          |  15.77
@@ 第66行： / 第66行： @@
             std-baseline          |  9.60           |  11.41           |  11.63          |  8.64
      ---------------------------------------------------------------------------------------------------------
-	      dp-0.3             |  12.91          |  16.55           |  15.37          |  12.60
+              dp-0.3             |  12.91          |  16.55           |  15.37          |  12.60
      ---------------------------------------------------------------------------------------------------------
-	      dp-0.4             |  11.48          |  14.43           |  13.23          |  11.04
+              dp-0.4             |  11.48          |  14.43           |  13.23          |  11.04
      ---------------------------------------------------------------------------------------------------------
-	      dp-0.5             |  10.53          |  13.00           |  12.89          |  10.24
+              dp-0.5             |  10.53          |  13.00           |  12.89          |  10.24
      ---------------------------------------------------------------------------------------------------------
                dp-0.6             |  10.02          |  12.32           |  11.81          |  9.29
      ---------------------------------------------------------------------------------------------------------
-	      dp-0.7             |  9.65           |  12.01           |  12.09          |  8.89
+              dp-0.7             |  9.65           |  12.01           |  12.09          |  8.89
      ---------------------------------------------------------------------------------------------------------
-	      dp-0.8             |  9.79           |  12.01           |  11.77          |  8.91
+              dp-0.8             |  9.79           |  12.01           |  11.77          |  8.91
      ---------------------------------------------------------------------------------------------------------
                dp-1.0             |  9.94           |  11.33           |  12.05          |  8.32
@@ 第94行： / 第94行： @@
             std-baseline         |  6.04           |  29.91           |  27.76          |  16.37
      ---------------------------------------------------------------------------------------------------------
-	   lr0.001              |  6.28           |  30.01           |  30.26          |  20.81
+           lr0.001              |  6.28           |  30.01           |  30.26          |  20.81
      ---------------------------------------------------------------------------------------------------------
             lr0.003              |  6.44           |  32.01           |  32.24          |  17.82
      ---------------------------------------------------------------------------------------------------------
-	   lr0.005              |  6.47           |  33.49           |  34.75          |  18.15
+           lr0.005              |  6.47           |  33.49           |  34.75          |  18.15
      ---------------------------------------------------------------------------------------------------------
-	   lr0.007              |  6.72           |  35.85           |  39.72          |  18.03
+           lr0.007              |  6.72           |  35.85           |  39.72          |  18.03
      ---------------------------------------------------------------------------------------------------------
           lr-0.001_l1-0.001      |  83.19          |  98.57           |  98.84          |  97.77
      ---------------------------------------------------------------------------------------------------------
-	 lr-0.001_l1-0.0001     |  7.58           |  32.94           |  34.29          |  23.42
+         lr-0.001_l1-0.0001     |  7.58           |  32.94           |  34.29          |  23.42
      ---------------------------------------------------------------------------------------------------------
-	lr-0.001_l1-0.00001     |  6.21           |  29.15           |  28.24          |  19.50
+        lr-0.001_l1-0.00001     |  6.21           |  29.15           |  28.24          |  19.50
      ---------------------------------------------------------------------------------------------------------
-	lr-0.001_l1-0.000001    |  6.30           |  31.91           |  29.23          |  21.52
+        lr-0.001_l1-0.000001    |  6.30           |  31.91           |  29.23          |  21.52
      ---------------------------------------------------------------------------------------------------------
 :* Change the learn-rate in the middle of the training, Modify the train_nnet.sh script(Liu Chao).

@@ 第129行： / 第129行： @@
 :* xEntropy model be training
 :* need to test baseline.
 * Sum all sil-pdf as the silence posterior probability.
 :* Program done, to tune the threshold
 ====Speech rate training====
 * Seems ROS model is superior to the normal one with faster speech
 * Suggest to extract speech data of different ROS, construct a new test set(+)
-* Suggest to use Tencent training data(+)
+* Tencent training data done
 ==== low resource language AM training ====
@@ 第172行： / 第172行： @@
 ====Scoring====
 * Harmonics program done, experiment to be done.
 ====Confidence====
 * Reproduce the experiments on fisher dataset.
 * Use the fisher DNN model to decode all-wsj dataset
+* preparing scoring for puqiang data
 ===Speaker ID===
 * Preparing GMM-based server.
 ===Emotion detection===

@@ 第43行： / 第43行： @@
 :* AURORA4 dataset
     (1) Train: train_clean
-−
      drop-retention/testcase(WER) | test_clean_wv1  | test_airport_wv1 | test_babble_wv1 | test_car_wv1
      ---------------------------------------------------------------------------------------------------------

@@ 第126行： / 第126行： @@
 ====VAD====
 * Add more silence tag "#" in pure-silence utterance text(train).
 :* xEntropy model be training

@@ 第68行： / 第68行： @@
      ---------------------------------------------------------------------------------------------------------
 	      dp-0.3             |  12.91          |  16.55           |  15.37          |  12.60
-   ---------------------------------------------------------------------------------------------------------
+    ---------------------------------------------------------------------------------------------------------
 	      dp-0.4             |  11.48          |  14.43           |  13.23          |  11.04
-   ---------------------------------------------------------------------------------------------------------
+    ---------------------------------------------------------------------------------------------------------
 	      dp-0.5             |  10.53          |  13.00           |  12.89          |  10.24
      ---------------------------------------------------------------------------------------------------------
@@ 第81行： / 第81行： @@
                dp-1.0             |  9.94           |  11.33           |  12.05          |  8.32
      ---------------------------------------------------------------------------------------------------------
-:* Enlarge the hidden-layer dim to 2048.
+:* Losing important features, enlarge the hidden-layer dim to 2048.
-:* Continue the droptout on normal trained XEnt NNET , eg wsj. (+)
+:* Follow the standard dnn training learn-rate to avoid the different learn-rate changing time of various DNN training.
-:* Draft the dropout-DNN weight distribution. (+)
+:* Test out of known noise test-data.
 * Rectification
-:* Still NAN error, need to debug. (+)
+:* Still NAN error, need to debug.
-* MaxOut (+)
+* MaxOut (++)
-* Convolutive network
+* Convolutive network (+)
-:*Test more configurations
+:* Test more configurations
-:* Yiye will work on CNN
-:* Reading CNN tutorial
 ====Denoising & Farfield ASR====
 * ICASSP paper submitted.
 ====VAD====

@@ 第14行： / 第14行： @@
      grid-14    |     yes         |
     ------------------------------------------------------------
 ==== Sparse DNN ====
@@ 第19行： / 第20行： @@
 * Experiments show that
 * Suggest to use TIMIT / AURORA 4 for training
 ==== RNN AM====
-* Initial test on WSJ , leads to out-memory.
+* Initial nnet seems no very well, need to be pre-trained or test lower learn-rate.
 * Using AURORA 4 short-sentence with a smaller number of targets.
 ====Noise training====
-* First draft of the noisy training journal paper
+* First draft of the noisy training journal paper.
 * Paper Correction (Yinshi, Liuchao, Lin Yiye), be going.
@@ 第32行： / 第36行： @@
 * Drop out
 :* dataset:wsj, testset:eval92
-         std |  dropout0.4 | dropout0.5 | dropout0.7 | dropout0.8
+         std |  dropout0.4 | dropout0.5 | dropout0.6 | dropout0.7 | dropout0.8
-      -------------------------------------------------------------
+      -------------------------------------------------------------------------
-.5 |     5.39    |    4.80    |   4.36     |    -
+.5 |     5.39    |    4.80    |   4.75     |  4.36      |    4.55
-:* Test on noisy AURORA4 dataset
+:* AURORA4 dataset
-        std |  dropout0.4 | dropout0.5 | dropout0.7 | dropout0.8
+   (1) Train: train_clean
-     -------------------------------------------------------------
-.05 |     -       |    -       |   -        |   -
+    drop-retention/testcase(WER) | test_clean_wv1  | test_airport_wv1 | test_babble_wv1 | test_car_wv1
 :* Continue the droptout on normal trained XEnt NNET , eg wsj. (+)
 :* Draft the dropout-DNN weight distribution. (+)

@@ 第179行： / 第179行： @@
 * search method:
-:* add the vsm and BM25 to improve the search. and the strategy of selecting the answer.
+:* test the lucene method
 * spell check
 :* get ngram tool and make a simple demo.
 :* get domain word list and pingyin tool from huilan.
-** new inter will install SEMPRE
+* new inter will install SEMPRE

@@ 第144行： / 第144行： @@
 ====RNN LM====
 *rnn
-:*
+:* RNNLM=>ALPA
 *lstm+rnn
-:* wer:6.2%(4-epoch).
+:* wer:6.2%(4-epoch).need to check the problem.
-:*
 ===Word2Vector===