2014-11-19

 拼写检查功能模块的测试报告如下:
 author CaoLi   date:2014 11.19

建立测试集

首先对测试集进行手动改错业务词后再自动分词,进行测试.条数:200条. 例如： 手动改错业务词：

  申请班里高领老人紧贴变更和终止的实现

原句自动分词后：

  申请 班里 高领 老人 紧贴 变更 和 终止 的 实现

测试集为:测试集(.\corpus\20141016凉山州\3文本\testJ.txt)前200条,注意是只取每一条对应的问题.

评价

测试结果的评价标准:

  正确率=正确识别出需要修改的个体总数/识别出需要修改的个体总数
  召回率=正确识别出需要修改的个体总数/测试集中存在的需要修改的个体总数
  准确率=修改对的个体总数/个体总数

例如: 正确:

 我 真 想 办理 身份证 呀. 

测试用例:

 我 挣 像 办理 神风证 压. 

结果:

 我 证 想 班里 身份证 压. 

动作:

 我->我(correct) 像->想（correct） 办理->班里（false） 神风证->身份证(correct) 挣->证(false) 压->压(false) 

评价：

 需要修改: 正确率=3/4. 召回率=3/4. 
 不要修改：正确率=1/2. 召回率=1/2. 
 准确率:3/6

测试结果

1.使用的语言模型:使用训练集<凉山州政务知识训练集1016.xls>中的<标准问题 答案>训练的3-gram语言模型.（详细结果见test-model-RESULT.txt）

RESULT:

 需要修改:正确率:498/498 = 1.0          召回率: 498/881 = 0.565266
 不要修改:正确率:2228/2611 = 0.853313   召回率:  2228/2228 = 1.0 
 准确率 :2678/3109 = 0.861370
   

结果分析

根据上面的结果发现召回率较低，

原因

可能的原因为：由于是先手动改错业务词再根据词表自动分词的。故系统有可能将一个业务词分成了好几个词。

例如：

[汝, 河, 进行, 开发商, 新建, 房产, 权, 等级]

过程：

[汝, 河, 进行, 开发商, 新建, 房产, 权, 登机]'score is:29.822336867451668
[汝, 河, 进行, 开发商, 新建, 房产, 权, 等级]'score is:29.208215907216072
[汝, 河, 进行, 开发商, 新建, 房产, 权, 登记]'score is:27.493204072117805
[汝, 河, 进行, 开发商, 新建, 房产, 权, 登基]'score is:29.822336867451668

test result:汝 河 进 行 开 发 商 新 建 房 产 权 登 记

分析： 由于上面将“汝河”分成了“汝”，“河”两个词,系统就不会对词“汝河”进行重新组合并打分。

把改错的业务词分开的所占的比重：44/98=0.448979

例如： 架势证 ------架势 证

改进

可能的改进方法：

我们可以用拼音进行分词，但目前还未采取那样做。