2014-11-19
来自cslt Wiki
拼写检查功能模块的测试报告如下: author CaoLi date:2014 11.19
建立测试集
首先对测试集进行手动改错业务词后再自动分词,进行测试.条数:200条. 例如: 手动改错业务词:
申请班里高领老人紧贴变更和终止的实现
原句自动分词后:
申请 班里 高领 老人 紧贴 变更 和 终止 的 实现
测试集为:测试集(.\corpus\20141016凉山州\3文本\testJ.txt)前200条,注意是只取每一条对应的问题.
评价
测试结果的评价标准:
正确率=正确识别出需要修改的个体总数/识别出需要修改的个体总数 召回率=正确识别出需要修改的个体总数/测试集中存在的需要修改的个体总数 准确率=修改对的个体总数/个体总数
例如: 正确:
我 真 想 办理 身份证 呀.
测试用例:
我 挣 像 办理 神风证 压.
结果:
我 证 想 班里 身份证 压.
动作:
我->我(correct) 像->想(correct) 办理->班里(false) 神风证->身份证(correct) 挣->证(false) 压->压(false)
评价:
需要修改: 正确率=3/4. 召回率=3/4. 不要修改:正确率=1/2. 召回率=1/2. 准确率:3/6
测试结果
1.使用的语言模型:使用训练集<凉山州政务知识训练集1016.xls>中的<标准问题 答案>训练的3-gram语言模型.(详细结果见test-model-RESULT.txt)
RESULT:
需要修改:正确率:498/498 = 1.0 召回率: 498/881 = 0.565266 不要修改:正确率:2228/2611 = 0.853313 召回率: 2228/2228 = 1.0 准确率 :2678/3109 = 0.861370
结果分析
根据上面的结果发现召回率较低,
原因
可能的原因为:由于是先手动改错业务词再根据词表自动分词的。故系统有可能将一个业务词分成了好几个词。
例如:
[汝, 河, 进行, 开发商, 新建, 房产, 权, 等级]
过程: [汝, 河, 进行, 开发商, 新建, 房产, 权, 登机]'score is:29.822336867451668 [汝, 河, 进行, 开发商, 新建, 房产, 权, 等级]'score is:29.208215907216072 [汝, 河, 进行, 开发商, 新建, 房产, 权, 登记]'score is:27.493204072117805 [汝, 河, 进行, 开发商, 新建, 房产, 权, 登基]'score is:29.822336867451668 test result:汝 河 进 行 开 发 商 新 建 房 产 权 登 记
分析: 由于上面将“汝河”分成了“汝”,“河”两个词,系统就不会对词“汝河”进行重新组合并打分。
把改错的业务词分开的所占的比重:44/98=0.448979
例如: 架势证 ------架势 证
改进
可能的改进方法:
我们可以用拼音进行分词,但目前还未采取那样做。