http://index.cslt.org/mediawiki/index.php?action=history&feed=atom&title=L2r_%E9%AA%8C%E8%AF%81%E7%BB%93%E6%9E%9C 2026-04-15T09:38:32Z 本wiki的该页面的版本历史 MediaWiki 1.23.3 http://index.cslt.org/mediawiki/index.php?title=L2r_%E9%AA%8C%E8%AF%81%E7%BB%93%E6%9E%9C&diff=14769&oldid=prev 2015-04-20T06:23:45Z

<p>以“下面是最近用learning to rank得到的结果（今天突然发现以前一个参数设置错了，导致一直效果没有很明显的提升）： P@1: 0.6873...”为内容创建页面</p> <p><b>新页面</b></p><div>下面是最近用learning to rank得到的结果（今天突然发现以前一个参数设置错了，导致一直效果没有很明显的提升）：<br /> <br /> P@1: 0.68734335--&gt;0.7763158 1097--&gt;1239 (The number of queries is 1596.)<br /> <br /> P@5: 0.80325814--&gt;0.8383459 1282--&gt;1338 (The number of queries is 1596.)<br /> <br /> 现在最高能达到的正确率是0.880325，因为目前只有1405个query的候选集里面是有正确答案的，另外的191个query的候选集里面是没有正确答案的，1405/1596=0.880325。<br /> <br /> <br /> <br /> 目前看来引入Sentence Embedding的没有太大的效果，但是应该是利用的方法不对，王老师今天提出了一个非常好的新方法，利用tag model在通用大数据集和领域小数据集都得到word vector引入系统，准备马上实现看一看效果如何；NER特征经过试验证明是一个很重要的特征，不过还可以继续更好的利用强化tf*idf模型；POS特征也准备引入强化tf*idf模型。这三部分计划近几天实现。今晚开始进行online learning的研究和在本QA系统的实现。<br /> <br /> <br /> <br /> 以下两部分都是各个特征的回归系数，不同的是做没做normalization，但是没做normalization最终得到的P@1的结果要好，原因我认为是做了normalization之后，有些本来不是很重要的特征提高了影响，同时重要的特征区分度下降，不知道我理解的对不对，请王老师甄别赐教，标黑的是比较显著的特征：<br /> <br /> 第一部分是用了normalization，最后的P@1是0.82393485。<br /> <br /> +2.0705 1. 排序文档集为问题模板，利用 tf*idf ranking model得到的分数。<br /> <br /> +0.0014 2. 排序文档集为标准问题，利用 tf*idf ranking model得到的分数。<br /> <br /> -1.0E-4 3. 问题模板的长度。<br /> <br /> +9.0E-4 4. 标准问题的长度。<br /> <br /> +0.3753 5. 对query进行分词，分词出现在问题模板中的次数与问题模板长度的比值。<br /> <br /> +0.4748 6. 对query进行分词，分词出现在标准问题中的次数与标准问题长度的比值。例子：query为“保障性住房”；分词结果：“保障性” “住房”； 标注问题：“什么是保障性住房？” query的分词结果出现在标准问题中的次数为2次，标准问题长度为18，该feature值为1/9。<br /> <br /> +0.6544 7. 对query进行分词, 分词出现在问题模板中的次数与query分词总数的比值。<br /> <br /> +0.0981 8. 对query进行分词, 分词出现在标准问题中的次数与query分词总数的比值。例子：query为“保障性住房”；分词结果：“保障性” “住房”； 标注问题：“什么是保障性住房？” query的分词结果出现在标准问题中的次数为2次，query分词总数为3，该feature值为2/3。<br /> <br /> +7.0E-4 9. 排序文档集为问题模板，利用 BM25 ranking model得到的分数。<br /> <br /> -0.0014 10. 排序文档集为标准问题，利用 BM25 ranking model得到的分数。<br /> <br /> +8.0E-4 11. 排序文档集为问题模板，利用 DFR ranking model得到的分数。<br /> <br /> -2.0E-4 12. 排序文档集为标准问题，利用 DFR ranking model得到的分数。<br /> <br /> +2.0946 13. 排序文档集为问题模板，利用 IB ranking model得到的分数。<br /> <br /> +0.0063 14. 排序文档集为标准问题，利用 IB ranking model得到的分数。<br /> <br /> +7.0E-4 15. 排序文档集为问题模板，利用 LMDirichlet ranking model得到的分数。<br /> <br /> -0.0096 16. 排序文档集为标准问题，利用 LMDirichlet ranking model得到的分数。<br /> <br /> +0.0016 17. 排序文档集为问题模板，利用 LMJelinekMercer ranking model得到的分数。<br /> <br /> +0.2628 18. 排序文档集为标准问题，利用 LMJelinekMercer ranking model得到的分数。<br /> <br /> +0.0523 19.<br /> <br /> （1）query中有NER，问题模板如果也有NER，则feature值为1；<br /> <br /> （2）query中没有NER，问题模板如果也没有NER，则feature值为1；<br /> <br /> （3）query中有NER，问题模板如果没有NER，则feature值为0；<br /> <br /> （4）query中没有NER，问题模板如果有NER，则feature值为0；<br /> <br /> +0.0445 20.<br /> <br /> （1）query中有NER，标准问题如果也有NER，则feature值为1；<br /> <br /> （2）query中没有NER，标准问题如果也没有NER，则feature值为1；<br /> <br /> （3）query中有NER，标准问题如果没有NER，则feature值为0；<br /> <br /> （4）query中没有NER，标准问题如果有NER，则feature值为0；<br /> <br /> -1.0E-4 21.通过Sentence Embedding计算query和标准答案的cos相似度，为（0,1）的实数。（Sentence Embedding的具体做法是，将所有词的每一维进行比较，取绝对值最大的数值作为Sentence的vector。）<br /> <br /> <br /> <br /> 第二部分没用normalization，最后的P@1是0.8383459。<br /> <br /> +0.0398 1. 排序文档集为问题模板，利用 tf*idf ranking model得到的分数。<br /> <br /> +0.0369 2. 排序文档集为标准问题，利用 tf*idf ranking model得到的分数。<br /> <br /> +0.0542 3. 问题模板的长度。<br /> <br /> -0.0313 4. 标准问题的长度。<br /> <br /> +0.0733 5. 对query进行分词，分词出现在问题模板中的次数与问题模板长度的比值。<br /> <br /> +0.1661 6. 对query进行分词，分词出现在标准问题中的次数与标准问题长度的比值。例子：query为“保障性住房”；分词结果：“保障性” “住房”； 标注问题：“什么是保障性住房？” query的分词结果出现在标准问题中的次数为2次，标准问题长度为18，该feature值为1/9。<br /> <br /> +0.1751 7. 对query进行分词, 分词出现在问题模板中的次数与query分词总数的比值。<br /> <br /> +0.0766 8. 对query进行分词, 分词出现在标准问题中的次数与query分词总数的比值。例子：query为“保障性住房”；分词结果：“保障性” “住房”； 标注问题：“什么是保障性住房？” query的分词结果出现在标准问题中的次数为2次，query分词总数为3，该feature值为2/3。<br /> <br /> +0.0342 9. 排序文档集为问题模板，利用 BM25 ranking model得到的分数。<br /> <br /> +0.0240 10. 排序文档集为标准问题，利用 BM25 ranking model得到的分数。<br /> <br /> +0.0400 11. 排序文档集为问题模板，利用 DFR ranking model得到的分数。<br /> <br /> -0.0952 12. 排序文档集为标准问题，利用 DFR ranking model得到的分数。<br /> <br /> 0.0000 13. 排序文档集为问题模板，利用 IB ranking model得到的分数。<br /> <br /> 0.0000 14. 排序文档集为标准问题，利用 IB ranking model得到的分数。<br /> <br /> -0.0057 15. 排序文档集为问题模板，利用 LMDirichlet ranking model得到的分数。<br /> <br /> +0.0152 16. 排序文档集为标准问题，利用 LMDirichlet ranking model得到的分数。<br /> <br /> 0.0000 17. 排序文档集为问题模板，利用 LMJelinekMercer ranking model得到的分数。<br /> <br /> +0.0222 18. 排序文档集为标准问题，利用 LMJelinekMercer ranking model得到的分数。<br /> <br /> +0.1052 19.<br /> <br /> （1）query中有NER，问题模板如果也有NER，则feature值为1；<br /> <br /> （2）query中没有NER，问题模板如果也没有NER，则feature值为1；<br /> <br /> （3）query中有NER，问题模板如果没有NER，则feature值为0；<br /> <br /> （4）query中没有NER，问题模板如果有NER，则feature值为0；<br /> <br /> +0.1605 20.<br /> <br /> （1）query中有NER，标准问题如果也有NER，则feature值为1；<br /> <br /> （2）query中没有NER，标准问题如果也没有NER，则feature值为1；<br /> <br /> （3）query中有NER，标准问题如果没有NER，则feature值为0；<br /> <br /> （4）query中没有NER，标准问题如果有NER，则feature值为0；<br /> <br /> -0.0181 21.通过Sentence Embedding计算query和标准答案的cos相似度，为（0,1）的实数。（Sentence Embedding的具体做法是，将所有词的每一维进行比较，取绝对值最大的数值作为Sentence的vector。）</div>

Lr