http://index.cslt.org/mediawiki/index.php?action=history&feed=atom&title=Huilan-learning-to-rank Huilan-learning-to-rank - 版本历史 2026-04-15T02:28:39Z 本wiki的该页面的版本历史 MediaWiki 1.23.3 http://index.cslt.org/mediawiki/index.php?title=Huilan-learning-to-rank&diff=14770&oldid=prev 2015年4月20日 (一) 06:24 Lr 2015-04-20T06:24:19Z <p></p> <table class='diff diff-contentalign-left'> <col class='diff-marker' /> <col class='diff-content' /> <col class='diff-marker' /> <col class='diff-content' /> <tr style='vertical-align: top;'> <td colspan='2' style="background-color: white; color:black; text-align: center;">←上一版本</td> <td colspan='2' style="background-color: white; color:black; text-align: center;">2015年4月20日 (一) 06:24的版本</td> </tr><tr><td colspan="2" class="diff-lineno">第1行：</td> <td colspan="2" class="diff-lineno">第1行：</td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>[[l2r 验证结果]]</div></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>[[l2r 验证结果]]</div></td></tr> <tr><td colspan="2">&#160;</td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;"></ins></div></td></tr> <tr><td colspan="2">&#160;</td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">[[l2r 集成问答系统]]</ins></div></td></tr> </table> Lr http://index.cslt.org/mediawiki/index.php?title=Huilan-learning-to-rank&diff=14768&oldid=prev 2015年4月20日 (一) 06:23 Lr 2015-04-20T06:23:18Z <p></p> <table class='diff diff-contentalign-left'> <col class='diff-marker' /> <col class='diff-content' /> <col class='diff-marker' /> <col class='diff-content' /> <tr style='vertical-align: top;'> <td colspan='2' style="background-color: white; color:black; text-align: center;">←上一版本</td> <td colspan='2' style="background-color: white; color:black; text-align: center;">2015年4月20日 (一) 06:23的版本</td> </tr><tr><td colspan="2" class="diff-lineno">第1行：</td> <td colspan="2" class="diff-lineno">第1行：</td></tr> <tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>[[<del class="diffchange diffchange-inline">learning to rank result tianyi</del>]]</div></td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>[[<ins class="diffchange diffchange-inline">l2r 验证结果</ins>]]</div></td></tr> </table> Lr http://index.cslt.org/mediawiki/index.php?title=Huilan-learning-to-rank&diff=14767&oldid=prev Lr：以“learning to rank result tianyi”替换内容 2015-04-20T06:22:14Z <p>以“<a href="/mediawiki/index.php?title=Learning_to_rank_result_tianyi&amp;action=edit&amp;redlink=1" class="new" title="Learning to rank result tianyi（页面不存在）">learning to rank result tianyi</a>”替换内容</p> <a href="http://index.cslt.org/mediawiki/index.php?title=Huilan-learning-to-rank&amp;diff=14767&amp;oldid=13741">显示更改</a> Lr http://index.cslt.org/mediawiki/index.php?title=Huilan-learning-to-rank&diff=13741&oldid=prev 2015年1月28日 (三) 06:17 Cslt 2015-01-28T06:17:11Z <p></p> <table class='diff diff-contentalign-left'> <col class='diff-marker' /> <col class='diff-content' /> <col class='diff-marker' /> <col class='diff-content' /> <tr style='vertical-align: top;'> <td colspan='2' style="background-color: white; color:black; text-align: center;">←上一版本</td> <td colspan='2' style="background-color: white; color:black; text-align: center;">2015年1月28日 (三) 06:17的版本</td> </tr><tr><td colspan="2" class="diff-lineno">第55行：</td> <td colspan="2" class="diff-lineno">第55行：</td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>+0.0523&#160; 19.</div></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>+0.0523&#160; 19.</div></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td></tr> <tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div><del class="diffchange diffchange-inline">&#160; &#160; &#160; </del>（1）query中有NER，问题模板如果也有NER，则feature值为1；</div></td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins class="diffchange diffchange-inline">&#160; &#160; &#160; &#160; &#160; &#160; </ins>（1）query中有NER，问题模板如果也有NER，则feature值为1；</div></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>&#160;&#160; &#160; &#160; &#160; &#160; &#160; （2）query中没有NER，问题模板如果也没有NER，则feature值为1；</div></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>&#160;&#160; &#160; &#160; &#160; &#160; &#160; （2）query中没有NER，问题模板如果也没有NER，则feature值为1；</div></td></tr> <tr><td colspan="2" class="diff-lineno">第74行：</td> <td colspan="2" class="diff-lineno">第74行：</td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>-1.0E-4&#160; &#160; 21.通过Sentence Embedding计算query和标准答案的cos相似度，为（0,1）的实数。（Sentence Embedding的具体做法是，将所有词的每一维进行比较，取绝对值最大的数值作为Sentence的vector。）</div></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>-1.0E-4&#160; &#160; 21.通过Sentence Embedding计算query和标准答案的cos相似度，为（0,1）的实数。（Sentence Embedding的具体做法是，将所有词的每一维进行比较，取绝对值最大的数值作为Sentence的vector。）</div></td></tr> <tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div><del style="font-weight: bold; text-decoration: none;"></del></div></td><td colspan="2">&#160;</td></tr> <tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div><del style="font-weight: bold; text-decoration: none;"> </del></div></td><td colspan="2">&#160;</td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>&#160; &#160;</div></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>&#160; &#160;</div></td></tr> </table> Cslt http://index.cslt.org/mediawiki/index.php?title=Huilan-learning-to-rank&diff=13740&oldid=prev Cslt：以“下面是最近用learning to rank得到的结果（今天突然发现以前一个参数设置错了，导致一直效果没有很明显的提升）： P@1: 0.6873...”为内容创建页面 2015-01-28T06:16:35Z <p>以“下面是最近用learning to rank得到的结果（今天突然发现以前一个参数设置错了，导致一直效果没有很明显的提升）： P@1: 0.6873...”为内容创建页面</p> <p><b>新页面</b></p><div>下面是最近用learning to rank得到的结果（今天突然发现以前一个参数设置错了，导致一直效果没有很明显的提升）：<br /> <br /> P@1: 0.68734335--&gt;0.7763158 1097--&gt;1239 (The number of queries is 1596.)<br /> <br /> P@5: 0.80325814--&gt;0.8383459 1282--&gt;1338 (The number of queries is 1596.)<br /> <br /> 现在最高能达到的正确率是0.880325，因为目前只有1405个query的候选集里面是有正确答案的，另外的191个query的候选集里面是没有正确答案的，1405/1596=0.880325。<br /> <br /> <br /> <br /> 目前看来引入Sentence Embedding的没有太大的效果，但是应该是利用的方法不对，王老师今天提出了一个非常好的新方法，利用tag model在通用大数据集和领域小数据集都得到word vector引入系统，准备马上实现看一看效果如何；NER特征经过试验证明是一个很重要的特征，不过还可以继续更好的利用强化tf*idf模型；POS特征也准备引入强化tf*idf模型。这三部分计划近几天实现。今晚开始进行online learning的研究和在本QA系统的实现。<br /> <br /> <br /> <br /> 以下两部分都是各个特征的回归系数，不同的是做没做normalization，但是没做normalization最终得到的P@1的结果要好，原因我认为是做了normalization之后，有些本来不是很重要的特征提高了影响，同时重要的特征区分度下降，不知道我理解的对不对，请王老师甄别赐教，标黑的是比较显著的特征：<br /> <br /> 第一部分是用了normalization，最后的P@1是0.82393485。<br /> <br /> +2.0705 1. 排序文档集为问题模板，利用 tf*idf ranking model得到的分数。<br /> <br /> +0.0014 2. 排序文档集为标准问题，利用 tf*idf ranking model得到的分数。<br /> <br /> -1.0E-4 3. 问题模板的长度。<br /> <br /> +9.0E-4 4. 标准问题的长度。<br /> <br /> +0.3753 5. 对query进行分词，分词出现在问题模板中的次数与问题模板长度的比值。<br /> <br /> +0.4748 6. 对query进行分词，分词出现在标准问题中的次数与标准问题长度的比值。例子：query为“保障性住房”；分词结果：“保障性” “住房”； 标注问题：“什么是保障性住房？” query的分词结果出现在标准问题中的次数为2次，标准问题长度为18，该feature值为1/9。<br /> <br /> +0.6544 7. 对query进行分词, 分词出现在问题模板中的次数与query分词总数的比值。<br /> <br /> +0.0981 8. 对query进行分词, 分词出现在标准问题中的次数与query分词总数的比值。例子：query为“保障性住房”；分词结果：“保障性” “住房”； 标注问题：“什么是保障性住房？” query的分词结果出现在标准问题中的次数为2次，query分词总数为3，该feature值为2/3。<br /> <br /> +7.0E-4 9. 排序文档集为问题模板，利用 BM25 ranking model得到的分数。<br /> <br /> -0.0014 10. 排序文档集为标准问题，利用 BM25 ranking model得到的分数。<br /> <br /> +8.0E-4 11. 排序文档集为问题模板，利用 DFR ranking model得到的分数。<br /> <br /> -2.0E-4 12. 排序文档集为标准问题，利用 DFR ranking model得到的分数。<br /> <br /> +2.0946 13. 排序文档集为问题模板，利用 IB ranking model得到的分数。<br /> <br /> +0.0063 14. 排序文档集为标准问题，利用 IB ranking model得到的分数。<br /> <br /> +7.0E-4 15. 排序文档集为问题模板，利用 LMDirichlet ranking model得到的分数。<br /> <br /> -0.0096 16. 排序文档集为标准问题，利用 LMDirichlet ranking model得到的分数。<br /> <br /> +0.0016 17. 排序文档集为问题模板，利用 LMJelinekMercer ranking model得到的分数。<br /> <br /> +0.2628 18. 排序文档集为标准问题，利用 LMJelinekMercer ranking model得到的分数。<br /> <br /> +0.0523 19.<br /> <br /> （1）query中有NER，问题模板如果也有NER，则feature值为1；<br /> <br /> （2）query中没有NER，问题模板如果也没有NER，则feature值为1；<br /> <br /> （3）query中有NER，问题模板如果没有NER，则feature值为0；<br /> <br /> （4）query中没有NER，问题模板如果有NER，则feature值为0；<br /> <br /> +0.0445 20.<br /> <br /> （1）query中有NER，标准问题如果也有NER，则feature值为1；<br /> <br /> （2）query中没有NER，标准问题如果也没有NER，则feature值为1；<br /> <br /> （3）query中有NER，标准问题如果没有NER，则feature值为0；<br /> <br /> （4）query中没有NER，标准问题如果有NER，则feature值为0；<br /> <br /> -1.0E-4 21.通过Sentence Embedding计算query和标准答案的cos相似度，为（0,1）的实数。（Sentence Embedding的具体做法是，将所有词的每一维进行比较，取绝对值最大的数值作为Sentence的vector。）<br /> <br /> <br /> <br /> <br /> <br /> 第二部分没用normalization，最后的P@1是0.8383459。<br /> <br /> +0.0398 1. 排序文档集为问题模板，利用 tf*idf ranking model得到的分数。<br /> <br /> +0.0369 2. 排序文档集为标准问题，利用 tf*idf ranking model得到的分数。<br /> <br /> +0.0542 3. 问题模板的长度。<br /> <br /> -0.0313 4. 标准问题的长度。<br /> <br /> +0.0733 5. 对query进行分词，分词出现在问题模板中的次数与问题模板长度的比值。<br /> <br /> +0.1661 6. 对query进行分词，分词出现在标准问题中的次数与标准问题长度的比值。例子：query为“保障性住房”；分词结果：“保障性” “住房”； 标注问题：“什么是保障性住房？” query的分词结果出现在标准问题中的次数为2次，标准问题长度为18，该feature值为1/9。<br /> <br /> +0.1751 7. 对query进行分词, 分词出现在问题模板中的次数与query分词总数的比值。<br /> <br /> +0.0766 8. 对query进行分词, 分词出现在标准问题中的次数与query分词总数的比值。例子：query为“保障性住房”；分词结果：“保障性” “住房”； 标注问题：“什么是保障性住房？” query的分词结果出现在标准问题中的次数为2次，query分词总数为3，该feature值为2/3。<br /> <br /> +0.0342 9. 排序文档集为问题模板，利用 BM25 ranking model得到的分数。<br /> <br /> +0.0240 10. 排序文档集为标准问题，利用 BM25 ranking model得到的分数。<br /> <br /> +0.0400 11. 排序文档集为问题模板，利用 DFR ranking model得到的分数。<br /> <br /> -0.0952 12. 排序文档集为标准问题，利用 DFR ranking model得到的分数。<br /> <br /> 0.0000 13. 排序文档集为问题模板，利用 IB ranking model得到的分数。<br /> <br /> 0.0000 14. 排序文档集为标准问题，利用 IB ranking model得到的分数。<br /> <br /> -0.0057 15. 排序文档集为问题模板，利用 LMDirichlet ranking model得到的分数。<br /> <br /> +0.0152 16. 排序文档集为标准问题，利用 LMDirichlet ranking model得到的分数。<br /> <br /> 0.0000 17. 排序文档集为问题模板，利用 LMJelinekMercer ranking model得到的分数。<br /> <br /> +0.0222 18. 排序文档集为标准问题，利用 LMJelinekMercer ranking model得到的分数。<br /> <br /> +0.1052 19.<br /> <br /> （1）query中有NER，问题模板如果也有NER，则feature值为1；<br /> <br /> （2）query中没有NER，问题模板如果也没有NER，则feature值为1；<br /> <br /> （3）query中有NER，问题模板如果没有NER，则feature值为0；<br /> <br /> （4）query中没有NER，问题模板如果有NER，则feature值为0；<br /> <br /> +0.1605 20.<br /> <br /> （1）query中有NER，标准问题如果也有NER，则feature值为1；<br /> <br /> （2）query中没有NER，标准问题如果也没有NER，则feature值为1；<br /> <br /> （3）query中有NER，标准问题如果没有NER，则feature值为0；<br /> <br /> （4）query中没有NER，标准问题如果有NER，则feature值为0；<br /> <br /> -0.0181 21.通过Sentence Embedding计算query和标准答案的cos相似度，为（0,1）的实数。（Sentence Embedding的具体做法是，将所有词的每一维进行比较，取绝对值最大的数值作为Sentence的vector。）</div> Cslt