教学参考-35 - 版本历史

Cslt：/* 推荐算法的社会争议 */

2022-08-19T14:25:39Z

‎推荐算法的社会争议

2022年8月19日 (五) 13:57 Cslt

2022-08-19T13:57:11Z

Cslt：以“==教学目标== * 了解倒排索引对搜索引擎的重要意义 * 了解Pagerank算法在评估网页重要性中的作用 ==教学内容== ===什么是搜...”为内容创建页面

2022-08-19T05:27:16Z

以“==教学目标== * 了解倒排索引对搜索引擎的重要意义 * 了解Pagerank算法在评估网页重要性中的作用 ==教学内容== ===什么是搜...”为内容创建页面

新页面

==教学目标==

* 了解倒排索引对搜索引擎的重要意义
* 了解Pagerank算法在评估网页重要性中的作用

==教学内容==

===什么是搜索引擎===

* 互联网上有海量资源，而且每天在以惊人的速度增长，没有谁能记住自己想要资源在什么地方。这就像一个宝藏丰富的大陆缺少藏宝地图，资源再多也没有意义。搜索引擎就是这个藏宝地图，它能帮助我们快速找到想要的资源。
* 最早的搜索引擎可能是 1990 年的 Archie 系统，这一系统是针对 FTP服务资源的搜索器。 1993 年，第一个面向网页的搜索引擎 World Wide Web Wanderer 出现。
* 1996 年， Larry Page 与 Sergey Brin 在斯坦福大学开始名为 BackRub的研究项目，这一项目成为 Google 的前身。 1998 年， Google 公司正式成立，成为搜索界乃至整个互联网时代毫无悬念的霸主。
* 2000 年，百度公司作为技术提供商上线，并很快成为国内搜索引擎的龙头。

===搜索引擎的基本原理：倒排索引===

*（搜索引擎要解决的第一个问题是如何在海量数据里搜索到相关的文章。例如，我们想要搜索和”谷歌地图”相关的文档。最直观的做法是把网上的文章一篇篇拿过来检查一下，看看是否包含“谷歌”和”地图”这两个词。显然，这种做法太慢了，而且随着网上文档的增长，搜索的速度会越来越慢。
* 人们提出了一种称为“倒排索引”的方案。
:* 确定一批关键词，如“谷歌”, “地图”, “之父”等，为每个关键词建立一个空的索引项，称为倒排索引。
:* 离线处理每篇文章，如果它包含某个关键词K，则把这篇文章加入到K的倒排索引中。处理完成后，每个关键词的倒排索引中就包含了所有与之相关的文档。右图是用5篇文档生成的一个倒排索引表。
:* 处理搜索请求时，如“谷歌创始人”，首先查找“谷歌”和“创始人”的倒排索引，找到各自对应的文档。如果某个文档在两个关键词的倒排索引中都存在，则该文档被定位为与搜索请求相关。在右图的倒排索引中，文档3是最匹配的结果。
* 在实际搜索引擎中，倒排索引除了关键词所在的文章外，还记录了该关键词在该文章中的位置以及一些特别属性，比如是否在标题中、是否是高亮词、字体的大小等，这些属性可以用在相关性计算中，用以提高输出排序的合理性。

===网页重要性评价===

* 另一种方式是基于网页间的链接来判断网页的重要性。我们知道一个网页中往往会有一些超链接，用户点击这些链接会指向其他网页。如果一个网页被很多网页链接，那么有理由相信该网页比较重要。
* 如果我们将网页之间的链接关系表示成一张图，其中节点表示网页，节点间的边表示两个网页之间存在链接，边的方向代表链接指向。依前述讨论，如果某个节点被很多边链接，则该节点是一个重要节点，对应的网页比较重要。
* 按照外部链接个数来判断网页重要性并不完全准确，因为不同的链接本身的重要性是不一样的：来自重要网页的链接比来自普通网页的链接应更受重视。换句话说，如果当前网页被某个重要网页链接，说明这个网页自身也是重要的。基于这一思路，在计算网页重要性时可以将链接的重要性考虑在内，使得重要性的计算更合理。
* 谷歌的PageRank算法实现了这一思路。初始时，所有网页的重要性都是一样的，但每个网页都会向它链出的网页发送信息，网页根据它所接收的信息更新自身重要性。如果一个网页被很多网页链接，它会收到更多信息，重要性会增加。这样循环迭代更新，最后达到稳定状态时，每个网页的重要就可以计算出来了。

←上一版本		2022年8月19日 (五) 14:25的版本
第38行：		第38行：

	* 推荐算法极大减少了用户索取信息的时间成本，同时也有利于打破信息垄断。麻省理工学院（MIT）在2021年发布的十大突破技术（10 Breakthrough Technologies）中指出，“TikTok推荐算法能够使普通人发表的内容有机会受到名人般的关注并流行起来，这是内容公平性的体现；而需求较为小众、细分的用户，也能看到符合自己兴趣的内容，则是用户角度公平性的体现”。		* 推荐算法极大减少了用户索取信息的时间成本，同时也有利于打破信息垄断。麻省理工学院（MIT）在2021年发布的十大突破技术（10 Breakthrough Technologies）中指出，“TikTok推荐算法能够使普通人发表的内容有机会受到名人般的关注并流行起来，这是内容公平性的体现；而需求较为小众、细分的用户，也能看到符合自己兴趣的内容，则是用户角度公平性的体现”。
−	* 然而，高精度推荐算法所引发的社会问题也越来越受到关注。一方面，推荐算法所收集的用户行为数据可能被用作不道德行为。例如，有的商家对高粘着度用户开出更高的价格，利用他们的忠诚度谋取利益。另一方面，推荐算法可能引起信息孤岛问题：当机器努力去迎合人的趣味和意见时，用户只能看到让自己满意的信息，可能成为极端观点的温床。	+	* 然而，高精度推荐算法所引发的社会问题也越来越受到关注。一方面，推荐算法所收集的用户行为数据可能被用作不道德行为。例如，有的商家对高粘着度用户开出更高的价格，利用他们的忠诚度谋取利益。另一方面，推荐算法可能引起信息茧房问题：当机器努力去迎合人的趣味和意见时，用户只能看到让自己满意的信息，可能成为极端观点的温床。

@@ 第1行： / 第1行： @@
 ==教学目标==
-* 了解倒排索引对搜索引擎的重要意义
+* 理解推荐与搜索两种不同的信息呈现方式
-* 了解Pagerank算法在评估网页重要性中的作用
+* 了解基于相似性的推荐算法，了解两种相似性计算方法：基于特征（物品的属性，人的信息）的相似性和基于协同过滤的相似性。
@@ 第9行： / 第11行： @@
-===什么是搜索引擎===
+===推荐算法===
-* 互联网上有海量资源，而且每天在以惊人的速度增长，没有谁能记住自己想要资源在什么地方。这就像一个宝藏丰富的大陆缺少藏宝地图，资源再多也没有意义。搜索引擎就是这个藏宝地图，它能帮助我们快速找到想要的资源。
+* 在浏览网上商店时，网站会给用户推荐一些可能感兴趣的商品，刺激用户消费。刷抖音和头条等视频和资讯网站时，系统会自动把一条条内容推荐给用户，不需要用户去搜索。浏览微博时，用户也会不时收到推荐的消息或博主。这些功能背后的算法都是类似的，称为推荐算法。
-* 最早的搜索引擎可能是 1990 年的 Archie 系统，这一系统是针对 FTP服务资源的搜索器。 1993 年，第一个面向网页的搜索引擎 World Wide Web Wanderer 出现。
+*  推荐是继搜索之后另一种信息呈现方式。和搜索引擎需要用户主动提出搜索请求不同，推荐算法不需要用户做出搜索行为，而是通过分析用户的行为，“猜”出用户的喜好并推荐相应的产品、资讯以及好友。
-* 1996 年， Larry Page 与 Sergey Brin 在斯坦福大学开始名为 BackRub的研究项目，这一项目成为 Google 的前身。 1998 年， Google 公司正式成立，成为搜索界乃至整个互联网时代毫无悬念的霸主。
-* 2000 年，百度公司作为技术提供商上线，并很快成为国内搜索引擎的龙头。
-*（ 搜索引擎要解决的第一个问题是如何在海量数据里搜索到相关的文章。例如，我们想要搜索和”谷歌地图”相关的文档。最直观的做法是把网上的文章一篇篇拿过来检查一下，看看是否包含“谷歌”和”地图”这两个词。显然，这种做法太慢了，而且随着网上文档的增长，搜索的速度会越来越慢。
+===基础推荐算法===
-* 人们提出了一种称为“倒排索引”的方案。
-:* 确定一批关键词，如“谷歌”, “地图”, “之父”等，为每个关键词建立一个空的索引项，称为倒排索引。
-:* 离线处理每篇文章，如果它包含某个关键词K，则把这篇文章加入到K的倒排索引中。处理完成后，每个关键词的倒排索引中就包含了所有与之相关的文档。右图是用5篇文档生成的一个倒排索引表。
-:* 处理搜索请求时，如“谷歌创始人”，首先查找“谷歌”和“创始人”的倒排索引，找到各自对应的文档。如果某个文档在两个关键词的倒排索引中都存在，则该文档被定位为与搜索请求相关。在右图的倒排索引中，文档3是最匹配的结果。
-* 在实际搜索引擎中，倒排索引除了关键词所在的文章外，还记录了该关键词在该文章中的位置以及一些特别属性，比如是否在标题中、是否是高亮词、字体的大小等，这些属性可以用在相关性计算中，用以提高输出排序的合理性。
-* 另一种方式是基于网页间的链接来判断网页的重要性。我们知道一个网页中往往会有一些超链接，用户点击这些链接会指向其他网页。如果一个网页被很多网页链接，那么有理由相信该网页比较重要。
+===基于神经网络的推荐方法===
-* 如果我们将网页之间的链接关系表示成一张图，其中节点表示网页，节点间的边表示两个网页之间存在链接，边的方向代表链接指向。依前述讨论，如果某个节点被很多边链接，则该节点是一个重要节点，对应的网页比较重要。
-* 按照外部链接个数来判断网页重要性并不完全准确，因为不同的链接本身的重要性是不一样的：来自重要网页的链接比来自普通网页的链接应更受重视。换句话说，如果当前网页被某个重要网页链接，说明这个网页自身也是重要的。基于这一思路，在计算网页重要性时可以将链接的重要性考虑在内，使得重要性的计算更合理。
+* 近年来，随着深度学习技术的发展，基于神经网络的推荐算法受到广泛关注。总体来说，这种方法的基本思路是“对象嵌入”，即将物品/用户映射成为固定维度的连续向量，在这一向量空间中相似的物品/用户距离相互接近，而不相似的物品/ 用户相互远离。
-* 谷歌的PageRank算法实现了这一思路。初始时，所有网页的重要性都是一样的，但每个网页都会向它链出的网页发送信息，网页根据它所接收的信息更新自身重要性。如果一个网页被很多网页链接，它会收到更多信息，重要性会增加。这样循环迭代更新，最后达到稳定状态时，每个网页的重要就可以计算出来了。
+* 例如，我们可以设主地一个简单的物品/用户嵌入模型。 在这一模型中，将用户的购物记录当成一句话，其中每个物品作为一个词。利用自然语言处理领域中的词向量训练方法，即可得到每个物品对应的“词向量”，也即物品向量。