一次搜索《《内衣魔法少女》动漫齐全版百度》之后才懂推荐算法怎么读取我的无聊
开场！！！！。 。阂桓錾钜梗，，我干了一件破事
凌晨两点，，，，，我躺在床上，，，，，手机屏幕上挂着百度搜索框。。。。。。 。脑子不知哪根筋搭错，，，，，我敲下“《《内衣魔法少女》动漫齐全版百度》”，，，，，回车。。。。。。 。说真话，，，，，我压根没想真看这部番——名字听起来就像那种用擦边球骗点击的便宜货。。。。。。 。但我就是好奇，，，，，想看看搜索了局会蹦出什么。。。。。。 。
了局页面跳出来，，，，，前几条是正规的动漫会商帖和盗版站链接，，，，，我顺手划了几下，，，，，没点进去。。。。。。 。过了或许三分钟，，，，，我切回首页，，，，，发现推荐流里塞满了“性感少女”“内衣写真”“宅男福利”之类的鬼器材。。。。。。 。我女伴侣第二天早上看到我的手机，，，，，表情像看了一坨屎。。。。。。 。我立刻诠释：“我就搜了个动漫名字！”她不信。。。。。。 。我其时也不信我自己——由于我真的只是搜了那串字，，，，，但推荐系统给我的反馈！！！！。 。，，像在指控我是那种半夜偷偷看色情内容的人。。。。。。 。
这件事让我猜疑了很久。。。。。。 。推荐算法到底是怎么判断我的“意图”的？？？？？它为什么能从一个动漫名字遐想到情色内容？？？？？我后来花了几个月拆解这件事，，，，，才发现自己错得离谱，，，，，也错得挺有意思。。。。。。 。
我其时看见的，，，，，和缺的那层知识
当天晚上，，，，，我反复尝试：清空汗青、换账号、用浏览器无痕模式，，，，，再搜一次“《《内衣魔法少女》动漫齐全版百度》”。。。。。。 。了局一样——推荐流里仍旧出现边缘内容，，，，，只是水平轻一点。。。。。。 。我其时的直觉是：百度在监督我的输入，，，，，甚至可能通过摄像头或麦克风读取了我的房间环境（固然我什么都没开）。。。。。。 。这种“被监督赣妆太强烈了，，，，，以至于我差点相信了网上那些“大数据比你自己还懂你”的诡计论。。。。。。 。
但我缺一个关键认知：推荐系统不是读心术，，，，，它只是统计学上的“打标签猜”。。。。。。 。我犯的谬误是，，，，，把“有关性”当成了“因果性”。。。。。。 。
按旧诠释会怎么走偏
若是我只是停顿在“被监督”的恼怒里，，，，，我会得出一个很糟糕的结论：互联网公司不讲路德，，，，，用隐衷换流量。。。。。。 。而后我会卸载所有推荐利用，，，，，去用那些不“偷窥”的工具。。。。。。 。但现实是，，，，，这种“不推荐”的工具往往难用到死，，，，，由于你找不到任何信息。。。。。。 。更麻烦的是，，，，，我可能会从此回绝理解算法的根基逻辑，，，，，造成那种“一键关掉个性化推荐”就以为安枕无忧的人——现实上，，，，，关关个性化推荐后，，，，，系统会用更粗鲁的“热点推荐”来给我塞器材，，，，，更没意思。。。。。。 。
另一个更危险的走偏方向是：我可能会把推荐算法当成“它想操控我”。。。。。。 。好比，，，，，它给我推荐情色内容，，，，，就是为了让我沉迷，，，，，而后卖告白。。。。。。 。这种叙事很盛行，，，，，但经不起斟酌——若是真想操控我，，，，，它应该推荐我真正感兴致的内容，，，，，而不是这种让我狼狈到想删浏览纪录的垃圾。。。。。。 。
关键转变：一颗“西瓜”助我改掉了认知
真正让我理解这件事的，，，，，是另一个不有关的景象。。。。。。 。我有个伴侣是学推算机的，，，，，有一天他给我看了一个经典的推荐系统演示：用一个蕴含1000条用户评价的“西瓜数据集”（就是西瓜好不好吃的评分表），，，，，训练一个单一的协同过滤模型。。。。。。 。他让我在表格里填上我对几种西瓜的评分（甜度、水分、价值等），，，，，而后模型把我和其他用户做匹配，，，，，找到“最像我的那一批人”，，，，，再推荐那些我没尝过但他们喜欢的西瓜。。。。。。 。
我填完，，，，，模型推荐了“麒麟瓜”。。。。。。 。我的确喜欢麒麟瓜。。。。。。 。但问题来了——我填的评分里，，，，，有一项“价值”我给了低分（感触贵），，，，，而模型匹配到的“最像我的那群人”里，，，，，好多人同时给“价值”低分、给“昂贵进口瓜”高分。。。。。。 。这些人还喜欢买一种接装冰淇淋西瓜”的种类（其实就是糖度高的通常瓜）。。。。。。 。模型就因势利导，，，，，给我推荐了“冰淇淋西瓜”。。。。。。 。？？？？上质瞪希，，我讨厌高糖瓜，，，，，由于吃了嗓子疼。。。。。。 。
这个例子让我醍醐灌顶：推荐算法底子不理解“西瓜”和“糖度”的关系，，，，，它只是找到了“和我评分行为类似的人”，，，，，而后盲目复造他们的选择。。。。。。 。它不知路我为什么给价值低分——也许是由于我穷，，，，，而不是由于我感触西瓜性价比低。。。。。。 。这就是“伪有关”的典型阐发。。。。。。 。
回到我的“内衣魔法少女”事务。。。。。。 。我搜索那串关键词，，，，，系统获取到的特点是：用户查问了蕴含“内衣”“魔法少女”“动漫”等词元的字符串。。。。。。 。在汗青数据中，，，，，大量搜索过这些词的用户，，，，，后续点击过情色类内容（可能是这些动漫自身就有擦边标签，，，，，或者搜索这类词的用户群体自身就偏差于浏览成人内容）。。。。。。 。因而协同过滤模型判定：我也属于这个群体，，，，，因而给我推荐了那些内容。。。。。。 。它没佑装读心”，，，，，它只是做了统计上的“物以类聚”。。。。。。 。
机造发展：推荐系统底下到底在转什么
我后来系统地梳理了这件事的底层机造，，，，，或许分三层。。。。。。 。
第一层：用户-物品矩阵与协同过滤
所有推荐系统的基础！！！！。 。，，是构建一个巨大的表格，，，，，行是用户，，，，，列是物品（文章、视频、商品、搜索词等）。。。。。。 。每个格子代表用户对物品的“交互强度”（好比点击、停顿、采办、搜索）。。。。。。 。当你搜索“《《内衣魔法少女》动漫齐全版百度》”，，，，，系统就在你的行里，，，，，往“内衣魔法少女」剽个物品列写了一个很高的交互值。。。。。。 。而后算法会推算行与行之间的类似度——找到那些和你交互模式最像的其他用户，，，，，把他们喜欢的、但你还没碰过的物品推荐给你。。。。。。 。
问题在于，，，，，类似度的推算极度粗糙。。。。。。 。它通常用余弦类似度或皮尔逊有关系数，，，，，只看交互的“状态”，，，，，不看内容寓意。。。。。。 。好比，，，，，我和另一个用户都搜过“内衣魔法少女”，，，，，都点击过统一个动漫论坛，，，，，都浏览过统一部热血番——这些都算“状态类似”。。。。。。 。但那个用户还可能点过情色内容，，，，，而我点的是剧情解析。。。。。。 。算法没法子分辨“为什么点”，，，，，只看“点了没”。。。。。。 。
第二层：冷启动与索求-利用困境
我作为新用户（或者清空汗青后被以为“新”），，，，，系统对我一问三不知。。。。。。 。这时辰，，，，，它偏好用“物品的盛行度”和“物品的关联标签”来试探我。。。。。。 。我搜的“内衣魔法少女」剽个词，，，，，在百度搜索的标签系统中，，，，，被归入“动漫-女性向-性赣坠剽种子类。。。。。。 。系统为了急剧“索求”我的兴致，，，，，就会把统一标签下的高热度物品（好比内衣写真、性感动漫图）推荐给我。。。。。。 。这叫做“冷启动阶段的粗鲁试探”。。。。。。 。
若是我在那之后点击了任何一个推荐内容，，，，，系统就会强化这个方向，，，，，彻底把我推入一个“擦边兴致”的死胡同。。。。。。 。但我其时没点，，，，，只是三次搜索，，，，，所以系统后来才慢慢收敛到正常的动漫推荐。。。。。。 。
第三层：盛行度误差与“伪有关性”陷阱
搜索“《《内衣魔法少女》动漫齐全版百度》」剽个行为，，，，，自身在数据中就是一个“罕见事务”。。。。。。 。由于搜索齐全版动漫的人正本就少，，，，，并且其中相当比例的人的确是在找盗版资源，，，，，而盗版站往往附带情色告白。。。。。。 。所以，，，，，系统在训练时，，，，，会把“搜索这个短语”和“浏览情色”成立统计上的强关联。。。。。。 。这种关联在宏观上可能正确（好比60%的搜索者后续会浏览情色内容），，，，，但对我幼我来说是离谱的误庞祝。。。。。 。这就是“盛行度误差”——算法只关切“大无数人的行为模式”，，，，，而忽略了个别差距。。。。。。 。
再看统一景象：前后理解差在哪
此刻，，，，，当我再看到那个“推荐出内衣写真”的界面时，，，，，我的理解齐全变了。。。。。。 。
之前：它监督我，，，，，它知路我无聊，，，，，它想让我狼狈。。。。。。 。
之后：它只是恰巧把我抛进了一群“和我在搜索行为上类似、但现实兴致分歧”的人所组成的统计桶里。。。。。。 。它没有恶意，，，，，但它佑装懈怠”。。。。。。 。它懒得理解我的真实意图，，，，，只靠汗青数据拼凑一个“最可能的我”。。。。。。 。这个“最可能的我”刚好是一个喜欢擦边内容的宅男，，，，，而不是那个半夜手贱搜奇怪动漫名字的通常人。。。。。。 。
一个关键细节：我后来用电脑登录统一个账号，，，，，在百度搜索“内裤”两个字，，，，，推荐流里满是正常的内裤商品告白，，，，，没有任何情色内容。。。。。。 。这注明，，，，，推荐系统对“物品”的分类极度依赖高低文——搜索“内衣魔法少女”那条了局，，，，，被系统归类为“动漫内容”；；；；；而搜索“内裤”则被归类为“电商商品”。。。。。。 。分类的天堑由训练数据里的标签决定，，，，，而标签往往由人为标注加上汗青用户的点击行为共同建改，，，，，过程既不通明也不不变。。。。。。 。
别人遇到类似线索能够怎么想
这个故事不是让你去疑惑推荐系统，，，，，也不是让你感触“隐衷被加害了”。。。。。。 。而是提供一个更实用的思虑模式：当你看到某个推荐了局让你感触“它怎么知路这个？？？？？”的时辰，，，，，先别急着下“它在监督我”的结论。。。。。。 。试着问自己三个问题：
- 我最近做了什么类似的交互？？？？？ 好比搜了“内衣魔法少女”，，，，，或者点了一个类似标题标链接。。。。。。 。
- 这个交互在数据里可能被贴上什么标签？？？？？ “内衣魔法少女」剽个词，，，，，拆开来看，，，，，“内衣”可能被标为“内衣/性赣妆，，，，，“魔法少女”可能被标为“动漫/女性向”，，，，，组合起来在训练集中容易和“擦边内容”关联。。。。。。 。
- 这个标签的统计样本有多大？？？？？ 若是搜索这个词的人很少，，，，，那系统就只能用“少数人的行为”来揣度所有人，，，，，误判率天然高。。。。。。 。
这套提问步骤，，，，，能够迁徙到好多场景。。。。。。 。好比，，，，，你的购物App忽然推荐了一款你从来没搜过的“孕妇装”，，，，，你可能会吓一跳。。。。。。 。但若是你回顾一下，，，，，昨天你搜过“防辐射服”或者“宽松家居服”，，，，，就能理解系统只是把“防辐射服”和“孕妇装”在汗青数据中做了关联（由于好多孕妇会买这两样）。。。。。。 。它不是知路你有宝宝，，，，，它只是知路“搜防辐射服的人，，，，，有30%也买了孕妇装”。。。。。。 。
当然，，，，，这个思虑模型也有局限：它不能诠释某些极端精准的推荐，，，，，好比你刚和伴侣在微信上聊完某样器材，，，，，下一秒告白就来了。。。。。。 。那种情况可能涉及跨App数据共享（好比微信的接口给了告白平台），，，，，但那是另一层机造，，，，，不在本文会商领域。。。。。。 。我们这里只谈“基于搜索行为自身的推荐误庞妆。。。。。。 。
结尾：一个不算鸡汤的结论
那次搜索“《《内衣魔法少女》动漫齐全版百度》”的经历，，，，，让我学会了一件事：别把算法当成一个有魂灵的读心者，，，，，它只是一个工巧的统计员，，，，，用你留下的痕迹拼凑出一个“最像你的他人”。。。。。。 。这个他人可能比你更无聊、更极端、更贪心，，，，，但算法不在乎，，，，，由于它只在乎拼图能对付着用。。。。。。 。我后来再也没由于推荐内容狼狈过，，，，，由于我知路，，，，，那只是算法在它那堆数字里轻易画了一笔，，，，，而我刚好路过。。。。。。 。
若是你也遇到过类似的“推荐惊悚事务”，，，，，不妨先想想：你刚才做了什么？？？？？那件事在数据里被贴上了什么标签？？？？？统计样本有多大？？？？？想完这三个问题，，，，，你或许率会发现自己只是被一个数学误会给坑了，，，，，而不是被互联网公司扒光了看。。。。。。 。这固然不浪漫，，，，，但至少让人睡得着觉。。。。。。 。
评论区
热点会商 · 展示期待你的精彩讲话。。。。。。 。