用算法背后的道理指导自己生活中的决策.docx

用算法背后的道理指导自己生活中的决策.docx

《用算法背后的道理指导自己生活中的决策.docx》由会员分享，可在线阅读，更多相关《用算法背后的道理指导自己生活中的决策.docx（8页珍藏版）》请在冰豆网上搜索。

用算法背后的道理指导自己生活中的决策

用算法背后的道理指导自己生活中的决策

听过了很多道理，却依然过不好这一生。

这是很多人

的困惑。

这篇小文想讲的是，任何一场科技中的浪潮，都

会带来方法论上的变革。

关于人生中的抉择，人们总是用

当前最热门科技中的概念去类比。

正如 Carl Sagan 所说：

Science is a way of thinking much more than it is a body of

knowledge。

授人以鱼不如授人以渔，了解了方法论的变革，

才会带来元认知上的升级换代。

在过去，当我们站在人生选择的十字路口，我们会从古代

先哲的话中去寻找启迪，会听从当地宗教领袖的话，到了

启蒙运动之后，社会的主流意见变成了听从你内心的声音。

然而，随着数据在我们的生活中占据了越来越重要的位置，

我们做决策时也需要拿出数据和图表，用量化的数据以及

算法来指导我们的决策，而不只是做你自己喜欢的事。

为什么我们不应该只追随自己的 inner voice 了？

这是因为

当代心理学，及其衍生出来的行为经济学已积累了足够的

证据，说明人类会系统性的犯错误。

关于这个话题，最著

名的论述就是《思考，快与慢》这本书，另一本值得看的

书是进化的 '乱乱脑'是怎么让你不完美的。

另一方面，在《A brief history of tomorrow》这本书中，作

者指出，做出明智的决策，自我意识的存在不是必要条件，

很多 Non-conscious but highly intelligent 的算法即将在未来

变得比我们更加了解自己。

但我们有些时候却不愿相信算

法帮我们做出的决策，尤其在面对人生的关键选择时，例

如，你愿意你的终身大事被算法安排吗？

当一个程序告诉

你，你应该和 A 结婚，尽管你觉得 B 更有魅力时，你会听

程序的安排吗？

要回答这个问题，最好我们先了解程序背

后的算法逻辑，否则在对算法一无所知的情况下做出的选

择，不会是一个 well-informed chocie。

在不久的将来，算法

将会或显或隐的影响你的选择，你准备好相应的心智模块

了吗？

举一个具体的例子，假如一个非常优秀的人参加选秀节目，

已知追求的他的人有有限个，例如 10 位，选秀节目规定，

他不能脚踏两只船，即不能同时和两个人交往，如果在交

往之后他没有接受这个人，那么，以后也没有机会再选择

这个人作为对象。

然后接着和下一个人交往。

他该怎么办？

对这个问题的回答，有两种思考方式，先说机器学习的方

式。

一个做机器学习的人拿到这个问题，首先会做的是收

集数据，假设上面提到的选秀节目进行了 100 期，那么要

收集的数据包括这一百期节目中每位男嘉宾的年龄，学历，

身高，职业等 structure data，还会收集台上发生的对话这样

unstucture 的 data，最后在通过对每位女嘉宾的事后访谈，

确定各位女嘉宾是否后悔自己的选择，是否和男嘉宾有更

多的发展。

之后将所有的这些数据放入多个模型中，目标

是找出一套规律来，来指导未来参加这个节目的女嘉宾，

让她们能做出让她们最不后悔的选择。

不同的模型给出的

规律会各有不同，有的模型很简单，会告诉女嘉宾找和自

己年龄相差最小的，有些规则会很复杂，会告诉女嘉宾去

找又高又年轻的程序员但是却要比自己大 1 岁到 3 岁。

（咳

咳）

另一种方法是传统的数学模型，关于上文提到的问题，有

一个现成的数学理论可以去对这个问题给出最优解。

Optimal Stop Theory 是一个在金融衍生品定价中应用很广

泛的理论，假设每个女嘉宾可以对男嘉宾给出一个唯一的

打分，但女嘉宾不清楚这届男嘉宾的整体水平怎么样，需

要拿前几个去摸索一下自己应该把标准定的多高，又担心

久久不选择，错过了最好的那个，那么 Optimal Stop Theory

给出的答案是 37%，在 37%之后，女嘉宾应该不要犹豫，

只要遇到一个比之前的选择都得分高的男嘉宾，该将就就

将就吧。

（咳咳） 对于这个问题的数学建模，感兴趣的童

鞋可以自己去推算出上文提到 37%来。

在男嘉宾的数目不

同时，女嘉宾按 Optimal Stop Theory 应该采取的最优策略，

以及对应的有多少比例找到这一组中男嘉宾中最好的那个，

有 63%的概率遇不到最好的那个这不是一个好消息，但从

另一方面来看，Optimal Stop Theory 保证了不管男嘉宾有多

少个，女嘉宾总能有差不多的几率找到最好的那个。

将选秀节目中的场景反射到生活的时间之流中。

我们每个

人也都会遇到或多或少几个追求者，也会在到底是该等待

唯一的那个人，还是就这么嫁了中彷徨。

假设我们的平均

寿命是 90 岁，那么 Optimal Stop Theory 告诉你可以在 33

岁前去 explore 你的选择，过了 33 岁之后，再选择遇到的

最好那个不迟。

下次再遇到逼婚的，就可以给父母亲戚推

一推公式，告诉他们数学家已经证明了，再等几年是最优

的选择。

（咳咳）

比较一下机器学习和传统的数学建模的方式，机器学习处

理的多维的，复杂的数据，其模型相比数学模型，需要更

少的假设条件，其得出的结论，不会保证其一定是最优的。

而数学建模，首先假设了男嘉宾出现的次序和其质量是独

立的，更重要的是，其要求女嘉宾对每一个男嘉宾有一个

唯一的打分，如果真的能这样，生活中的选择就简单多了。

所以说，尽管机器学习有时会给出一些不那么靠谱的选择，

在面对现实的问题时，不过度的简化问题，是给出的解答

有用的一个必要条件。

不过，不管是那么方法得出的答案，数据指导的思考方式

要求你去做验证，要求你去质疑的假设，并看看将某些假

设做了修改后，答案又会变成怎样。

比如上文提到的问题，

如果假设在女嘉宾拒绝了男嘉宾后一次，男嘉宾还会接受

女嘉宾，那么女嘉宾的最优选择应该是什么了？

又比如女

嘉宾能给男嘉宾一个 0 到 100 之间的评分，而不是不清楚

这届男嘉宾的分数上下限的时候，又应该采取什么样的策

略了，数据时代，首先要说的质疑你的假设。

关于验证你

的结论，最弱的证据是个人的 personal story，稍微强一些的

是 case study，即名人的传记访谈，因为第三方的视角会去

除掉自我记忆的和认知中的偏见。

更好的证据是 Statistic，

比如查一查结婚的年龄和离婚率是否相关，如果在 20 到 40

岁之间，排除其他因素，结婚年龄太早或者太晚的离婚率

很高，再通过问卷调查，得出对婚姻的满意程度，结果发

现按照当时的预期寿命，相应年龄结婚的伙伴满意度最高，

那么说明 Optimal Stop Theory 还是有一定道理的。

比统计更高级的验证是机器学习中最常用的 Cross

Validation。

举个例子，5 fold Cross Validation 将已知的数

据分成 10 份，选 8 份作为训练数据集，将这些数据丢给模

型，然后在剩下的两份数据上去检测模型的效果。

然后重

复这个过程 5 次，直到每份数据都做了一次测试数据了。

Cross Validation 是为了保证训练出的模型不会把数据中噪

音放大，然而其背后的思想则是我们对现实的认识的不完

全的，因此训练时数据少一些，是必然的。

模型不能要求

麦克斯韦妖那样的全知全能，而要在部分可见的情况下给

出相对靠谱的对整体的预测。

这种对自己的未知谦卑的态

度，让人想起了“认识你自己”这句古希腊的格言。

如果

将机器学习的算法看成是一个认知策略，那么认识你自己

说的就是 meta-learning，即是将不同的算法结合起来，取长

补短，从而更快得到（收敛出）更好的结果。

机器学习的

方法框架和循环，实现模型，验证模型，分析模型的效果

和优缺点，在一轮轮的迭代中持续改进模型。

之后，想谈一谈上文案例反映的一个更深层次的权衡

（tradeoff），Explore vs Exploit。

我们年轻的时候，总是忍

不住想去看一看世界，所谓的没有看过世界，哪来的世界

观，而当年纪渐长，就应有所立足，在某一个领域有所专

注，从而 exploit 自己之前积累的见识，这固然会让你觉得

生活不在像之前那样丰富多彩，新的刺激会减少，然而这

是生命的常态，如同熵增一样不可避免。

要想生命之树常

青，除了认识到时间箭头不可逆带来的新朋友新经历越来

越少，就是要在自己横向的处理问题时把握好这个权衡，

做到既不 over explore，也不 over exploit。

over exploit 带来

的问题是 overfitting，这个机器学习中的概念对应是生活中

的阴谋论或者对文本的过度解读。

比如用一条线连接下图

的五个点。

overfiting 的答案是这样一条包含五个参数的弯

弯曲曲的曲线，这条曲线虽然在这五个点上误差极小，但

当加入一个新的点之后，结果就不那么好了。

这里更好的

解答应该是一条包含两个参数的直线。

阴谋论将几个看似

不相关的事件用一个不那么简单直接的故事连接起来，在

阴谋论为何总是错的？

中，对阴谋论有更深入的分析，感

兴趣的小伙伴可以点击查看。

犯了 over exploit 这种错误的小伙伴，总想着找出一个一招

鲜吃遍天的法子来，在数据收集的还不够充分的时候，机

器学习的方法既可以放大数据中的规律，也可以放大其噪

音，只有更多的数据才能解决这个问题。

比如下图中的下

一个图形该是哪一个，有两种可能的解答，这两种规律哪

一个才是我们真正关心的了？

只有更多的数据才能回答。

over explore 的问题也许更多人更加熟悉，信息过载这个词

很多人会觉得陌生，然而当看到那数不清的朋友圈，每日

头条的诸多推送，你就会明白什么叫 information overload

了，关于这个问题，可以参考如果用刷朋友圈的时间读一

本书，能读多少本？

和我应该删掉多少好友，屏蔽多少朋

友圈。

over explore 让人成为只会读兵书的赵括马谡，让人

们以为知道了很多碎片化的知识，却无法形成体系。

over explore 的一个解毒药是机器学习中 No free lunch 定理，

我们在机器学习中衡量两个算法，到底孰优孰劣，该怎么

考虑？

“没有免费的午餐定理”仿佛给了一个很令人

depressing 的答案：

针对某一域的所有问题，所有算法的期

望性能是相同的。

注意，这里有两个关键词，某一域的

“所有”，和“期望”性能。

所以它并没有否认两个算法有

优劣之分，并且事实上还提供了一个视角让我们理解为什

么在机器学习中，我们可以选择算法的优劣性。

No free lunch 告诉我们，没有一个适用于所有问题的通用方

法。

机器学习的诸多方法各有各的适用场景，需要使用者

因地制宜的去选择。

这个定理还告诉我们，即使收集到了

全部的数据，我们也无法一锤定音的找到一个一成不变的

最优方案。

这对从事机器学习人来说是个好消息，说明其

工作要被计算机取代，还需要一段时间，任何机器学习算

法成功的背后，都是很多人持续的选择和分析一点一滴堆

出来的胜利。

数据思维带给我们的启示，除了用数据去支持你人生的决

策外，另一点是去关注 explore 和 exploit 自己的平衡，不

要犯上面提到的两类错误。

知道何时该停止试水的 Optimal

Stop Theory，无疑可以在这方面给予读者启迪。

而另一方，

我们可以通过制度的设计来帮助大家去做出更好的选择。

Taleb 的反脆弱（参考杀不死我的东西，使我变得更强

大｜BetterRead）中提到 Have an skin in the game，说的是当

你需要为你的言论买单时，你会更注重你发言的质量，更

加深思熟虑。

而通过市场机制去将众多人的观点综合起来

的制度，就是 Superforcast 这本书中提到的预测市场。

比如

你想知道美国大选谁的胜率高，民调的结果不靠谱，因为

很多选民会在投票时变卦，专家的意见更加不靠谱，专家

都有自己的偏见，那该听谁的？

有这么一个市场，你可以

针对各种事情下注，从 NBA 得冠军到石油价格的涨跌，这

个市场上你可以自由的交易自己的赌注。

通过对这个市场

的观察，那么就可以得出最靠谱准确的预测来。

这就是通

过市场的扩展秩序来发掘人群中的私人的隐形知识，同时

避免噪音的干扰。

如果能综合利用到更多人的观点，预测的准确度会不会提

高了，脑补这样一种未来，人们不止是为了接受信息付费，

还能为了传播观点承担风险。

具体的举个例子，如果你写

了一篇，或者转发了一篇支持希拉里当下一任美国总统的

文章，然后在发表时后台系统的自然语言处理系统识别出

了你文章中的观点，要求你付一笔钱，到时候如果希拉里

赢得了大选，你会按照出价时的赔率获得相应的赔偿，若

是你猜错了，你会损失这笔钱。

或者你在这样的预测市场

上下了注，你写了篇文章解释你为什么要下注。

这里的要

点是要想发出声音，你需要花钱，愿意将越多的钱用来做

风险投资，你的声音就越大，就会被置顶，被更多人听到。

这会不会通过金钱上的刺激，使你更加注重 explore 和

exploit 之间的权衡，从而提高下一届朋友圈的信息水准，

那些传播阴谋论的，会赌他们预测那末日即将到来，然后

天下太平，他们失去了自己的赌注，从而只能发出更小的

声音。

而那些只收集信息的人，则失去了将自己的洞见变

现的机会。

优胜劣汰，在这样的舆论生态圈中，活下去的

都会是智者，而无论是做投资的，亦或是普通人，都可以

从这样的预测市场中受益，就像我们从市场经济中获得了

高质量的物质资源，结合了自然语言处理的预测市场将会

为我们的注意力资源的合理分配提供一种可能性。

总结的 Take home messageALWAYS Test / Cross

validationMIND tradeoff between explore vs exploitTAKE risk

for your opinionMEDEL your life choiceAS problem in math/

machine learningQUESTION your assumptionNOT confuss

over-interpretation with ruleREALITY need open mind thinking

如同古代的藏头诗，算法和数据思维也不是万能的，always

mind，take model as question，not as reality。

生命之树长青，

只要你还愿意接受新的观点，新的数据。

感谢 深大王雄老师组织的南山深度学习读书会中提供的机

会，让我能够和更多的大牛请教分享自己的心得体会。

本文的标题是一本推荐的书 参考 Algorithm to live by 读书

笔记 我们该不该自动化我们的决策。

更多阅读

七年之痒信息格局论未来简史 读书笔记