ChatGPT 的胜利，是概率论的胜利，也是贝叶斯定理的胜利

原创丨张天蓉

来源丨 知识分子

于 2022 年底问世的 ChatGPT，震撼了互联网。不由得使人联想起 2016 年初的 AlphaGo，挑战人类顶级围棋大师李世石的故事。我在 2017 年出版的一本概率科普书中【1】，对当年人工智能的状况稍有描述，那算是 AI 的第二次革命，深度机器学习和自然语言处理（NLP）刚起步。没想到短短几年过去，第三次 AI 浪潮滚滚而来，基本搞定了自然语言的理解和生成难题，以 ChatGPT 发布为里程碑，开辟了人机自然交流的新纪元。

图 1：OpenAI 发布 ChatGPT

人工智能（AI）的想法由来已久，英国数学家艾伦・图灵，不仅仅是计算机之父，也设计了著名的图灵试验，开启了人工智能的大门。如今，人工智能的应用已渗入到我们的日常生活中。它的成功崛起，来源于计算机的飞速发展、云计算的兴起、大数据时代的来临，等等。其中，与大数据有关的数学基础主要是概率论。因此，此文就聊聊 ChatGPT 与概率相关的一个方面，更具体来说，是与几百年前的一个人名有关：贝叶斯。

概率论和贝叶斯

针对概率论，有法国牛顿之称的拉普拉斯（1749 年 - 1827 年）曾说：

“这门源自赌博机运之科学，必将成为人类知识中最重要的一部分，生活中大多数问题，都将只是概率的问题。”

两百多年之后的当今文明社会，证实了拉普拉斯的预言。这个世界充满了不确定性，处处是概率，万物皆随机。无需抽象定义，概率论的基本直观概念早已渗透到人们的工作和生活当中，小到人人都可以买到的彩票，大到星辰宇宙，复杂到计算机和人工智能，都与概率密切相关。

那么，贝叶斯又是谁呢？

托马斯・贝叶斯（Thomas Bayes，1701 年 - 1761 年），是 18 世纪的一位英国数学家、统计学家，他曾经是个牧师。不过他“生前籍籍无名，死后众人崇拜”，在当代科技界“红”了起来，原因归结于以他命名的著名的贝叶斯定理。这个定理不仅在历史上促成了贝叶斯学派的发展，现在又被广泛应用于与人工智能密切相关的机器学习中【2】。

贝叶斯做了些什么？当年，他研究一个“白球黑球”的概率问题。概率问题可以正向计算，也能反推回去。例如，盒子里有 10 个球，黑白两种颜色。如果我们知道 10 个球中 5 白 5 黑，那么，如果我问你，从中随机取出一个球，这个球是黑球的概率是多大？问题不难回答，当然是 50%！如果 10 个球是 6 白 4 黑呢？取出一个球为黑的概率应该是 40%。再考虑复杂一点的情形：如果 10 个球中 2 白 8 黑，现在随机取 2 个球，得到 1 黑 1 白的概率是多少呢？10 个球取出 2 个的可能性总数为 10*9=90 种，1 黑 1 白的情况有 16 种，所求概率为 16/90，约等于 17.5%。因此，只需进行一些简单的排列组合运算，我们可以在 10 个球的各种分布情形下，计算取出 n 个球，其中 m 个是黑球的概率。这些都是正向计算概率的例子。

不过，当年的贝叶斯更感兴趣的是反过来的“逆概率问题”：假设我们预先并不知道盒子里黑球白球数目的比例，只知道总共是 10 个球，那么，比如说，我随机地拿出 3 个球，发现是 2 黑 1 白。逆概率问题则是要从这个试验样本（2 黑 1 白），猜测盒子里白球黑球的比例。

也可以从最简单的抛硬币试验来说明“逆概率”问题。假设我们不知道硬币是不是两面公平的，也就是说，不了解这枚硬币的物理偏向性，这时候，得到正面的概率 p 不一定等于 50%。那么，逆概率问题便是企图从某个（或数个）试验样本来猜测 p 的数值。

为了解决逆概率问题，贝叶斯在他的论文中提供了一种方法，即贝叶斯定理：

P (A|B) =（P (B|A) * P (A)）/P (B) (1)

这儿，A、B 是两个随机事件，P (A）是 A 发生的概率；P (B）是 B 发生的概率。P (A|B)、P (B|A)，称为条件概率：P (A|B）是在 B 发生的情况（条件）下 A 发生的概率；P (B|A）是在 A 发生的情况下 B 发生的概率。

应用贝叶斯定理的例子

可以从两个角度来解读贝叶斯定理：一是“表述了两个随机变量 A 和 B 的相互影响”；二是“如何修正先验概率而得到后验概率”，以下分别举例予以说明。

首先，初略地说，贝叶斯定理（1）涉及了两个随机变量 A 和 B，表示两个条件概率 P (A|B) 和 P (B|A）之间的关系。

例 1：某小城一月份治安不太好，30 天内发生入室抢劫案 6 起。警察局有一个警报器，有事发生时便会拉响，包括火灾、暴风雨等天灾，及偷盗、强奸一类的人祸。一月份时，警报器每天都响。并且，从过去的经验，如果有居民遭入室抢劫时，警报器响的概率是 0.85。现在人们又听到了警报声，那么，这次响声代表入室抢劫的概率是多少呢？

分析一下这个问题。A: 入室抢劫；B: 拉警报。然后，我们已知（一月份）：

入室抢劫的概率 P (A) = 6/30 = 0.2；拉警报的概率 P (B) = 30/30 = 1；P (B|A) = 入室抢劫时拉警报的概率 = 0.85。

所以，根据公式（1），代入已知的 3 个概率，计算得到 P (A|B) =（0.85*0.2/1）= 0.17。

也就是说，这次“警报响的原因是有人入室抢劫”的概率是百分之十七。