概率论

概率论是用于表示不确定陈述（Statement）的数学框架，它提供了量化不确定性的方法，使我们能够做出不确定的陈述以及在不确定性存在的情况下的推理；而信息论使我们能够量化概率分布中的不确定性总量。

Probability theory is nothing but common sense reduced to calculation.：Pierre Laplace

不确定性

几乎所有的活动都需要一些在不确定性存在的情况下进行推理的能力。事实上，除了那些被定义为真的数学声明，我们很难认定某个命题是千真万确的或者确保某件事一定会发生。不确定性有三种可能的来源：

• 被建模系统内在的随机性。例如，大多数量子力学的解释，都将亚原子粒子的动力学描述为概率的。我们还可以创建一些我们假设具有随机动态的理论情境，例如一个假想的纸牌游戏，在这个游戏中我们假设纸牌被真正混洗成了随机顺序。
• 不完全观测。即使是确定的系统，当我们不能观测到所有驱动系统行为的变量时，该系统也会呈现随机性。例如，在Monty Hall问题中，一个游戏节目的参与者被要求在三个门之间选择，并且会赢得放置在选中门后的奖品。其中两扇门通向山羊，第三扇门通向一辆汽车。选手的每个选择所导致的结果是确定的，但是站在选手的角度，结果是不确定的。
• 不完全建模。当我们使用一些必须舍弃某些观测信息的模型时，舍弃的信息会导致模型的预测出现不确定性。例如，假设我们制作了一个机器人，它可以准确地观察周围每一个对象的位置。在对这些对象将来的位置进行预测时，如果机器人采用的是离散化的空间，那么离散化的方法将使得机器人无法确定对象们的精确位置：因为每个对象都可能处于它被观测到的离散单元的任何一个角落。

概率的理解

概率论是机器学习中的重要角色，对于概率的理解往往有两种不同的方式：频率学派与贝叶斯学派。频率论解释（Frequentist Interpretation）的观点中，概率代表着某个事件在较长范围内的出现频次。譬如这里的抛硬币问题可以阐述为，如果我们抛足够的次数，我们会观测到正面朝上的次数与反面朝上的次数基本相同。

另一种即时所谓的贝叶斯解释（Bayesian Interpretation），我们认为概率是用来衡量某件事的不确定性（Uncertainty），其更多地与信息相关而不再是重复尝试的次数。用贝叶斯理论阐述抛硬币问题则为下一次抛硬币时正面朝上的可能性与反面朝上的可能性相差无几。贝叶斯解释的最大优势在于我们可以去为事件的不确定性建立具体的模型而不再依赖于多次试验得出的频次结果。譬如我们要去预测2020年世界杯的冠军，我们肯定不能让球队比赛很多次来观测频次计算概率，这件事只会发生零或一次，反正是无法重复发生的。基于贝叶斯理论我们便可以利用可观测到的数据推测该事件的结果概率，典型的应用是垃圾邮件过滤系统中，我们可以根据带标签的训练数据来对新的邮件进行判断。

随机变量

随机变量（Random Variable）是可以随机地取不同值的变量。我们通常用无格式字体（Plain Typeface)中的小写字母来表示随机变量本身，而用手写体中的小写字母来表示随机变量能够取到的值。例如，$x_1$和$x_2$都是随机变量$\mathrm{x}$可能的取值。就其本身而言，一个随机变量只是对可能的状态的描述；它必须伴随着一个概率分布来指定每个状态的可能性。

随机变量可以是离散的或者连续的。离散随机变量拥有有限或者可数无限多的状态。注意这些状态不一定非要是整数；它们也可能只是一些被命名的状态而没有数值。连续随机变量伴随着实数值。