Probability and Statistics

概率论的知识遗忘得太多了。重启概率论的笔记，会包含简单的随机过程和数理统计。主要参考李贤平《概率论基础》、叶俊老师的《随机数学》与茆诗松《概率论与数理统计》。也参考 David Williams Probability with Martingales，Durret Probability: Theory and Examples，Kai Lai Chung A Course in Probability Theory 等。测度有关部分，还参考了卢旭光老师的讲义。

1. 分布与空间

Distributions and Spaces

1.1 实直线上的分布

Distributions on the Real Line

概率试图度量随机现象的可能性。经过适当的形式化，许多随机现象最终表现为一个实数值，而我们所询问的，则是这个值落在实数某个子集的可能性。例如，一次测量的结果是否超过某个阈值，一段等待时间是否落在某个区间，都是这样的问题。因此，接下来首先要研究的，就是如何恰当地给出实直线上的概率；我们将 $\mathbb R$ 上的恰当定义的概率称为概率分布，暂且设想它是一个 $\mathbb R$ 的子集到 $[0,1]$ 的映射。将子集 $A$ 的概率记作 $\mu(A)$，$\mu$ 即是我们所称的概率分布。

首先讨论概率必须满足的一些性质。首先，概率满足非负性，即 $\mu(A)\geq 0$；其次，整个实直线包含所有可能的取值，因此 $\mu(\mathbb R)=1$，这称为概率的规范性；空集不包含任何可能的取值，因此 $\mu(\varnothing)=0$；此外，若 $A\subseteq B$，则取值落在 $A$ 中必然意味着它也落在 $B$ 中，因而应有 $\mu(A)\leq \mu(B)$，这一性质称为概率的单调性。

在这些基本性质之下，我们进一步考察概率可以怎样构造。最直接的设想，是为每个单点集指定一个概率，再把一个集合的概率理解为其中各单点集概率的和。由于任意集合都是其单点集的不交并，这一设想也可以表述为：任意一族两两不交集合的并的概率，应当等于这些集合概率的和。（值得一提的是，集合运算是容易拓展到无穷的；例如任意多个集合的并集，仍然是至少属于其中之一的元素组成的集合）我们暂且把上述性质作为额外假设，称为任意可加性。在最平凡的情况下，确实可以这样做。

例 1.1.1 Bernoulli 分布

假设一个随机结果只可能取 $1$ 和 $0$ 两个值，可以将其想象为某事件发生或不发生。给定 $p\in[0,1]$，为 $\{1\}$ 赋予概率 $p$，$\{0\}$ 赋予概率 $1-p$，则对 $\mathbb R$ 的任意子集 $A$，定义 $\mu(A)=p\boldsymbol 1_A(1)+(1-p)\boldsymbol 1_A(0)$。

其中，$\boldsymbol 1_A(x)=\cases{1,x\in A\\0,x\notin A}$ 称为 $A$ 的示性函数，它反映了 $x$ 是否落在 $A$ 中。

抛掷硬币得到正反面朝上是最典型的由 Bernoulli 分布描述的案例。

稍作推广，将可能结果的数量推广至可数集，我们就可以得到离散型概率分布。我们将在推广后的情形下验证定义是良好的。为了作这一推广，需要先对非负项级数的运算规则作一些讨论。为了使得命题简洁一些，此处首先引入广义实数集的概念，即在实数集中引入无穷远点 $+\infty$ 和 $-\infty$；如此做，还可以使后续许多分析命题的陈述和证明得到简化。

定义 1.1.1 广义实数集

广义实数集 $\overline{\mathbb R}=\mathbb R\cup\{+\infty,-\infty\}$，规定对 $x\in\mathbb R$ 满足 $-\infty < x<+\infty$。

广义实数的运算大多沿用实数的运算规则，并作相应的自然延拓，后续在具体需要的时候会展开解释。

对于 $a_n\in [0,+\infty]$，有 $\sum_{n=1}^{\infty}a_n=\lim_{N\to \infty}\sum_{n=1}^Na_n=\sup_{N\in \mathbb N}\sum_{n=1}^Na_n\in[0,+\infty]$，其中 $+\infty$ 对应部分和没有有限上界的情形。因此，任意非负项级数都在 $[0,+\infty]$ 中有确定的和。

命题 1.1.1 非负项级数的换序

设 $a_{mn}\in[0,+\infty],m,n\in\mathbb N$，则 $\sum_{m=1}^\infty\left(\sum_{n=1}^{\infty}a_{mn}\right)=\sum_{n=1}^\infty\left(\sum_{m=1}^{\infty}a_{mn}\right)$。

证明 记 $S_{M,N}=\sum_{m=1}^M\sum_{n=1}^N a_{mn}$，有

同理原等式右侧也等于 $\sup_{M,N\in\mathbb N}S_{M,N}$，故两侧相等，于是命题 1.1.1 得到了证明。

命题 1.1.2 非负项级数的重排

设 $a_{n}\in[0,+\infty],n\in\mathbb N$，设 $\sigma:\mathbb N\to\mathbb N$ 为双射，则 $\sum_{n=1}^\infty a_n=\sum_{n=1}^{\infty}a_{\sigma(n)}$。

证明 记 $S_N=\sum_{n=1}^Na_n, T_N=\sum_{n=1}^Na_{\sigma(n)}$，同时记 $S=\sum_{n=1}^{\infty}a_n, T=\sum_{n=1}^\infty a_{\sigma(n)}$，

对于任意 $N\in \mathbb N$，令 $M_N=\max_{n\le N}\{\sigma(n)\}$，则 $T_N=\sum_{n=1}^{N}a_{\sigma(n)}\le\sum_{n=1}^{M_N}a_n\le S$，故 $T\le S$，

对 $\sigma^{-1}$ 应用同样的论证得到 $S\le T$，故 $S=T$，于是命题 1.1.2 得到了证明，则非负项级数可以任意打乱编号顺序，今后对可数指标集的非负求和将不再特意编号。

定义 1.1.2 离散型概率分布

设 $D=\{x_n\}_{n\in I\subseteq \mathbb N}\subseteq \mathbb R$，其中 $x_n$ 互不相同，取 $\mu(\{x_n\})=p_n$，其中 $\sum_{n\in I}p_n=1,p_n\ge 0$。

定义 $\mu(A)=\sum_{n\in I}p_n\boldsymbol 1_{A}(x_n)=\sum_{n\in I}\mu(\{x_n\})\boldsymbol 1_{A}(x_n)$，这样的概率称为离散型概率分布。

Bernoulli 分布就是其中 $D=\{0,1\}$ 的情形。对于非负性，规范性，以及空集概率为零的验证，均没有什么困难；对于单调性的验证，注意到 $A\subseteq B$ 蕴含 $\boldsymbol 1_A(x)\le \boldsymbol 1_{B}(x)$ 即可，此性质是示性函数的单调性；下面验证离散型概率分布满足任意可加性。

设 $\{A_\alpha\}_{\alpha\in J}$ 是一族两两不交的实数子集，其中指标集 $J$ 不要求可数，验证 $\mu\left(\bigcup_{\alpha\in J}A_\alpha\right)=\sum_{\alpha\in J}\mu(A_\alpha)$。事实上，右侧的和式指标集可能不可数，而我们还不了解不可数和式的一般定义。不过，幸运的是，在这里，至多只有可数个 $A_\alpha$，$\mu(A_\alpha)$ 可能非零。此处的严格叙述是，令 $J_+=\{\alpha\in J:\mu(A_\alpha)>0\}$，即 $\mu(A_\alpha)$ 非零的指标集；对每个 $\alpha\in J_+$，由 $\mu(A_\alpha)=\sum_{n\in I}p_n\boldsymbol 1_{A_{\alpha}}(x_n)>0$，存在 $n\in I$，使得 $p_n>0$ 且 $\boldsymbol 1_{A_{\alpha}}(x_n)>0$（即 $x_n\in A_{\alpha}$），取满足条件的最小下标，记为 $n_\alpha$；由 $A_{\alpha}$ 两两不交，$\alpha\mapsto n_\alpha$ 是从 $J_+$ 到 $I\subseteq \mathbb N$ 的单射，因此 $J_+$ 至多可数。

于是，我们稍加变通即可处理目前面临的情况：对于形如 $\sum_{\alpha\in J}x_\alpha$ 的和式，其中 $x_\alpha$ 均非负，若正项指标集 $J_+=\{\alpha\in J:x_\alpha>0\}$ 至多可数，我们定义 $\sum_{\alpha\in J}x_\alpha=\sum_{\alpha\in J_+}x_{\alpha}$ 即可。于是有

第二个等号用到了 $\boldsymbol 1_{\bigcup_{\alpha\in J}A_\alpha}(x)=\sum_{\alpha\in J}\boldsymbol 1_{A_\alpha}(x)$ 的成立。这是由于 $A_{\alpha}$ 两两不交，所以对于任意固定的 $x$，右侧只有至多一项为 $1$，且当且仅当 $x$ 属于这些集合的并时，该项存在。第三个等号用到了非负项级数的换序。至此完成了定义 1.1.2 离散型概率分布的全部验证。

离散型的情况得到了理想的解决。然而，只要试图考虑在 $[0,1]$ 上均匀取值的分布，就会遇到困难。均匀性至少要求区间内每个单点集具有相同的概率；取 $\mu(\{x\})$ 为正值 $p$，取区间中可数个单点，则它们的概率和为 $+\infty$，即取到这些点的概率为 $+\infty$，而根据单调性，这不应该超过 $\mu([0,1])=1$，故任意单点集的概率只能是 $0$；然而，这又意味着 $\mu([0,1])=\mu\left(\bigcup_{x\in[0,1]}\{x\}\right)=\sum_{x\in[0,1]}\mu(\{x\})=0$，仍然迎来了矛盾。这证明，在这样的情况下，前述假设无法同时成立；而假设中，最可能改动的便是任意可加性。

直觉上，我们仍然希望概率包含某种可加性。离散型分布的讨论已经作出了一些提示。对于一族两两不交的集合，尽管其指标集可以不可数，但在离散型分布下，具有正概率的集合至多只有可数个；因此，离散型分布的任意可加性实质上只涉及可数个非零项的求和。由此，我们尝试放弃不可数族上的可加性，而保留可数可加性，即设 $\{A_n\}_{n\in \mathbb N}$ 是一族两两不交的实数子集，有 $\mu\left(\bigcup_{n=1}^\infty A_n\right)=\sum_{n=1}^\infty\mu(A_n)$。

命题 1.1.3 可数可加性的推论

在保持概率非负性、规范性的前提下，可数可加性蕴含空集概率为 $0$，有限可加性，单调性，可数次可加性（断句为可数-次可加性）及有限次可加性（断句为有限-次可加性）。

证明 取 $A_n=\varnothing$ 证得空集概率为 $0$；有限可加性指任取有限个两两不交的实数子集，其并的概率等于概率的和，这将可数可加性中有限项以外项取为空集证得。

由有限可加性，对 $A\subseteq B$，有 $\mu(B)=\mu(A)+\mu(B\setminus A)\ge \mu(A)$，得单调性，且 $\mu(B\setminus A)=\mu(B)-\mu(A)$，$\mu(A^c)=1-\mu(A)$。

可数次可加性指对任意的 $\{A_n\}_{n\in\mathbb N}$，有 $\mu\left(\bigcup_{n=1}^\infty A_n\right)\leq\sum_{n=1}^\infty\mu(A_n)$，即将可数可加性中的不交去掉，把等于减弱为不等。对此的证明即要求我们排除掉各 $A_n$ 之间重叠的部分，令 $B_1=A_1,B_n=A_n\setminus\bigcup_{k=1}^{n-1}A_k$，则有 $\bigcup_{k=1}^n A_k=\bigsqcup_{k=1}^n B_k$，这称为不交并分解。借助单调性有

易得可数次可加性蕴含有限次可加性，同时还有有限可加性蕴含有限次可加性。至此完成了命题 1.1.3 的证明。

保留可数可加性的条件下，按照我们之前的推理，若希望在 $[0,1]$ 上定义均匀取值的分布，则任何单点集和可数集的概率均应为 $0$。然而，这一条件远不足以确定一个分布，我们还需要进一步刻画均匀的含义。均匀性应当意味着概率不应取决于集合所处的位置；我们将其表述为，将一个集合平移而不改变其形状，也不应改变它的概率。接下来将看到，即使将任意可加性弱化为可数可加性，也不可能在实数所有子集上同时保持均匀性与可数可加性。

例 1.1.2 Vitali 集

我们在 $[0,1)$ 上讨论具有这样的平移不变性的概率，此处去掉一个端点是便于处理平移的边界，可以想象让 $[0,1)$ 首尾相接，并在其上进行循环平移。由于单点集的概率为 $0$，删去区间的一个端点不会影响这里所讨论的均匀分布。在模 $1$ 意义下定义加法为 $x\oplus t=(x+ t)\bmod 1$，定义集合的平移为 $A\oplus t=\{x\oplus t:x\in A\}$，则平移不变性意味着对任意 $A\subseteq [0,1),t\in[0,1)$，均满足 $\mu(A)=\mu(A\oplus t)$。

想要构造出一个无法在上述要求下赋予概率的集合，仿照之前的矛盾，我们需要构造出可数多个两两不交集合，使它们具有相同的概率，且其并集是 $[0,1)$。如此一来，它们的共同概率既不能为正，也不能为 $0$，从而导出矛盾。为了构造出具有相同概率的集合，我们可以考虑利用上述的平移不变性：将平移的步长取遍 $[0,1)$ 间的有理数，我们的目标变为找到一个集合，使它经过这些平移所得的集合两两不交，且恰好覆盖 $[0,1)$ 的实数。这正是下面将采取的方法。

在 $[0,1)$ 上定义关系 $x\sim y\Leftrightarrow x-y\in\mathbb Q$，不难验证这是一个等价关系，因而给出了 $[0,1)$ 的一个划分；利用选择公理，在每一个等价类里取一个代表元，组成集合 $V$，则 $\{V_q=V\oplus q\}_{q\in \mathbb Q\cap[0,1)}$ 即为我们所寻找的可数集族：对任意 $x\in[0,1)$，其所属的等价类具有唯一代表元 $v$ 落在 $V$ 中，且存在唯一有理数 $q\in \mathbb Q\cap[0,1)$，满足 $x=v\oplus q$，这使得 $x$ 唯一地属于此 $V_q$，从而 $[0,1)=\bigsqcup_{q\in\mathbb Q\cap[0,1)}V_q$（此符号表示不交并）。这样构造的 $V$ 即称为 Vitali 集。

我们已经看到了无法在上述要求下被赋予概率的集合，这说明我们的假设还需要进一步削弱。然而，目前已有的平移不变性是均匀分布的核心含义，不能轻易放弃；而若进一步削弱可数可加性，会大大限制我们可使用的分析工具。另一方面，我们注意到 Vitali 集的构造是较为间接的，并且使用了选择公理；在通常的分析与概率问题中，我们较少遇到这样的集合。因此，我们选择限制能够被赋予概率的集合的范围。一方面，这一范围应当对概率运算中必然涉及的补集、可数并等基本集合运算保持封闭；另一方面，我们又不希望无端纳入更多可能导致困难的集合，而只希望从实际需要讨论的基本集合出发。为此，先抽象地刻画具有这些封闭性的集合族。

定义 1.1.3 $\sigma$-代数

设 $\mathcal F$ 是集合 $\Omega$ 的子集族，并满足

  • 包含空集：$\varnothing\in\mathcal F$；

  • 对补集封闭：若 $A\in \mathcal F$，则 $A^c\in \mathcal F$；

  • 对可数并封闭：若 $A_n\in \mathcal F,n\in \mathbb N$，则 $\bigcup_{n=1}^\infty A_n\in \mathcal F$。

则称 $\mathcal F$ 是 $\Omega$ 上的一个 $\sigma$-代数。易见 $\sigma$-代数包含全集。

对于此命名需要解释的是，$\sigma$ 就是可数并或可数和的意思。

命题 1.1.4 $\sigma$-代数的封闭性

$\sigma$-代数对可数交、有限并、有限交、差集封闭。

证明 由 De Morgan 公式，$\bigcap_{n=1}^{\infty}A_n=\left(\bigcup_{n=1}^\infty A_n^c\right)^c$，故对可数交封闭；对有限并和有限交的封闭，在可数并和可数交的剩余部分分别取作 $\varnothing$ 和 $\Omega$ 即得到；$A\setminus B=A\cap B^c$，故对差集封闭。这完成了命题 1.1.4 的证明。

可以看出，为了容纳我们已经有过的讨论中包含的集合运算，我们讨论的集族应当是 $\mathbb R$ 上的一个 $\sigma$-代数。同时，我们所选定的集合范围也应当包含我们希望讨论的基本集合，由此引入了接下来的定义。

定义 1.1.4 子集族生成的 $\sigma$-代数

设 $\mathcal A$ 是集合 $\Omega$ 的一个子集族，包含 $\mathcal A$ 的 $\sigma$-代数总是存在，因 $2^{\Omega}$（即 $\Omega$ 的幂集，$\Omega$ 的所有子集构成的族）是一个 $\sigma-$代数。容易验证，所有包含 $\mathcal A$ 的 $\sigma$-代数的交仍是一个 $\sigma$-代数，则其为包含 $\mathcal A$ 的最小 $\sigma$-代数，称为由 $\mathcal A$ 生成的 $\sigma$-代数，记作 $\sigma(\mathcal A)$。

从定义立即得到，若 $\mathcal F$ 是 $\Omega$ 上的一个 $\sigma$-代数，且 $\mathcal A\subseteq\mathcal F$，则 $\sigma(\mathcal A)\subseteq\mathcal F$，这是因为 $\mathcal F$ 本身就是一个包含 $\mathcal A$ 的 $\sigma$-代数，而 $\sigma(\mathcal A)$ 是其中最小的一个。

这样，我们可以先指定 $\mathbb R$ 上必须讨论的一些集合，再以它们生成的 $\sigma$-代数作为概率的定义域。通常来讲，各种区间都是我们希望讨论的对象；承接离散型分布的讨论，单点集和可数集也应当包含在内。不过，为了简便起见，我们事实上只需指定其中最基本的有界开区间，其生成的 $\sigma$-代数便已经包含上述各类集合。

定义 1.1.5 实直线上的 Borel 集族

$\sigma(\{(a,b):a<b\})$ 称为实直线上的 Borel 集族或 Borel $\sigma$-代数，记作 $\mathcal B(\mathbb R)$，其中集合称实直线上的 Borel 集。

命题 1.1.5 常见的 Borel 集

实直线上的各种区间、单点集和可数集均为 Borel 集。

证明 闭区间 $[a,b]=\bigcap_{n=1}^\infty\left(a-\dfrac1n,b+\dfrac1n\right)$ 是 Borel 集；开射线 $(a,+\infty)=\bigcup_{n=1}^\infty (a,a+n)$ 是 Borel 集，其余射线同理；$(a,b]=(a,+\infty)\setminus (b,+\infty)$ 是 Borel 集，其余区间不再赘述。

单点 $\{x\}=\bigcap_{n=1}^\infty\left(x-\dfrac1n,x+\dfrac1n\right)$ 是 Borel 集；可数集是单点集的可数并，是 Borel 集。

由此证明了命题 1.1.5。这样，Borel 集族包含我们常用的实数子集，并且对所需的基本集合运算封闭。后续在构造出均匀分布后，我们将看到 Vitali 集不是 Borel 集。在历经一番讨论后，我们正式给出概率分布的定义。

定义 1.1.6 概率分布

实直线上的概率分布，是定义在 Borel 集族上的映射 $\mu:\mathcal B(\mathbb R)\to [0,1]$，其满足

  • 规范性：$\mu(\mathbb R)=1$；
  • 可数可加性：对两两不交的 Borel 集族 $\{A_n\}_{n\in\mathbb N}$，有 $\mu\left(\bigcup_{n=1}^\infty A_n\right)=\sum_{n=1}^\infty\mu(A_n)$。

我们立即注意到，这个定义实际上和 $\mathbb R$ 的结构没有什么关系，而只使用到了一个集族。于是，我们略作抽象，做出一个更本质的定义。

定义 1.1.7 测度与概率测度

定义在集合 $\Omega$ 的 $\sigma$-代数 $\mathcal M$ 上的映射 $\mu:\mathcal M\to\mathbb [0,+\infty]$，若其满足 $\mu(\varnothing)=0$ 和可数可加性，即对任意两两不交的 $\{A_n\}_{n\in\mathbb N}$，其中 $A_n\in \mathcal M$，有 $\mu\left(\bigcup_{n=1}^\infty A_n\right)=\sum_{n=1}^\infty\mu(A_n)$，则称 $\mu$ 是 $(\Omega,\mathcal M)$ 上的一个测度。若其还满足 $\mu(\Omega)=1$，则其称为 $(\Omega,\mathcal M)$ 上的一个概率测度，或简称概率。

由定义立即得到，实直线上的概率分布就是 $(\mathbb R, \mathcal B(\mathbb R))$ 上的概率测度。关于一般测度，需要注意 $\mu(\mathbb R)=+\infty$ 的情形。此处需要规定 $\mu(\varnothing)=0$，正是因为之前使用可数可加性推导得到空集概率时，无法排除 $\mu(\varnothing)=+\infty$ 的病态情形。同时，差集公式 $\mu(B\setminus A)=\mu(B)-\mu(A)$ 也无法在无穷情形正常应用，我们无法对 $(+\infty)-(+\infty)$ 作出正确定义。

最后，我们还需对之前的讨论进行回收。由于 Borel 集族对补集和差集封闭，命题 1.1.3 的论证仍然适用。概率分布还满足空集概率为 $0$，有限可加性，单调性，可数次可加性及有限次可加性，也满足差集和补集的公式。此前构造的 Bernoulli 分布和一般离散型概率分布都定义在 $\mathbb R$ 的全部子集上；将其限制在 Borel 集族上，便得到定义 1.1.6 意义下的概率分布。

定义 1.1.6 说明了概率分布应当满足哪些条件，却还没有给出一种直接的构造或表示方式。若直接对各个 Borel 集指定概率，还必须保证这些赋值之间满足复杂的相容关系；若对类似所有开区间这样的集合指定概率，我们尚不清楚如何由此得到任意 Borel 集的概率。接下来，我们将为概率分布寻找一种更易于构造和使用的表示，并探究如何基于这一表示确定一个概率分布。

1.2 分布函数

Distribution Functions

我们的讨论从寻找另一族能够生成 $\mathcal B(\mathbb R)$ 的集合开始。有界开区间含有两个可变端点，这使得问题显得复杂；若能改用只含一个参数的集合，一个概率分布在这些集合上的取值便可以转化为我们熟悉的函数问题。

命题 1.2.1 左闭射线族生成 $\mathcal B(\mathbb R)$

$\sigma(\{(-\infty,x]:x\in \mathbb R\})=\mathcal B(\mathbb R)$。

证明 左闭射线族包含于 $\mathcal B(\mathbb R)$，则 $\sigma(\{(-\infty,x]:x\in \mathbb R\})\subseteq\mathcal B(\mathbb R)$。由 $(-\infty,x)=\bigcup_{n=1}^{\infty}\left(-\infty,x-\dfrac1n\right]$，左开射线属于 $\sigma(\{(-\infty,x]:x\in \mathbb R\})$，进而 $(a,b)=(-\infty,b)\setminus (-\infty,a]$ 属于 $\sigma(\{(-\infty,x]:x\in \mathbb R\})$，则有界开区间族包含于 $\sigma(\{(-\infty,x]:x\in \mathbb R\})$，得 $\sigma(\{(-\infty,x]:x\in \mathbb R\})\supseteq\mathcal B(\mathbb R)$。此处两个方向的论证均使用了生成 $\sigma$-代数的最小性。由此证明了命题 1.2.1。

定义 1.2.1 分布函数

设 $\mu$ 是实直线上的概率分布，称 $F_\mu(x)=\mu((-\infty,x])$ 为 $\mu$ 的分布函数，其中 $F_\mu:\mathbb R\to [0,1]$。在不强调 $\mu$ 时也简记为 $F$。

我们最终希望能够反过来，以一个函数 $F$ 作为原始数据，由它构造并唯一确定一个概率分布 $\mu$。这将成为接下来行文的方式：一边考虑我们目前的 $F$ 已经可以将 $\mu$ 构造和确定到什么程度，一边考虑要获得理想的 $\mu$ 需要使得 $F$ 满足什么性质，二者是相互推进的。

我们首先考虑一些容易确定概率的集合。我们首先知道，$\mu((a,b])=F(b)-F(a)\ge 0$，这揭示了分布函数的单调性，即分布函数必须是一个单调不减的函数。我们接下来就在一个单调不减的函数上展开讨论。

注意到，$(a,b]$ 是我们对左闭射线族运用一次集合运算就可以确定概率的集合，这样的集合还包括 $(x,+\infty)$，它们必须满足 $\mu((x,+\infty))=1-F(x)$。这使得我们意识到，可以按照集合运算和有限可加性，为有限次运算所得的集合给出自然的候选概率；剩下的问题是，不同的运算路径得到同一个集合时，是否必然给出相同的值；如果这也可以做到，那我们确实就得到了在有限次运算所得的集合中唯一满足有限可加性的概率，接下来要讨论的就是它是否满足可数可加性，以及如何将其无歧义地定义到全部的 Borel 集上。

我们接下来就从有限次集合运算可以得到的集合结构入手进行考察。为了便于讨论，首先对于讨论的集合范围进行轻度的抽象，这里的抽象方式在前面已经见过。

定义 1.2.2 集合代数

设 $\mathcal F$ 是集合 $\Omega$ 的子集族，并满足

  • 包含空集：$\varnothing\in\mathcal F$；
  • 对补集封闭：若 $A\in \mathcal F$，则 $A^c\in \mathcal F$；
  • 对并集封闭：若 $A,B\in \mathcal F$，则 $A\cup B\in \mathcal F$。

则称 $\mathcal F$ 是 $\Omega$ 上的一个代数。

运用数学归纳法可以证明集合代数对有限并封闭，同 $\sigma$-代数可证其对有限交和差集封闭。

定义 1.2.3 子集族生成的代数

设 $\mathcal A$ 是集合 $\Omega$ 的一个子集族，所有包含 $\mathcal A$ 的代数的交，即包含 $\mathcal A$ 的最小代数，称为由 $\mathcal A$ 生成的代数，记作 $\operatorname{alg}(\mathcal A)$。

我们所要考察的就是左闭射线族生成的代数。我们期望其中的每个集合都具有唯一的标准形式，从而可以先沿这一标准路径为其赋值，再考察按照其他集合运算路径进行计算时是否仍得到相同的结果。为此，只需验证这一标准赋值确实构成代数上的概率：除已经由定义保证的规范性外，还须验证其非负性与有限可加性；一旦这些性质成立，补集、差集以及一般有限并、交的计算规则便随之成立，因而其他运算路径所得的值必与标准赋值一致。

直觉上，如果一个子集族可以生成整个代数，那代数中的每一个集合应该可以写成这个子集族中集合的有限运算表达式。这样的有限运算表达式首先可以简单地规范为只含交、并、补三类运算和括号的表达式，De Morgan 律可以把补集符号转移到单个集合上，而交集与并集互相的分配律（$(A\cup B)\cap C=(A\cap C)\cup(B\cap C)$，交换交集与并集符号仍然成立）使得我们可以逐层地把并集运算移出所有括号。因此，最终的形式将呈现为“交的并”，且若一共有 $n$ 个集合参与运算，我们可以通过 $A=(A\cap B)\cup (A\cap B^c)$ 的拆分，保证每一个交项都由 $2^n$ 个集合组成，且项数因此不超过 $2^n$，因 $2^n$ 已经遍历了 $n$ 个集合及其补集的全部可能组合方式，多余的项可以去掉。接下来的命题中，我们将对此形式给出证明，但使用一种更干净的方式。

命题 1.2.2 生成代数中集合的有限表示

设 $\mathcal A$ 是集合 $\Omega$ 的一个子集族，对任意 $E\in\operatorname{alg}(\mathcal A)$，均存在有限多个（不妨设为不同）集合 $A_1,\cdots,A_n\in\mathcal A$，使得 $E$ 或者为空集，或者可以表示为若干个两两不交集合的并，每个集合均形如 $\bigcap_{i=1}^nB_i,B_i\in\{A_i,A_i^c\}$，显然这里的若干项可以是有限项。

证明 设 $\mathcal C$ 为满足条件的集族，显然 $\mathcal C\subseteq \operatorname{alg}(\mathcal A)$，只需证明 $\mathcal C\supseteq \operatorname{alg}(\mathcal A)$，又 $\mathcal C\supseteq \mathcal A$ 源于 $\mathcal A$ 中集合 $A=A$ 即为合法的表示，接下来只需证明 $\mathcal C$ 是一个代数。

我们已经注意到，对固定的 $A_1,\ldots,A_n\in\mathcal A$，集合 $B_i$ 共有 $2^n$ 种组合方式。对长度为 $n$ 的 $0$-$1$ 串 $\varepsilon\in \{0,1\}^n$，进一步定义 $B_i^{(\varepsilon)}=\cases{A_i,\varepsilon_i=1\\A_i^c,\varepsilon_i=0}$，并令 $C_\varepsilon=\bigcap_{i=1}^nB_i^{(\varepsilon)}$，则 $C_\varepsilon$ 两两不交，且 $\Omega=\bigsqcup_{\varepsilon\in\{0,1\}^n}C_{\varepsilon}$。

对任意 $E\in\mathcal C$，存在一组如上述定义的集合，使得 $E=\bigsqcup_{\varepsilon \in S \subseteq \{0,1\}^n}C_{\varepsilon}$，$E^c=\bigsqcup_{\varepsilon \in \{0,1\}^n\setminus S}C_{\varepsilon}$，则 $E^c\in\mathcal C$，即 $\mathcal C$ 对补集封闭。

对有限并，只证二元情形，多元归纳即可。对任意 $E,F\in\mathcal C$，设 $E$ 的表示涉及 $A_1,\ldots,A_n\in\mathcal A$， $F$ 的表示涉及集合 $D_1,\ldots,D_m\in\mathcal A$，将这两组集合合并并去重，记为 $G_1,\ldots,G_r\in\mathcal A$，不妨设前 $n$ 项是原本的 $A_i$，对 $\eta\in\{0,1\}^r$ 定义 $H_i^{(\eta)}=\cases{G_i,\eta_i=1\\G_i^c,\eta_i=0}$，以及 $K_{\eta}=\bigcap_{i=1}^rH_i^{(\eta)}$，对 $A_1,\cdots,A_n$ 如前定义 $B_i^{(\varepsilon)}$ 与 $C_\varepsilon$，则 $E=\bigsqcup_{\varepsilon \in S \subseteq \{0,1\}^n}C_{\varepsilon}=\bigsqcup_{\eta|_{\{1,2,\cdots,n\}} \in S \subseteq \{0,1\}^n}K_{\eta}$，这里 $\eta|_{\{1,2,\cdots,n\}} $ 表示在前 $n$ 维上，这说明了 $E$ 可以写成 $K_\eta$ 的不交并，对 $F$ 同理，则 $E\cup F$ 正是两组指标合并后所对应的 $K_\eta$ 的不交并，则 $\mathcal C$ 对有限并封闭。至此完成了命题 1.2.2 的证明。

我们现在要把有限表示搬到左闭射线族生成代数上，并考察有限表示中的每一个交项。注意到，交项中涉及到的每个左闭射线，要么提供它本身，要么提供它补集的右开射线；每一个交项代表的，应当是其中左闭射线端点最左的和右开射线端点最右的二者之交，即实际上是一个左开右闭区间（除空集的可能性以外），不难发现这些交项还构成了实数的一个划分。这给予了我们以下命题。

命题 1.2.3 左闭射线族生成代数的结构

左闭射线族生成代数中的集合或者为 $\varnothing$, 或者为 $\mathbb R$，或者表示为有限个形如 $(a,b],(-\infty,b],(a,+\infty)$ 的区间的不交并。特别地，这个表示在极大区间的前提下是唯一的，此处极大区间 $J$ 指不存在区间 $J’$ 使得 $J\subsetneq J’\subseteq E$。

证明 除 $\varnothing$ 与 $\mathbb R$ 外，任取 $E\in\operatorname{alg}(\{(-\infty,x]:x\in \mathbb R\})$，由命题 1.2.3，$E$ 的表示只涉及有限多个不重复的左闭射线，将相应端点按从小到大的顺序记为 $x_1<x_2<\cdots<x_n$，这些端点将 $\mathbb R$ 划分成 $n+1$ 个两两不交的区间，$I_0=(-\infty,x_1]$, $I_n=(x_n,+\infty)$ 与 $I_i=(x_i,x_{i+1}],
1\le i\le n-1$。下证命题 1.2.2 中出现的每个非空交集都恰好是某个 $I_i$。

设该交集形如 $C=\bigcap_{j=1}^nB_j,B_j\in\{(-\infty,x_j],(x_j,+\infty)\}$，若 $C\not=\varnothing$，则不可能存在 $jx_k$ 和 $x\leq x_j$ 同时被要求，则存在 $i\in\{0,1,\cdots,n\}$，使得对 $j\leq i$ 有 $B_j=(x_j,+\infty)$，对 $j>i$ 有 $B_j=(-\infty,x_j]$，直接验证可得 $C=I_i$，则 $E$ 可以写成某些 $I_i$ 的不交并。

下面构造唯一性。合并编号连续的被选中的 $I_i$，则将 $E$ 表示为了极大区间的不交并，每个极大区间仍然为先前列举的三类之一。若 $E$ 有两种极大区间不交并的表示，取第一种表示的某个极大区间 $J_\alpha$ 中的点 $x$，其落在第二种表示的 $K_\beta$ 中，则 $J_\alpha\cap K_{\beta}\not=\varnothing$，则存在区间 $J_{\alpha}\cup K_{\beta}\subseteq E$，这迫使 $J_{\alpha}= K_{\beta}=J_{\alpha}\cup K_{\beta}$。至此完成了命题 1.2.3 的全部证明。

此处得到了左闭射线族生成代数中集合的标准形式。至此，通过有限次集合运算可以得到的集合，其概率可以简单地由标准形式的不交并中的各区间概率之和唯一确定，且非负性也已因此自动满足，接下来要做的是验证有限可加性，这需要首先把涉及到的集合均拆成标准形式中的区间；这时我们发现并集一侧划分为了极大区间，其可能在另一侧对应多个基本区间，需要证明将这些区间拼接成极大区间后，仍然具有我们想要的赋值。

命题 1.2.4 标准赋值的有限可加性

设 $E\not=\varnothing,\mathbb R$ 属于左闭射线族生成代数，极大区间分解 $E=\bigsqcup_{k=1}^m I_k$ 规定标准赋值 $\mu(E)=\sum_{k=1}^m\mu(I_k)$。$\mu$ 在生成代数上满足有限可加性。

证明 设生成代数中集合 $E_1,\cdots,E_n$ 两两不交，令 $E=\bigsqcup_{i=1}^nE_i$。若某个 $E_i$ 为 $\mathbb R$，则其余 $E_j$ 均为空集，结论显然成立。否则，不妨设其中无空集。设极大区间分解 $E_i=\bigsqcup_{k=1}^{m_i}I_{i,k}$，有 $\sum_{i=1}^n\mu(E_i)=\sum_{i=1}^n\sum_{k=1}^{m_i}\mu(I_{i,k})$。

我们首先证明 $E$ 的极大区间分解与 $E_j$ 的极大区间分解的对应关系。此处约定 $\mathbb R$ 是自身的极大区间分解。设 $E=\bigsqcup_{s=1}^{q}J_s$，其中 $J_s$ 可以为 $\mathbb R$。对每个 $I_{i,k}$，在其中取一点 $x$，则 $x$ 也属于某个 $J_s$，有 $I_{i,k}\cup J_s$ 是包含 $J_s$ 的区间，$J_s$ 作为极大区间只能等于 $I_{i,k}\cup J_s$，这说明了 $I_{i,k}\subseteq J_s$，即每个 $I_{i,k}$ 都包含于某个 $J_s$；另一方面，有 $J_s=\bigsqcup_{I_{i,k}\subseteq J_s}I_{i,k}$，这是由于 $J_s$ 中每个点都需要包含在某个 $I_{i,k}$ 中。

接下来证明基本区间 $I_1,\cdots,I_r$ 的不交并 $J$ 若是基本区间，则有 $\mu(J)=\sum_{l=1}^r\mu(I_l)$。只对不涉及无穷的情况证明，无穷情况稍加改动即得。不妨这些区间已经从左到右排序，由于其两两不交且并为区间，可得两两相接，即 $I_l$ 的端点为 $(x_l,x_{l+1}]$。于是 $\mu(J)=F(x_{r+1})-F(x_1)=\sum_{l=1}^{r}(F(x_{l+1})-F(x_l))=\sum_{l=1}^r\mu(I_l)$。

此时，我们有 $\mu(E)=\sum_{s=1}^q\mu(J_s)=\sum_{s=1}^q\sum_{I_{i,k}\subseteq J_s}\mu(I_{i,k})=\sum_{i=1}^n\sum_{k=1}^{m_i}\mu(I_{i,k})=\sum_{i=1}^n\mu(E_i)$，至此完成了命题 1.2.4 的证明。

我们终于完成了在集合代数上满足有限可加性的赋值构造，这一切都是只在一个单调不减函数 $F$ 的前提下完成的。下一步，我们希望我们的构造还在代数上满足可数可加性，这里的可数可加性只对可数并仍属于代数的情形作出要求。我们同时还将考察，这是否对我们的 $F$ 有更强的要求。

定义 1.2.4 代数上的预测度

定义在集合 $\Omega$ 的代数 $\mathcal A$ 上的映射 $\mu:\mathcal A\to\mathbb [0,+\infty]$，若其满足 $\mu(\varnothing)=0$ 和可数可加性，即对任意两两不交的 $\{A_n\}_{n\in\mathbb N}$，其中 $A_n\in \mathcal A$，若 $\bigcup_{n=1}^\infty A_n\in \mathcal A$，就有 $\mu\left(\bigcup_{n=1}^\infty A_n\right)=\sum_{n=1}^\infty\mu(A_n)$，则称 $\mu$ 是 $(\Omega,\mathcal A)$ 上的一个预测度。

对于一个在代数上满足有限可加性的映射 $\mu$，我们一般只有 $\sum_{n=1}^N\mu(A_n)=\mu\left(\bigcup_{n=1}^N A_n\right)\leq\mu\left(\bigcup_{n=1}^\infty A_n\right)$，取极限后得到 $\sum_{n=1}^\infty\mu(A_n)\leq\mu\left(\bigcup_{n=1}^\infty A_n\right)$。如果可以使 $\mu\left(\bigcup_{n=1}^\infty A_n\right)-\mu\left(\bigcup_{n=1}^N A_n\right)=\mu\left(\bigcup_{n=N+1}^\infty A_n\right)$ 的极限为 $0$，才能够使得取极限后原式取等。这要求我们的 $\mu$ 具有某种连续性。这里需要注意，上述的极限条件推导只对 $\mu\left(\bigcup_{n=1}^\infty A_n\right)<+\infty$ 的情形有效，因其使用了差集的公式。我们接下来对与可数可加性相关的连续性作更准确的刻画，以便于将其迁移到分布函数上。

命题 1.2.5 可数可加性与连续性

设 $\mathcal M$ 是 $\Omega$ 上的代数或 $\sigma$-代数，$\mu:\mathcal M\to [0,+\infty]$ 有限可加。以下涉及到的各集合均需在 $\mathcal M$ 中。记递增集列 $A_n\uparrow A$ 表示 $A_n\subseteq A_{n+1}$ 且 $\bigcup_{n=1}^\infty A_n=A$；递减集列 $A_n\downarrow A$ 表示 $A_n\supseteq A_{n+1}$ 且 $\bigcap_{n=1}^\infty A_n=A$。则以下两性质等价：

  • 可数可加性：若 $\{A_n\}_{n\in\mathbb N}$ 两两不交，则 $\sum_{n=1}^\infty \mu(A_n)=\mu\left(\bigcup_{n=1}^\infty A_n\right)$。
  • 下连续性：若 $A_n\uparrow A$，则 $\lim_{n\to\infty}\mu(A_n)=\mu(A)$。

以下两性质等价且可被上述两性质推出，当 $\mu(\Omega)<+\infty$ 时与上述两性质也等价：

  • 上连续性：若 $A_n\downarrow A$，且存在某个 $\mu(A_n)$ 有限（不妨设为 $\mu(A_1)$，下同），则 $\lim_{n\to\infty}\mu(A_n)=\mu(A)$。
  • 空集上的上连续性：若 $A_n\downarrow \varnothing$ 且 $\mu(A_1)$ 有限，则 $\lim_{n\to\infty}\mu(A_n)=0$。

证明 这里的下连续和上连续可以理解为“从下”和“从上”。

前两性质的等价性源于可数不交并与递增集列之间的相互构造。设 $A_n\uparrow A$，令 $B_1=A_1$，$B_n=A_n\setminus A_{n-1}$，即对 $A_n$ 进行了不交并分解，有 $A_n=\bigsqcup_{k=1}^nB_k,A=\bigsqcup_{k=1}^\infty B_k$。若可数可加性成立，则

这即下连续性。反过来，若下连续性成立，令 $A=\bigsqcup_{n=1}^\infty A_n,S_n=\bigsqcup_{k=1}^n A_k$，则 $S_n\uparrow A$，有

这即可数可加性。

从下连续性推出上连续性，需调转集列的增减，由 $(A_1\setminus A_n) \uparrow (A_1\setminus A)$，$\lim_{n\to\infty}\mu(A_1\setminus A_n)=\mu(A_1\setminus A)$，又由 $\mu(A_1)$ 有限，有 $\lim_{n\to\infty}(\mu(A_1)-\mu(A_n))=\mu(A_1)-\mu(A)$，则 $\lim_{n\to\infty}\mu(A_n)=\mu(A)$。当 $\mu(\Omega)$ 有限时，反方向可以借助 $(\Omega\setminus A_n)\downarrow (\Omega\setminus A)$ 使用完全一致的方法证出。

上连续性推出空集上的上连续性只需取 $A=\varnothing$。反过来，令 $D_n=A_n\setminus A$，有 $D_n\downarrow \varnothing$，且 $\mu(D_1)\le \mu(A_1)$ 有限，有 $\mu(D_n)\to0$，$\mu(A_n)=\mu(A)+\mu(D_n)\to \mu(A)$。至此完成了命题 1.2.6 的证明。值得注意的是，运用不交并分解可证明，$\mu$ 有限时，空集上的上连续性和我们所推导的 $\lim_{n\to\infty}\mu\left(\bigsqcup_{k=n+1}^\infty A_k\right)=0$ 是等价的。

我们由此刻画了 $\mu$ 所满足的连续性，下一步是把这样的连续性迁移到分布函数上，这涉及到分布函数的极限，而对分布函数极限的讨论需要先讨论单调函数的极限性质。列出相关命题如下。

命题 1.2.6 单调函数的单侧极限

设 $F:\mathbb R\to \mathbb R$ 单调不减，则对任意 $x\in\mathbb R$，其左极限和右极限均存在（右极限与左极限分别记为 $F(x+)$ 与 $F(x-)$），且 $\lim_{y\to x^+}F(y)=\inf_{y>x}F(y),\lim_{y\to x^-}F(y)=\sup_{y<x}F(y)$。此外 $F(x-)\leq F(x)\leq F(x+)$。对于其余种类的单调函数有类似的结论。

证明 只对右极限证明。令 $L=\inf_{y>x}F(y)$，对任意 $y> x$，有 $F(x)\le L\leq F(y)$，且由下确界定义，对任意 $\varepsilon >0$，存在 $z>x$，满足 $L\leq F(z)<L+\varepsilon$，并对任意 $y\in(x,z)$ 满足 $L\le F(y)\leq F(z)<L+\varepsilon$，这证明了右极限为 $L$，至此完成了命题 1.2.7 的证明。

命题 1.2.7 分布函数的极限性质

设 $\mu$ 是实直线上的概率分布，$F(x)=\mu((-\infty,x])$ 是其分布函数，则

  • $F$ 右连续；
  • $ \lim_{x\to-\infty}F(x)=0, \lim_{x\to+\infty}F(x)=1.$

证明 $F(x+)$ 存在，则 $F(x+)=\lim_{n\to\infty}F\left(x+\dfrac1n\right)=\lim_{n\to\infty}\mu\left(\left(-\infty,x+\dfrac1n\right]\right)=\mu((-\infty,x])=F(x)$ 得右连续性，这用到的是测度的上连续性。同理有 $\lim_{n\to\infty}F(-n)=\mu(\varnothing)=0$，故可对任意 $\varepsilon >0$，取 $N$ 使得 $F(-N)<\varepsilon$，此时任意 $x<-N$ 均有 $0\le F(x)\le F(-N)<\varepsilon$，得 $\lim_{x\to-\infty}F(x)=0$；对 $x\to+\infty$ 类似。至此完成了命题 1.2.7 的证明。

通过我们所需的赋值性质，我们推断出了 $F$ 的极限性质；现在我们将用于构造的函数 $F$ 给予这些极限性质，并考察它们是否足以保证标准赋值的连续性。无论采取怎样的证明方式，我们都必须跨越有限可加性与可数可加性之间从有限过程到可数过程的界限。抽象的集合运算已经将这一问题归结为空集处的上连续性，这一归结的作用，是避免直接追踪可数多个基本区间之间复杂的拼接关系，将问题统一为递减集列如何逐渐消失；剩下的步骤是，我们需要利用实直线本身的性质，将无穷化为有限。

首先对所要处理的集合结构作更细致的考察。每个集合都可以表示为有限个基本区间的不交并；由于集列递减，后一集合的每个基本区间都包含于前一集合的某个基本区间中。这些区间通过不同方式逐渐消失，它们可能消失于左右端点不断靠近，也可能向正无穷或负无穷移动。如果最终的测度能够趋于零，对于任意 $\varepsilon$，应当存在一个有限阶段，使得各个区间的测度之和小于 $\varepsilon$。这使我们想到，如果先行用一个 $\varepsilon$ 遮蔽掉每个集合的一部分，使得剩下的部分在有限阶段就成为空集，问题就可以得到证明。对用于遮蔽的集合，为了便于处理，我们选择用靠近端点的子基本区间遮蔽每个基本区间的一部分，使得每个基本区间在遮蔽后变为有界左开右闭区间，容易看出这可以做到。

接下来考察，实直线的什么性质能够把可数交为空转化为某个有限交为空；等价地，我们希望知道，在怎样的条件下，所有有限交非空能够推出可数交非空。对遮蔽以后剩余的左开右闭区间而言，递减且可数交为空并不能保证某个有限阶段为空，$\left(0,\dfrac1n\right]$ 可作为反例；不过，将其开端点补入，所得闭区间仍包含于遮蔽前的原区间中，若这些闭区间必在某个有限阶段成为空集，遮蔽后的部分也在该阶段成为空集，而这由实直线上的拓扑结构确实是正确的。我们顺势引入实直线的拓扑结构，即与极限相关的集合结构，主要是实直线上闭集、开集和紧集的概念。

定义 1.2.5 实直线上的拓扑

实直线上，若 $K$ 中的任意收敛数列，其极限仍属于 $K$，则 $K$ 为闭集。开集是闭集的补集。实直线上的有界闭集称为紧集。

闭集在此处可理解为对数列极限封闭。由 $a\le x_n\le b$ 蕴含 $a\le\lim_{n\to\infty} x_n\le b$ 可知闭区间是闭集；因此，有界闭区间的有限并是紧集，这正是前述讨论涉及的。接下来的定理将说明有界性与闭性结合起来所产生的重要性质，在此我们需要以实数的确界原理作为基础，即有上界的集合必有上确界。确界原理的直接推论是单调有界数列必然收敛；例如对单调不减的数列，对任意 $\varepsilon>0$，取与上确界差小于 $\varepsilon$ 的指标，即可使用极限定义证明收敛。

命题 1.2.8 Bolzano–Weierstrass 定理

任意有界实数列都存在收敛子列。

证明 只需证明任意实数列都有单调子列，由有界就得到这一子列收敛。首先尝试从第一个元素开始，不断从后面取出一个不小于当前元素的项，以形成一个不减子列。若这一过程能够一直进行，便已经得到所需的单调子列。考虑无法完成的情形，这说明当前取到的最后一项大于其后的所有项；现在考察元素列中具有大于其后所有项这一性质的项数，若为无穷，则它们直接形成了一个递减子列；否则，从最后一个这样的项的后一项开始，我们便可以通过最初的方法得到不减子列。至此完成了命题 1.2.7 的证明。

将 Bolzano–Weierstrass 定理运用在紧集上，我们就得到，任意紧集中的数列都存在收敛在其中的子列。

命题 1.2.9 实直线上的紧集套定理

非空递减紧集列的交非空。

证明 对每个 $n$，取一点 $x_n\in K_n$。由于集列递减，所有 $x_n$ 都属于 $K_1$，则可取出 $x_{n_k}\to x, x\in K_1$。任取 $m\in\mathbb N$，$k$ 充分大时，$n_k\geq m$，则 $x_{n_k}\in K_{n_k}\subseteq K_m$，$x_{n_k}\to x\in K_m$。由 $m$ 任意，$x\in\bigcap_{m=1}^{\infty}K_m$，至此完成了命题 1.2.8 的证明。

命题 1.2.8 已经解决了如何把无限化为有限的问题，但这依托于剩余的部分仍然是递减列。为为此，前一阶段已经遮蔽的部分还必须继续从后续集合中删去，这使得我们不能相互独立地从每个集合中截去赋值 $\varepsilon$ 的部分；我们选择在第 $n$ 个集合增加 $\dfrac{\varepsilon }{2^n}$ 的遮蔽部分，并将它与此前的遮蔽部分合并，这样对每个集合而言，其被遮蔽的部分总测度仍然不超过 $\varepsilon$。这正是我们的最终方法：将无穷过程中的误差预先分配为可求和的小量，再把集合的消失落实到某个有限阶段。

命题 1.2.10 标准赋值是预测度

前述标准赋值是左闭射线族生成代数上的预测度。

证明 只需证明 $\mu$ 在空集处上连续。由 $F$ 的右连续性以及它在正负无穷处的极限，任取 $\varepsilon>0$，对每个 $n$，可以用赋值小于 $\dfrac\varepsilon{2^n}$ 的有限个基本区间遮蔽 $E_n$ 的端部。具体地，对分解得到的每个基本区间，若其为 $(-\infty,b]$，则对应取 $(-\infty,-M]$，若其为 $(a,b]$，则对应取 $(a,a+\delta]$，若其为 $(a,+\infty)$，则对应同时取 $(M,+\infty)$ 和 $(a,a+\delta]$，使得取出的所有集合赋值之和小于 $\dfrac\varepsilon{2^n}$，其并记为 $D_n$。

由此 $E_n\setminus D_n$ 变为有限个 $(a,b]$ 的并。实际遮蔽 $E_n$ 的集合 $\bigcup_{k=1}^n D_k$ 满足 $E_n\setminus\left(\bigcup_{k=1}^n D_k\right)=\bigcap_{k=1}^n(E_n\setminus D_k)$，这仍然是有限个 $(a,b]$ 的并；改变 $(a,b]$ 为 $[a,b]$，其并仍然是原始 $E_n$ 并的子集，于是构成交为空的递减紧集列，故存在 $N$ 使得 $\bigcap_{k=1}^n(E_n\setminus D_k)$ 对任意 $n>N$ 是空集，同时借助有限次可加性还有

由此完成了命题 1.2.10 的证明。

1.3 分布的分解

Decomposition of Distributions

1.4 概率空间

Probability Spaces

1.5 随机变量

Random Variables