一个函数把整个分布都记住了

g(t) = exp(λ(e^t−1))，逐阶求导得各阶矩

原书原文（英文）

Let $X$ have range $\{0,1,2,3,\ldots\}$ and let $p_X(j) = e^{-\lambda}\lambda^j/j!$ for all $j$ (Poisson distribution with mean $\lambda$). Then

$$g(t) = \sum_{j = 0}^{\infty} e^{tj} \frac{e^{-\lambda}\lambda^j}{j!} = e^{-\lambda} \sum_{j = 0}^{\infty} \frac{(\lambda e^t)^j}{j!} = e^{-\lambda} e^{\lambda e^t} = e^{\lambda(e^t - 1)}.$$

Then

$$\mu_1 = g'(0) = \left. e^{\lambda(e^t - 1)}\lambda e^t \right|_{t = 0} = \lambda,$$

$$\mu_2 = g''(0) = \left. e^{\lambda(e^t - 1)} (\lambda^2 e^{2t} + \lambda e^t) \right|_{t = 0} = \lambda^2 + \lambda,$$

$\mu = \mu_1 = \lambda$, and $\sigma^2 = \mu_2 - \mu_1^2 = \lambda$.

The variance of the Poisson distribution is easier to obtain this way than directly from the definition (as was done in Exercise 6.2.100).

一句话能装下整个分布吗

数学里最奢侈的想象是这个：能不能用一句话，装下一整个分布？

泊松分布是这么一个东西：一个随机变量 $X$ 取 $0,1,2,3,\dots$，取到 $j$ 的概率是

$$p_X(j) = e^{-\lambda}\frac{\lambda^j}{j!}, \qquad j = 0, 1, 2, \dots$$

这已经是一个无穷长的数列了。想知道它的均值，要算一条无穷级数；想知道它的方差，要算两条（$E[X^2]$ 还得先算）。每一条都是 $\sum_{j=0}^{\infty} j^k e^{-\lambda}\lambda^j / j!$ 这种长相。

本篇要讲的是一个几乎是魔法的手法：给这个无穷数列配上一个函数，然后把"求均值""求方差"这种苦活，全变成"求导再代入 0"。

公式只有一行：

$$g(t) = e^{\lambda(e^t - 1)}.$$

就这么一个东西。下面会看到，它对 $t$ 求一次导、代入 $t=0$，就吐出均值；求两次导、代入 $t=0$，就吐出 $E[X^2]$。均值、方差、乃至所有矩，全在这一个函数里。

这个函数是怎么被造出来的

先说它从哪来，否则那个 $e^t$ 看起来很突兀。

给一个离散随机变量 $X$，定义它的矩母函数（moment generating function）：

$$g(t) = E[e^{tX}] = \sum_{j} e^{tj}\, p_X(j).$$

读法：把每个取值 $j$ 乘上 $e^{tj}$，再按概率加权求和。

$e^{tj}$ 这个因子是整个手法的核心。 为什么偏偏是它？因为它有个无可替代的性质——对 $t$ 求导会把 $j$ 提到前面来：

$$\frac{d}{dt} e^{tj} = j\, e^{tj}.$$

求一次导，出来一个 $j$；求两次导，出来一个 $j^2$。这正是"矩"的定义需要的因子。

$E[X]$ 是 $\sum j\,p_X(j)$，$E[X^2]$ 是 $\sum j^2 p_X(j)$——只要能在求和号里边求导边提出 $j$，这些和就自动排好了。而 $e^{tj}$ 是干这个活的最佳工具。

所以到 $t=0$ 处求导（那里 $e^{tj}=1$，因子自动消失），就能逐级取出各阶矩：

$$g'(0) = E[X], \qquad g''(0) = E[X^2], \qquad \dots$$

这个"边求导边提因子"的做法，数学上要求 MGF 在 $t=0$ 附近存在（泊松分布的 $g(t)$ 对一切实数 $t$ 都有定义，满足）。这也是为什么不是每个分布都有 MGF——柯西分布的尾太重，连均值都不存在，更谈不上矩母函数。

算一下：三行推完均值和方差

把泊松分布代进去。

第一步：先化简那个和。

$$g(t) = \sum_{j=0}^{\infty} e^{tj} \cdot \frac{e^{-\lambda}\lambda^j}{j!} = e^{-\lambda} \sum_{j=0}^{\infty} \frac{(\lambda e^t)^j}{j!}.$$

右边那一串长什么样？把 $j=0,1,2,\dots$ 写出来：

$$1 + \lambda e^t + \frac{(\lambda e^t)^2}{2!} + \frac{(\lambda e^t)^3}{3!} + \cdots$$

这正是 $e^{x}$ 的泰勒展开，只是把 $x$ 换成了 $\lambda e^t$。 所以整个无穷和被一口吃掉：

$$g(t) = e^{-\lambda} \cdot e^{\lambda e^t} = e^{\lambda(e^t - 1)}.$$

一个无穷级数，塌成了三行代数。 这是本篇第一次"省事"。

顺便验一件事：$g(0) = e^{\lambda(1-1)} = e^0 = 1$。任何 MGF 在 $t=0$ 处都等于 1（因为那是"所有概率加起来"），这是检验有没有算错的第一道闸门。

第二步：均值，求一次导。

$g(t)$ 是复合函数，链式法则，一次就够：

$$g'(t) = e^{\lambda(e^t - 1)} \cdot \lambda e^t.$$

代入 $t = 0$（此时 $e^0 = 1$、$e^{\lambda(1-1)}=1$）：

$$\mu_1 = g'(0) = 1 \cdot \lambda \cdot 1 = \lambda.$$

均值就是 $\lambda$。

第三步：$E[X^2]$，求两次导。

对 $g'(t) = g(t)\cdot \lambda e^t$ 再求一次导（乘法法则）：

$$g''(t) = g'(t)\cdot \lambda e^t + g(t)\cdot \lambda e^t = \lambda^2 e^{2t}\, g(t) + \lambda e^t\, g(t).$$

提出公因式：

$$g''(t) = e^{\lambda(e^t-1)}\left(\lambda^2 e^{2t} + \lambda e^t\right).$$

代入 $t=0$：

$$\mu_2 = g''(0) = 1 \cdot (\lambda^2 + \lambda) = \lambda^2 + \lambda.$$

第四步：方差。

$$\sigma^2 = E[X^2] - (E[X])^2 = (\lambda^2 + \lambda) - \lambda^2 = \lambda.$$

均值 $\lambda$，方差也是 $\lambda$。

均值和方差相等，这是什么意思

泊松分布有一个别的分布都没有的特征：它的均值等于它的方差，都是 $\lambda$。

这句话有很直接的现实读法。泊松分布常用来数"一段时间内来了多少件事"——一小时接了几个电话、一页书有几个错字、一平方米掉了几滴雨。

• $\lambda$ 大 = 事情频繁，那么波动也大（方差同样是 $\lambda$）
• $\lambda$ 小 = 事情稀少，那么波动也小

举两个数：

$\lambda$	均值	标准差 $\sqrt{\lambda}$
1	1	1
4	4	2
10	10	$\approx 3.16$

看最后一行：平均来 10 件事，标准差约 3.16。第三列是 $\sqrt{\lambda}$、跟着 $\lambda$ 的平方根长——这是泊松噪声的标志形状。

(噪声的绝对幅度随 $\sqrt{\lambda}$ 增长，比事件数本身慢；反过来，相对波动 $\sqrt{\lambda}/\lambda$ 随 $\lambda$ 变大而变小。这句话是所有"大数为什么更稳"的数学根据。)

原书为什么特意夸这个方法

原书写完这些，补了一句：方差用这个办法，比按定义直接算容易（本文英文最后一段）。

容易在哪？按定义算，要处理

$$E[X^2] = \sum_{j=0}^{\infty} j^2 \cdot \frac{e^{-\lambda}\lambda^j}{j!}$$

这种和。$j^2$ 和 $j!$ 凑在一起，得靠"拆出 $j(j-1)$ 再配 $\lambda^2$"的技巧一步步抠，两条级数抠下来一黑板。

用 MGF：求两次导，代入 0，完事。 而且顺手还能要三阶矩、四阶矩——想求几阶就求几阶导，机器一样规矩。

原书紧接着那一节（Moment Problem）还把这个手法推到了底，那句话值得知道：

一个离散随机变量只要取值范围有限，它的分布被它的各阶矩完全唯一决定。

换句话说，矩母函数不只是一个算矩的工具，它是分布的另一种身份证。 两个随机变量若 MGF 相同，它们就是同一个分布——这比"逐点比较概率"强得多，也是后来很多统计理论的出发点。

在课堂上怎么办

这个例子的门槛比前几篇高（要会复合函数求导），但课堂可以设计得不那么可怕。

第一件事：先让学生相信"求导能提出因子"。 不要一上来就摆泊松分布。写在黑板上：

$$\frac{d}{dt}\left(e^{tj}\right) = j\, e^{tj}, \qquad \frac{d^2}{dt^2}\left(e^{tj}\right) = j^2 e^{tj}.$$

问一句："你们看，$j$ 和 $j^2$ 是不是正好是 $E[X]$ 和 $E[X^2]$ 需要的？"——让学生自己发现这个设计，比宣布它好得多。

第二件事：只算均值，不讲方差。 让学生算 $g'(0)$，得到 $\lambda$。这一步几乎人人会做，信心建立起来。

第三件事：让他们自己数 $e^{\lambda e^t}$ 的展开。 把 $j=0,1,2$ 三项写出来，问"这串眼熟吗"——等他们认出泰勒展开，那一行的"魔法"就破功了，剩下的就是机械劳动。

第四件事（可选）：方差让学生课后做。 $g''(0)$ 是乘法法则的练习，当堂算容易卡壳，扫兴。不如当堂只宣布结果 $\sigma^2 = \lambda$，把推导留成作业。

收尾一定要问一句：均值等于方差，是巧合吗？让他们想想——$g(t) = e^{\lambda(e^t-1)}$ 里那个 $\lambda$ 同时出现在指数上和乘子上，一阶导拿一个、二阶导拿两个，最后相减正好剩一个。不是巧合，是结构的必然。

学生最容易栽在哪

课堂提问

1. 用同样的办法验证：$g(0) = 1$ 对任何随机变量都成立。为什么？这对检验计算有什么用？
2. 泊松分布的 $\mu = \sigma^2 = \lambda$。那它的标准差是多少？当 $\lambda = 100$ 时，标准差是 10——这意味着"平均值上下浮动 10"是正常现象。这对"样本量越大、估计越准"这句话有什么启发？
3. 本文说"矩母函数是分布的另一种身份证"。可是两个不同的分布能不能有相同的 MGF？（提示：先想 $t$ 的定义域——MGF 不是对所有 $t$ 都存在。这个问题是实变函数里著名的"矩问题"。）