Overview

对于一个条件概率分布\(P(Y|X_1,...,X_N)\)，如果假设每个变量都可以取K个值，那么完全使用表格的形式（tabulor representation）来描述这个分布的话，需要有\(K^(N+1)\)行，即指数级。

幸运的是，变量之间往往存在一些其它的局部结构关系(local structure)，使得我们不需要这么行就能描述，甚至很compact地描述出这个条件分布。例如，Deterministic CPD, Tree-structured CPD, Logistic CPD, Noisy OR, Linear Guassian，本section后半部会都会涉及到。

先给出几个概念

• General CPD: 任何一个满足归一化条件的函数\(\phi(X,Y_1,...,Y_k)\)，都可以称为一个General CPD，即对所有的\(y_1,...,y_k\)，\(\sum_x \phi(x,y_1,...,y_k)=1\)。
• 特定上下文独立(Context-Specific Indepedence)：\(P \models X \perp_c Y | Z, c\)，c可以是一些其它变量的具体取值。

Tree-Structured CPD

如下图所示，这是实际是\(P(J|L_1,L_2,C)\)的条件概率分布，如果没有局部结构的话，那么应该有\(2^3=8\)个概率分布，而图中只有4个概率分布产出，这就是局部结构将问题简化了。

Choice可以看作学生寄出了第一种推荐信还是第二种，Job表示工作申请是否被接收。这里实际上存在着一个上小节中的概念“Content-Specific Independence”，具体来说，就是\(P \models (L_1 \perp_c L_2 | J, c)\)，例如学生只寄出了第一种推荐信，并且最后申请未成功，那么公司是否接收到了那封信的概率不会被公司是否接收到了第二种推荐信影响（因为第二封绝对没有寄出，公司以概率100％未收到这封信）。

这个Choice也称为Mulitplexer，它唯一地选择了一条路径。更一般地，

其中变量A就是multiplexer，是一个离散值，它的取值范围是1...K，而Y的取值以概率1等于\(Z_A\)。

Independence of Causal Influence

Noisy OR CPD

举例来说，引起咳嗽的原因可能有很多，可能是流感，普通感冒，过敏，甚至是偶然，这些原因对产生咳嗽这个结果是OR的关系。

图中每个\(Z_i\)表示\(X_i＝1\)被触发的情况下，它本身是否成功产生了咳嗽。其可能性为\(P(Z_i=1|X_i)＝\lambda_i\)。给定这个结构，那么最终产生咳嗽的可能性需要考虑所有这K个可能的因素，得到\(P(Y=1|X_1,...,X_k)\)，计算方式如上图所示。

除了Noisy OR之外，还可以有Noisy AND／MAX等，只是计算\(P(Y=1)\)的方式不同。

Sigmoid CPD

由于sigmoid函数本身的值域就是0－1之间，所以其输出可以看作是一个概率值（实际是CRF，后面的章节有提到）。其它的地方也没啥新鲜的，只是通过线性模型从各个\(Z_i\)得到\(Z\)，再输入到sigmoid函数里。当权重\(w\)的尺度被放大后，斜率变大，sigmoid的函数图像就会更sharp一些。

Continuous Variables

前面的Y都是离散变量（实际上都是0－1变量），下面的是连续型变量，像下面这个例子中，目标变量是S（传感器对温度的度量值），这是一个正态分布的连续变量，它在下一时刻结果依赖于外界温度O和室内温度T两个方面，并利用线性插值得到正态分布的期望值（线性高斯模型Linear Gaussian）。如果也考虑到是否开着门这个离散变量D，那么不同条件下正态分布的参数（插值参数，方差）是不同的，这样就变成了Conditional Linear Gaussian。

不废话了，直接上图

有线性高斯，也就必然可以有非线性的。课程中给了几个例子都没太懂，只是知道有这个么个非线性的东西应该就成了。