Overview

模板模型实际就是在变量的基础上做了一层抽象，其中的一个模板变量可以实例化成N个实际的变量。

以血型为例，A的血型依赖于A的父母，而B的血型也依赖于B的父母，等等。而子女与父母之间的这种依赖关系以及之间参数（具体来说就是CPD）则是通用的，是可以在两个家族间共享的。同样的，A的后代的血型同样也是依赖于A及其配偶的血型，因此这种参数甚至还可以在同一个家族内共享。

类似的例子还有前面那个学生S，课程C和得分G的例子，不同的学生在不同的课程有不同的得分，但是他们之间共享S，C，G之间结构及其CPD参数。

模板变量：一个模板变量\(X(U_1, U_2, ..., U_k)\)可以实例化多次，即\(U_i = u_i\)，如果血型的例子，则模板是Genotype(person)，实例化后的变量则是Genotype(A), Geontype(B), ......

模板模型：这个东西就是描述实际变量如何从模型中继承依赖关系的一种语言。下面介绍的Dynamic Bayesian Networks就是描述时序模型的一个模板。

时序模型 Temporal Model

以X(t)表示随机变量X在时刻t的取值，对任意的t<=t'，X(t:t')表示X(t)至X(t')的若干个变量，时序模板的目的就是要表示这一系列变量的联合概率分布P(X(t:t'))。

两个基本假设

• Markov Assumption: X(t)的取值依赖于之间一个时刻的X(t-1)的取值，而与其它时刻无关（独立）；
• Time Invariance: 时间不变性，即\(X(t+1|t) = X(t+k+1｜t+k) = X(t'|t)\)。

前面的两个假设不一定在所有场景下都是适用的，因此可以再扩展一下，X可以不止是一个随机变量，而是一个状态(state)，而这个状态可以是若干个随机变量组成。例如，一个机器人在某时刻的位置为Loc(t)，那么其下一个时刻的位置并不只依赖于这个Loc(t)，还与当前进的方向，前进的速度等参数有关，因此可以抽象一下，以State(t)作为一个单位，表达这个时刻下各个因素的联合分布，而其下一个状态State(t+1)则完成依赖于这个State(t)。总结来说，就是redesign the model。

有了这两个简化的假设之后，后面就好办了，因为我们只需要给出一个初始状态，再给出一个从t到t+1的转移模型，这事儿就搞定了。

• 初始状态比较容易描述，实际就是把初始状态下各个变量之间的关系及具体的CPD参数用BN(0)表达。
  

  

• 转移模型可以使用2-time-slice Bayesian Network（2TBN）来描述。

2-time-slice Bayesian Network（2TBN）

定义于变量\(X_1, ..., X_N\)的转移模型2TBN是一个BN的片段，其中的结点包括\({X'}_1,...,{X'}_N\)以及\(X_1, ..., X_N\)的一个子集，且仅有前者有对应的父结点及CPD。它们联合表达了以下条件分布

\[P(X'|X) = \prod_i P({X'}_i|Parent({X'}_i))\]

带有初始状态的2TBN称为一个DBN。

Ground Network(Dynamic Bayesian Network)

对于一个时间序列0...T, 其对应的Ground Network的结构为

• \(X_1^{0},...X_n^{0}\)的模型为BN(0)
• \(X_1^{t},...X_n^{t}\)的模型为DBN

隐马尔科夫模型HMM

课程这里只简单介绍了下，没有深入细节，主要篇幅花在了语音识别的应用上。

HMM可以看作是BN的一个子类，但是它的变量之间的级别上几乎就没有复杂的结构关系，它主要的特点是在转移矩阵上的稀疏性和重复性，即它的复杂性体现在同一个变量在不同时刻取值的变化的转移概率分布。

HMM的主要应用领域包括语音识别，自然语言处理等。

模板模型Plate Model

正如overview里所述，模板模型的核心就是share across and within diferrent models。比如翻硬币的例子，每次的结果都是一个iid的随机变量，而它们的取值（正，反）分布是相同的。下图中，每一个outcome被使用t作为index表达是哪一次的toss的结果。

再复杂一点的模板，例如Nested Plates & Overlapped Plates，直接上图。

每个D使用c作为index，即每个课程有一个难度值，而I和G使用(c,s)作为index，也就是说每个学生上每门课都会有个分数，而每个学生上每门课时都有一个适合度（在这方面是否够聪明）。

如果认为学生的聪明程度不依赖于一门课程的话，那么上面的这个模型就不合适了，于是就有了Overlapped Plates

同一个模板下衍生出来的模型都是共享参数据，像这里的\(P(G|D,I)\)等等。后面还提了一个Collective Inference，就是用若干个衍生出的了模型来做全局的推演，没太懂，就不费话了。

最后正式给出Plate Dependency Model的定义

对于一个模板变量\(A(U_1, ..., U_K)\)，其中\(U_i\)为index，它们若干个模板父变量\(B_1(PU_1),...,B_m(PU_m)\)，其中每个\(PU_j\)都是\((U_1, ..., U_K)\)的一个子集（No indices in parent that are not in child），那么就可以定与其相关的一个CPD \(P(A|B_1,...,B_m)\)。

当把模板变量实例化为\((u_1, ..., u_K)\)之后，它就形成一个实例的网络。

关于前面的那个子集的约束，举例来说，假如G(c, s)表示一个学生在某门课上的得分，那么它不能作为这个学生整个评价的父结点（整体评价只与s相关，即Eval(s)），这需要集合所有c的G(c, s)才能形成一个有实际意义的CPD。