网络解码器：如何提升视频流畅度

5.1.2.1　解码器网络的结构

解码器就是生成模型，需要考虑两个分布：隐变量z的先验分布p（z；θ）和条件概率分布p（xz；θ）。隐变量先验分布p（z；θ）一般假设为各向同性的标准高斯分布N（z；0，I），并假设隐变量z的每维之间都是独立的。而条件概率分布可以根据变量x的不同，用不同形式的参数化的分布族来表示，这些分布族的参数可以通过解码器（生成网络）来计算得到。下面分别以变量x是二值的和连续的两种情况为例，计算条件概率分布p（xz；θ）。

如果x∈{0，1}d是d维的二值向量，假定p（xz；θ）服从伯努利分布，即

式中，γi是第i维分布的参数，γi＝p（xi＝1z；θ），可以通过解码器网络来计算（解码器网络的输出）。例如，使用一个两层的解码器网络，即

式中，W（2）、W（1）、b（2）、b（1）是网络参数。

如果x∈Rd是d维的连续向量，并假设p（x z；θ）服从对角化协方差的正态分布，即

式中，μ和σ2也可以通过解码器网络来计算，类似二值向量，将它们视为解码器网络的输出。

5.1.2.2　解码器网络的目标函数

假设从未知的数据分布中采样N个独立同分布样本x（1），x（2），…，x（N），根据生成模型，每个样本x的边际对数似然函数是

式中，θ是解码器网络的参数。(www.zuozong.com)

生成模型的目标就是最大化所有样本的边际对数似然值，估计最优的参数θ*，这也是解码器网络的初始优化目标，即

根据前面的相关知识可知，在上面的边际似然函数中需要在对数函数内部进行积分，除非p（x，z；θ）的形式非常简单，否则这个积分是很难直接计算的。为了可以计算log p（x；θ），解码器引入一个额外的变分函数q（zx）（这个函数由编码器网络求解），那么样本x的边际对数似然函数可以写为

为了便于计算，根据Jensen不等式，可以求出对数似然函数l（θ；x）的下界。

定义1.Jensen不等式：如果X是随机变量、g是凸函数，则

该式当且仅当X是一个常数或g（·）是线性函数时成立。

根据Jensen不等式的性质，可得不等式

化简后，得到对数似然函数l（θ；x）的下界为

式中，DKL（·）是KL散度；L（q，θ；x）是对数似然函数l（θ；x）的下界。当且仅当变分函数q（zx）＝p（zx；θ）时，有

因此，解码器网络的目标函数由初始的最大化似然函数l（θ；x）变成了最大化它的下界L（q，θ；x），即