深概率
深度概率模型
261 Matching Annotations
- Mar 2017
-
exacity.github.io exacity.github.io深度学习中的结构化概率模型200
-
-
使用
将使用
-
前面
未来
-
的语言
去掉
-
结合由矩阵参数化的层之间的高效相互作用通过多层潜变量完成表示学习。
使用多层潜变量，并由矩阵参数化层之间的高效相互作用来完成表示学习。
-
可以
去掉
-
非
变得非
-
很容
对其求导很容易
-
图片的复制经过{lisa_tutorial_rbm}的允许。
图片经{lisa_tutorial_rbm}允许转载。
-
更好
好很多
-
样本
样本展示
-
好
良好
-
可以看到
以图的形式描绘。
-
设计师指定
设计者指定的
-
规范
标准
-
潜
而
-
能够
被设计为能够
-
结点
单元
-
许多
去掉
-
但是可以简单从中采样的模型
的模型，但可以从中简单地采近似样本。（少了近似）
-
威力
能力
-
可以用
设计
-
尺度
规模
-
有
都有
-
通
接？
-
是
去掉
-
可追踪性
可解性？
-
具有
去掉
-
实践者
从业者
-
它们通常数量很少。
它们的数量通常很少。
-
知识
去掉知识
-
设计
设计决定
-
做
作
-
深度学习实践者通常使用与从事结构化概率模型研究的其它机器学习研究者相同的基本计算工具。
深度学习从业者通常与其他从事结构化概率模型研究的机器学习研究者使用相同的基本计算工具。
-
。 这个技术在\chap?中有深入的描述。
这个技术将在\chap?深入讨论。
-
是
会
-
跟
根
-
了
去掉
-
想象一下我们
我们可以设想一下
-
要
为了
-
NP中的问题仅仅需要确定问题是否有解决方案，并找到一个解决方案（如果存在）
原文出入
-
可
我们可
-
这些推断问题都是难以处理的，即使我们使用结构化图模型来简化它们
语序
-
vv\Vv的
v的粗体？
-
我们看到了简单的概率模型如稀疏编码是如何学习可以用作分类器输入特征或者作为流形上坐标的潜变量
微长
-
GMM
不是缩写
-
做
去掉
-
做
去掉
-
GMM
不是缩写
-
潜变量还有一个额外的优势，即能够高效地描述p(v)p(v)p(\RVv)。
错了
-
从而使得可见单元之间间接作用
从而建模可见单元之间的间接作用
-
搜索向一个预计会增加分数的方向发展。
原文出入
-
高精度并惩罚复杂的模型
高精度并对模型的复杂度进行惩罚。
-
是
去掉
-
一个结构学习的好的参考资料
结构学习不错的参考资料
-
来
去掉
-
性
去掉
-
个
些？
-
上
上考虑
-
仅仅表示这些高阶的相互作用是昂贵的
仅仅是表示这些高阶相互作用的代价就很高，
-
一个好的不包含任何潜变量的 关于vv\RVv的模型需要在贝叶斯网络中的每个节点具有大量父节点或在马尔可夫网络中具有非常大的团。
如果一个良好的关于v的模型不包含任何潜变量，那么它在贝叶斯网络中的每个节点需要具有大量父节点或在马尔可夫网络中具有非常大的团。
-
然后，该模型可以捕获任何对之间的依赖性关系（变量vivi\RSv_i和vjvj\RSv_j间接依赖，vivi\RSv_i和hh\RVh之间直接依赖，vv\RVv和hjhj\RSh_j直接依赖)。
原文出入
-
的
去掉
-
是困难的
会更加困难
-
为
然而，为
-
认为重要的关系的
认为数据中存在的重要关系的
-
使用结构化概率模型的一个更加不容易量化的益处是它们允许我们明确地将给定的现有的知识与知识的学习或者推断分开
太长
-
允许所有这些操作使用较少的运行时间和内存的主要机制是选择不对某些变量的相互作用进行建模。
选择不对某些变量的相互作用进行建模是允许所有这些操作使用较少的运行时间和内存的主要机制。
-
抽
采
-
很难
我们很难
-
抽取
这个没问题
-
对于抽样
采样
-
抽
采
-
以
要
-
是昂贵的
很高
-
抽
采
-
分布
分布中
-
抽
采
-
图
顺序图
-
抽
采
-
另一个缺点是它并不是每次采样都是条件采样操作
原文出入
-
对于一些图，可能有
有些图可能存在
-
方便
非常简便
-
我们可能会尝试在其父节点可用之前对该变量进行抽样。
我们可能会在变量父节点可用之前尝试对其采样。
-
只要从每个条件分布xi∼P(xi∣PaG(xi))xi∼P(xi∣PaG(xi))\RSx_i\sim P(\RSx_i\mid Pa_{\CalG}(\RSx_i))中采样都是很容易的，那么很容易从整个模型中抽样。
只要不难从每个条件分布xi∼P(xi∣PaG(xi))xi∼P(xi∣PaG(xi))\RSx_i\sim P(\RSxi\mid Pa{\CalG}(\RSx_i))中采样，那么从整个模型中采样也是容易的。
-
其
原始采样
-
可以通过一个简单高效的被称作是原始采样的过程从由模型表示的联合分布中抽取样本
可以通过一个简单高效的过程从模型所表示的联合分布中产生样本，这个过程被称为原始采样。
-
连接
存在连接
-
这些节点对应于随机变量，就像在标准无向模型中一样
交换语序
-
图形
图形化？
-
子集
emph
-
句法
语法
-
稍后排序
排序稍后
-
参见
见
-
稍后排序
排序稍后
-
中边
中的边
-
现在
因为现在我们
-
了
去掉
-
通常讲
一般来说
-
它们
，
-
是不丢失独立性的情况下无法
在不丢失独立性的情况下是无法
-
参见
参考，查看？
-
包含
隐含
-
任何
任意
-
可以
我们可以
-
\e
其中
-
公式
公式化，形式？
-
有时可以
有时也可以
-
用于
合
-
的情况下
最好前面的都加，
-
那么
，
-
观察到在$\RSa$处有很高
在$\RSa$处观察到很高
-
共用原因
\emph
-
存在的所有种类的长度为$2$的活跃路径。
存在的长度为$2$的所有种类的活跃路径。
-
显示存在的
编码
-
的时候
时
-
一个
去掉
-
重要
尤其重要
-
参见
查看，参考
-
我们认为如果图结构显示给定另外的变量集SS\SetS时 AA\SetA与变量集BB\SetB无关， 那么给定变量集SS\SetS时，变量集AA\SetAd-分离于变量集BB\SetB。
如果图结构显示给定变量集SS时 ，变量集AA与变量集BB无关， 那么我们说给定变量集SS时，变量集AAd-分离于变量集BB。
-
了
去掉
-
一个
去掉
-
将
而
-
到
去掉
-
基于能量的模型
对于基于能量，且具有潜变量的模型？
-
尽管最早是从物理学中发现的
原文有出入
-
任意
任何？
-
我们可以通过令$\phi$等于对应负能量的指数来
我们令$\phi$等于对应负能量的指数，可以
-
参见
可以参考
-
叫
称之为
-
叫
称之为
-
叫做
称为
-
很
完全
-
的zz\RSz exp
，
-
使得
从
-
ϕϕ\phi函数
集合
-
的
去掉
-
一个较大的
，一个较大的
-
基本单位
基？
-
么
去掉
-
一个
去掉
-
一个
去掉
-
比如说
例如，或比如
-
这个包含一个点的
单个
-
的时候
时，
-
在
去掉
-
我们
，我们
-
一个
这是
-
少见
罕见
-
，
、
-
函数
，函数
-
越高密切度的状态
密切度越高的状态
-
的
去掉 的
-
概
的
-
合在一起他们
它们一起
-
对
对于
-
的
去掉的？还有逗号问题。
-
表示来
表示
-
的健康
健康状况
-
来
再
-
稀有
罕见
-
是
去掉是
-
的时候
时
-
的时候
时
-
他们
其中
-
是
去掉是
-
稀有
罕见
-
是
去掉是
-
的时候
时
-
的时候
时
-
了
会影响
-
下
去掉 下
-
有向模型显然适用于当存在一个很明显的理由来描述每一个箭头的时候
当存在很明显的理由画出每一个指向特定方向的箭头时，有向模型显然最适用。
-
叫做
被称为
-
性
去掉 性， 或者按照原文。
-
有向图模型
少了syntax
-
做
作
-
略
略微
-
t0t0\RSt_0的取值100
100个t0的可能取值
-
其中
公式符号可能不对
-
会
只能
-
一个
去掉一个
-
就如在\fig?中看到的一样
如图？所示
-
当我们希望强调从网络中计算出的值的推断本质
judgmental没有翻
-
模型
图
-
，
去掉 ，
-
的
去掉 的
-
是
会
-
来
去掉 来
-
这些更轻便的模型在模型存储，模型推断以及从模型中采样的时候有着更小的计算开销。
这些更小的模型大大减小了在模型存储、模型推断以及从模型中采样时的计算开销。
-
通过仅仅
仅仅通过
-
可以
我们可以
-
间接
emph
-
下
下，
-
的
去掉 的
-
的
地
-
它
它也
-
采样的开销
emph 不对
-
一个
这样一个
-
}：推断的开销。
emph不对
-