编程技术网

关注微信公众号,定时推送前沿、专业、深度的编程技术资料。

 找回密码
 立即注册

QQ登录

只需一步,快速开始

极客时间
  • janne  2021-11-29 14:05

    Deep Belief Nets

    一些可以堆叠 RBM 层;第一层 RBM 的隐藏单元作为第二层 RBM 的可见单元,以此类推。这种 RBM 堆栈称为深度信念网络(DBN)。Geoffrey Hinton 的一名学生 Yee-Whye Teh 观察到,可以使用对比发散一次一层地训练 DBN,从较低的层开始,然后逐渐向上移动到顶层。这导致[color=rgb(211, 0, 45) !important]了 2006 年引发[color=rgb(211, 0, 45) !important]深度学习海啸的[color=rgb(211, 0, 45) !important]开创性文章。[color=rgb(211, 0, 45) !important]2就像 RBM 一样,DBN 学会了在没有任何监督的情况下重现其输入的概率分布。然而,它们在这方面要好得多,原因与深层神经网络比浅层神经网络更强大的原因相同:现实世界的数据通常以分层模式组织,而 DBN 正是利用了这一点。它们的较低层学习输入数据中的低级特征,而较高层学习高级特征。就像 RBM 一样,DBN 基本上是无监督的,但您也可以通过添加一些可见单元来表示标签,以有监督的方式训练它们。此外,DBN 的一大特点是它们可以以半监督的方式进行训练。[color=rgb(211, 0, 45) !important]图 E-4表示为半监督学习配置的这种 DBN。[img=1440,942]https://learning.oreilly.com/api/v2/epubs/urn...查看全文
  • janne  2021-11-29 14:04

    玻尔兹曼机 ANN架构

    玻尔兹曼机是由 Geoffrey Hinton 和 Terrence Sejnowski 于 1985 年发明。就像 Hopfield 网络一样,它们是完全连接的人工神经网络,但它们基于随机神经元:这些神经元不使用确定性阶跃函数来决定输出什么值,而是以某种概率输出 1,否则输出 0。这些 ANN 使用的概率函数基于 Boltzmann 分布(用于统计力学),因此得名。公式 E-1给出了特定神经元输出 1 的概率。
    公式 E-1。第 i个神经元输出 1 的概率
    s j是第j个神经元的状态(0 或 1)。
    w i , j是第i个和第j个神经元之间的连接权重。注意w i , i = 0。
    b i是第i个神经元的偏置项。我们可以通过向网络添加偏置神经元来实现这一术语。
    N是网络中的神经元数量。
    牛逼是称为网络温度的数字;温度越高,输出越随机(即,概率越接近 50%)。
    σ是逻辑函数。
    神经元在 Boltzmann 中,机器分为两组:可见单元和隐藏单元(见图 E-2)。所有神经元都以相同的随机方式工作,但可见单元是接收输入并从中读取输出的单元。
    由于其随机性,玻尔兹曼机永远不会稳定成固定配置;相反,它将在许多配置之间不断切换。如果让它运行足够长的时间,观察到特定配置的概率将只是连接权重和偏差项的函数,而不是原始配置的函数(类似地,在您洗牌足够 ...查看全文
  • janne  2021-11-29 14:02

    霍普菲尔德网络 ANN 架构

    Hopfield 网络是 1974 年由 WA Little 首次提出,1982 年由 J. Hopfield 推广。是联想记忆网络:你首先教他们一些模式,然后当他们看到一个新模式时,他们(希望)输出最接近的学习模式。这使它们在字符识别方面非常有用,特别是在它们被其他方法超越之前:您首先通过向网络展示字符图像示例(每个二进制像素映射到一个神经元)来训练网络,然后当您向它展示一个新字符时图像,经过几次迭代后,它输出最接近的学习字符。
    Hopfield 网络是全连接图(见图 E-1);也就是说,每个神经元都与其他每个神经元相连。请注意,图中的图像为 6 × 6 像素,因此左侧的神经网络应包含 36 个神经元(和 630 个连接),但为了视觉清晰,表示的是一个小得多的网络。
    mls2 ae01
    图 E-1。霍普菲尔德网络
    训练算法使用 Hebb 规则(参见“感知器”):对于每张训练图像,如果相应的像素都打开或都关闭,则两个神经元之间的权重增加,但如果一个像素打开而另一个像素关闭,则减少两个神经元之间的权重离开。
    要向网络显示新图像,您只需激活与活动像素对应的神经元。然后网络计算每个神经元的输出,这会给你一个新的图像。然后,您可以拍摄这个新图像并重复整个过程。一段时间后,网络达到稳定状态 ...查看全文
  • janne  2021-11-29 13:53

    keras损失函数

    损失函数均方误差mean_absolute_errormean_absolute_percentage_errormean_squared_logarithmic_error平方铰链合页categorical_hinge
关注微信
^