编程技术网

关注微信公众号,定时推送前沿、专业、深度的编程技术资料。

 找回密码
 立即注册

QQ登录

只需一步,快速开始

极客时间

Self-Organizing Maps

janne 机器学习 2021-11-29 14:08 154人围观

腾讯云服务器
Self-organizing maps(SOM) 是与我们迄今为止讨论的所有其他类型的神经网络完全不同。它们用于生成高维数据集的低维表示,通常用于可视化、聚类或分类。如图 E-5所示,神经元分布在一张地图上(通常为 2D 以进行可视化,但它可以是您想要的任意数量的维度),并且每个神经元都与每个输入有一个加权连接(请注意,该图仅显示了两个输入,但通常有一个非常大的数字,因为 SOM 的全部意义在于降低维度)。

mls2 ae05
图 E-5。自组织图
一旦网络被训练,你可以给它一个新的实例,这将只激活一个神经元(即地图上的一个点):权重向量最接近输入向量的神经元。一般来说,在原始输入空间附近的实例会激活地图上附近的神经元。这使得 SOM 不仅可用于可视化(特别是,您可以轻松识别地图上的集群),还可用于语音识别等应用程序。例如,如果每个实例代表一个人发音元音的录音,那么元音“a”的不同发音将激活地图同一区域的神经元,而元音“e”的实例将激活另一个区域的神经元区域,中间声音通常会激活地图上的中间神经元。

笔记
与第 8 章中讨论的其他降维技术的一个重要区别是,所有实例都映射到低维空间中离散数量的点(每个神经元一个点)。当神经元很少时,这种技术被更好地描述为聚类而不是降维。

训练算法是无监督的。它的工作原理是让所有神经元相互竞争。首先,所有的权重都是随机初始化的。然后随机挑选一个训练实例并馈送到网络。所有神经元都会计算它们的权重向量和输入向量之间的距离(这与我们目前看到的人工神经元非常不同)。测量最小距离的神经元获胜并将其权重向量调整为更接近输入向量,使其更有可能赢得未来与此类似的其他输入的竞争。它还招募其相邻的神经元,并且它们也会更新它们的权重向量以稍微接近输入向量(但它们不会像获胜的神经元那样更新它们的权重)。然后算法选择另一个训练实例并重复该过程,一次又一次。该算法倾向于使附近的神经元逐渐专注于相似的输入。4

1米格尔·阿。Carreira-Perpiñán 和 Geoffrey E. Hinton,“On Contrastive Divergence Learning” ,第十届人工智能和统计国际研讨会论文集(2005 年):59-66。

2Geoffrey E. Hinton 等人,“深度信念网络的快速学习算法”,神经计算18 (2006):1527–1554。

3有关更多详细信息和演示,请参阅 Geoffrey Hinton 的此视频:https : //homl.info/137。

4您可以想象有一类具有大致相似技能的幼儿。一个孩子碰巧打篮球要稍微好一点。这会激励他们更多地练习,尤其是与朋友一起练习。过了一会儿,这群朋友的篮球打得很好,其他孩子都无法竞争。但这没关系,因为其他孩子专注于其他领域。过了一会儿,班上全是专业的小团体。
腾讯云服务器 阿里云服务器
关注微信
^