文章 2022-12-09 来自:开发者社区

100天搞定机器学习|day44 k均值聚类数学推导与python实现

前文推荐如何正确使用「K均值聚类」?1、k均值聚类模型a给定样本,每个样本都是m为特征向量,模型目标是将n个样本分到k个不停的类或簇中,每个样本到其所属类的中心的距离最小,每个样本只能属于一个类。用C表示划分,他是一个多对一的函数,k均值聚类就是一个从样本到类的函数。2、k均值聚类策略k均值聚类的策略是通过损失函数最小化选取最优的划分或函数。首先,计算样本之间的距离,这里选欧氏距离平方。$$然后....

100天搞定机器学习|day44 k均值聚类数学推导与python实现
文章 2022-12-09 来自:开发者社区

100天搞定机器学习|day38 反向传播算法推导

上集我们学习了反向传播算法的原理,今天我们深入讲解其中的微积分理论,展示在机器学习中,怎么理解链式法则。我们从一个最简单的网络讲起,每层只有一个神经元,图上这个网络就是由三个权重和三个偏置决定的,我们的目标是理解代价函数对这些变量有多敏感。这样我们就知道怎么调整这些变量,才能使代价函数下降的最快。我们先来关注最后两个神经元,我们给最后一个神经元一个上标L,表示它处在第L层。给定一个训练样本,我们....

100天搞定机器学习|day38 反向传播算法推导
文章 2022-06-07 来自:开发者社区

Sigmoid信念网络|机器学习推导系列(二十八)

一、概述Sigmoid信念网络(Sigmoid Belief Network,SBN)是一种有向图模型,这里的信念网络指的就是贝叶斯网络,也就是有向图模型,sigmoid指的就是sigmoid函数:在Sigmoid信念网络中同样有两观测变量和隐变量,不过他们的连接是有向的,并且节点全部服从0-1分布,并且概率值与sigmoid函数有关。Sigmoid信念网络的概率图如下所示:   &am...

Sigmoid信念网络|机器学习推导系列(二十八)
文章 2022-06-07 来自:开发者社区

近似推断|机器学习推导系列(二十七)

一、推断的动机和困难推断的动机推断问题是在概率图模型中经常遇到的问题,也就是给定观测变量的情况下求解后验,这里的是隐变量(注意原来我们常用和来表示隐变量和观测变量,不过在深度学习中我们更倾向于使用和来表示隐变量和观测变量)。那么为什么推断问题是重要的呢?也就是说推断的动机是什么呢?推断的动机主要包括以下两个方面:①推断本身是有意义的。推断问题事实上是一种对原因的追溯,在给定观测的情况下来求解它的....

近似推断|机器学习推导系列(二十七)
文章 2022-06-07 来自:开发者社区

配分函数|机器学习推导系列(二十六)

一、概述对于有向概率图模型来说,由于图中存在天然的拓扑排序关系,所以有向概率图的因式分解的形式很容易写出来。而对于无向图来说就需要根据它图中的最大团来写成一个因式分解的形式,无向图模型在局部并没有表现出是一个概率模型,在整体上才表现地是一个概率模型,由此我们也就遇到了配分函数。在无向图模型的学习和评估问题中,我们会面对概率公式中的配分函数(Partition Function),往往这个配分函数....

配分函数|机器学习推导系列(二十六)
文章 2022-06-07 来自:开发者社区

受限玻尔兹曼机|机器学习推导系列(二十五)

一、概述对于无向图模型,我们可以回忆一下它的基于最大团的因子分解(Hammersley–Clifford theorem)。给定概率无向图模型,为无向图模型上的最大团,则的联合概率分布可以写为:对于势函数(Potential Function),通常使用叫做能量函数(Energy Function),当使用这个势函数时,就有:这个分布就叫做吉布斯分布(Gibbs Distribution),或者....

受限玻尔兹曼机|机器学习推导系列(二十五)
文章 2022-06-07 来自:开发者社区

高斯过程回归|机器学习推导系列(二十四)

一、概述将⼀维高斯分布推⼴到多变量中就得到了高斯网络,将多变量推⼴到无限维,就得到了高斯过程。高斯过程是定义在连续域(时间/空间)上的无限多个高斯随机变量所组成的随机过程。具体的形式化的定义如下:举个例子来说,下图的时间轴(也就是定义中的连续域)代表了人的一生,这里假设人能活100岁,从这个连续域里任意取多个时刻都会对应了一个高斯随机变量:        ....

高斯过程回归|机器学习推导系列(二十四)
文章 2022-06-07 来自:开发者社区

贝叶斯线性回归|机器学习推导系列(二十三)

一、概述线性回归的数据如下所示:对于线性回归问题,假设:                                                 &am...

贝叶斯线性回归|机器学习推导系列(二十三)
文章 2022-06-07 来自:开发者社区

高斯网络|机器学习推导系列(二十二)

一、概述高斯网络是一种概率图模型,对于普通的概率图模型,其随机变量的概率分布是离散的,而高斯网络的概率分布是连续的高斯分布。高斯网络也分为有向图和无向图,其中有向图叫做高斯贝叶斯网络(Gaussian Bayesian Network,GBN),无向图叫做高斯马尔可夫网络(Gaussian Markov Network,GMN)。概率图模型的分类大致如下:二、高斯贝叶斯网络有向概率图模型的因子分....

高斯网络|机器学习推导系列(二十二)
文章 2022-06-07 来自:开发者社区

条件随机场|机器学习推导系列(二十一)

一、背景概述如上所示,分类问题分为硬分类和软分类两种。硬分类问题指的是分类结果非此即彼的模型,包括SVM、PLA、LDA等。软分类问题将概率作为分类的依据,分为概率判别模型和概率生成模型两种。其中概率判别模型对概率进行建模,代表算法有逻辑回归(Logistic Regression,LR)。LR的损失函数为交叉熵损失函数,这类模型也叫做对数线性模型,一般地,又叫做最大熵模型(Max Entrop....

条件随机场|机器学习推导系列(二十一)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。