永州网,内容丰富有趣,生活中的好帮手!
永州网 > 随笔 > 正文

深度学习 读懂反向传播

时间:2001-06-09 01:30:38

相关推荐

背景

深度学习属于机器学习,机器学习的三个步骤就是:模型,策略和计算方法。比如LR,模型使用的LR模型(LR是基于伯努利假设,伯努利属于指数分布族,指数分布族属于广义线性模型),策略使用的是联合概率分布最大,计算方法是梯度下降法或拟牛顿法等。

深度学习的模型是神经网络,如下图:

策略就是我们说的损失函数,cost function,反映了模型的预测误差,如交叉熵、均方误差等。给定N个训练数据集:

基于训练集找到一组最佳的参数

使得C(θ)最小;

具体表示方法是什么?这就需要明白神经网络模型如何表示的,如下图所示,对于l层来说:

第l层的第i个神经元的输入Zi,它是上一层所有神经元的输入之和:

第l层的第i个神经元的输出ai,是zi经过非线性变化(我们称为激活函数,如ReLu,sigmoid等):

因此,我们说的θ就是所有的

,则损失函数的偏导

就是求出所有的

一般地,我们求出

,会更新参数,即

。但神经网络的参数非常多,比如很简单的alexnet的参数个数在千万级别,一个一个地求是不切实际的,所以,这里需要用到反向传播:back propagation!

反向传播优化模型参数

求解之前,需要了解一下链式法则,就是g(f(x))对x的求导,会等于 g对f的求导 乘 f对x的求导。由于z是w的函数,所以:

可以通过前向传播求出(即,是已知的不用求)

深度学习 读懂反向传播

接下来求解

。令

表示

,(不表示也可以,它有对应的实际的意义,不知道实际的意义也没关系,因为这是我们一步一步推导下来的)。求解

会比较困难,因为

-->

-->...-->

。这是层层传递下去的。

如果,我们能够知道如何层层传递,即l层第i个神经元

和l+1层

(会影响所有神经元)的关系,然后又能算出最后一层L的

,是不是就可以了?所以,我们需要解决2个问题:

(1)最后一层L的

如何计算?

(2)

的关系?

对于问题(1),

是一个向量,我们看看如何求其中一个值n,

, 而

就是最后的输出值

(对于多分类问题,比如分10类,最后一层的节点数是10个,激活函数是softmax)

,

为最后一层采用的激活函数(多分类一般是softmax),

是激活函数的一级导数。

取决于采用的损失函数,如果采用的是均方误差,则

(能够直接得到)

综上:

可以求得。

对于问题(2),第l层的第i个神经元是如何影响到l+1层所有的神经元呢?

为激活函数(一般是ReLu),

是激活函数的一级导数,可以直接求得。

如何求?可以这么理解,

会影响[

],而[

]影响C(θ)。

综上:

总结

额?辛苦码的那么多,不知道怎么没了,好吧,再打一遍吧~

神经网络的训练说白了就是给你N个训练集,然后让你选择一组参数θ使得在这N个训练集上的损失C(θ)最小。如果找到这组参数呢?用梯度下降法找到这些参数。

梯度下降法就是随机取一组参数,然后每次迭代都朝下降最快的方向更新,即:

有因为θ其实是由很多的参数组成,这些参数分别是权重w和偏差b,权重

表示第l-1层的第j个神经元的输出,对第l层的第i个神经元的输入的贡献。

根据推导,前者等于

,可通过反向传递求得,后者等于

后者通过前向传播求得,如下图所示:

收集不易,本文《深度学习 读懂反向传播》知识如果对你有帮助,请点赞收藏并留下你的评论。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。
相关阅读
传统媒体与新媒体融合:西安晚报探索古诗词中的旅游之美

传统媒体与新媒体融合:西安晚报探索古诗词中的旅游之美

...安晚报“寻找古诗词中的西安旅游之美”是又一”是一篇深度报道西安旅游的文章,采用了传统媒体与新媒体的融合方式。通过融合线上线下资源,西安晚报利用新媒体平台进行实时报道、互动讨论和精彩视频展示,同时也在传...

2024-03-18

解密考研英语阅读理解:速看如何读懂文章技巧

解密考研英语阅读理解:速看如何读懂文章技巧

...大量练习和积累词汇量来增强阅读能力;最后给出了一些学习建议,帮助考生在备战考研英语阅读理解时更加高效。通过本文的指引,考生们可以更好地应对考研英语阅读理解,提升自己的阅读理解能力,从而更好地备战考研。...

2024-03-17

教你如何应对湖上初晴后雨

教你如何应对湖上初晴后雨

...古至今有好多的文人墨客吟诗作画来赞美它。今天我们来学习一首描写西湖的古诗。板题:《饮湖上初晴后雨》①齐读课题;②指导停顿(板书:画上节奏),范读诗题;③指名试读;④按节奏齐读。[教学意图:美丽的“西...

2024-01-25

古诗两首夜书所见和九月九日忆山东兄弟教学设计:从经典古诗中感悟文化之美

古诗两首夜书所见和九月九日忆山东兄弟教学设计:从经典古诗中感悟文化之美

...文,体会诗中地真情实感。背诵课文。2课时。第一课时学习《夜书所见》一、导入新课1、简介作者。2、解题:从古诗的题目中你知道了哪些信息?如:可以知道是写作者在晚上的所见所闻。二、初知诗意1、自主学习,放声朗读...

2024-01-12

洋河与行业的共鸣:全国人大代表李薇谈产区的建议

洋河与行业的共鸣:全国人大代表李薇谈产区的建议

...,推动产区的可持续发展。李薇代表指出,洋河与产区的深度合作和共鸣,为中国白酒产业的发展注入了强大的动力,也展示了洋河企业社会责任和行业领先的形象。来源:证券日报网“两会时间”正式开启,14亿人热切的目光...

2024-01-29