【pytorch深度学习实践】笔记—03.2.随机梯度下降
1.背景及思路【思想】1.使用梯度下降是可以解决大多数问题的，但是遇到“鞍点”问题无法解决。2.使用梯度下降更新权重w的时候，对于每一个w，计算cost损失、计算梯度的时候，都要对所有样本[x1,y1]、[x2, y2]……[xn,yn]求cost损失和梯度的均值。实际上我们最主要的目标是找到最接近的w的值，只要多训练几次，对于cost和梯度取不取均值，没有太大区别。所以没有必要把计算时间都浪费....
【pytorch深度学习实践】笔记—02.线性模型
需求背景Suppose that students would get y points in final exam, if they spent x hours in paper PyTorch Tutorial.The question is what would be the grade if I study 4 hours?有一组数据，关系如下表所示。记录了班级同学课程学习时间x和取得分....
【pytorch深度学习实践】笔记—03-1.梯度下降算法
梯度的引入与思考【问题1】为什么要引入梯度下降，梯度下降是用来解决什么问题的？【思考】回忆一下在笔记02中我们是如何找到的w？对，是穷举！我们是在[0.0,4.0]区间，每隔0.1取一个值，穷举了所有w的可能取值，根据w-loss图像得出结论：loss最小时，w=2。在实际情况中，一方面我们很可能一开始就无法确定w的大致范围，进而导致没办法穷举w的值。另一方面，权重W也可能是多维的，一一穷举会很....
【pytorch深度学习实践】笔记—04.反向传播
问题与思考【问题】什么是反向传播？用于解决什么问题？【回答】我们从头屡一下思路。为了找到权重w的值，我们一开始选择暴力枚举；后来通过梯度下降+更新权重的方案让程序自动找到合适的w值；但是在求梯度的时候，w可能会很复杂（比如是多维的）那此时如果在使用loss对w求导来求梯度就变得很麻烦（需要逐个求偏导数，在复杂神经网络中会相当复杂）。所以引入“反向传播”这个概念，生成一个计算图，“倒着”来，根据链....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
深度学习更多实践相关
智能搜索推荐
智能推荐（Artificial Intelligence Recommendation，简称AIRec）基于阿里巴巴大数据和人工智能技术，以及在电商、内容、直播、社交等领域的业务沉淀，为企业开发者提供场景化推荐服务、全链路推荐系统开发平台、工程引擎组件库等多种形式服务，助力在线业务增长。
+关注