怎么在Pytorch中实现反向求导更新网络参数 - 行业资讯 - 肥雀云

　　介绍

怎么在Pytorch中实现反向求导更新网络参数?针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

<强>方法一:手动计算变量的梯度,然后更新梯度

import 火炬　　得到torch.autograd import 变量　　#,定义参数　　时间=w1 变量(torch.FloatTensor ([1, 2, 3]), requires_grad =,真的) 　　#,定义输出　　时间=d torch.mean (w1) 　　#,反向求导　　d.backward () 　　#,定义学习率等参数　　lr 0.001=, 　　#,手动更新参数　　w1.data.zero_ (), #, BP求导更新参数之前,需先对导数置0 　　w1.data.sub_ (lr * w1.grad.data)

一个网络中通常有很多变量,如果按照上述的方法手动求导,然后更新参数,是很麻烦的,这个时候可以调用torch.optim

<强>方法二:使用火炬。optim

import 火炬　　得到torch.autograd import 变量　　import torch.nn as 神经网络　　import torch.optim as optim 　　#,这里假设我们定义了一个网络,为净　　steps =10000 　　#,定义一个optim对象　　时间=optimizer optim.SGD (net.parameters (),, lr =, 0.01) 　　#,在为循环中更新参数　　for 小姐:拷贝范围(步骤): 　　,optimizer.zero_grad(), #,对网络中参数当前的导数置0=,output 净(输入),#,网络前向计算　　,loss =,则(输出,目标),#,计算损失　　,loss.backward(), #得到模型中参数对当前输入的梯度　　,optimizer.step(), #,更新参数

<强>注意: torch.optim只用于参数更新和对参数的梯度置0,不能计算参数的梯度,在使用火炬。optim进行参数更新之前,需要写前向与反向传播求导的代码

pytorch的优点

1. pytorch是相当简洁且高效快速的框架;2。设计追求最少的封装;3。设计符合人类思维,它让用户尽可能地专注于实现自己的想法;4。与谷歌的Tensorflow类似,公平的支持足以确保pytorch获得持续的开发更新;5。PyTorch作者亲自维护的论坛供用户交流和求教问题6。入门简单

关于怎么在Pytorch中实现反向求导更新网络参数问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注行业资讯频道了解更多相关知识。