如何在pytorch中部署半精度模型

　　介绍

如何在pytorch中部署半精度模型?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

具体方法

在pytorch中,一般模型定义都继承torch.nn.Moudle, torch.nn.Module基类的一半()方法会把所有参数转为16位浮点,所以在模型加载后,调用一下该方法即可达到模型切换的目的。接下来只需要在推断时把输入的张量切换为16位浮点即可

另外还有一个小的技巧,在推理过程中模型输出的张量自然会成为16位浮点,如果需要新创建张量,最好调用已有张量的new_zeros, new_full等方法而不是torch.zeros和火炬。满,前者可以自动继承已有张量的类型,这样就不需要到处增加代码判断是使用16位还是32位了,只需要针对输入张量切换。

<>强补充:pytorch使用安培。自动半精度加速训练

准备工作

pytorch 1.6 +

如何使用自动?

根据官方提供的方法,

答案就是自动+ GradScaler。

1,自动

正如前文所说,需要使用torch.cuda。amp模块中的自动类。使用也是非常简单的:

如何在PyTorch中使用自动混合精度?

答案:自动+ GradScaler。

1.自动

正如前文所说,需要使用torch.cuda。amp模块中的自动类。使用也是非常简单的

得到torch.cuda.amp  import  autocast  as 自动 　　 　　#,创建模型,默认是torch.FloatTensor 　　.cuda model =,净()() 　　时间=optimizer  optim.SGD (model.parameters (),,…) 　　 　　时间输入,for  target 拷贝数据: 　　,,,optimizer.zero_grad () 　　 　　,,,#,前向过程(时间+ model 损失)开启,自动 　　,,,with 自动(): 　　,,,,,,,output =,模型(输入) 　　,,,,,,,loss =, loss_fn(输出,目标) 　　 　　,,,#,反向传播在自动上下文之外 　　,,,loss.backward () 　　,,,optimizer.step ()

2。GradScaler

GradScaler就是梯度标量模块,需要在训练最开始之前实例化一个GradScaler对象。

因此PyTorch中经典的AMP使用方式如下:

得到torch.cuda.amp  import  autocast  as 自动 　　 　　#,创建模型,默认是torch.FloatTensor 　　.cuda model =,净()() 　　时间=optimizer  optim.SGD (model.parameters (),,…) 　　#,在训练最开始之前实例化一个GradScaler对象 　　时间=scaler  GradScaler () 　　 　　for  epoch 时代拷贝: 　　,,,for 输入,,target 拷贝数据: 　　,,,,,,,optimizer.zero_grad () 　　 　　,,,,,,,#,前向过程(时间+ model 损失)开启,自动 　　,,,,,,,with 自动(): 　　,,,,,,,,,,,output =,模型(输入) 　　,,,,,,,,,,,loss =, loss_fn(输出,目标) 　　 　　,,,,,,,scaler.scale(损失).backward () 　　,,,,,,,scaler.step(优化) 　　,,,,,,,scaler.update ()

3.神经网络。DataParallel

单卡训练的话上面的代码已经够了,亲测在2080 ti上能减少至少1/3的显存,至于速度…

要是想多卡跑的话仅仅这样还不够,会发现在前进里面的每个结果都还是float32的,怎么办?

class 模型(nn.Module): 　　,,,def  __init__(自我): 　　,,,,,,,超级(模型,,自我). __init__ () 　　 　　,,,def 向前(自我,,input_data_c1): 　　,,,,with 自动(): 　　,,,,,#,代码 　　,,,,返回 pytorch的优点

1. pytorch是相当简洁且高效快速的框架;2。设计追求最少的封装;3。设计符合人类思维,它让用户尽可能地专注于实现自己的想法;4。与谷歌的Tensorflow类似,公平的支持足以确保pytorch获得持续的开发更新;5。PyTorch作者亲自维护的论坛供用户交流和求教问题6。入门简单

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注行业资讯频道,感谢您对的支持。

如何在pytorch中部署半精度模型