optimizer.param_groups： 是長度為2的list，其中的元素是2個字典；
optimizer.param_groups[0]： 長度為6的字典，包括[‘amsgrad', ‘params', ‘lr', ‘betas', ‘weight_decay', ‘eps']這6個參數；
optimizer.param_groups[1]： 好像是表示優化器的狀態的一個字典；
import torch
import torch.optim as optimh2
w1 = torch.randn(3, 3)
w1.requires_grad = True
w2 = torch.randn(3, 3)
w2.requires_grad = True
o = optim.Adam([w1])
print(o.param_groups)
[{'amsgrad': False,
'betas': (0.9, 0.999),
'eps': 1e-08,
'lr': 0.001,
'params': [tensor([[ 2.9064, -0.2141, -0.4037],
[-0.5718, 1.0375, -0.6862],
[-0.8372, 0.4380, -0.1572]])],
'weight_decay': 0}]
Per the docs, the add_param_group method accepts a param_group parameter that is a dict. Example of use:h2import torch
import torch.optim as optimh2
w1 = torch.randn(3, 3)
w1.requires_grad = True
w2 = torch.randn(3, 3)
w2.requires_grad = True
o = optim.Adam([w1])
print(o.param_groups)
givesh2[{'amsgrad': False,
'betas': (0.9, 0.999),
'eps': 1e-08,
'lr': 0.001,
'params': [tensor([[ 2.9064, -0.2141, -0.4037],
[-0.5718, 1.0375, -0.6862],
[-0.8372, 0.4380, -0.1572]])],
'weight_decay': 0}]
nowh2o.add_param_group({'params': w2})
print(o.param_groups)
[{'amsgrad': False,
'betas': (0.9, 0.999),
'eps': 1e-08,
'lr': 0.001,
'params': [tensor([[ 2.9064, -0.2141, -0.4037],
[-0.5718, 1.0375, -0.6862],
[-0.8372, 0.4380, -0.1572]])],
'weight_decay': 0},
{'amsgrad': False,
'betas': (0.9, 0.999),
'eps': 1e-08,
'lr': 0.001,
'params': [tensor([[-0.0560, 0.4585, -0.7589],
[-0.1994, 0.4557, 0.5648],
[-0.1280, -0.0333, -1.1886]])],
'weight_decay': 0}]
# 動態修改學習率
for param_group in optimizer.param_groups:
param_group["lr"] = lr
# 得到學習率optimizer.param_groups[0]["lr"] h2# print('查看optimizer.param_groups結構：')
# i_list=[i for i in optimizer.param_groups[0].keys()]
# print(i_list)
['amsgrad', 'params', 'lr', 'betas', 'weight_decay', 'eps']
補充：pytorch中的優化器總結
以SGD優化器為例：
# -*- coding: utf-8 -*-
#@Time :2019/7/3 22:31
#@Author :XiaoMa
from torch import nn as nn
import torch as t
from torch.autograd import Variable as V
#定義一個LeNet網絡
class Net(nn.Module):
def __init__(self):
super(Net,self).__init__()
self.features=nn.Sequential(
nn.Conv2d(3,6,5),
nn.ReLU(),
nn.MaxPool2d(2,2),
nn.Conv2d(6,16,5),
nn.ReLU(),
nn.MaxPool2d(2,3)
)
self.classifier=nn.Sequential(\
nn.Linear(16*5*5,120),
nn.ReLU(),
nn.Linear(120,84),
nn.ReLU(),
nn.Linear(84,10)
)
def forward(self, x):
x=self.features(x)
x=x.view(-1,16*5*5)
x=self.classifier(x)
return x
net=Net()
from torch import optim #優化器
optimizer=optim.SGD(params=net.parameters(),lr=1)
optimizer.zero_grad() #梯度清零，相當于net.zero_grad()
input=V(t.randn(1,3,32,32))
output=net(input)
output.backward(output) #fake backward
optimizer.step() #執行優化
#為不同子網絡設置不同的學習率，在finetune中經常用到
#如果對某個參數不指定學習率，就使用默認學習率
optimizer=optim.SGD(
[{'param':net.features.parameters()}, #學習率為1e-5
{'param':net.classifier.parameters(),'lr':1e-2}],lr=1e-5
)
#只為兩個全連接層設置較大的學習率，其余層的學習率較小
special_layers=nn.ModuleList([net.classifier[0],net.classifier[3]])
special_layers_params=list(map(id,special_layers.parameters()))
base_params=filter(lambda p:id(p) not in special_layers_params,net.parameters())
optimizer=t.optim.SGD([
{'param':base_params},
{'param':special_layers.parameters(),'lr':0.01}
],lr=0.001)
調整學習率主要有兩種做法。
一種是修改optimizer.param_groups中對應的學習率，另一種是新建優化器（更簡單也是更推薦的做法），由于optimizer十分輕量級，構建開銷很小，故可以構建新的optimizer。
但是新建優化器會重新初始化動量等狀態信息，這對使用動量的優化器來說（如自帶的momentum的sgd），可能會造成損失函數在收斂過程中出現震蕩。
如：
#調整學習率，新建一個optimizer
old_lr=0.1
optimizer=optim.SGD([
{'param':net.features.parameters()},
{'param':net.classifiers.parameters(),'lr':old_lr*0.5}],lr=1e-5)
以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:- pytorch 優化器(optim)不同參數組,不同學習率設置的操作
- 在pytorch中動態調整優化器的學習率方式
- 淺談Pytorch torch.optim優化器個性化的使用
- pytorch 實現在一個優化器中設置多個網絡參數的例子
- 詳解PyTorch批訓練及優化器比較
