1、傳統(tǒng)的BP網(wǎng)絡(luò)和CNN網(wǎng)絡(luò)
2、LSTM網(wǎng)絡(luò)
3、LSTM的輸入結(jié)構(gòu)
4、pytorch中的LSTM
4.1 pytorch中定義的LSTM模型
4.2 喂給LSTM的數(shù)據(jù)格式
4.3 LSTM的output格式
5、LSTM和其他網(wǎng)絡(luò)組合

BP網(wǎng)絡(luò)

# 示例代碼，沒(méi)有實(shí)際意義model = Sequential()model.add(Conv2D(32, (3, 3), activation='relu'))  # 添加卷積層model.add(MaxPooling2D(pool_size=(2, 2)))         # 添加池化層model.add(Dropout(0.25))                          # 添加dropout層
model.add(Conv2D(32, (3, 3), activation='relu'))  # 添加卷積層model.add(MaxPooling2D(pool_size=(2, 2)))         # 添加池化層model.add(Dropout(0.25))                          # 添加dropout層
....   # 添加其他卷積操作
model.add(Flatten())                            # 拉平三維數(shù)組為2維數(shù)組model.add(Dense(256, activation='relu'))        添加普通的全連接層model.add(Dropout(0.5))model.add(Dense(10, activation='softmax'))
....  # 訓(xùn)練網(wǎng)絡(luò)

LSTM網(wǎng)絡(luò)結(jié)構(gòu)

三維數(shù)據(jù)立方體

4.1 pytorch中定義的LSTM模型

class torch.nn.LSTM(*args, **kwargs)參數(shù)有：    input_size：x的特征維度    hidden_size：隱藏層的特征維度    num_layers：lstm隱層的層數(shù)，默認(rèn)為1    bias：False則bihbih=0和bhhbhh=0. 默認(rèn)為True    batch_first：True則輸入輸出的數(shù)據(jù)格式為 (batch, seq, feature)    dropout：除最后一層，每一層的輸出都進(jìn)行dropout，默認(rèn)為: 0    bidirectional：True則為雙向lstm默認(rèn)為False

4.2 喂給LSTM的數(shù)據(jù)格式

input(seq_len, batch, input_size)參數(shù)有：    seq_len：序列長(zhǎng)度，在NLP中就是句子長(zhǎng)度，一般都會(huì)用pad_sequence補(bǔ)齊長(zhǎng)度    batch：每次喂給網(wǎng)絡(luò)的數(shù)據(jù)條數(shù)，在NLP中就是一次喂給網(wǎng)絡(luò)多少個(gè)句子    input_size：特征維度，和前面定義網(wǎng)絡(luò)結(jié)構(gòu)的input_size一致。

input(batch, seq_len, input_size)

h0(num_layers * num_directions, batch, hidden_size)c0(num_layers * num_directions, batch, hidden_size)參數(shù)：    num_layers：隱藏層數(shù)    num_directions：如果是單向循環(huán)網(wǎng)絡(luò)，則num_directions=1，雙向則num_directions=2    batch：輸入數(shù)據(jù)的batch    hidden_size：隱藏層神經(jīng)元個(gè)數(shù)

input(batch, seq_len, input_size)

h0(batc，num_layers * num_directions, h, hidden_size)c0(batc，num_layers * num_directions, h, hidden_size)

4.3 LSTM的output格式

output,(ht, ct) = net(input)    output: 最后一個(gè)狀態(tài)的隱藏層的神經(jīng)元輸出    ht：最后一個(gè)狀態(tài)的隱含層的狀態(tài)值    ct：最后一個(gè)狀態(tài)的隱含層的遺忘門值

output(seq_len, batch, hidden_size * num_directions)ht(num_layers * num_directions, batch, hidden_size)ct(num_layers * num_directions, batch, hidden_size)

input(batch, seq_len, input_size)

ht(batc，num_layers * num_directions, h, hidden_size)ct(batc，num_layers * num_directions, h, hidden_size)

import torchfrom torch import nn
class RegLSTM(nn.Module):    def __init__(self):        super(RegLSTM, self).__init__()        # 定義LSTM        self.rnn = nn.LSTM(input_size, hidden_size, hidden_num_layers)        # 定義回歸層網(wǎng)絡(luò)，輸入的特征維度等于LSTM的輸出，輸出維度為1        self.reg = nn.Sequential(            nn.Linear(hidden_size, 1)        )
    def forward(self, x):        x, (ht,ct) = self.rnn(x)        seq_len, batch_size, hidden_size= x.shape        x = y.view(-1, hidden_size)        x = self.reg(x)        x = x.view(seq_len, batch_size, -1)        return x

↓掃描二維碼關(guān)注本號(hào)↓