新的算法理論不斷涌現(xiàn)的同時，各種深度學(xué)習(xí)框架也不斷出現(xiàn)在人們視野，比如Torch，Caffe等等。TensorFlow是Google開發(fā)的第二代機(jī)器學(xué)習(xí)系統(tǒng)，于2015年底開源，成為了新一代流行的機(jī)器學(xué)習(xí)的算法框架。這一章節(jié)我們將tensorFlow怎么實現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。
單步的RNN：RNNCell
假設(shè)我們有一個初始狀態(tài)h0，還有輸入x1，調(diào)用call(x1, h0)后就可以得到(output1, h1)：
再調(diào)用一次call(x2, h1)就可以得到(output2, h2)：
也就是說，每調(diào)用一次RNNCell的call方法，就相當(dāng)于在時間上“推進(jìn)了一步”，這就是RNNCell的基本功能。
RNNCell只是一個抽象類，我們用的時候都是用的它的兩個子類BasicRNNCell和BasicLSTMCell。這兩個類的重要屬性。
1.state_size
2.output_size
前者是隱層的大小，后者是輸出的大小。比如我們通常是將一個batch送入模型計算，設(shè)輸入數(shù)據(jù)的形狀為(batch_size, input_size)，那么計算時得到的隱層狀態(tài)就是(batch_size, state_size)，輸出就是(batch_size, output_size)。
對于BasicLSTMCell，情況有些許不同，因為LSTM可以看做有兩個隱狀態(tài)h和c，對應(yīng)的隱層就是一個Tuple，每個都是(batch_size, state_size)的形狀：
對于單個的RNNCell，我們使用它的call函數(shù)進(jìn)行運算時，只是在序列時間上前進(jìn)了一步。比如使用x1、h0得到h1，通過x2、h1得到h2等。這樣的h話，如果我們的序列長度為10，就要調(diào)用10次call函數(shù)，比較麻煩。對此，TensorFlow提供了一個tf.nn.dynamic_rnn函數(shù)，使用該函數(shù)就相當(dāng)于調(diào)用了n次call函數(shù)。即通過{h0,x1, x2, …., xn}直接得{h1,h2…,hn}。
具體來說，設(shè)我們輸入數(shù)據(jù)的格式為(batch_size, time_steps, input_size)，其中time_steps表示序列本身的長度，如在Char RNN中，長度為10的句子對應(yīng)的time_steps就等于10。最后的input_size就表示輸入數(shù)據(jù)單個序列單個時間維度上固有的長度。另外我們已經(jīng)定義好了一個RNNCell，調(diào)用該RNNCell的call函數(shù)time_steps次，對應(yīng)的代碼就是：
此時，得到的outputs就是time_steps步里所有的輸出。它的形狀為(batch_size, time_steps, cell.output_size)。state是最后一步的隱狀態(tài)，它的形狀為(batch_size, cell.state_size)。
經(jīng)典RNN結(jié)構(gòu)圖：
import tensorflow as tf
import numpy as np
from tensorflow.contrib import rnn
from tensorflow.examples.tutorials.mnist import input_data
from PIL import Image
import numpy as np
# import scipy
import matplotlib.pyplot as plt
import numpy as np
import pylab
config = tf.ConfigProto()
sess = tf.Session(config=config)
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
print mnist.train.images.shape
# 學(xué)習(xí)率
lr = 1e-3
# 在訓(xùn)練和測試的時候，我們想用不同的 batch_size.所以采用占位符的方式
batch_size = tf.placeholder(tf.int32, [])
# 每個時刻的輸入特征是28維的，就是每個時刻輸入一行，一行有 28 個像素
input_size = 28
# 時序持續(xù)長度為28，即每做一次預(yù)測，需要先輸入28行
timestep_size = 28
# 每個隱含層的節(jié)點數(shù)
hidden_size = 64
# LSTM layer 的層數(shù)
layer_num = 2
# 最后輸出分類類別數(shù)量，如果是回歸預(yù)測的話應(yīng)該是 1
class_num = 10
_X = tf.placeholder(tf.float32, [None, 784])
y = tf.placeholder(tf.float32, [None, class_num])
keep_prob = tf.placeholder(tf.float32)
# 把784個點的字符信息還原成 28 * 28 的圖片
# 下面幾個步驟是實現(xiàn) RNN / LSTM 的關(guān)鍵
X = tf.reshape(_X, [-1, 28, 28])
def unit_lstm():
# 定義一層 LSTM_cell，只需要說明 hidden_size, 它會自動匹配輸入的 X 的維度
lstm_cell = rnn.BasicLSTMCell(num_units=hidden_size, forget_bias=1.0, state_is_tuple=True)
#添加 dropout layer, 一般只設(shè)置 output_keep_prob
lstm_cell = rnn.DropoutWrapper(cell=lstm_cell, input_keep_prob=1.0, output_keep_prob=keep_prob)
return lstm_cell
#調(diào)用 MultiRNNCell 來實現(xiàn)多層 LSTM
mlstm_cell = rnn.MultiRNNCell([unit_lstm() for i in range(3)], state_is_tuple=True)
#用全零來初始化state
init_state = mlstm_cell.zero_state(batch_size, dtype=tf.float32)
outputs, state = tf.nn.dynamic_rnn(mlstm_cell, inputs=X, initial_state=init_state, time_major=False)
h_state = outputs[:, -1, :] # 或者 h_state = state[-1][1]
# 把784個點的字符信息還原成 28 * 28 的圖片
# 下面幾個步驟是實現(xiàn) RNN / LSTM 的關(guān)鍵
X = tf.reshape(_X, [-1, 28, 28])
def unit_lstm():
# 定義一層 LSTM_cell，只需要說明 hidden_size, 它會自動匹配輸入的 X 的維度
lstm_cell = rnn.BasicLSTMCell(num_units=hidden_size, forget_bias=1.0, state_is_tuple=True)
#添加 dropout layer, 一般只設(shè)置 output_keep_prob
lstm_cell = rnn.DropoutWrapper(cell=lstm_cell, input_keep_prob=1.0, output_keep_prob=keep_prob)
return lstm_cell
#調(diào)用 MultiRNNCell 來實現(xiàn)多層 LSTM
mlstm_cell = rnn.MultiRNNCell([unit_lstm() for i in range(3)], state_is_tuple=True)
#用全零來初始化state
init_state = mlstm_cell.zero_state(batch_size, dtype=tf.float32)
outputs, state = tf.nn.dynamic_rnn(mlstm_cell, inputs=X, initial_state=init_state, time_major=False)
h_state = outputs[:, -1, :] # 或者 h_state = state[-1][1]
W = tf.Variable(tf.truncated_normal([hidden_size, class_num], stddev=0.1), dtype=tf.float32)
bias = tf.Variable(tf.constant(0.1,shape=[class_num]), dtype=tf.float32)
y_pre = tf.nn.softmax(tf.matmul(h_state, W) + bias)
# 損失和評估函數(shù)
cross_entropy = -tf.reduce_mean(y * tf.log(y_pre))
train_op = tf.train.AdamOptimizer(lr).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_pre,1), tf.argmax(y,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
sess.run(tf.global_variables_initializer())
for i in range(1000):
_batch_size = 128
batch = mnist.train.next_batch(_batch_size)
if (i+1)%200 == 0:
train_accuracy = sess.run(accuracy, feed_dict={
_X:batch[0], y: batch[1], keep_prob: 1.0, batch_size: _batch_size})
# 已經(jīng)迭代完成的 epoch 數(shù): mnist.train.epochs_completed
print "Iter%d, step %d, training accuracy %g" % ( mnist.train.epochs_completed, (i+1), train_accuracy)
sess.run(train_op, feed_dict={_X: batch[0], y: batch[1], keep_prob: 0.5, batch_size: _batch_size})
images=mnist.test.images
labels=mnist.test.labels
print "test accuracy %g"% sess.run(accuracy, feed_dict={
_X: images, y: labels, keep_prob: 1.0, batch_size:mnist.test.images.shape[0]})
掃一掃獲取最新精彩內(nèi)容與學(xué)習(xí)資料
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。?。?a href="/">首頁 > 大數(shù)據(jù) » 循環(huán)神經(jīng)網(wǎng)絡(luò)RNN的實現(xiàn)