TensorFlow神經網絡創建多層感知機MNIST數據集
前面使用TensorFlow實現一個完整的Softmax Regression,並在MNIST數據及上取得瞭約92%的正確率。
前文傳送門: TensorFlow教程Softmax邏輯回歸識別手寫數字MNIST數據集
現在建含一個隱層的神經網絡模型(多層感知機)。
import tensorflow as tf import numpy as np import input_data mnist = input_data.read_data_sets('data/', one_hot=True) n_hidden_1 = 256 n_input = 784 n_classes = 10 # INPUTS AND OUTPUTS x = tf.placeholder(tf.float32, [None, n_input]) # 用placeholder先占地方,樣本個數不確定為None y = tf.placeholder(tf.float32, [None, n_classes]) # 用placeholder先占地方,樣本個數不確定為None # NETWORK PARAMETERS weights = { 'w1': tf.Variable(tf.random_normal([n_input, n_hidden_1], stddev=0.1)), 'out': tf.Variable(tf.zeros([n_hidden_1, n_classes])) } biases = { 'b1': tf.Variable(tf.zeros([n_hidden_1])), 'out': tf.Variable(tf.zeros([n_classes])) } print("NETWORK READY") def multilayer_perceptron(_X, _weights, _biases): # 前向傳播,l1、l2每一層後面加relu激活函數 layer_1 = tf.nn.relu(tf.add(tf.matmul(_X, _weights['w1']), _biases['b1'])) # 隱層 return (tf.matmul(layer_1, _weights['out']) + _biases['out']) # 返回輸出層的結果,得到十個類別的得分值 pred = multilayer_perceptron(x, weights, biases) # 前向傳播的預測值 cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(pred, y)) # 交叉熵損失函數,參數分別為預測值pred和實際label值y,reduce_mean為求平均loss optm = tf.train.GradientDescentOptimizer(0.01).minimize(cost) # 梯度下降優化器 corr = tf.equal(tf.argmax(pred, 1), tf.argmax(y, 1)) # tf.equal()對比預測值的索引和實際label的索引是否一樣,一樣返回True,不一樣返回False accr = tf.reduce_mean(tf.cast(corr, tf.float32)) # 將pred即True或False轉換為1或0,並對所有的判斷結果求均值 init = tf.global_variables_initializer() print("FUNCTIONS READY") # 上面神經網絡結構定義好之後,下面定義一些超參數 training_epochs = 100 # 所有樣本迭代100次 batch_size = 100 # 每進行一次迭代選擇100個樣本 display_step = 5 # LAUNCH THE GRAPH sess = tf.Session() # 定義一個Session sess.run(init) # 在sess裡run一下初始化操作 # OPTIMIZE for epoch in range(training_epochs): avg_cost = 0. total_batch = int(mnist.train.num_examples/batch_size) # Loop over all batches for i in range(total_batch): batch_xs, batch_ys = mnist.train.next_batch(batch_size) # 逐個batch的去取數據 sess.run(optm, feed_dict={x: batch_xs, y: batch_ys}) avg_cost += sess.run(cost, feed_dict={x: batch_xs, y: batch_ys})/total_batch # Display logs per epoch step if epoch % display_step == 0: train_acc = sess.run(accr, feed_dict={x: batch_xs, y: batch_ys}) test_acc = sess.run(accr, feed_dict={x: mnist.test.images, y: mnist.test.labels}) print("Epoch: %03d/%03d cost: %.9f TRAIN ACCURACY: %.3f TEST ACCURACY: %.3f" % (epoch, training_epochs, avg_cost, train_acc, test_acc)) print("DONE")
迭代100次看下效果,程序運行結果如下:
Epoch: 095/100 cost: 0.076462782 TRAIN ACCURACY: 0.990 TEST ACCURACY: 0.970
最終,在測試集上準確率達到97%,隨著迭代次數增加,準確率還會上升。相比之前的Softmax,訓練迭代100次我們的誤差率由8%降到瞭3%,對識別銀行賬單這種精確度要求很高的場景,可以說是飛躍性的提高。而這個提升僅靠增加一個隱層就實現瞭,可見多層神經網絡的效果有多顯著。
沒有隱含層的Softmax Regression隻能直接從圖像的像素點推斷是哪個數字,而沒有特征抽象的過程。多層神經網絡依靠隱含層,則可以組合出高階特征,比如橫線、豎線、圓圈等,之後可以將這些高階特征或者說組件再組合成數字,就能實現精準的匹配和分類。
不過,使用全連接神經網絡也是有局限的,即使我們使用很深的網絡,很多的隱藏節點,很大的迭代次數,也很難在MNIST數據集上達到99%以上的準確率。
以上就是TensorFlow神經網絡創建多層感知機MNIST數據集的詳細內容,更多關於TensorFlow創建多層感知機MNIST數據集的資料請關註WalkonNet其它相關文章!
推薦閱讀:
- TensorFlow教程Softmax邏輯回歸識別手寫數字MNIST數據集
- TensorFlow卷積神經網絡MNIST數據集實現示例
- TensorFlow卷積神經網絡AlexNet實現示例詳解
- 深度學習TextRNN的tensorflow1.14實現示例
- 基於Tensorflow搭建一個神經網絡的實現