筆記|李宏毅老師機(jī)器學(xué)習(xí)課程，視頻15Keras Demo

 1import numpy as np
 2from keras.models import Sequential
 3from keras.layers.core import Dense, Dropout, Activation
 4from keras.layers import Conv2D, MaxPooling2D, Flatten
 5from keras.optimizers import SGD, Adam
 6from keras.utils import np_utils
 7from keras.datasets import mnist
 8
 9
10def load_data():  # categorical_crossentropy
11    (x_train, y_train), (x_test, y_test) = mnist.load_data()
12    number = 10000
13    x_train = x_train[0:number]
14    y_train = y_train[0:number]
15    x_train = x_train.reshape(number, 28 * 28)
16    x_test = x_test.reshape(x_test.shape[0], 28 * 28)
17    x_train = x_train.astype('float32')
18    x_test = x_test.astype('float32')
19    # convert class vectors to binary class matrices
20    y_train = np_utils.to_categorical(y_train, 10)
21    y_test = np_utils.to_categorical(y_test, 10)
22    x_train = x_train
23    x_test = x_test
24    x_test = np.random.normal(x_test)  # 加噪聲
25    x_train = x_train / 255
26    x_test = x_test / 255
27
28    return (x_train, y_train), (x_test, y_test)
29
30
31if __name__ == '__main__':
32    '''
33    注意事項(xiàng)如下：
34    1、batch_size=100,epochs=20為宜，batch_size過大會(huì)導(dǎo)致loss下降曲線過于平滑而卡在local minima、saddle point或plateau處，batch_size過小會(huì)導(dǎo)致update次數(shù)過多，運(yùn)算量太大，速度緩慢，但可以帶來一定程度的準(zhǔn)確率提高
35    2、hidden layer數(shù)量不要太多，不然可能會(huì)發(fā)生vanishing gradient(梯度消失)，一般兩到三層為宜
36    3、如果layer數(shù)量太多，則千萬不要使用sigmoid等縮減input影響的激活函數(shù)，應(yīng)當(dāng)選擇ReLU、Maxout等近似線性的activation function(layer數(shù)量不多也應(yīng)該選這兩個(gè))
37    4、每一個(gè)hidden layer所包含的neuron數(shù)量，五六百為宜
38    5、對(duì)于分類問題，loss function一定要使用cross entropy(categorical_crossentropy)，而不是mean square error(mse)
39    6、優(yōu)化器optimizer一般選擇adam，它綜合了RMSProp和Momentum，同時(shí)考慮了過去的gradient、現(xiàn)在的gradient，以及上一次的慣性
40    7、如果testing data上準(zhǔn)確率很低，training data上準(zhǔn)確率比較高，可以考慮使用dropout，Keras的使用方式是在每一層hidden layer的后面加上一句model.add(Dropout(0.5))，其中0.5這個(gè)參數(shù)你自己定；注意，加了dropout之后在training set上的準(zhǔn)確率會(huì)降低，但是在testing set上的準(zhǔn)確率會(huì)提高，這是正常的
41    8、如果input是圖片的pixel，注意對(duì)灰度值進(jìn)行歸一化，即除以255，使之處于0～1之間
42    9、最后的output最好同時(shí)輸出在training set和testing set上的準(zhǔn)確率，以便于對(duì)癥下藥
43    '''
44    # load training data and testing data
45    (x_train, y_train), (x_test, y_test) = load_data()
46
47    # define network structure
48    model = Sequential()
49
50    model.add(Dense(input_dim=28 * 28, units=500, activation='relu'))
51    # model.add(Dropout(0.5))
52    model.add(Dense(units=500, activation='relu'))
53    # model.add(Dropout(0.5))
54    model.add(Dense(units=10, activation='softmax'))
55
56    # set configurations
57    model.compile(loss='categorical_crossentropy',
58                  optimizer='adam', metrics=['accuracy'])
59
60    # train model
61    model.fit(x_train, y_train, batch_size=100, epochs=20)
62
63    # evaluate the model and output the accuracy
64    result_train = model.evaluate(x_train, y_train)
65    result_test = model.evaluate(x_test, y_test)
66    print('Train Acc:', result_train[1])
67    print('Test Acc:', result_test[1])