機器學習中，大部分是分類問題，另一種常見的機器學習問題是回歸問題，它預測一個連續(xù)值而不是離散的標簽，例如，根據(jù)氣象數(shù)據(jù)預測明天的氣溫，或者根據(jù)軟件說明書預測完成軟件項目所需要的時間、根據(jù)消費行為預測用戶的年齡等，今天的案例就是根據(jù)周邊的數(shù)據(jù)，預測房價，房價是一系列的連續(xù)值，因此是一個典型的回歸問題。

注意：不要將回歸問題與 logistic 回歸算法混為一談。令人困惑的是，logistic 回歸不是回歸算法， 而是分類算法。

?

一、波士頓房價數(shù)據(jù)集

本節(jié)將要預測 20 世紀 70 年代中期波士頓郊區(qū)房屋價格的中位數(shù)，已知當時郊區(qū)的一些數(shù)據(jù)點，比如犯罪率、當?shù)胤慨a(chǎn)稅率等。本節(jié)用到的數(shù)據(jù)集與前面兩個例子有一個有趣的區(qū)別。

它包含的數(shù)據(jù)點相對較少，只有 506 個，分為 404 個訓練樣本和 102 個測試樣本。輸入數(shù)據(jù)的 每個特征（比如犯罪率）都有不同的取值范圍。例如，有些特性是比例，取值范圍為 0~1；有 的取值范圍為 1~12；還有的取值范圍為 0~100，等等。

加載波士頓房價數(shù)據(jù)

from keras.datasets import boston_housing(train_data,train_targets),(test_data,test_targets)?=?boston_housing.load_data()

我們來看一下數(shù)據(jù)。

train_data.shape (404, 13) test_data.shape (102, 13)

如你所見，我們有 404 個訓練樣本和 102 個測試樣本，每個樣本都有 13 個數(shù)值特征，比如人均犯罪率、每個住宅的平均房間數(shù)、高速公路可達性等。目標是房屋價格的中位數(shù)，單位是千美元。

train_targetsarray([15.2, 42.3, 50. , 21.1, 17.7, 18.5, 11.3, 15.6, 15.6, 14.4, 12.1,17.9, 23.1, ......

房價大都在 10 000~50 000 美元。折合人民幣6.5w-40w一平米，如果你覺得這很便宜，不要忘記當時是 20 世紀70年代中期，而且這些價格沒有根據(jù)通貨膨脹進行調(diào)整。所以一線城市的房價，還大有上漲空間

二、準備數(shù)據(jù)

將取值范圍差異很大的數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡中，這是有問題的。網(wǎng)絡可能會自動適應這種取值范圍不同的數(shù)據(jù)，但學習肯定變得更加困難。對于這種數(shù)據(jù)，普遍采用的最佳實踐是對每個特征做標準化，即對于輸入數(shù)據(jù)的每個特征（輸入數(shù)據(jù)矩陣中的列），減去特征平均值，再除 以標準差，這樣得到的特征平均值為 0，標準差為 1。用 Numpy 可以很容易實現(xiàn)標準化。

# 數(shù)據(jù)歸一化mean = train_data.mean(axis = 0)train_data -= meanstd = train_data.std(axis = 0)train_data?/=?stdtest_data -= meantest_data /= std

?注意：用于測試數(shù)據(jù)標準化的均值和標準差都是在訓練數(shù)據(jù)上計算得到的。在工作流程中，你不能使用在測試數(shù)據(jù)上計算得到的任何結(jié)果，即使是像數(shù)據(jù)標準化這么簡單的事情也不行。

?

三、構(gòu)建模型框架

由于樣本數(shù)量很少，我們將使用一個非常小的網(wǎng)絡，其中包含兩個隱藏層，每層有 64 個單元。一般來說，訓練數(shù)據(jù)越少，過擬合會越嚴重，而較小的網(wǎng)絡可以降低過擬合。

#構(gòu)建模型框架from keras import layers from?keras?import?modelsdef build_model():    model = models.Sequential()    model.add(layers.Dense(64,activation='relu',input_shape=(train_data.shape[1],)))    model.add(layers.Dense(64,activation='relu'))    model.add(layers.Dense(1))    model.compile(optimizer='rmsprop',loss='mse',metrics=['mae'])    return model

網(wǎng)絡的最后一層只有一個單元，沒有激活，是一個線性層。這是標量回歸（標量回歸是預測單一連續(xù)值的回歸）的典型設置。添加激活函數(shù)將會限制輸出范圍。例如，如果向最后一層添加 sigmoid 激活函數(shù)，網(wǎng)絡只能學會預測 0~1 范圍內(nèi)的值。這里最后一層是純線性的，所以 網(wǎng)絡可以學會預測任意范圍內(nèi)的值。

注意，編譯網(wǎng)絡用的是 mse 損失函數(shù)，即均方誤差（MSE，mean squared error），預測值與 目標值之差的平方。這是回歸問題常用的損失函數(shù)。

在訓練過程中還監(jiān)控一個新指標：平均絕對誤差（MAE，mean absolute error）。它是預測值 與目標值之差的絕對值。比如，如果這個問題的 MAE 等于 0.5，就表示你預測的房價與實際價格平均相差 500 美元。

?

四、利用K 折驗證來驗證你的方法

為了在調(diào)節(jié)網(wǎng)絡參數(shù)（比如訓練的輪數(shù)）的同時對網(wǎng)絡進行評估，你可以將數(shù)據(jù)劃分為訓練集和驗證集，正如前面例子中所做的那樣。但由于數(shù)據(jù)點很少，驗證集會非常小（比如大約100 個樣本）。因此，驗證分數(shù)可能會有很大波動，這取決于你所選擇的驗證集和訓練集。也就是說，驗證集的劃分方式可能會造成驗證分數(shù)上有很大的方差，這樣就無法對模型進行可靠的評估。

在這種情況下，最佳做法是使用 K 折交叉驗證（見圖 3-11）。這種方法將可用數(shù)據(jù)劃分為 K個分區(qū)（K 通常取 4 或 5），實例化 K 個相同的模型，將每個模型在 K-1 個分區(qū)上訓練，并在剩下的一個分區(qū)上進行評估。模型的驗證分數(shù)等于 K 個驗證分數(shù)的平均值。這種方法的代碼實現(xiàn)很簡單。

?

import keras import numpy as np #K折交叉驗證k   = 5num = len(train_data)//kall_score = []for i in range(k):    X_val = train_data[i*num:(i+1)*num]    Y_val = train_targets[i*num:(i+1)*num]    X_train = np.concatenate([train_data[:i*num],train_data[(i+1)*num:]],axis=0)    Y_train = np.concatenate([train_targets[:i*num],train_targets[(i+1)*num:]],axis=0)    model = build_model()    model.fit(X_train,Y_train,epochs=100,batch_size=1,verbose=1)    val_mse,val_mae = model.evaluate(X_val,Y_val,verbose=0)    all_score.append(val_mae)

?

運行結(jié)果如下，取平均，基本上就是模型能到達的最小誤差了

all_score[1.9652233123779297,2.5989739894866943,1.9110896587371826,2.5641400814056396, 2.337777853012085]
np.mean(all_score) 2.275440979003906

每次運行模型得到的驗證分數(shù)有很大差異，從 1.9 到 2.6 不等。平均分數(shù)（2.27）是比單一分數(shù)更可靠的指標——這就是 K 折交叉驗證的關鍵。在這個例子中，預測的房價與實際價格平均相差 2200 美元，考慮到實際價格范圍在 10 000~50 000 美元，這一差別還是很大的。我們讓訓練時間更長一點，達到 500 個輪次。為了記錄模型在每輪的表現(xiàn)，我們需要修改訓練循環(huán)，以保存每輪的驗證分數(shù)記錄。

?

五、模型最后評估

完成模型調(diào)參之后（除了輪數(shù)，還可以調(diào)節(jié)隱藏層大?。憧梢允褂米罴褏?shù)在所有訓練數(shù)據(jù)上訓練最終的生產(chǎn)模型，然后觀察模型在測試集上的性能。

model = build_model()model.fit(train_data,train_targets,epochs=100,batch_size=1,verbose=1)test_mse,test_mae = model.evaluate(test_data,test_targets,verbose=0)
test_mae2.213838815689087
#如果要看預測的明細結(jié)果model.predict(test_data)array([[18.471083],       [20.257647],       [33.627922],       [23.181114],       [23.600664],       [29.277847],       [21.298449],       [17.50559 ],       [21.228243]], dtype=float32)

從上述結(jié)果來看，交叉驗證的結(jié)果與最后的預測結(jié)果相差不大，因此要得到更準的線上精度，最好選擇交叉驗證，而不是一次性的分割驗證。

···? END? ···