基於Keras的擴展性使用
Keras是一個用於在python上搭神經網絡模型的框架，語法和torch比較相似。我個人認為Keras最大的特點是包裝很好，一些在訓練過程中要輸出的方法和常用的優化函數、目標函數都已經內置瞭，非常適合用來寫大作業。Keras和python的哲學有些相似，那就是盡量不自己造輪子。
但是最近逛知乎，看到有答案說，Keras隻能用來搭一些世面上已經普及的網絡，和其它框架相比比較小白。換句話說，就是Keras的擴展性不好。作為一個試用過theano、tensorflow、torch、caffe等框架，最後定居在Keras的人，我對此不太同意。事實上，Keras擁有不錯的擴展性，這一方面是因為設計時就留好的接口，另一方面是因為清晰的代碼結構，讓你可以有很多自定義的空間。所以下面用幾個例子介紹在Keras中如何自定義層和各種方法。
0、backend
如果想在Keras中自定義各種層和函數，一定會用到的就是backend。一般導入的方法是
from keras import backend as K
這是因為Keras可以有兩種後臺，即theano和tensorflow，所以一些操作張量的函數可能是隨後臺的不同而不同的，
通過引入這個backend，就可以讓Keras來處理兼容性。
比如求x的平均，就是K.mean(x)。backend文件本身在keras/backend文件夾下，可以通過閱讀代碼來瞭解backend都支持哪些操作。backend裡面函數很多，一般都夠用瞭。
1、Lambda 層
如果你隻是想對流經該層的數據做個變換，而這個變換本身沒有什麼需要學習的參數，那麼直接用Lambda Layer是最合適的瞭。
導入的方法是
from keras.layers.core import Lambda
Lambda函數接受兩個參數，第一個是輸入張量對輸出張量的映射函數，第二個是輸入的shape對輸出的shape的映射函數。比如想構建這樣一個層，流經該層的數據會被減去平均值，那麼可以這樣定義：
def sub_mean(x):
x -= K.mean(x,axis=1,keepdims=True)
return x
model.add( Lambda(sub_mean,output_shape=lambda input_shape:input_shape ))
因為輸出的shape和輸入的shape是一樣的，第二個參數就直接用瞭恒等映射。
把模型完整地建立出來：
def get_submean_model():
model = Sequential()
model.add(Dense(5,input_dim=7))
def sub_mean(x):
x -= K.mean(x,axis=1,keepdims=True)
return x
model.add( Lambda(sub_mean,output_shape=lambda input_shape:input_shape))
model.compile(optimizer='rmsprop',loss='mse')
return model
model = get_submean_model()
res=model.predict(np.random.random((3,7)))
得到地res的平均值是[ 5.96046448e-08 -5.96046448e-08 0.00000000e+00]，可見確實實現瞭減去均值的作用。
2、自定義非遞歸層
如果自己想定義的層中有需要學習的變量，那麼就不能用lambda層瞭，需要自己寫一個出來。
比如說我想定義一個層，它的效果是對張量乘一個正對角陣（換句話說，輸入向量與一個要學習的向量逐元素相乘），那麼可以這樣寫：
首先要導入基類
from keras.engine.topology import Layer
然後對MyLaber定義如下：
class MyLayer(Layer):
def __init__(self,output_dim,**kw):
self.output_dim = output_dim
super(MyLayer,self).__init__(**kw)
def build(self,input_shape):
input_dim = input_shape[1]
assert(input_dim == self.output_dim)
inital_SCALER = np.ones((input_dim,))*1000
self.SCALER = K.variable(inital_SCALER)
self.trainable_weights = [self.SCALER]
super(MyLayer,self).build(input_shape)
def call(self,x,mask=None):
#return x - K.mean(x,axis=1,keepdims=True)
x *= self.SCALER
return x
def get_output_shape_for(self,input_shape):
return input_shape
主要參照Keras內置的層的寫法，比如Dense在keras/layers/core.py中，要把能學習的參數放在self.trainable_weights中。這裡把初始值設成瞭1000是為瞭讓該層的效果更顯著。然後把模型寫全來測試一下
def get_mylayer_model():
model = Sequential()
model.add(Dense(5,input_dim=7))
model.add(MyLayer(5))
model.compile(optimizer='rmsprop',loss='mse')
return model
model = get_mylayer_model()
res=model.predict(np.random.random((3,7)))
print res
res如下：
[[ 271.2746582 -1053.31506348 147.17185974 -1120.33740234 609.54876709]
[ -263.69671631 -390.41921997 291.17721558 -594.58721924 615.97369385]
[ -46.58752823 -733.11328125 -21.9815979 -570.79351807 649.44158936]]
都是很大的數，而不加MyLayer時每個值一般也不超過+-2，這個層確實起瞭作用。
在fit之前調用model.get_weights()，看到該層的權重都是1000，隨便隨機出來個測試集，fit幾千個epoch隻後，loss變得很小，MyLayer的權重變成瞭997左右，而前面一層Dense的權重都成10^-4量級，說明MyLayer中的參數也確實是可學習的。
3、自定義損失函數
Keras內置的損失函數都在keras/objectives.py中，比如mse的定義是：
def mean_squared_error(y_true, y_pred):
return K.mean(K.square(y_pred - y_true), axis=-1)
按照相同的格式，可以定義自己的損失函數。比如我們想要差值的4次方的平均作為損失函數：
def my_object(y_true,y_pred):
return K.mean(K.square(K.square(y_pred-y_true)),axis=-1)
把模型寫全：
def get_myobj_model():
model = Sequential()
model.add(Dense(5,input_dim=7))
model.add(Dense(3))
def my_object(y_true,y_pred):
return K.mean(K.square(K.square(y_pred-y_true)),axis=-1)
model.compile(optimizer='sgd',loss=my_object)
return model
model = get_myobj_model()
能自定義損失函數是非常重要一環，它極大的擴展瞭網絡的應用。例如希望用cnn訓練出來一個前後景分割的濾波器，它的輸出的像素在對應前景的位置是1，在對應後景的位置是0。不但希望網絡輸出的值的mse小，而且希望0和1分別都連在一起，不要出來雪花狀的輸出。那麼自定義損失函數就能做到瞭，實際是把兩個損失函數放到瞭一個損失函數中。
另外一些很有用的損失函數如warp-ctc，就可以在這裡集成進模型。
4、自定義遞歸層
遞歸層的定義方法和非遞歸層不太一樣。根據Keras內LSTM的寫法，它還有一個reset_states函數和step函數，這是由遞歸的性質決定的。例子都在keras/layers/recurrent.py中。
之前看學長用lasagne寫的LSTM的變體，看得我想哭，還不如在Keras中把LSTM得代碼復制過來修修改改。不過LSTM也不能直接復制過來，還需要import幾個依賴：
rom keras.layers.recurrent import LSTM,Recurrent,time_distributed_dense from keras import initializations,regularizers,activations from keras.engine import InputSpec
5、自定義優化函數
Keras的代碼確實好，耦合度很低。Keras內置的優化函數在keras/optimizers.py中，基類Optimizer也在這個文件裡。例如把它內置的SGD算法拷貝到自己的文件中，隻要先from keras.optimizers import Optimizer就能編譯通過。
有時候要得到state-of-the-art的結果，需要用sgd加動量法充分收斂。比如學習率0.01學習上100epoch，再把學習率減半，再學100epoch，依次類推。如果不自定義優化函數的話，就要分階段調用fit函數，修改學習率，可能還要重新compile。這就不是很優美瞭。其它一些奇葩的學習策略，也可以通過自定義優化函數來得到。
6、後記
Keras確實非常強大，不但能用來寫大作業，做一些研究也夠用瞭。Yeah
補充：keras的擴展性：自定義keras
1. 自定義keras
keras是一種深度學習的API，能夠快速實現你的實驗。keras也集成瞭很多預訓練的模型，可以實現很多常規的任務，如圖像分類。TensorFlow 2.0之後tensorflow本身也變的很keras化。
另一方面，keras表現出高度的模塊化和封裝性，所以有的人會覺得keras不易於擴展， 比如實現一種新的Loss，新的網絡層結構；其實可以通過keras的基礎模塊進行快速的擴展，實現更新的算法。
本文就keras的擴展性，總結瞭對layer，model和loss的自定義。
2. 自定義keras layers
layers是keras中重要的組成部分，網絡結構中每一個組成都要以layers來表現。keras提供瞭很多常規的layer，如Convolution layers，pooling layers， activation layers， dense layers等， 我們可以通過繼承基礎layers來擴展自定義的layers。
2.1 base layer
layer實瞭輸入tensor和輸出tensor的操作類，以下為base layer的5個方法，自定義layer隻要重寫這些方法就可以瞭。
init(): 定義自定義layer的一些屬性
build(self, input_shape)：定義layer需要的權重weights
call(self, *args, **kwargs)：layer具體的操作，會在調用自定義layer自動執行
get_config(self)：layer初始化的配置，是一個字典dictionary。
compute_output_shape(self,input_shape)：計算輸出tensor的shape
2.2 例子
# 標準化層
class InstanceNormalize(Layer):
def __init__(self, **kwargs):
super(InstanceNormalize, self).__init__(**kwargs)
self.epsilon = 1e-3
def call(self, x, mask=None):
mean, var = tf.nn.moments(x, [1, 2], keep_dims=True)
return tf.div(tf.subtract(x, mean), tf.sqrt(tf.add(var, self.epsilon)))
def compute_output_shape(self,input_shape):
return input_shape
# 調用
inputs = keras.Input(shape=(None, None, 3))
x = InstanceNormalize()(inputs)
# 可以通過add_weight() 創建權重
class SimpleDense(Layer):
def __init__(self, units=32):
super(SimpleDense, self).__init__()
self.units = units
def build(self, input_shape):
self.w = self.add_weight(shape=(input_shape[-1], self.units),
initializer='random_normal',
trainable=True)
self.b = self.add_weight(shape=(self.units,),
initializer='random_normal',
trainable=True)
def call(self, inputs):
return tf.matmul(inputs, self.w) + self.b
# 調用
inputs = keras.Input(shape=(None, None, 3))
x = SimpleDense(units=64)(inputs)
3. 自定義keras model
我們在定義完網絡結構時，會把整個工作流放在 keras.Model， 進行 compile(), 然後通過 fit() 進行訓練過程。執行 fit() 的時候，執行每個 batch size data 的時候，都會調用 Model 中train_step(self, data)
from keras.models import Sequential
from keras.layers import Dense, Activation
model = Sequential()
model.add(Dense(units=64, input_dim=100))
model.add(Activation("relu"))
model.add(Dense(units=10))
model.add(Activation("softmax"))
model.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5, batch_size=32)
當你需要自己控制訓練過程的時候，可以重寫Model的train_step(self, data)方法
class CustomModel(keras.Model):
def train_step(self, data):
# Unpack the data. Its structure depends on your model and
# on what you pass to `fit()`.
x, y = data
with tf.GradientTape() as tape:
y_pred = self(x, training=True) # Forward pass
# Compute the loss value
# (the loss function is configured in `compile()`)
loss = self.compiled_loss(y, y_pred, regularization_losses=self.losses)
# Compute gradients
trainable_vars = self.trainable_variables
gradients = tape.gradient(loss, trainable_vars)
# Update weights
self.optimizer.apply_gradients(zip(gradients, trainable_vars))
# Update metrics (includes the metric that tracks the loss)
self.compiled_metrics.update_state(y, y_pred)
# Return a dict mapping metric names to current value
return {m.name: m.result() for m in self.metrics}
import numpy as np
# Construct and compile an instance of CustomModel
inputs = keras.Input(shape=(32,))
outputs = keras.layers.Dense(1)(inputs)
model = CustomModel(inputs, outputs)
model.compile(optimizer="adam", loss="mse", metrics=["mae"])
# Just use `fit` as usual
x = np.random.random((1000, 32))
y = np.random.random((1000, 1))
model.fit(x, y, epochs=3)
4. 自定義keras loss
keras實現瞭交叉熵等常見的loss，自定義loss對於使用keras來說是比較常見，實現各種魔改loss，如focal loss。
我們來看看keras源碼中對loss實現
def categorical_crossentropy(y_true, y_pred):
return K.categorical_crossentropy(y_true, y_pred)
def mean_squared_error(y_true, y_pred):
return K.mean(K.square(y_pred - y_true), axis=-1)
可以看出輸入是groud true y_true和預測值y_pred， 返回為計算loss的函數。自定義loss可以參照如此模式即可。
def focal_loss(weights=None, alpha=0.25, gamma=2):
r"""Compute focal loss for predictions.
Multi-labels Focal loss formula:
FL = -alpha * (z-p)^gamma * log(p) -(1-alpha) * p^gamma * log(1-p)
,which alpha = 0.25, gamma = 2, p = sigmoid(x), z = target_tensor.
# https://github.com/ailias/Focal-Loss-implement-on-Tensorflow/blob/master/focal_loss.py
Args:
prediction_tensor: A float tensor of shape [batch_size, num_anchors,
num_classes] representing the predicted logits for each class
target_tensor: A float tensor of shape [batch_size, num_anchors,
num_classes] representing one-hot encoded classification targets
weights: A float tensor of shape [batch_size, num_anchors]
alpha: A scalar tensor for focal loss alpha hyper-parameter
gamma: A scalar tensor for focal loss gamma hyper-parameter
Returns:
loss: A (scalar) tensor representing the value of the loss function
"""
def _custom_loss(y_true, y_pred):
sigmoid_p = tf.nn.sigmoid(y_pred)
zeros = array_ops.zeros_like(sigmoid_p, dtype=sigmoid_p.dtype)
# For poitive prediction, only need consider front part loss, back part is 0;
# target_tensor > zeros <=> z=1, so poitive coefficient = z - p.
pos_p_sub = array_ops.where(y_true > zeros, y_true - sigmoid_p, zeros)
# For negative prediction, only need consider back part loss, front part is 0;
# target_tensor > zeros <=> z=1, so negative coefficient = 0.
neg_p_sub = array_ops.where(y_true > zeros, zeros, sigmoid_p)
per_entry_cross_ent = - alpha * (pos_p_sub ** gamma) * tf.log(tf.clip_by_value(sigmoid_p, 1e-8, 1.0)) \
- (1 - alpha) * (neg_p_sub ** gamma) * tf.log(
tf.clip_by_value(1.0 - sigmoid_p, 1e-8, 1.0))
return tf.reduce_sum(per_entry_cross_ent)
return _custom_loss
5. 總結
本文分享瞭keras的擴展功能，擴展功能其實也是實現Keras模塊化的一種繼承實現。
總結如下：
繼承Layer實現自定義layer， 記住bulid() call()
繼續Model實現train_step定義訓練過程，記住梯度計算tape.gradient(loss, trainable_vars) ，權重更新optimizer.apply_gradients, 計算evaluate compiled_metrics.update_state(y, y_pred)
魔改loss，記住groud true y_true和預測值y_pred輸入，返回loss function
以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。
推薦閱讀：
- tensorflow2.0教程之Keras快速入門
- Python keras.metrics源代碼分析
- tensorflow2 自定義損失函數使用的隱藏坑
- tensorflow2.0實現復雜神經網絡(多輸入多輸出nn，Resnet)
- 手把手教你使用TensorFlow2實現RNN