Caffe卷積神經網絡數據層及參數

引言

要運行caffe,需要先創建一個模型(model),如比較常用的Lenet,Alex等, 而一個模型由多個屋(layer)構成,每一屋又由許多參數組成。所有的參數都定義在caffe.proto這個文件中。要熟練使用caffe,最重要的就是學會配置文件(prototxt)的編寫。

層有很多種類型,比如Data,Convolution,Pooling等,層之間的數據流動是以Blobs的方式進行。

數據層

今天我們就先介紹一下數據層.

數據層是每個模型的最底層,是模型的入口,不僅提供數據的輸入,也提供數據從Blobs轉換成別的格式進行保存輸出。通常數據的預處理(如減去均值, 放大縮小, 裁剪和鏡像等),也在這一層設置參數實現。

數據來源可以來自高效的數據庫(如LevelDB和LMDB),也可以直接來自於內存。如果不是很註重效率的話,數據也可來自磁盤的hdf5文件和圖片格式文件。

所有的數據層的都具有的公用參數:先看示例

layer {
  name: "cifar"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    mean_file: "examples/cifar10/mean.binaryproto"
  }
  data_param {
    source: "examples/cifar10/cifar10_train_lmdb"
    batch_size: 100
    backend: LMDB
  }
}

name: 表示該層的名稱,可隨意取

type: 層類型,如果是Data,表示數據來源於LevelDB或LMDB。根據數據的來源不同,數據層的類型也不同(後面會詳細闡述)。一般在練習的時候,我們都是采 用的LevelDB或LMDB數據,因此層類型設置為Data。

top或bottom: 每一層用bottom來輸入數據,用top來輸出數據。如果隻有top沒有bottom,則此層隻有輸出,沒有輸入。反之亦然。如果有多個 top或多個bottom,表示有多個blobs數據的輸入和輸出。

data 與 label: 在數據層中,至少有一個命名為data的top。如果有第二個top,一般命名為label。 這種(data,label)配對是分類模型所必需的。

include: 一般訓練的時候和測試的時候,模型的層是不一樣的。該層(layer)是屬於訓練階段的層,還是屬於測試階段的層,需要用include來指定。如果沒有include參數,則表示該層既在訓練模型中,又在測試模型中。

Transformations: 數據的預處理,可以將數據變換到定義的范圍內。如設置scale為0.00390625,實際上就是1/255,即將輸入數據由0-255歸一化到0-1之間

其它的數據預處理也在這個地方設置:

transform_param {
    scale: 0.00390625
    mean_file_size: "examples/cifar10/mean.binaryproto"
    # 用一個配置文件來進行均值操作
    mirror: 1  # 1表示開啟鏡像,0表示關閉,也可用ture和false來表示
    # 剪裁一個 227*227的圖塊,在訓練階段隨機剪裁,在測試階段從中間裁剪
    crop_size: 227
  }

後面的data_param部分,就是根據數據的來源不同,來進行不同的設置。

1、數據來自於數據庫(如LevelDB和LMDB)

層類型(layer type):Data

必須設置的參數:

source: 包含數據庫的目錄名稱,如examples/mnist/mnist_train_lmdb

batch_size: 每次處理的數據個數,如64

可選的參數:

rand_skip: 在開始的時候,路過某個數據的輸入。通常對異步的SGD很有用。

backend: 選擇是采用LevelDB還是LMDB, 默認是LevelDB.

示例:

layer {
  name: "mnist"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    scale: 0.00390625
  }
  data_param {
    source: "examples/mnist/mnist_train_lmdb"
    batch_size: 64
    backend: LMDB
  }
}

2、數據來自於內存

層類型:MemoryData

必須設置的參數:

batch_size:每一次處理的數據個數,比如2

channels:通道數

height:高度

width: 寬度

示例:

layer {
  top: "data"
  top: "label"
  name: "memory_data"
  type: "MemoryData"
  memory_data_param{
    batch_size: 2
    height: 100
    width: 100
    channels: 1
  }
  transform_param {
    scale: 0.0078125
    mean_file: "mean.proto"
    mirror: false
  }
}

3、數據來自於HDF5

層類型:HDF5Data

必須設置的參數:

source: 讀取的文件名稱

batch_size: 每一次處理的數據個數

示例:

layer {
  name: "data"
  type: "HDF5Data"
  top: "data"
  top: "label"
  hdf5_data_param {
    source: "examples/hdf5_classification/data/train.txt"
    batch_size: 10
  }
}

4、數據來自於圖片

層類型:ImageData

必須設置的參數:

source: 一個文本文件的名字,每一行給定一個圖片文件的名稱和標簽(label)

batch_size: 每一次處理的數據個數,即圖片數

可選參數:

rand_skip:在開始的時候,路過某個數據的輸入。通常對異步的SGD很有用。

shuffle: 隨機打亂順序,默認值為false

new_height,new_width: 如果設置,則將圖片進行resize

示例:

layer {
  name: "data"
  type: "ImageData"
  top: "data"
  top: "label"
  transform_param {
    mirror: false
    crop_size: 227
    mean_file: "data/ilsvrc12/imagenet_mean.binaryproto"
  }
  image_data_param {
    source: "examples/_temp/file_list.txt"
    batch_size: 50
    new_height: 256
    new_width: 256
  }
}

5、數據來源於Windows

層類型:WindowData

必須設置的參數:

source: 一個文本文件的名字

batch_size: 每一次處理的數據個數,即圖片數

示例:

layer {
  name: "data"
  type: "WindowData"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    mirror: true
    crop_size: 227
    mean_file: "data/ilsvrc12/imagenet_mean.binaryproto"
  }
  window_data_param {
    source: "examples/finetune_pascal_detection/window_file_2007_trainval.txt"
    batch_size: 128
    fg_threshold: 0.5
    bg_threshold: 0.5
    fg_fraction: 0.25
    context_pad: 16
    crop_mode: "warp"
  }
}

以上就是Caffe卷積神經網絡數據層及參數的詳細內容,更多關於Caffe數據層參數的資料請關註WalkonNet其它相關文章!

推薦閱讀: