Caffe2——cifar10数据集创建lmdb或leveldb类型的数据

Caffe2——cifar10数据集创建lmdb或leveldb类型的数据

cifar10数据集和mnist数据集存储方式不同，cifar10数据集把标签和图像数据以bin文件的方式存放在同一个文件内，这种存放方式使得每个子cifar数据bin文件的结构相同，所以cifar转换数据代码比mnist的代码更加的模块化，分为源数据读取模块（image_read函数），把lmdb（leveldb）数据转换的变量声明，句柄（函数）调用都放到定义的caffe：：db子空间中，这样简化了代码，而且使得代码更加清晰。

一：程序开始

和转换mnist数据不同的是，cifar并没有使用gflags命令行解析工具；所以也没有通过gflags的宏定义来指定要转换的数据类型，而是把转换的类型参数直接作为main（）函数的参数（这种方式便于理解）。

在Create.sh文件中，调用convert_cifar_data.bin语句为：

./build/examples/cifar10/convert_cifar_data.bin$DATA $EXAMPLE $DBTYPE

convert_cifar_data.bin程序，程序需要3个参数，分别为源数据路径，lmdb（leveldb）存储路径，要转换的数据类型lmdb or leveldb

二：数据转换流程图

三：convert_cifar_data.cpp函数分析

1引入必要的头文件和命名空间

[cpp] view plaincopy

 

1. #include <fstream>   
2. #include <string>  
3. #include "boost/scoped_ptr.hpp"  
4. #include "glog/logging.h"  
5. #include "google/protobuf/text_format.h"  
6. #include "stdint.h"  
7. #include "caffe/proto/caffe.pb.h"  
8. #include "caffe/util/db.hpp"  

头文件和convert_mnist_data.cpp的区别：

1，没有引入gflags命令行解析工具；

2，没有引入leveldb和lmdb的数据头文件

3，引入了"boost/scoped_ptr.hpp"智能指针头文件

4，引入"caffe/util/db.hpp"头文件，里面包装了对lmdb和leveldb数据对象的操作内容

[cpp] view plaincopy

 

1. using caffe::Datum;  
2. using boost::scoped_ptr;  
3. using std::string;  
4. namespace db = caffe::db;  

命名空间区别：

1，没有引入全部caffe命名空间，而是局部引入了两个caffe命名空间下的子空间 caffe::Datum和caffe::db

2，引入boost::scoped_ptr;智能指针命名空间，智能指针，它能够保证在离开作用域后对象被自动释放；在mnist数据转换代码中，经常出现delete batch等删除临时变量的指令，通过智能指针可以自动删除过期的变量，对于控制程序内存占用很实用。

2 main（）函数

接收参数，调用转换函数convet_dataset（）

3 convet_dataset（）函数

3.1以智能指针的方式创建db::DB类型的对象 train_db

[cpp] view plaincopy

 

1. scoped_ptr<db::DB>  train_db(db::GetDB(db_type));  

智能指针的创建方式类似泛型的格式，上面通过db.cpp内定义的命名的子命名空间中db的“成员函数”GetDB函数来初始化train_db对象

3.2 创建lmdb数据对象

3.2.1创建环境；设置环境参数，打开环境

调用tran_db对象的open方法，以“对db::NEW的方式，创建lmdb（leveldb）类型文件

[cpp] view plaincopy

 

1. train_db->Open(output_folder+ "/cifar10_train_" + db_type,db::NEW);  

db命名空间中open函数具体实现代码：

[cpp] view plaincopy

 

1. void LMDB::Open(const string& source, Mode mode) {  
2.   MDB_CHECK(mdb_env_create(&mdb_env_));//创建lmdb操作环境  
3.  MDB_CHECK(mdb_env_set_mapsize(mdb_env_, LMDB_MAP_SIZE));//设置环境内训映射  
4.   if (mode == NEW) {  
5.     CHECK_EQ(mkdir(source.c_str(),0744), 0) << "mkdir " << source <<"failed";  
6.   }//检查文件  
7.   int flags = 0;  
8.   if (mode == READ) {  
9.     flags = MDB_RDONLY | MDB_NOTLS;  
10.   }  
11.   MDB_CHECK(mdb_env_open(mdb_env_,source.c_str(), flags, 0664));//打开创建的环境  
12.   LOG(INFO) << "Openedlmdb " << source;  
13. }  

3.2.2创建并打开transaction操作句柄，打开数据库句柄

调用db命名空间中的Transaction方法，来创建句柄对象txn

scoped_ptr<db::Transaction>  txn(train_db->NewTransaction());

db命名空间中NewTransaction（）函数代码

//在lmdb环境中创建操作句柄

[cpp] view plaincopy

 

1. LMDBTransaction* LMDB::NewTransaction() {  
2.   MDB_txn* mdb_txn;  
3.   MDB_CHECK(mdb_txn_begin(mdb_env_,NULL, 0, &mdb_txn));//创建操作句柄  
4.   MDB_CHECK(mdb_dbi_open(mdb_txn,NULL, 0, &mdb_dbi_));//打开数据库环境  
5.   return new LMDBTransaction(&mdb_dbi_,mdb_txn);  
6. }  

3.3 定义数据结构文件

[cpp] view plaincopy

 

1. const int kCIFARSize =32;  
2. const intkCIFARImageNBytes = 3072; //32*32=1024，RGB各占一个字节,感觉应该为uint8_t，0~255，  
3. const intkCIFARBatchSize = 10000; //cifar共计5万个训练样本，分成5份batches，每份1万个  
4. const int kCIFARTrainBatches= 5;  
5.   // Data buffer  
6.   int label;  
7.   charstr_buffer[kCIFARImageNBytes]; //定义字符数组，一个数组可以存放一张图片的数据  
8.   Datum datum;  
9.   datum.set_channels(3);  
10.   datum.set_height(kCIFARSize);  
11.   datum.set_width(kCIFARSize);  

3.4 打开源数据文件

下载的Cifar数据存放在6个bin文件内，从data_batch_1.bin到data_batch_5.bin；本文以循环的方式分别读取每个bin文件。每个bin文件存储1万张图片

[cpp] view plaincopy

 

1. for (int fileid = 0;fileid < kCIFARTrainBatches; ++fileid) {  
2. snprintf(str_buffer, kCIFARImageNBytes, "/data_batch_%d.bin", fileid + 1);  
3. std::ifstream data_file((input_folder + str_buffer).c_str(),std::ios::in| std::ios::binary);  
4.     CHECK(data_file) << "Unable to open train file #" <<fileid + 1;  
5.          //str_buffer=/data_batch_1.bin,等等，但str_buffer是个字符数组  
6.          //以二进制和流输入的方式打开文件data/cifar10/data_batch_1.bin  
7.          //c_str() 以 char* 形式传回 string 内含字符串  

3.5 读取源数据文件

和mnist不同的是，mnist源数据集有4个文件；mnist读取数据时，分别调用文件读取函数read（），感觉这是由于mnist源数据中label数据和image数据中存储的内容不统一，image文件中除了存储图像数据外，还存储了图像结构数据；而图像结构数据和图像数据读取的方式不一样，而且还涉及到大端小端的转换；所以没有定义一个统一的图像读取函数来读取；本项由于image和标签数据都存储在同一个bin文件中，所以可以定义统一的图片读取函数read_image来读取源数据内容。

[cpp] view plaincopy

 

1. for (int itemid = 0;itemid < kCIFARBatchSize; ++itemid) {  
2.       read_image(&data_file, &label,str_buffer);  
3. //调用read_image函数从.bin文件读取数据，通过指针赋值给label和str_buffer  
4. void read_image(std::ifstream* file,int* label, char*buffer) {  
5.          charlabel_char;  
6.          file->read(&label_char, 1);  
7. //读取label_char的内容；CIFAR10数据应该是一个类似结构体的数据对，有label和data两个属性，其中label用label_char来定义的  
8.          *label = label_char; //把label_char的值，给label  
9.          file->read(buffer,kCIFARImageNBytes);  
10.          return;  
11.          }  

3.6 读取的数据赋值到“转换”数据对象datum，并序列化

[cpp] view plaincopy

 

1. datum.set_label(label);  
2. datum.set_data(str_buffer,kCIFARImageNBytes);  
3. string out;  
4. CHECK(datum.SerializeToString(&out));  

3.7 把数据写入数据库

[cpp] view plaincopy

 

1. int length =snprintf(str_buffer, kCIFARImageNBytes, "%05d",fileid *kCIFARBatchSize + itemid);  

//上一行代码有两个作用：

1，把fileid * kCIFARBatchSize + itemid的值赋值给str_buffer，此处的赋值为每个样本（图片）的id，

2，给length赋值，此处length=5

[cpp] view plaincopy

 

1. string out;  
2. txn->Put(string(str_buffer, length),out);//string(str_buffer, length)用来截取str_buffer的前length个字符；  

//db命名空间中，Put函数代码；

[cpp] view plaincopy

 

1. void LMDBTransaction::Put(conststring& key,const string& value) {  
2.   MDB_val mdb_key, mdb_value;//声明MDB_val不透明类型数据结构“对象”  
3.   mdb_key.mv_data = const_cast<char*>(key.data());//通过指针的方式给mdb_key赋值  
4.   mdb_key.mv_size = key.size();  
5.   mdb_value.mv_data = const_cast<char*>(value.data());  
6.   mdb_value.mv_size = value.size();  
7.   MDB_CHECK(mdb_put(mdb_txn_, *mdb_dbi_,&mdb_key, &mdb_value, 0));  
8. //通过mdb_put（）句柄把mdb_key和mdb_value中的数据，写入数据库中  
9. }  

3.8 把数据库写入lmdb文件并关闭写入环境

//这个commit函数和close函数，不是在caffe：db命名空间中定义的函数，估计是caffe命名空间中自带的函数。

[cpp] view plaincopy

 

1. txn->Commit();  
2. train_db->Close();  

3.9用上面类似的方法把测试集写入lmdb文件中

四，相关文件

convert_cifar10_data.cpp文件

[cpp] view plaincopy

 

1. // This script converts the CIFAR dataset to the leveldb format used  
2. // by caffe to perform classification.  
3. // Usage:  
4. //    convert_cifar_data input_folder output_db_file  
5. // The CIFAR dataset could be downloaded at  
6. //    http://www.cs.toronto.edu/~kriz/cifar.html  
7.   
8. #include <fstream>  // NOLINT(readability/streams)，文件输入输出必备的文件流  
9. #include <string>  
10.   
11. #include "boost/scoped_ptr.hpp"//智能指针  
12. #include "glog/logging.h"//用于日志记录，具体记录什么不是很清楚，  
13. #include "google/protobuf/text_format.h"//用于解析.prototxt文件的  
14. #include "stdint.h"  
15.   
16. #include "caffe/proto/caffe.pb.h" //解析.prototxt文件的头文件  
17. #include "caffe/util/db.hpp" //db.cpp文件中定义了NewTransaction（），Open（）等leveldb和lmdb操作函数  
18.   
19. using caffe::Datum;  
20. using boost::scoped_ptr;//是一个简单的智能指针，它能够保证在离开作用域后对象被自动释放。  
21. using std::string;  
22. namespace db = caffe::db;//引入caffe命名空间中的db子命名空间  
23.   
24. const int kCIFARSize = 32;  
25. const int kCIFARImageNBytes = 3072;//32*32=1024，RGB各占一个字节,感觉应该为uint8_t，0~255，  
26. const int kCIFARBatchSize = 10000;//cifar共计5万个训练样本，分成5份batches，每份1万个，  
27. const int kCIFARTrainBatches = 5;  
28.   
29.   
30.  void read_image(std::ifstream* file, int* label, char* buffer) {  
31.     char label_char;  
32.     file->read(&label_char, 1);//读取label_char的内容；CIFAR10数据应该是一个类似结构体的数据对，有label和data两个属性，其中label用label_char来定义的  
33.     *label = label_char;//把label_char的值，给label  
34.     file->read(buffer, kCIFARImageNBytes);  
35.     return;  
36.     }  
37.   
38. //以值引用的方式传递参数（string& input_folder），  
39. void convert_dataset(const string& input_folder, const string& output_folder,  
40.     const string& db_type) {  
41.   scoped_ptr<db::DB> train_db(db::GetDB(db_type));//以智能指针的方式创建db::DB类型的对象 train_db ，这个db::DB是什么东西有些不清楚，db.cpp中并没有发现这个DB类型的命名空间。  
42.   train_db->Open(output_folder + "/cifar10_train_" + db_type, db::NEW);//调用tran_db对象的open方法，以“对db::NEW的方式，创建（或打开）文件  
43.   scoped_ptr<db::Transaction> txn(train_db->NewTransaction());//这个transaction暂时不清楚是干什么用的  
44.   // Data buffer  
45.   int label;  
46.   char str_buffer[kCIFARImageNBytes];//定义字符数组，一个数组可以存放一张图片的数据  
47.   Datum datum;  
48.   datum.set_channels(3);  
49.   datum.set_height(kCIFARSize);  
50.   datum.set_width(kCIFARSize);  
51.   
52.   LOG(INFO) << "Writing Training data";  
53.   for (int fileid = 0; fileid < kCIFARTrainBatches; ++fileid) {//依次遍历每个batches，共计5个  
54.     // Open files  
55.     LOG(INFO) << "Training Batch " << fileid + 1;  
56.     snprintf(str_buffer, kCIFARImageNBytes, "/data_batch_%d.bin", fileid + 1); //str_buffer=/data_batch_1.bin,等等，但str_buffer是个字符数组  
57.     std::ifstream data_file((input_folder + str_buffer).c_str(),//以二进制和流输入的方式打开文件data/cifar10/data_batch_1.bin  
58.         std::ios::in | std::ios::binary);//c_str() 以 char* 形式传回 string 内含字符串  
59.     CHECK(data_file) << "Unable to open train file #" << fileid + 1;  
60.     for (int itemid = 0; itemid < kCIFARBatchSize; ++itemid) {  
61.       read_image(&data_file, &label, str_buffer);//调用read_image函数从.bin文件读取数据，给label和str_buffer赋值  
62.       datum.set_label(label);  
63.       datum.set_data(str_buffer, kCIFARImageNBytes);  
64.       int length = snprintf(str_buffer, kCIFARImageNBytes, "%05d",  
65.           fileid * kCIFARBatchSize + itemid);//给str_buffer赋值，此处的赋值为每个样本（图片）的id，length=5；其实是把str_buffer的前5个字符赋值为id  
66.       string out;  
67.       CHECK(datum.SerializeToString(&out));  
68.       txn->Put(string(str_buffer, length), out);//string(str_buffer, length)用来截取str_buffer的前length个字符；  
69.     }  
70.   }  
71.   txn->Commit();  
72.   train_db->Close();  
73.   
74.   LOG(INFO) << "Writing Testing data";  
75.   scoped_ptr<db::DB> test_db(db::GetDB(db_type));  
76.   test_db->Open(output_folder + "/cifar10_test_" + db_type, db::NEW);  
77.   txn.reset(test_db->NewTransaction());  
78.   // Open files  
79.   std::ifstream data_file((input_folder + "/test_batch.bin").c_str(),  
80.       std::ios::in | std::ios::binary);  
81.   CHECK(data_file) << "Unable to open test file.";  
82.   for (int itemid = 0; itemid < kCIFARBatchSize; ++itemid) {  
83.     read_image(&data_file, &label, str_buffer);  
84.     datum.set_label(label);  
85.     datum.set_data(str_buffer, kCIFARImageNBytes);  
86.     int length = snprintf(str_buffer, kCIFARImageNBytes, "%05d", itemid);  
87.     string out;  
88.     CHECK(datum.SerializeToString(&out));  
89.     txn->Put(string(str_buffer, length), out);  
90.   }  
91.   txn->Commit();  
92.   test_db->Close();  
93. }  
94.   
95. int main(int argc, char** argv) {  
96.   if (argc != 4) {  
97.     printf("This script converts the CIFAR dataset to the leveldb format used\n"  
98.            "by caffe to perform classification.\n"  
99.            "Usage:\n"  
100.            "    convert_cifar_data input_folder output_folder db_type\n"  
101.            "Where the input folder should contain the binary batch files.\n"  
102.            "The CIFAR dataset could be downloaded at\n"  
103.            "    http://www.cs.toronto.edu/~kriz/cifar.html\n"  
104.            "You should gunzip them after downloading.\n");  
105.   } else {  
106.     google::InitGoogleLogging(argv[0]);  
107.     convert_dataset(string(argv[1]), string(argv[2]), string(argv[3]));  
108.     //sh文件传递的参数：./build/examples/cifar10/convert_cifar_data.bin $DATA $EXAMPLE $DBTYPE ，依次为argv[0] argv[1] argv[2] argv[3]；  
109.     //即执行程序名称，原始数据存放位置,转换后数据保存的位置，转换的数据类型lmdb，以上参数都是以字符串形式进行传递的。  
110.   }  
111.   return 0;  
112. }  

db.cpp 文件

里面定义了caffe名字空间和其子空间db

[cpp] view plaincopy

 

1. #include "caffe/util/db.hpp"  
2.   
3. #include <sys/stat.h>  
4. #include <string>  
5.   
6. namespace caffe { namespace db {  
7.   
8. const size_t LMDB_MAP_SIZE = 1099511627776;  // 1 TB  
9.   
10. //在制定位置以options方式创建（或打开）leveldb类型数据文件，并检查是否打开成功  
11. void LevelDB::Open(const string& source, Mode mode) {  
12.   leveldb::Options options;//创建leveldb中的options类型对象  
13.   options.block_size = 65536;  
14.   options.write_buffer_size = 268435456;  
15.   options.max_open_files = 100;  
16.   options.error_if_exists = mode == NEW;//mode=NEW时，是创建新leveldb类型文件，所以如果该文件以存在则报错  
17.   options.create_if_missing = mode != READ;//  
18.   leveldb::Status status = leveldb::DB::Open(options, source, &db_);//通过leveldb空间中的DB子空间中的Open函数来创建（或打开）leveldb类型文件  
19.   CHECK(status.ok()) << "Failed to open leveldb " << source  
20.                      << std::endl << status.ToString();  
21.   LOG(INFO) << "Opened leveldb " << source;  
22. }  
23.   
24.   
25. //Open函数主要负责，创建环境；设置环境参数，打开环境  
26. void LMDB::Open(const string& source, Mode mode) {  
27.   MDB_CHECK(mdb_env_create(&mdb_env_));//创建lmdb操作环境  
28.   MDB_CHECK(mdb_env_set_mapsize(mdb_env_, LMDB_MAP_SIZE));//设置环境内训映射  
29.   if (mode == NEW) {  
30.     CHECK_EQ(mkdir(source.c_str(), 0744), 0) << "mkdir " << source << "failed";  
31.   }//检查文件  
32.   int flags = 0;  
33.   if (mode == READ) {  
34.     flags = MDB_RDONLY | MDB_NOTLS;  
35.   }  
36.   MDB_CHECK(mdb_env_open(mdb_env_, source.c_str(), flags, 0664));//打开创建的环境  
37.   LOG(INFO) << "Opened lmdb " << source;  
38. }  
39.   
40. LMDBCursor* LMDB::NewCursor() {  
41.   MDB_txn* mdb_txn;  
42.   MDB_cursor* mdb_cursor;  
43.   MDB_CHECK(mdb_txn_begin(mdb_env_, NULL, MDB_RDONLY, &mdb_txn));  
44.   MDB_CHECK(mdb_dbi_open(mdb_txn, NULL, 0, &mdb_dbi_));  
45.   MDB_CHECK(mdb_cursor_open(mdb_txn, mdb_dbi_, &mdb_cursor));  
46.   return new LMDBCursor(mdb_txn, mdb_cursor);  
47. }  
48.   
49. //在lmdb环境中创建操作句柄  
50. LMDBTransaction* LMDB::NewTransaction() {  
51.   MDB_txn* mdb_txn;  
52.   MDB_CHECK(mdb_txn_begin(mdb_env_, NULL, 0, &mdb_txn));//创建操作句柄  
53.   MDB_CHECK(mdb_dbi_open(mdb_txn, NULL, 0, &mdb_dbi_));//打开数据库环境  
54.   return new LMDBTransaction(&mdb_dbi_, mdb_txn);  
55. }  
56.   
57. void LMDBTransaction::Put(const string& key, const string& value) {  
58.   MDB_val mdb_key, mdb_value;  
59.   mdb_key.mv_data = const_cast<char*>(key.data());  
60.   mdb_key.mv_size = key.size();  
61.   mdb_value.mv_data = const_cast<char*>(value.data());  
62.   mdb_value.mv_size = value.size();  
63.   MDB_CHECK(mdb_put(mdb_txn_, *mdb_dbi_, &mdb_key, &mdb_value, 0));  
64. }  
65.   
66. DB* GetDB(DataParameter::DB backend) {  
67.   switch (backend) {  
68.   case DataParameter_DB_LEVELDB:  
69.     return new LevelDB();  
70.   case DataParameter_DB_LMDB:  
71.     return new LMDB();  
72.   default:  
73.     LOG(FATAL) << "Unknown database backend";  
74.   }  
75. }  
76.   
77. //创建cafe::db“命名空间”类型对象，cafe::db“命名空间”中包含了各种数据操作函数  
78. DB* GetDB(const string& backend) {  
79.   if (backend == "leveldb") {  
80.     return new LevelDB();  
81.   } else if (backend == "lmdb") {  
82.     return new LMDB();  
83.   } else {  
84.     LOG(FATAL) << "Unknown database backend";  
85.   }  
86. }  
87.   
88. }  // namespace db  
89. }  // namespace caffe  

五，以上代码注释为个人理解，如有遗漏，错误还望大家多多交流，指正，以便共同学习，进步！！