Caffe读取训练和测试日志

本文主要是介绍Caffe读取训练和测试日志，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

用Caffe训练模型时，我们常常想保存训练和测试过程中数据一便于进一步分析。一种方法是在python中调用caffe的API训练并自己写代码读取layer中的数据保存结果，但这种方法毕竟比较繁琐。其实在用命令行训练的时候，caffe已经提供了保存训练日志并解析训练和测试数据的功能。只要在训练的命令上加一行命令即可。如下：

#!/usr/bin/env sh
set -e
CAFFEROOT=/home/meringue/Softwares/caffe-master
CIFAR10PY=/home/meringue/Documents/CaffePy/cifar10py
MODEL=$CIFAR10PY/cifar10_caffemodels/model_Alex_ST
TOOLS=$CAFFEROOT/build/tools
echo 'start training...'GLOG_logtostderr=0 GLOG_log_dir=$MODEL/LOG/ \ # save log file
$TOOLS/caffe train \--solver=$MODEL/cifar10_quick_solver.prototxt $@

这样就会在GLOG__log_dir路径下生成一份日志文件，打开看一下，里面其实就是你在执行训练脚本时生成的一大堆东西。但我们需要的是里面准确率和误差等有用的信息，这时候需要用到caffe-master/tools/extra/路径下的extract_seconds.py，parse_log.sh和plot_training_log.py三个文件，把这三个文件复制一份到你自己定义的LOG文件夹下，先把之前的LOG日志重命名成以.log后缀的文件，如model.log，在当前文件夹下用parse_log.sh model.log命令可以解析出model.log.train和model.log.test两个文件，打开可以看到类似下图的内容：

可以发现，我们需要的数据已经被解析出来了，这个时候可以用这些数据来画图了。当然Caffe也提供了画图功能，用的就是plot_training_log.py，可以设置不同的参数来画你所需要的图，这力里就不再展开了，因为代码里关于参数的说明写的很详细，自己看看就懂了。
其实，既然已经有了这些数据，我们完全可以自己写一个python函数来读取这些数据并画图，下面是我自己写的函数，可以用来读取上面两个日志文件中数据，代码中一些细节都加了注释。

## read log file of training process created by Caffe
class ReadLogFile(object):def __init__(self,_LogFilePath):"""get log file path from LogFilePath"""self.LogFilePath = _LogFilePathdef read_trainLog(self,LogName):"""get iterations and training loss from training log file named LogName"""LogPath = self.LogFilePath+LogName# load all training datawith open(LogPath) as f:data = f.readlines()data = data[1:] # remove the first row (title) data_len = len(data)Iters = []TrainLoss = []for row in range(data_len):data_row = data[row].split(' ') # splitted by ' 'while '' in data_row: # remove 'None'data_row.remove('')Iters.append(int(data_row[0]))TrainLoss.append(float(data_row[2]))           return Iters, TrainLoss    def read_testLog(self,LogName):"""get iterations, test accuracy and test loss from test log file named LogName"""LogPath = self.LogFilePath+LogNamewith open(LogPath) as f:data = f.readlines()data = data[1:]data_len = len(data)Iters = []TestAccuracy = []TestLoss = []for row in range(data_len):data_row = data[row].split(' ')while '' in data_row:data_row.remove('')Iters.append(int(data_row[0]))TestAccuracy.append(float(data_row[2]))TestLoss.append(float(data_row[3]))     return Iters, TestAccuracy, TestLoss