Tesseract 4.x 新字体微调训练

前言

首先，就个人而言，Tesseract 的 Wiki 关于训练的教程，写得真的混淆，对于英语不是特别好的人来说看得是云里雾里的。
我是看了一两天的文档，硬是理清楚是个什么样的流程，网上搜的教程基本上都是官方Wiki的翻译，并且翻译得也不是很好，最终 youtube 上看了一个老外关于微调的完整例子，终于理清流程。
说到Tesseract的训练，关于百度上搜到的那些结果真的是让人很失望，大多都是Tesseract 3.x的方法，Tesseract 3.x还没有引入LSTM，因此那些文章关于Tesseract的训练都是手动添加训练文字图片进行校正，这种识别其实就是利用庞大的字库文字特征码来识别的，算不上什么人工智能。这种方式的文字识别需要大量的添加中文字库，其实在看这种文章的时候大家就会发现一个问题：如何大量的进行训练呢？一张一张添加图片生成box文件并校正？对于个人来说这真的是非人类操作！
所以实际上Tesseract在4.x版本新增了LSTM训练，与此同时3.x版本的训练模式依旧可用，并且有专门工具批量根据字体生成.tif训练图片样本，哪里还需要我们自己来手动添加，下面就来一步一步讲解LSTM训练，如果不想进行LSTM训练，完全可以只生成.box等文件后手动合并训练结果。

训练流程

准备工作：

• 若不是从头训练，我认为只需要安装需要训练的字体即可，Linux字体安装自行百度。
• 不管你安没安装好Tesseract，训练必须要克隆整个项目到本地：https://github.com/tesseract-ocr/tesseract
• 将langdata_lstm克隆到本地：https://github.com/tesseract-ocr/langdata_lstm，如果网速不好的话可以不用全部克隆（1G左右），自行找到`chi_sim`与`eng`下载即可，这些文件是必须的：

  wget https://raw.githubusercontent.com/tesseract-ocr/langdata_lstm/master/radical-stroke.txt
  wget https://raw.githubusercontent.com/tesseract-ocr/langdata_lstm/master/common.punc
  wget https://raw.githubusercontent.com/tesseract-ocr/langdata_lstm/master/font_properties
  wget https://raw.githubusercontent.com/tesseract-ocr/langdata_lstm/master/Latin.unicharset
  wget https://raw.githubusercontent.com/tesseract-ocr/langdata_lstm/master/Latin.xheights

  然后chi_sim与eng自行建好目录将github上对应目录下的文件全部下载下来即可。主要包含了语言包的一些配置，以及一些用来生成训练的文字及单词。
• tessdata官方训练好的字库，这里我们训练的是中文，所以去下载chi_sim.traineddata以及eng.traineddata,eng.traineddata是必须的。这里我选择的是官方的fast版本，后面训练时的版本必须是best版本。tessdata目录在克隆的tesseract项目里，不必自建，因为里面还包含了一些其他文件，我们要做的就是将官方训练好的字库下载到该目录。

1、生成待训练数据（官方 langdata 中中文字库训练样本为 25MB 左右的文本，全部生成图片的话会过大，所以这里指定最多生成 50 页文字）：

~/tesstutorial/tesseract/src/training/tesstrain.sh \
  --fonts_dir /usr/share/fonts \
  --lang chi_sim --linedata_only   \
  --noextract_font_properties \
  --langdata_dir ~/tesstutorial/langdata   \
  --tessdata_dir ~/tesstutorial/tesseract/tessdata   \
  --save_box_tiff --maxpages 150  \
  --fontlist "SimHei" \
  --output_dir ~/tesstutorial/train

生成的训练文件都在~/tesstutorial/train目录下。
解释：这一步操作，实际上是利用 text2image 将要训练的样本文字转换为 tif 图片，生成的图片中的文字都是校正好的，可以自己打开看一下。这样一来，我们知道生成的图片对应的正确文字，我们就可以拿来与官方现有训练好的数据进行评估。即：用官方现有的训练字库来识别生成的图片，将识别结果，与我们生成时已知的文字进行对比，就能知道当前训练库对于当前字体的识别率了，当然，这不需要我们自己手动去识别比对计算识别率了，有专门的工具。

2、提取 chi_sim.lstm 文件：

combine_tessdata -e ~/tesstutorial/tesseract/tessdata/chi_sim.traineddata ~/tesstutorial/chi_sim.lstm

进行评估：
lstmeval —model ~/tesstutorial/chi_sim.lstm \
—traineddata ~/tesstutorial/train/chi_sim/chi_sim.traineddata \
—eval_listfile ~/tesstutorial/train/chi_sim.training_files.txt

实际上上面的评估过程可以省略，只是用来查看当前的识别精度而已，这点在官方文档根本没有说明，莫名地就在教程中使用该工具，让人以为它和训练有关。

3、开始训练：

OMP_THREAD_LIMIT=8 lstmtraining --model_output ~/tesstutorial/output/simhei \
  --continue_from ~/tesstutorial/chi_sim.lstm \
  --traineddata ~/tesstutorial/tesseract/tessdata/chi_sim.traineddata \
  --train_listfile ~/tesstutorial/train/chi_sim.training_files.txt \
  --max_iterations 10000

注意continue_from参数，该参数指定了从前面提取出来的神经网络，也就是在现有的训练字库基础上进行训练，不仅仅可以是.lstm文件，也可以是chexbox文件，chexbox是训练生成的文件，比如上面的命令，训练输出文件夹~/tesstutorial/output/simhei就会生成chexbox文件。
如果训练指定次数后结果还不满意，可以继续训练，这时可以重复执行上面命令，如果chi_sim.lstm不小心删除了，可以指定--continue_from改成~/tesstutorial/output/simhei中的checkbox文件，需要注意的是，-max_iterations需要比上一次大，因为它是接着之前的训练结果开始训练的。

4、合并训练结果：

lstmtraining --stop_training \
  --continue_from ~/tesstutorial/output/simhei_checkpoint \
  --traineddata ~/tesstutorial/tesseract/tessdata/chi_sim.traineddata \
  --model_output ~/tesstutorial/output/chi_sim_simhei.traineddata

最终生成我们训练好的chi_sim_simhei.traineddata文件，如果想像官方那样生成fast版本，可用如下命令将chi_sim_simhei.traineddata转成fast版本：

combine_tessdata -c chi_sim_simhei.traineddata

总结

填坑：
训练时大量打印类似image too large错误，这是因为生成训练数据时，tif 图片宽度过宽导致的，解决办法：
修改tesseract/src/training/tesstrain_utils.sh文件中的X_SIZE=3600为X_SIZE=2550。

训练完后用来识别中文时，文字之间多了空格，解决办法，直接在识别时加上自定义配置文件，比如新建my_config文件，内容：preserve_interword_spaces 1，调用识别命令：

tesseract -l chi_sim+eng test.jpg stdout my_config

前者我没试，请自行尝试。
最终测试新字体效果非常不错，官方训练库识别率很差，经过自己微调添加新字体训练后识别率大大提升。