（研究进展、现状&趋势）

文字识别（Character Recognition），广义地称为文档分析（Document Analysis），是对文档图像中的文字进行分割、识别，将文档从图像转换为电子文本的技术。

具体内容包括文档图像预处理、版面分析、字符切分、字符识别、文本行识别（核心问题，难点）等。

文本行是文档图像的基本和相对容易分割的单元，因此 文本行识别是最核心、也最难的问题 ，因为字符切分和字符识别不能分开，而且同时要考虑上下文信息（语言模型和几何上下文）

• 脱机（（offline））文字识别：对已经存在于纸张或物体表面（如建筑物标牌、交通标志）的文字进行提取和识别，处理对象是通过扫描或拍照得到的文档图像。根据文字的书体又分为印刷体文字识别和手写体文字识别
• 联机（online）文字识别：对书写过程中采集到的笔划轨迹（如触屏书写、手写板书写、数码笔书写）进行文字提取和识别

• 难点1:字符切分和识别的复杂性。文本行图像中由于字符间粘连、有些字符多部首、多语种混合，加上手写体的字符变形、大小和间隔不均匀等因素，字符在被识别之前很难准确分开
• 难点2:文档版面分析的复杂性。图像背景复杂，文本段落排版的多样性，文本行方向多样性（水平、垂直、倾斜，甚至有弯曲），图文混合（包括文本、图形、表格、公式、特殊符号等）。

• 研究内容：比如通过图像增强、复原等手段来改善图像的对比度和校正变形

• 研究内容：自然场景图像中文本检测与定位；准确分割文本段落和文本行，区别和分割文本与图形、公式、表格、符号等，从而方便后续的文本行识别和公式、符号识别

• 对文本行图像进行字符切分和识别，得到对应的电子文本（字符串）。
• 研究内容：字符识别器设计（包括特征提取、分类器设计和学习），字符过切分，几何上下文建模，语言上下文建模，上下文融合模型，文本行序列表示和整体识别模型等

• 后处理的目的：目的：一是根据文档中不同元素（文本、图形、符号）的几何关系和语义关系对识别结果进行消歧和纠错，二是结合识别结果和几何关系对文档进行重构得到结构化电子文档（如 PDF）
• 应用：除了语义分析和信息提取，文档检索是一个比较普遍可行的应用，因为检索不需要文字识别精度很高

• 存在问题1：背景噪声

  • 历史文档因纸张陈旧、污损等原因，即使是扫描的图像也呈现严重的背景噪声。因此如何将文本与背景分开成为一个重要的研究问题。
  • 解决办法：基于局部对比度、梯度和边缘信息的自适应二值化方法；基于图模型（如马尔科夫随机场、条件随机场）结合像素分类和空间上下文的方法

• 存在问题2:图像校正

  • 拍照文档的几何校正和光照矫正（光照不均、几何变形）
  • 采用立体视觉模型和几何分析模型

• 版面分析

  • 版面分析将文档图像分割为文本段落、图形、表格等区域

  • 基于前景的方法

    • 将像素或连通部件进行逐级聚合，得到分本行和段落，并且对连通部件或区域进行分类判断是文本或图形
    • 文档谱（Docstrum）方法、基于块邻接（Block Adjacency Graph, BAG）的方法，基于最小张成树（Minimal Spanning Tree, MST）的聚类的方法、基于 Hough 变换的方法、基于纹理分割的方法等

  • 基于背景的方法

    • 对文档图像进行自上而下的划分，如通过投影找到栏、段落、文本行之间的空白
    • 递归水平-垂直切割（Recursive X-Y Cut）、Voronoi Diagram方法、背景矩形（White Space）分析等

• 基于纹理（区域分类）

  • 对图像进行多尺度滑动窗分析，判断每个窗口的纹理是否为文本，在此基础上对图像进行分割

• 基于连通部件

  • 先通过图像区域分割或边缘分析提取连通部件，然后通过几何分析或分类器判断每个连通部件为文本或非文本，最后将文本连通部件聚合为文本行
  • 主流方法：用最大稳定极值区域（MSER）方法提取候选连通部件，对连通部件进行过滤、聚合得到文本行

文本识别

• 在文本检测定位并得到二值图像的基础上用集成字符切分、分类器和上下文的文本行识别传统方法进行识别
• 把文本检测和识别同时进行，即用字符识别器进行文本检测，称为 End-to-End 方法
• 在文本定位基础上，不用二值化直接对彩色图像进行字符切分和识别（结合上下文）的方法也取得了优良的性能，尤其是采用深度神经网络的方法