OCR图片预处理之去除印章(一)

在做OCR票据类识别的时候经常会遇到一些票据上会有印章，而对于的文字检测和文字识别模型而言，印章的存在一定会影响模型识别的准确率，所以通常我们都是先将图片去除印章之后，再将图片送入到文字检测和文字识别模型中。

本篇文章就介绍一个比较简单的方法用来去除红色印章

我们通过分离图片的通道，提取图片的红色通道，然后再通过阈值来去除红色的印章

注意：对于不同的场景，你可能需要对阈值进行微调(百分比)，以获取你认为的最佳阈值，百分比越小红色印章移除的越干净，同时也有可能会移除部分文字信息。

threshold(src, thresh, maxval, type[, dst])->ret,dst

这里重点介绍一下type参数的取值，它的取值如下图所示 在对图片做二值化处理的时候需要设置一个阈值来对图片进行二值化处理，然而在部分复杂的场景下，如果采用固定的阈值可能在某些场景下效果不错，换到有些场景时效果就不行了。

这时候我们就会想要用自动的阈值，这时候就可以用到THRESH_OTSU和THRESH_TRIANGLE这两个参数，它们会根据图片的灰度直方图来计算出一个阈值将图片分为前景和背景，下面我们来介绍一下它们是如何实现的。

大津法(OTSU)：也被称为是最大类间差法，被认为是图像分割阈值选择的最佳算法，计算简单，鲁棒性较好，不受图像亮度和和对比度的影响，因此在数字图像处理中被广泛的使用。

它根据图像的灰度直方图，将图像分为前景和背景两个部分。因为方差是度量图像灰度分布是否均匀，如果图像的背景和前景之间的差别越大，那么它们之间的类间方差差距也会越大。所以，如果我们能够保证图像前景和背景的灰度直方图方差差距最大时，就能让前景和背景分离的效果达到最佳，实际效果还是取决于具体的场景，可能需要根据不同的需求对阈值进行微调。

其实只要抓住大津法的核心思想最大化前景和背景的方差要推导公式用代码来实现并不难，接下来我们来推导一下这个公式。

假设灰度 T T T是图像分割前景和背景的最佳阈值，图像上任意一点属于前景的概率为 ω 1 \omega_1 ω1​，属于背景的概率为 ω 2 \omega_2 ω2​。图像前景的平均灰度值为 μ 1 \mu_1 μ1​，背景的平均灰度值为 μ 2 \mu_2 μ2​，所以图像的平均灰度值 μ \mu μ为 μ = ω 1 μ 1 + ω 2 μ 2 \mu = \omega_1 \mu_1 + \omega_2\mu_2 μ=ω1​μ1​+ω2​μ2​ 根据类间的方差计算公式，前景和背景的类间方差计算如下 δ 2 = ω 1 ( μ 1 − μ ) 2 + ω 2 ( μ 2 − μ ) \delta^2=\omega_1(\mu_1-\mu)^2+\omega_2(\mu_2-\mu) δ2=ω1​(μ1​−μ)2+ω2​(μ2​−μ) 因为 ω 1 + ω 2 = 1 \omega_1+\omega_2 = 1 ω1​+ω2​=1 结合上面3个式子可得 δ 2 = ω 1 ( μ 1 − ( ω 1 μ 1 + ω 2 μ 2 ) ) 2 + ω 2 ( μ 2 − ( ω 1 μ 1 + ω 2 μ 2 ) ) 2 = ω 1 ( ( 1 − ω 1 ) μ 1 − ω 2 μ 2 ) 2 + ω 2 ( ( 1 − ω 2 ) μ 2 − ω 1 μ 1 ) 2 = ω 1 ( ω 2 μ 1 − ω 2 μ 2 ) 2 + ω 2 ( ω 1 μ 2 − ω 1 μ 1 ) 2 = ω 1 ω 2 2 ( μ 1 − μ 2 ) 2 + ω 2 ω 1 2 ( μ 1 − μ 2 ) = ω 1 ω 2 ( μ 1 − μ 2 ) 2 ( ω 2 + ω 1 ) = ω 1 ω 2 ( μ 1 − μ 2 ) 2 \begin{aligned} \delta^2&=\omega_1(\mu_1-(\omega_1\mu_1+\omega_2\mu_2))^2+\omega_2(\mu_2-(\omega_1\mu_1+\omega_2\mu_2))^2 \\ &= \omega_1((1-\omega_1)\mu_1-\omega_2\mu_2)^2+\omega_2((1-\omega_2)\mu_2-\omega_1\mu_1)^2 \\ &=\omega_1(\omega_2\mu_1-\omega_2\mu_2)^2+\omega_2(\omega_1\mu_2-\omega_1\mu_1)^2 \\ &=\omega_1\omega_2^2(\mu_1-\mu_2)^2+\omega_2\omega_1^2(\mu_1-\mu_2) \\ &=\omega_1\omega_2(\mu_1-\mu_2)^2(\omega_2+\omega_1)\\ &=\omega_1\omega_2(\mu_1-\mu_2)^2 \end{aligned} δ2​=ω1​(μ1​−(ω1​μ1​+ω2​μ2​))2+ω2​(μ2​−(ω1​μ1​+ω2​μ2​))2=ω1​((1−ω1​)μ1​−ω2​μ2​)2+ω2​((1−ω2​)μ2​−ω1​μ1​)2=ω1​(ω2​μ1​−ω2​μ2​)2+ω2​(ω1​μ2​−ω1​μ1​)2=ω1​ω22​(μ1​−μ2​)2+ω2​ω12​(μ1​−μ2​)=ω1​ω2​(μ1​−μ2​)2(ω2​+ω1​)=ω1​ω2​(μ1​−μ2​)2​ 为了方便我们后面编程来实现，还需要对上式做一些调整，这里引入几个参数 p i p_i pi​表示灰度值等于 i i i的概率，图像的灰度取值在 [ 0 , 255 ] [0,255] [0,255]范围内取整数。假设灰度值 t t t可以使图像前景和背景的方差最大， m 1 m_1 m1​为灰度级 t t t的累加均值， m m m为图像的灰度级 L L L的均值累加 ω 1 = ∑ i = 0 t p i m 1 = ∑ i = 0 t i p i m = ∑ i = 0 L i p i \begin{aligned} \omega_1=& \sum_{i=0}^{t}p_i \\ m_1=&\sum_{i=0}^{t}ip_i\\ m=&\sum_{i=0}^{L}ip_i\\ \end{aligned} ω1​=m1​=m=​i=0∑t​pi​i=0∑t​ipi​i=0∑L​ipi​​ 可得 μ 1 \mu_1 μ1​和 μ 2 \mu_2 μ2​ μ 1 = ∑ i = 0 t i p i ω 1 = m 1 ω 1 μ 2 = ∑ i = t + 1 L i p i ω 2 = ∑ i = 0 L i p i − ∑ i = 0 t i p i ω 2 = m − m 1 ω 2 \begin{aligned} \mu_1 &=\frac{\sum_{i=0}^{t}ip_i}{\omega_1}=\frac{m_1}{\omega_1}\\ \mu_2 &=\frac{\sum_{i=t+1}^{L}ip_i}{\omega_2}=\frac{\sum_{i=0}^{L}ip_i-\sum_{i=0}^{t}ip_i}{\omega_2}=\frac{m-m_1}{\omega_2}\\ \end{aligned} μ1​μ2​​=ω1​∑i=0t​ipi​​=ω1​m1​​=ω2​∑i=t+1L​ipi​​=ω2​∑i=0L​ipi​−∑i=0t​ipi​​=ω2​m−m1​​​ 接下来我们对 δ 2 \delta^2 δ2结合上面的式子做个变换 δ 2 = ω 1 ω 2 ( μ 1 − μ 2 ) 2 = ω 1 ω 2 ( m 1 ω 1 − m − m 1 ω 2 ) 2 = ω 1 ω 2 1 ω 1 2 ω 2 2 ( m 1 ω 2 − m ω 1 + m 1 ω 1 ) 2 = ( m 1 − m ω 1 ) 2 ω 1 ω 2 = ( m 1 − m ω 1 ) 2 ω 1 ( 1 − ω 1 ) \begin{aligned} \delta^2 &=\omega_1\omega_2(\mu_1-\mu_2)^2\\ &=\omega_1\omega_2(\frac{m_1}{\omega_1}-\frac{m-m_1}{\omega_2})^2\\ &=\omega_1\omega_2\frac{1}{\omega_1^2\omega_2^2}(m_1\omega_2-m\omega_1+m_1\omega_1)^2\\ &=\frac{(m_1-m\omega_1)^2}{\omega_1\omega_2}\\ &=\frac{(m_1-m\omega_1)^2}{\omega_1(1-\omega_1)} \end{aligned} δ2​=ω1​ω2​(μ1​−μ2​)2=ω1​ω2​(ω1​m1​​−ω2​m−m1​​)2=ω1​ω2​ω12​ω22​1​(m1​ω2​−mω1​+m1​ω1​)2=ω1​ω2​(m1​−mω1​)2​=ω1​(1−ω1​)(m1​−mω1​)2​​ 我们只需要使上式最大化即可

上面我们推导了大津法的公式，以及如何来求解阈值划分前景和背景，下面我们用python来实现这个算法

比较一下我们自己实现的大津法和opencv内置的函数

最终两者输出的阈值都是160，不过python实现的代码是opencv时间的25倍左右，所以python在这方面对比c确实是硬伤。

三角法(TRIANGLE)：是基于直方图利用几何的方法来求分割的最佳阈值，假设的成立条件是直方图的最大波峰在靠近最亮的一侧，然后再通过三角形来求解最大的距离找到最佳阈值。 如图所示，在灰度直方图上，从最高峰 b m a x b_{max} bmax​到最暗对应直方图的 b m i n b_{min} bmin​构造一条直线，然后从 b m i n b_{min} bmin​到 b m a x b_{max} bmax​开始计算到直线的垂直距离 d d d，当 d d d达到最大时，此时所对应的灰度值 t t t就是分割图像的最佳阈值

接下来我们看看，使用三角法求解阈值值的整个流程，这里引入两个参数灰度级 L L L和频率 f f f：