图像识别模型训练方法及系统和图像识别方法

进一步地，所述根据训练好的RGB图像识别模型，获取所述待训练YUV图像识别模型的整体目标损失函数包括：

获取所述RGB图像识别模型的软目标；

根据所述RGB图像识别模型的软目标，获取所述待训练YUV图像识别模型的整体目标损失函数。

进一步地，所述通过所述整体目标损失函数对所述待训练YUV图像识别模型的输入层和预测层进行训练，得到所述YUV图像识别模型包括：

最小化所述整体目标损失函数，以得到所述YUV图像识别模型，所述整体目标损失函数通过学习率调整。

进一步地，所述最小化所述整体目标损失函数，以得到所述YUV图像识别模型，所述整体目标损失函数通过学习率调整包括：

调整所述亮度输入分支、所述色度输入分支与所述预测层的学习率为第一学习率，进行初步训练；

调整所述亮度输入分支、所述色度输入分支与所述预测层的学习率为第二学习率，进行精细训练；

调整所述亮度输入分支、所述色度输入分支与所述预测层的学习率为第三学习率，得到所述YUV图像识别模型。

一种图像识别模型训练系统，其特征在于，包括：

训练集和验证集创建模块，用于创建基于RGB数据格式的图像识别的训练集和验证集；

RGB图像识别模型训练模块，用于利用所述训练集和所述验证集训练RGB图像识别模型，所述RGB图像识别模型用于训练YUV图像识别模型；

待训练YUV图像识别模型构建模块，用于构建待训练YUV图像识别模型，所述待训练YUV图像识别模型包括输入层，预测层和输出层，所述输入层包括亮度输入分支和色度输入分支；

YUV图像识别模型训练模块，用于利用训练好的RGB图像识别模型使用蒸馏方法训练所述待训练YUV图像识别模型的亮度输入分支、色度输入分支和预测层，得到YUV图像识别模型，所述YUV图像识别模型用于识别YUV数据格式的图像。

为了实现上述目的，本发明实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述图像识别模型训练方法的步骤。

为了实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的图像识别模型训练方法的步骤。

本发明还提供一种图像识别方法，包括以下步骤：

获取YUV数据格式的待识别图像；

将所述YUV数据格式的待识别图像输入YUV图像识别模型，其中，所述YUV图像识别模型通过所述图像识别模型训练方法训练得到；

通过所述YUV图像识别模型输出所述YUV数据格式的待识别图像的识别结果。

进一步地，所述通过所述YUV图像识别模型输出所述YUV数据格式的待识别图像的识别结果包括：

接收所述YUV数据格式的待识别图像；

通过所述YUV图像识别模型的输入层对所述YUV数据格式的待识别图像的色度特征和亮度特征进行提取，经过识别后将图像识别结果通过所述YUV图像识别模型的输出层输出。

本发明提供的图像识别模型训练方法、系统、计算机设备及计算机可读存储介质和图像识别方法，通过RGB图像识别模型蒸馏训练YUV图像识别模型的输入层和预测层，提高了YUV图像识别模型的训练效率，降低了YUV图像识别模型的训练成本。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为本发明实施例一之图像识别模型训练方法的步骤流程图；

图2为本发明实施例RGB图像识别模型输入层结构示意图；

图3为本发明实施例利用训练好的RGB图像识别模型使用蒸馏方法训练所述待训练YUV图像识别模型的亮度输入分支、色度输入分支和预测层，得到YUV图像识别模型，所述YUV图像识别模型用于识别YUV数据格式的图像的步骤流程图；

图4为本发明实施例根据训练好的RGB图像识别模型，获取所述待训练YUV图像识别模型的整体目标损失函数的步骤流程图；

图5为本发明实施例最小化所述整体目标损失函数，以得到所述YUV图像识别模型，所述整体目标损失函数通过学习率调整的步骤流程图；

图6为本发明图像识别模型训练系统之实施例二的程序模块示意图；

图7为本发明图像识别模型训练系统计算机设备之实施例三的硬件结构示意图；

图8为本发明实施例图像识别方法的步骤流程图；

图9为本发明实施例通过所述YUV图像识别模型输出所述YUV数据格式的待识别图像的识别结果的步骤流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

实施例一

请参阅图1，示出了本发明实施例之图像识别模型训练方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备为执行主体进行示例性描述，具体如下：

如图1所示，一种图像识别模型训练方法，包括：

S100：创建基于RGB数据格式的图像识别的训练集和验证集；

具体的，在本实施例中，创建基于RGB数据格式的图像识别的训练集和验证集是指已经进行人工标注的RGB数据格式的图像，其中训练集用于训练RGB图像识别模型，验证集用于验证训练好的RGB图像识别模型的识别准确率。

S200：利用所述训练集和所述验证集训练RGB图像识别模型，所述RGB图像识别模型用于训练YUV图像识别模型；

所述RGB图像识别模型的网络结构可分为输入层与预测层，如图2所示：其中输入层为预训练分类模型ResNet50，特征提取层有5组卷积块，第一组conv1(第一向量卷积运算)，卷积核为7x7，通道数为64，2倍降采样；第二组conv2(第二向量卷积运算)，包含1层3x3的最大池化层以及3组残差模块，通道数扩大4倍；以此类推，每一组向量卷积运算都进行2倍降采样，通道数扩大2倍。

预测层是利用提取的图片特征进行标签预测，对于C类目标分类任务，预测层由C个通道的1x1卷积层和平均池化层组成。

S300：搭建待训练YUV图像识别模型，所述待训练YUV图像识别模型包括输入层，预测层和输出层，所述输入层包括亮度输入分支和色度输入分支。

其中，其中输入层用于提取待识别图片的图片特征，所述输入层包括亮度输入分支和色度输入分支，用于提取YUV图像的亮度特征和色度特征。预测层是利用提取的亮度特征和色度特征进行标签预测，以图像分类案例说明：图像识别模型的识别目标是将多个类别的图片准确分类。具体的，待识别图像中有N张图片，属于猫、狗、车、树木等C个类别；对于待识别图像中的任意一张图片，已知的正确标签为[y1,y2,…,yc,…,yC]，其中yi(i≠c)＝0,yc＝1，c为该图片所属类别。输出层是用于输出图像的分类类别。

S400：利用训练好的所述RGB图像识别模型使用蒸馏方法训练所述待训练YUV图像识别模型的亮度输入分支、色度输入分支和预测层，得到YUV图像识别模型，所述YUV图像识别模型用于识别YUV数据格式的图像。

蒸馏指的是将训练好的复杂模型中的预测能力迁移到一个结构更为简单的模型中，从而达到模型压缩的目的。复杂模型为被蒸馏模型，简单模型为蒸馏模型，在本实施例中，是将RGB图像识别模型的图像识别能力迁移到YUV图像识别模型上，其中，被蒸馏模型性能优良、准确率高，但是相对于蒸馏模型，被蒸馏模型的结构复杂、参数权重多、计算速度较慢。蒸馏模型是计算速度较快、适合部署到对实时性要求较高的单个神经网络，蒸馏模型相比于被蒸馏模型，具有更大的运算吞吐量、更简单的网络结构和更少的模型参数。

具体的，在本实施例中，所述RGB图像识别模型作为被蒸馏模型，其优势在于可以利用大的公开预训练网络和数量可观的RGB训练数据，得到精度较高的模型参数。

在一实施方式中，如图3所示，步骤S400进一步包括：

S401：根据训练好的RGB图像识别模型，获取所述待训练YUV图像识别模型的整体目标损失函数；

具体的，对于一张待分类图像，RGB图像识别模型预测出C个类别，类别c的目标损失函数为

则所述RGB图像识别模型的整体目标损失方程为

其中，yc是指RGB图像识别模型预测出的值，c是指RGB图像识别模型预测出的C个类别，记为[x1,x2,…,xc,…,xC]，LChard是指不加入温度参数T时，类别C的目标损失函数，Lhard是不加入温度参数T时，RGB图像识别模型的整体目标函数。

具体的，可以通过大量已知标签训练集的RGB图像学得使Lhard，即RGB图像识别模型损失函数值最小的模型参数，使所述RGB图像识别模型识别误差最小。

在一实施方式中，如图4所示，步骤S401进一步包括：

S4011：获取所述RGB图像识别模型的软目标；

具体的，软目标指的被蒸馏模型使用带有温度参数T的预测层损失函数的输出结果。通过加入温度参数T，错误分类再经过预测层后，错误输出会被放大，正确分类会被缩小，也就是说，通过加入温度参数T，人为的增加了训练难度，一旦将T重新设置为1，分类结果会非常接近RGB图像识别模型的分类结果。

软目标用公式表达为：

当T＝1时，此时

此时得到所述RGB图像识别模型的硬目标，硬目标指的是将温度参数设为1，正常网络训练的目标。

其中，qc为软目标，c是指RGB图像识别模型预测出的C个类别，记为[x1,x2,…,xc,…,xC]，T为温度参数。

S4012：根据所述RGB图像识别模型的软目标，获取所述待训练YUV图像识别模型的整体目标损失函数。

具体的，通过损失函数和得到YUV图像识别模型的第一目标损失函数为其中第一目标损失函数与软目标对应，是包含蒸馏学习的温度参数的函数。

其中，ysoft为RGB图像识别模型在温度T的条件下，预测出的值。

YUV图像识别模型的第二目标损失函数为

其中第二目标损失函数与硬目标对应，是不包含蒸馏学习的温度参数的损失函数。

具体的，所述蒸馏模型的整体目标损失函数为L＝L1+L2，

因此，YUV图像识别模型的整体目标损失函数为：

其中，L1为第一目标损失函数，L2为第二目标损失函数，L为整体目标损失函数。

S402：通过所述整体目标损失函数对所述待训练YUV图像识别模型的输入层和预测层进行训练，得到所述YUV图像识别模型。

在一实施方式中，步骤S402进一步包括：

S4021：最小化所述整体目标损失函数，以得到所述YUV图像识别模型，所述整体目标损失函数通过学习率调整。

具体的，深度学习模型包含大量的可学习参数，训练模型就是不断调整参数直到目标函数值最小的过程。学习率就是衡量调整参数的“步伐”的一个重要指标，即通过调整学习率是可以对模型的训练进度进行控制，具体的，学习率是对模型参数的变化情况进行控制，用公式表示为：更新后的参数＝当前参数-学习率*损失函数的梯度。针对不同的模型，每一层的学习率，以及训练过程中每个阶段的学习率都有不同的选择策略。

在一实施方式中，如图5所示，步骤S4021进一步包括：

S4021A：调整所述亮度输入分支、所述色度输入分支与所述预测层的学习率为第一学习率，进行初步训练；

在一实施方式中，调整亮度输入分支和预测层时，设置亮度输入分支和预测层的第一学习率为0.01，而此时色度输入分支不参与训练，第一学习率为0。

S4021B：调整所述亮度输入分支、所述色度输入分支与所述预测层的学习率为第二学习率，进行精细训练；

具体的，完成第一步训练后，YUV图像识别模型已经可以识别目标，只是由于缺少色度信息，识别精度较低，此时，加入色度输入分支补充模型能力。亮度输入分支的特征提取已经在第一步中完成，因此需要固定亮度输入分支，即将亮度输入分支的第二学习率设置为0。训练色度输入分支与预测分支时，色度输入分支的第二学习率设为0.01，而由于预测层已经经过学习，不是随机初始化的参数，需要减小“步伐”，因此将预测层的第二学习率设为0.001。此时经过第一步的训练，色度输入分支与预测层学习的是残差损失，可以快速收敛，降低了学习难度和训练时间。

S4021C：调整所述亮度输入分支、所述色度输入分支与所述预测层的学习率为第三学习率，得到所述YUV图像识别模型。

具体的，分布调参可以减小模型学习难度，但最后还是需要进行联合调整，得到整体最优解。将亮度输入分支、色度输入分支以及预测层的第三学习率都设为0.0005，小步伐地调整参数值，得到最佳模型参数，进而得到YUV图像识别模型。

本发明实施例提出了一种YUV图像识别模型构建方法，可以利用不同类型的数据格式进行迁移学习。相比于传统模型蒸馏，本发明针对输入数据格式的特性调整了模型的输入模块，增加了亮度分支与色度分支；同时，利用了RGB图像识别模型的高算力性能，通过加入“软目标”，学习不同类别之前分布差异；另外，调整了模型结构后，细化了YUV图像识别模型的训练过程，采用阶段式的训练步骤，先利用亮度分量完成预测目标，后利用色度分量学习残差部分，降低了迁移学习的难度，提升模型精度。本发明实施例还提供一种图像识别方法，可以直接用YUV图像识别模型对具有YUV的图像进行识别，不需要将YUV的图像转换为RGB的图像，再利用YUV图像识别模型识别，提高了YUV图像的识别效率。

实施例二

请继续参阅图6，示出了本发明图像识别模型训练系统的程序模块示意图。在本实施例中，图像识别模型训练系统20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述图像识别模型训练方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述图像识别模型训练系统20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：

训练集和验证集创建模块200：用于创建基于RGB数据格式的图像识别的训练集和验证集；

RGB图像识别模型训练模块202：用于利用所述训练集和所述验证集训练RGB图像识别模型，所述RGB图像识别模型用于训练YUV图像识别模型；

待训练YUV图像识别模型构建模块204：用于构建待训练YUV图像识别模型，所述待训练YUV图像识别模型包括输入层，预测层和输出层，所述输入层包括亮度输入分支和色度输入分支；

YUV图像识别模型训练模块206：用于利用训练好的RGB图像识别模型使用蒸馏方法训练所述待训练YUV图像识别模型的亮度输入分支、色度输入分支和预测层，得到YUV图像识别模型，所述YUV图像识别模型用于识别YUV数据格式的图像。

进一步地，所述YUV数据格式图像训练模块206还用于：

根据训练好的RGB图像识别模型，获取所述待训练YUV图像识别模型的整体目标损失函数；

通过所述整体目标损失函数对所述待训练YUV图像识别模型的输入层和预测层进行训练，得到所述YUV图像识别模型。

进一步地，所述YUV数据格式图像训练模块206还用于：

获取所述RGB图像识别模型的软目标；

根据所述RGB图像识别模型的软目标，获取所述待训练YUV图像识别模型的整体目标损失函数。

进一步地，所述YUV数据格式图像训练模块206还用于：

最小化所述整体目标损失函数，以得到所述YUV图像识别模型，所述整体目标损失函数通过学习率调整。

进一步地，所述YUV数据格式图像训练模块206还用于：

调整所述亮度输入分支、所述色度输入分支与所述预测层的学习率为第一学习率，进行初步训练；

调整所述亮度输入分支、所述色度输入分支与所述预测层的学习率为第二学习率，进行精细训练；

调整所述亮度输入分支、所述色度输入分支与所述预测层的学习率为第三学习率，得到所述YUV图像识别模型。

实施例三

参阅图7，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图7所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及图像识别模型训练系统20。其中：

本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如上述实施例所述的图像识别模型训练系统20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行图像识别模型训练系统20，以实现上述实施例的图像识别模型训练方法。

所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。

需要指出的是，图7仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。

在本实施例中，存储于存储器21中的所述图像识别模型训练系统20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。

例如，图6示出了所述实现图像识别模型训练系统20实施例二的程序模块示意图，该实施例中，所述基于图像识别模型训练系统20可以被划分为训练集和验证集创建模块200、RGB图像识别模型训练模块202、待训练YUV图像识别模型构建模块204和YUV图像识别模型训练模块206。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述图像识别模型训练系统20在所述计算机设备2中的执行过程。所述程序模块训练集和验证集创建模块200-YUV图像识别模型训练模块206的具体功能在上述实施例中已有详细描述，在此不再赘述。

实施例四

本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储图像识别模型训练系统20，被处理器执行时实现上述实施例的图像识别模型训练方法。

实施例五

参阅图8，示出了本发明实施例五之图像识别方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。具体如下。

S110：获取YUV数据格式的待识别图像；

S210：将所述YUV数据格式的待识别图像输入YUV图像识别模型；

S310：通过所述YUV图像识别模型输出所述YUV数据格式的待识别图像的识别结果。

在一实施方式中，请参阅图9，步骤S310进一步包括：

S311：接收所述YUV数据格式的待识别图像；

S312：通过所述YUV图像识别模型的输入层对所述YUV数据格式的待识别图像的色度特征和亮度特征进行提取，经过识别后将图像识别结果通过所述YUV图像识别模型的输出层输出。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。返回搜狐，查看更多