技术领域 [0001]本申请涉及前列腺结节良恶性分类技术领域，特别是涉及一种前列腺结节双支路联合分类系统。 背景技术 [0002]本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。 [0003]超声检查是辅助前列腺结节诊断和治疗的首选医学筛查技术，放射科医生可以借助该技术方便快捷地选择疑似患病区域从而采集对应区域的图像信息和形成关于前列腺结节的特征描述。 [0004]深度学习自从上世纪八十年代起至今已经有了三十多年的研究历史，已经被广泛应用于包括计算机视觉、语音识别、自然语言处理、音频识别、社交网络过滤、机器翻译、生物信息学、药物设计、医学图像分析等领域。 [0005]随着科技的发展，也已经存在将深度学习应用至前列腺结节超声影像识别和分析中的研究。 [0006]然而，现有技术中，考虑到前列腺结节和前列腺超声图像的特殊性，深度学习在前列腺超声图像的识别中还存在一些问题： [0007](1)前列腺结节超声图像数据属于医学图像领域数据，具有一定的特殊性和隐私性，导致可收集到的数据量不会很多，影响深度学习模型的训练； [0008](2)由于前列腺结节的临床症状变化比较复杂并且读取的前列腺超声图像可能存在噪声和散斑等情况，前列腺结节的数据特征少，影响图像识别和分类的准确性。 发明内容 [0009]为了解决现有技术的不足，本申请提供了一种前列腺结节双支路联合分类系统，利用深度学习技术参与前列腺结节分类，通过数据增强丰富前列腺结节超声图像的数据量和多样性，提升双支路联合分类模型的训练效果，将有效超声图像和轮廓图像相结合，提升图像识别和分类的准确性。 [0010]本申请提供了一种前列腺结节双支路联合分类系统； [0011]一种前列腺结节双支路联合分类系统，包括： [0012]成对数据获取模块，被配置为：获取前列腺结节超声图像数据和注释数据，进行数据清洗和预处理，获取对应每个病人的有效超声图像、轮廓图像和分级标志的成对数据； [0013]数据增强模块，被配置为：对成对数据进行图像数据增强，将进行图像数据增强后的成对数据划分为测试集和训练集； [0014]双支路联合分类模型构建模块，被配置为：构建双支路联合分类模型，通过训练集对双支路联合分类模型进行训练，将双支路联合分类模型的效果调整至最优；将测试集输入训练后双支路联合分类模型，获取最高概率的对应类别。 [0015]与现有技术相比，本申请的有益效果是： [0016](1)本申请采用opencv数字图像处理技术来去除图像中存在的冗余留白信息，使图像信息注重于前列腺结节本身，突出前列腺结节的特征信息；前列腺结节超声图像特征信息会被搭建的双支路联合分类模型提取，用来学习前列腺结节超声图像特征与其分类标志之间的联系，使得双结节联合分类模型的效果最优； [0017](2)本申请采用数据增强的方法来增加前列腺结节超声图像的数据量和多样性，在选定的VGG16模型中引入迁移学习，通过将在其他图像分类领域(ImageNet)中已经训练完备的网络参数迁移到前列腺结节超声图像分类任务中，可以缓解训练数据量不够所带来的模型分类效果不佳的问题，以更少的训练代价来获得不错的模型泛化能力； [0018](3)本申请通过调整模型的网络结构和引入迁移学习搭建了基于改进版卷Alexnet模型和引入迁移学习的VGG16模型相结合的双支路联合分类模型，对轮廓图像和前列腺超声图像进行学习，通过集成学习简单平均融合的组合策略来构建联合模型，在重点关注前列腺结节超声信息的同时也添加进轮廓信息，丰富前列腺结节的数据特征以辅助卷积神经网络对前列腺结节的分类。 附图说明 [0019]构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。 [0020]图1为本申请实施例提供的前列腺结节双支路联合分类系统的组成示意图； [0021]图2为本申请实施例提供的前列腺结节双支路联合分类系统的流程示意图； [0022]图3为本申请实施例提供的数据清洗的流程示意图。 具体实施方式 [0023]应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本申请使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。 [0024]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。 [0025]在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。 [0026]实施例一 [0027]现有技术中，存在前列腺超声图像存在不准确捕获结节的情况以及前列腺结节的临床症状变化比较复杂，数据量少的问题，影响深度学习在前列腺超声图像的识别和分类中的准确性和效率；因此，本申请提供了一种前列腺结节双支路联合分类系统。 [0028]如图1-3所示，本申请的前列腺结节双支路联合分类系统，包括成对数据获取模块、数据增强模块和双支路联合分类模型构建模块；其中，成对数据获取模块，被配置为：获取前列腺结节超声图像数据和注释数据，进行数据清洗和预处理，获取对应每个病人的有效超声图像、轮廓图像和分级标志的成对数据；数据增强模块，被配置为：对成对数据进行图像数据增强，将进行图像数据增强后的成对数据划分为测试集和训练集；双支路联合分类模型构建模块，被配置为：构建双支路联合分类模型，通过训练集对双支路联合分类模型进行训练，将双支路联合分类模型的效果调整至最优；将测试集输入训练后双支路联合分类模型，获取最高概率的对应类别。 [0029]成对数据获取模块实现如下： [0030](1)通过超声检查B超模式获取病人的前列腺结节超声图像数据和诊断注释XML文件数据；其中，前列腺结节超声图像数据和诊断注释XML文件数据被记录到基于Python编程语言进行数据处理操作的软件Pycharm中。 [0031](2)由于前列腺结节诊断注释XML文件内存在数据字段问题，因此需要对病人的该类数据进行数据清洗；包括： [0032](201)信息缺失数据的清洗： [0033]根据诊断报告和前列腺专业领域知识，对每个数据字段确定缺失范围，缺失关键数据字段的数据直接进行舍弃；非关键的数据以同一指标或不同指标的计算结果填充缺失值，由于大量数据中删除个别样本不会影响最终结果，若存在实在不能补全信息的数据，则直接进行删除操作。 [0034](202)内容错误矛盾数据的清洗： [0035]有错误、相互矛盾的数据可能会干扰到对数据的分析，得到一个错误的结论，为保证数据的正确性故直接剔除内容错误矛盾数据；其中，内容错误矛盾数据基于诊断报告和前列腺专业领域知识判别。 [0036](203)逻辑错误数据的清洗： [0037]根据业务规则，剔除逻辑错误数据以保证数据逻辑正确；其中，业务规则根据诊断报告和前列腺专业领域知识确定。 [0038](204)不必要数据的清洗： [0039]根据业务规则，剔除与业务规则无关的数据以保证数据的相关性。 [0040](205)重复数据的清洗： [0041]通过诊断报告和前列腺专业领域知识判断出存在数据重复，则对重复的数据进行删除或合并处理，从而避免数据的冗余。 [0042](3)对清洗后的数据进行数据预处理，包括： [0043](301)根据病人的诊断注释XML文件数据中的前列腺结节轮廓数字信息，为每一幅前列腺结节超声图像绘制相对应的前列腺结节轮廓图，即分割Mask图，构建前列腺结节轮廓图像数据集； [0044](302)由病人的诊断注释XML文件数据中的TI-RADS分级信息可提取出每一幅前列腺结节超声图像相对应的分级标志，每一幅前列腺结节超声图像与对应前列腺结节轮廓图像共用对应分级标志，该分级标志将用于之后双支路联合分类模型的训练、验证与测试。 [0045](303)将前列腺结节超声图像转化为单通道灰度图，利用opencv二值化的cv2.threshold函数处理所得单通道灰度图：通过选定全局简单阈值为0，即将图像中灰度值大于0的像素值重置为255，来把图像转化为非黑即白的二值图像； [0046](304)利用opencv通用形态学操作cv2.morphologyEx函数处理步骤S1033所得二值图像：指定迭代进行3次开运算操作，利用大小为(5×5)的内核先将图像腐蚀，再对腐蚀的结果进行膨胀，再利用opencv图像形态学操作cv2.erode函数处理图像：指定利用大小为(5×5)的内核迭代进行5次腐蚀操作，在图像轮廓边缘使白色像素点(像素值为255)减少而黑色像素点(像素值为0)增加； [0047](305)利用opencv轮廓检测cv2.findContours函数处理步骤(304)所得图像：指定一个矩形轮廓只需要四个点来保存轮廓信息，要求返回图像所有的轮廓信息，以便建立完整层次结构。利用opencv轮廓面积计算cv2.contourArea函数处理所得图像所有轮廓信息，利用格林公式计算出每一个轮廓的面积，再利用opencv矩形边框cv2.boundingRect函数找到一个可以将最大面积轮廓包裹起来的最小矩形，获得最小矩形的宽、高和左上点坐标的边框信息。 [0048](306)基于(305)结束所得最小矩形边框信息采用以下裁剪图像规则裁剪前列腺结节超声图像和轮廓图像：若矩形高大于宽，构建长度为高且像素值置0的具有三个通道的正方形RGB图像，将原图像最小矩形内图像信息全部填充至构建的新图像右方；若矩形宽大于高，构建长度为宽且像素值置0的具有三个通道的正方形RGB图像，将原图像最小矩形内图像信息全部填充至构建的新图像上方；最后将裁剪后的前列腺结节超声图像和轮廓图像的大小均调整为(256×256×3)，获得对应每个病人的有效超声图像、轮廓图像和分级标志的成对数据。 [0049]数据增强模块实现如下： [0050](1)采用tensorflow中keras序列添加预处理层，按照层的思想来对每一张前列腺结节图像实现数据增强，使得每一类前列腺结节超声图像和轮廓图像均增加一定张数。设定在水平方向上从左往右随机翻转图像；随机旋转图像的度数区域在顺时针-20度至20度范围内，并以常数0填充边缘以外区域；随机垂直缩小和放大区域在图像的20％范围内，并以常数0填充边缘以外区域；随机调整对比度，对比度因子将在(0.9，1.1)之间随机选择。 [0051]图像数据增强操作是指通过利用可生成可信图像的随机现实变换来增加前列腺结节超声图像数据集和轮廓图像数据集数量以及平衡数据集中标签比，实现从现有的前列腺结节超声图像和轮廓图像样本中生成更多数据，增加数据集的多样性以避免训练出的分类模型过度拟合。 [0052](2)将成对数据划分为训练集和测试集，通过分别观察经过数据增强后前列腺结节超声图像数据集和轮廓图像数据集的大小和数据信噪比，设定两个数据集图像的90％用于训练、5％用于验证和5％用于测试，采用random.sample函数随机选择图像样本实现图像数据集的划分。 [0053]双支路联合分类模型构建模块实现如下： [0054](1)通过集成学习简单平均融合的组合策略构建基于改进版Alexnet卷积神经网络和引入迁移学习的VGG16卷积神经网络相结合的有监督双支路联合分类模型；采用Alexnet模型作为用于处理有效超声图像的超声支路，采用VGG16模型作为用于处理轮廓图像的轮廓支路，联合模型的搭建有利于综合前列腺结节的超声特征与轮廓特征，分类效果最好。构建第二条支路，利用前列腺结节的轮廓图像，可以为前列腺结节的分级提供更加多的信息辅助，从而实现更加准确的分级分类。 [0055]Alexnet模型为深度学习经典卷积神经网络模型，Alexnet模型的卷积核对有效超声图像进行卷积操作来提取有效超声图像的信息，输出单张有效超声图像属于各类别的概率；VGG16模型为深度学习经典卷积神经网络模型，VGG16模型的卷积核对轮廓图像进行卷积操作来提取轮廓图像的信息，输出单张轮廓属于各类别的概率。通过利用集成学习的方法将两个支路中模型输出的类别概率进行简单平均融合以构成联合模型，联合模型的输出为经过简单平均融合后最高类别概率对应类别名称。利用了弱监督模型的多样性从而获得比单个弱监督模型更加优秀的模型性能，通过构建联合模型在重点关注前列腺结节超声信息的同时也添加进轮廓信息以辅助卷积神经网络对前列腺结节的分类。 [0056]其中，Alexnet模型的输入图像大小为(224×224×3)，包括原来Alexnet模型的8层整体结构，包含5个卷积层和3个全连接层。将3个全连接层的节点个数相应地从原来节点数2048减少为1024、从原来节点数2048减少为128和从原来节点数1000减少为5，可对自定义图像数据集进行五分类任务；VGG模型的输入图像大小均为(224×224×3)。 [0057]由于VGG卷积神经网络的待优化参数量很多，训练模型对于电脑运行内存和电脑性能的要求都很高，为了使VGG卷积神经网络能顺利在单个CPU上进行训练且耗时减少以及性能更优，将迁移学习运用到VGG16模型的搭建上。VGG16模型载入在大规模数据集ImageNet上训练过的预训练模型，利用预训练模型参数的迁移来初始化新搭建模型的权重，并将最后一个全连接层的节点数从原来的1000调整为5，可对自定义图像数据集进行五分类任务，最终仅训练三个全连接层参数。 [0058](2)将训练集投入构建的双支路联合分类模型中进行迭代训练时，先将训练集数据按照双支路联合分类模型的输入长度分为若干样本组，然后将样本组数据投入模型中进行训练； [0059]其中，双支路联合分类模型的损失函数为均方损失函数MSELoss，设定优化器为Adam优化算法，利用梯度下降法来让损失函数进行反向传播不断迭代以更新权重，最终偏置参数会找到损失最低点，调整模型参数使模型达到最优的效果。 [0060](3)将测试集输入训练后双支路联合分类模型，获取最高概率的对应类别，其中，测试集中的有效超声图像输入Alexnet模型，经Alexnet模型处理后得到输出类别概率，测试集中的轮廓图像输入VGG16模型，获得输出类别概率，将两种输出类别概率进行简单平均融合，得到最高概率的对应类别。 [0061]进一步的，在一些实施例中，还包括： [0062]前列腺结节分类模块，被配置为：将待分类的前列腺结节超声图像和注释数据进行数据数据清洗和预处理，获取对应每个病人的有效超声图像、轮廓图像和分级标志的成对数据； [0063]将成对数据输入最优的双支路联合分类模型，获取前列腺结节分类结果。 [0064]进一步的，根据PI-RADS分级诊断标准和最高概率的对应类别，获取前列腺结节良恶性分类结果。 [0065]上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。 [0066]以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。