英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料
ISTDet：用于红外小目标检测的高效端到端神经网络
摘要
|
关键 字： 卷心神经网络 小目标检测 端到端 红外图像 |
红外小目标探测研究在预警、制导和战场情报等方面取得了许多突破。然而，红外小目标占用的像素较少，缺乏色彩和纹理特征，这使得红外小目标检测成为一个具有挑战性的主题。为了实现红外小目标检测，本文提出了一个高效的端到端网络ISTDet。ISTDet主要由两个模块组成，包括图像过滤模块和红外小目标探测模块。提出了图像滤波模块来获取置信度图，以增强红外小目标的响应并抑制背景响应。红外小目标探测模块以信心图激活的红外图像为输入，旨在推测红外小目标的类别和位置。多任务损失函数用于对ISTDet进行端到端的训练。最后，我们对五个红外小目标序列进行比较实验，以证明ISTDet的检测性能。结果表明，与其他探测器相比，ISTDet在红外小目标探测方面具有更好的性能。 |
1. 引言
随着图像处理技术的飞速发展，计算机视觉在军民领域得到了广泛的应用。红外小目标探测作为航天防御、预警和战场情报的主要研究之一，已成为研究热点。
由于场景跨度大，远距离成像，红外小目标往往占用较少像素，缺乏形状和纹理特征。更重要的是，红外图像往往具有低信噪比的特点。因此，红外小目标检测在计算机视觉中仍然是一个挑战。
红外小目标探测的传统方法，如基于形态的方法和利用背景的最大中位数/最大平均滤镜和红外小目标之间的差异来执行目标检测的方法。然而，当目标处于复杂环境中时，这些方法很难找到合适的模板。受人类视觉系统的启发，提出了许多红外小目标检测方法，如局部对比度测度、局部差分度度和改进的局部对比度测度。这些方法强化了背景和目标之间的差异。提出了一个红外图像块模型 （IPI），将红外图像的矩阵分解为稀疏的矩阵。IPI 算法将小目标视为稀疏矩阵中的非零值，但这可能会导致'误报'。
近年来，基于卷积神经网络（CNN）的目标检测方法取得了许多突破。这些基于 CNN 的目标检测方法在目标检测任务中取得了领先成果。与传统的目标检测方法相比，CNN 目标检测方法可以将不同的任务（如功能提取、功能融合和功能分类）集成到同一网络中。此外，该网络还可以通过端到端的方式学习目标的深层语义特征。基于CNN的目标检测方法主要包括两类，即两阶段目标探测方法和一阶段目标探测方法。R-CNN, Fast R-CNN, Faster R-
图1. ISTDet构筑概述。ISTDet由图像过滤模块和红外小目标探测模块两部分组成。利用多任务丢失函数对ISTDet进行端到端的训练。对于IFM，我们使用焦点损失来回归置信图。对于ISTDM，我们分别使用广义交集和二进制交叉熵损失的通用交叉点来回归红外小目标的位置和类别。
CNN和Cascade R-CNN是两阶段目标检测方法的代表。它们首先生成许多候选界框，然后以这些候选界框作为输入，以进一步推测目标的位置和类别。SSD 、YOLO 、 YOLO 9000 、 YOLO V3 、 RFBnet 和RefineDet 是一阶段目标检测方法的代表。他们可以以端到端的方式预测目标的类别和位置。
虽然基于CNN的目标检测方法已取得迅速发展，但上述方法都是针对一般的目标检测。文献中关于CNN红外小目标探测器的报道很少，红外小目标探测器介绍了一种基于CNN的红外运输目标检测算法，设计了一个T网络生成合成目标，并将检测任务分为候选目标提取和候选目标识别两个步骤。运输探测过程比较复杂，不能以端到端的方式实现。所以使用基于 CNN 的分割方法，提出了一种用于红外目标检测的Nv网络。但是，Nv网络专注于一般目标检测，不适合红外小目标检测。所以将红外小目标检测作为分割任务，并设计了一个名为 CDAE 的去噪自动编码网络。CDAE 可以端到端检测红外小目标。但是，它可能会导致误报。
本文主要研究红外小目标探测。为了实现端到端的目标检测，我们设计了一种高效的基于 CNN 的目标探测器，称为 ISTDet，它将图像过滤任务和目标检测任务合并到一个网络中。ISTDet 具有更高的检测精度和更快的检测速度。ISTDet中有两个模块，包括图像过滤模块 （IFM） 和红外小目标检测模块 （ISTDM）。IFM 旨在增强红外小目标的响应能力，抑制背景响应，这有助于提高红外小目标的检测性能。ISTDM 旨在提取红外小目标的特征并预测目标的位置和类别。用多任务损失函数对ISTDet进行端到端的训练。最后，我们对五个真实的红外小目标序列进行比较实验，以验证ISTDet的探测性能。结果表明，与其他目标检测方法相比，ISTDet在红外图像中的实时小目标检测性能更好。
本文的主要创新点如下：
- 提出了一种基于CNN的高效端到端目标探测器ISTDet，旨在为红外小目标探测获得更好的速度精度。
- 在 ISTDet 中，我们设计 IFM 和 ISTDM。前者旨在加强小目标的反应，抑制背景的反应。后者旨在进行红外小目标探测。
- 通过对5个红外小目标序列的对比实验，验证了ISTDet的检测性能。结果表明，ISTDet 在红外小目标检测方面优于其他目标检测方法。
论文的其余部分安排如下： 第2节介绍了IFM、ISTDM和多任务丢失功能的设计。第3节对5个红外小目标序列进行比较实验，并对实验结果进行定量和定性的评价。 第4节 是本文件的结论。
2. 拟用方法
本节将详细介绍ISTDet的结构，如图1所示。ISTDet由两部分组成，即IFM和ISTDM。通过IFM，可获取置信图。利用置信图对输入的红外图像进行元素倍增激活，以增强红外小目标的响应，抑制背景的响应。然后，ISTDM 将激活的输入红外图像作为输入，并推测红外小目标的类别和位置。为了实现对ISTDet的端到端训练，最终将引入ISTDet的多任务损失功能设计。
2.1. 图像过滤模块
图2 残存块： 残存块（I，O）。
图3 红外小目标信心图的可视化。（a） 输入红外图像。（b） 信心图。（c） 激活红外图像。
红外图像中的小目标往往占用很少的像素，没有明显的纹理和形状特征，这使得大多数样品属于负片。这种极端不平衡极大地影响了小目标的探测性能。更重要的是，由于环境和图像采集系统的噪声，红外图像的信号噪声比非常低。为了缓解上述问题，我们提出了以IFM的方法获取置信图，旨在增强红外小目标的响应，抑制背景的响应。
将残留块用作 IFM 的基本单元，因为它有助于重复使用不同层的特征。如图 2所示，残留块表示为残留（I、O），其中 I 和 O 是输入通道数和输出通道数。卷积层表示为 Conv（A、B、C），其中A 、B 和 C 表示内核大小、通道输入数和通道输出数。
表1中描述了IFM的详细配置。浅层的细粒度特征更多，深层的语义特征更多。细粒度特征有助于定位目标，语义特征有助于对目标进行分类。因此，我们在具有不同分辨率的特征之间执行特征融合，旨在提高 ISTDet 的检测性能。
要获得置信图，必须通过地面真值框来产生地面真值置信度。地面真值置信度的分辨率与输入图像的分辨率相同。我们生成置信地面真值如下：如果一个像素GTh，w位于红外小目标的地面真值框内，我们将该像素GTh，w指定为正。
图3显示了置信图的可视化。 图 3（a） 是输入的红外图像， 图3（b）是置信图。显然，IFM增强了红外小目标的响应，抑制了背景的响应。我们利用置信图对输入的红外图像进行逐元素乘法激活。 图 3（c） 显示激活的红外图像。最后，我们以激活红外图像作为ISTDM的输入，进一步推测红外小目标的类别和位置信息。
2.2. 红外小目标探测模块
ISTDM 旨在执行特征提取，推测红外小目标的类别和位置。ISTDM由三部分组成，即骨干、自适应接受场融合模块和空间注意机制。如图1所示，ISTDM 将激活的输入红外图像作为输入。
2.2.1. 架构设计
我们以 Darknet53 作为架构的基础设计，因为它简单高效。Darknet53 利用了剩余网络的结构，该结构由连续的 1 times; 1 和 3 times; 3 卷积组成。YOLO V3 使用三个刻度来检测不同尺寸的目标。特征图按8倍、16倍和32倍分别在每个刻度上进行采样。本文主要研究红外小目标检测。因此，我们以 Darknet53 中的 16 倍向下采样层为骨干，截断卷积，并选择 8 倍下样特征图来检测红外小目标。
2.2.2. 自适应接受场融合模块
正如在[24]中分析的那样，上下文信息对于识别目标至关重要。扩展接受场有助于增加目标周围的上下文信息。受[25]的启发， 我们利用三个 3 times; 3卷积，分别进行1，2和4次伸缩，以建立适应性接受场融合模块，旨在扩大接受场，如图1所示。此外，我们将不同接受场的功能融合在一起，以提高ISTDet的检测性能。
图4 空间注意力机制。
图5 在增加空间注意力机制之前和之后，对特征图的视觉结果进行比较。（a） 红外小目标图像。（b） 没有空间注意力机制。（c） 具有空间关注机制。
不同感受场的特征对输出的贡献是不相等的。因此，在自适应接受场融合模块中增加了可学习权重。
2.2.3. 空间注意力机制
由于场景跨度大，成像距离远，红外图像的信噪比总是很低，红外小目标总是很暗。受文献[26]的启发，空间注意机制可以模拟大范围分离的空间区域之间的关系，从而有效地提高红外小目标的响应能力。因此，我们在 ISTDM 中增加了空间注意机制。图4显示了空间注意力机制的结构。假设自适应感受场融合模块的输出为Fisin;RCtimes;Htimes;W，输入三个 1 times; 1 卷积，生成 F1、F 2和 F3 三个功能图，其中 F1、F2、F3 isin;RCtimes;Htimes;W、H、W和 C表示功能图的高度、宽度和通道。然后，我们重塑F1、F2和F3到RCtimes;(Htimes;W)。我们在F2和F1的转置之间进行矩阵乘法，并通过softmax运算得到H isin;R（Htimes;W）times; （Htimes;W） 从而测量特征图不同位置之间的影响。最后，我们在 F3 和 Hto之间执行矩阵乘法，以获得最终输出。
为了说明空间注意机制的影响，我们比较了有空间关注机制的特征图和没有空间注意力机制的特征图，如图5所示。 图 5（a）是原始输入图像，其中红色框表示红外小目标的位置。 图5（b）显示没有空间注意机制的特征图的可视化， 图 5（c） 是具有空间关注机制的特征图的可视化。可见，红外小目标的反应已经通过空间关注机制得到了增强。
2.3. 多任务损失功能
多任务损失功能用于端到端培训拟建网络。ISTDet 的损失功能有两个部分，即 IFM 的损失和 ISTDM 的损失。
对于前者，我们使用焦损[27] 来重置红外小目标的置信度，旨在调整负样本和正样本之间的不平衡，并更加关注硬样本，表示为LossIFM：
（1）
其中yGT表示基本真值置信度和yP表示预测置信度。alpha; 和 gamma; 分别设定为0.25和2。
之后，我们利用置信图对输入的红外图像进行逐元素乘法激活。然后，将激活的红外图像传递给 ISTDM 以推测红外小目标的类别和位置。我们使用联合损失上的广义交集（GIOU 损失）来重置红外小目标的位置。我们可以使用以下公式来计算 GIOU。
（2）
其中BGT表示地面真值框，BP表示预测框。B表示 BGT 和 BP之间最小的封闭凸区域。然后我们可以通过计算来得到GIOU 损失
（3）
红外小目标的类别因二进制交叉熵损失而减少。
（4）其中CP 是预测范畴，CGT 是基本真值范畴。
然后，可以通过求和得到ISTDM 的损失功能
（5）
最后，我们可以通过下列公式总结出ISTDM的损失
。 （6）
3. 实验
本节将介绍以下五个部分的实验细节：（1）数据集和评估指标。（2）实施细节。（3）消融研究。（4）性
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[266860]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
