An embedded software-reconfigurable color segmentation architecture for image processing systems
Grigorios Chrysos, Apostolos Dollas , Nikolaos Bourbakis
Abstract
Image segmentation is one of the first important and difficult steps of image analysis and computer vision and it is considered as one of the oldest problems in machine vision. Lately, several segmentation algorithms have been developed with features related to thresholding, edge location and region growing to offer an opportunity for the development of faster image/video analysis and recognition systems. In addition, fuzzy-based segmentation algorithms have essentially contributed to synthesis of regions for better representation of objects. These algorithms have minor differences in their performance and they all perform well. Thus, the selection of one algorithm vs. another will be based on subjective criteria, or, driven by the application itself. Here, a low-cost embedded reconfigurable architecture for the Fuzzy-like reasoning segmentation (FRS) method is presented. The FRS method has three stages (smoothing, edge detection and the actual segmentation). The initial smoothing operation is intended to remove noise. The smoother and edge detector algorithms are also included in this processing step. The segmentation algorithm uses edge information and the smoothed image to find segments present within the image. In this work the FRS segmentation algorithm was selected due to its proven good performance on a variety of applications(face detection, motion detection, Automatic Target Recognition (ATR)) and has been developed in a low cost, reconfigurable computing platform, aiming at low cost applications. In particular, this paper presents the implementation of the smoothing, edge detection and color segmentation algorithms using Stretch S5000 processors and compares them with a software implementation using the Matlab. The new architecture is presented in detail in this work, together with results from standard benchmarks and comparisons to alternative technologies. This is the first such implementation that we know of, having at the same time high throughput, excellent performance (at least in standard benchmarks) and low cost.
- Introduction
1.1.Segmentation
Many computer vision, pattern recognition, image analysis and object extraction systems have been developed during the last thirty years. At the same time, fuzzy and semi-fuzzy clustering algorithms have been also presented for the extraction and recognition of an objectrsquo;s features. In order for these systems and algorithms to be successful they generally have to start with a robust smoothing and/or segmentation technique. Thus, image segmentation is an important starting step for almost all vision and pattern recognition methodologies. Several studies have been done to categorize segmentation into classes based on characteristics, such as thresholding or clustering, edge detection, region growing/merging and others [1–3]. In particular, Lee and Chung [4] showed that thresholding would usually produce good results in bimodal images only, where the images comprise of only one object and its background. However, when the object area is small compared to the background area, or when both the object and background have a broad range of gray levels, selecting a good threshold is difficult. Another weakness of this technique occurs when multiple objects are present within the image. In such cases, finding sharp valleys within the histogram is further complicated, and segmentation results may be very poor. Edge detection is another approach associated to image segmentation [5]. An edge is defined as a location where a sharp change in gray level or color is detected. However, in this method it is difficult to maintain the continuity of the detected edges; a segment must always be enclosed by a continuous edge. Region growing or merging is a third approach for image segmentation [6]. In this case, large, easy to find continuous regions or segments are detected first. Afterwards, small regions may be merged by using homogeneity criteria [7,8]. One disadvantage of region growing and merging is the inherently sequential nature of this approach. Often, the regions produced depend upon the order in which those regions grow or merge.
1.2.Color segmentation architectures
The literature reports different approaches for color segmentation. An important color segmentation method is the development of dichromatic reflection model [15,16], which describes the color of reflected light as a linear combination of the color of surface reflection (highlights) and body reflection (object color). Use of this model to the region growing and merging method [6,17] produced impressive results. In this method, highlighted areas were merged with the matte areas of an object. However, using hard thresholds throughout degraded the performance of this technique within its intermediate stages.
There are segmentation methods [18,19] which do not segment the color image in the RGB color space, as it does not closely model the psychological understanding of color. Instead of, they choose other color spaces, like HIS or YUV, which produce better results than the RGB color space. Some of these image segmentation processes were fused with the edge location method to produce better results [20,21]. Segmentation based on the theory of approximate reasoning or fuzzy-like reasoning produced promising results [22,23]. Huntsberger [5] defined color edges as the zero crossing of differences between the membership values of each pixel. The fuzzy membership values are generated by using an iterative cmean segmentation algorithm although it is time consuming due to its iterative nature. Lim [24] presented an automated coarseto-fine segmentation method. This approach is based on histogram thresholds for each color and the c-means algorithm [25,26]. An inte
全文共45391字，剩余内容已隐藏，支付完成后下载完整资料
外文翻译：
一种可重构的嵌入式彩色图像分割处理软件系统
摘要： 图像分割是图像分析和计算机视觉第一重要和最困难的步骤之一，它也被认为是机器视觉中最古老的问题之一。最近，几个分割算法已经迅速发展起来，包括制定阈值，边缘定位和区域增长，这些为更快的图像/视频分析和识别系统的发展提供了很好的机会。此外，模糊分割算法本质上有助于区域的合成，更好地显示物体。这些算法有着细微的差别，但是都还不错。因此，算法的选择是基于主观标准的，或者基于应用程序本身。在这里，我们针对模糊推理分割（ FRS）提出一种低成本的嵌入式可重构体系结构。FRS 有三个阶段（平滑，边缘检测和实际分割）。初始的平滑操作是为了去除噪点，平滑和边缘检测算法也包括在这个程序步骤中。分割算法利用了边缘信息和平滑后的图像，用来找到图像中的区域。在这项工作中 FRS 分割算法被选择是依赖于它在一些列应用中展现的可靠性能。（面部检测，运动检测，自动目标识别（ ATR）），并且它开发成本低，有着可重构的计算平台，旨在低成本的应用。特别要提的是，本文提出的实现平滑，边缘检测和颜色的分割算法，使用 Stretch S5000 处理器， 并且通过使用 Matlab 软件实现， 最后对它们进行对比。在本文中，这种新的体系结构和替代技术、基准测试和比较结果，都进行了详细介绍。这是第一次我们看到了同时具有高吞吐量，出色的性能（至少在基准测试中）和低成本的实现。
关键字： 可重构，图像分割，可嵌入式系统，架构
1 介绍
1.1 分割
在过去的三十年中，许多计算机视觉，模式识别，图像分析和目标提取系统已开发。同时，模糊和半模糊聚类算法也提出了提取和识别定义对象的功能。为了让这些算法和系统成功， 它们一般都拥有强大的平滑或分割技术做开始。因此，几乎所有的视觉和模式识别方法中，图像分割都是一个重要的开始步骤。一些研究已经把分割算法归类，如阈值或聚类，边缘检测，区域增长/合并和其他分割算法。特别地， S.U. Lee 和 S.Y. Chung表明， 双峰图像，就是只有一个对象，其余是它的背景这种图像，阈值方法会显示较好的效果。然而，当对象区域相比背景区域显得很小的时候，或者当对象和背景的灰度范围在同一水平时，选择一个好的阈值是很困难的。这种技术的另一个缺陷是，当图片中存在多个对象时也会出现问题。在这种情况下，寻找骤变的峰谷直方图使方案进一步复杂化，分割的结果可能会很差。边缘检测是相关的图像分割的另一种方法。边缘被定义为被检测到的灰度级或色彩急剧变化的位置。然而，在此操作中，很难保持检测到的边缘的连续性，区域必须始终由一个连续的边缘包围。 区域增长/合并是第三种图像分割的方法。在这种情况下，大的区域很容易被检测到，之后，小的区域可以使用相同的标准合并。区域增长/合并一个不利的地方在于，这种方法固有的有序性。通常情况下，各区域产生的顺序取决于这些区域的增长和合并的顺序。
1.2 颜色分割架构
文献中报道了许多不同的颜色分割的方法。其中一个重要的方法是双色反射模型发展而来的。它描述了颜色的反射——光的表面反射（亮点）和物体的反射（物体颜色）的线性组合。使用这种模式，区域增长和合并法显示出了令人印象深刻的结果。在该方法中， 一个物体上高亮度的区域和无光泽的区域合并了。然而，使用不恰当的阈值会使它的性能退化。
有一些分割方法，它们不在 RGB 空间里分割彩色图像， 因为它们和色彩的理解模型不切合。相反的，它们选择其他的颜色空间，比如 HIS 或者 YUV，这些都比 RGB 色彩空间显示出了更好的效果。这些图像分割过程融合了边缘检测方法来产生更好的结果。基于近似推理或模糊推理的分割产生了可喜的成果。 Huntsberger定义颜色的边缘为每个像素成员函数值的差异为零。通过使用了 C 迭代分割算法得到了模糊算法成员函数值，尽管 C 迭代算法由于本身性质来说是耗时的。 Lim 提出了一种自动化的从粗到细的分割方法。这种方法基于阈值直方图和 C 迭代算法。 Lambert 和 Carron 提出了一个有趣的方法，结合色彩空间（根据相关色度处理和明确色相的界定），以系统规则为基础用符号表示（使用颜色和亮度功能，以确定像素的同质性）。
近年来，更多的基于色彩和纹理的分割技术被引入用作于大多数图像研究中，尤其是在彩色纹理的自然场景图像中。许多著作和文献中都有大量的对人类颜色和纹理感知的研究结果和应用，例如均匀的色彩空间和滤波器。因此，大部分的分割方法都把色彩和纹理作为图像分割功能实现的关键。最近，把色彩和纹理结合起来，试图增强色彩和纹理分割性能的方法正在努力研究中，也就是颜色纹理分割，其中包括区域增长法，分水岭技术，边缘流技术， 基于模型的随机分割法。 Markov 模型的色彩分割应用也被研究。 最后， Boyokov 等人基于图像分割技术原理提出了一种颜色-纹理分割方法，把它看做一个加权图中最小的切割问题，来找到一个最佳的色彩纹理切割。文献中有很多色彩分割算法的架构和硬件实现。Perez 和 Koch 提出了一种简化的适合执行在模拟集成电路上的色相描述。 他们首次设计、制造并模拟了 CMOS 超大规模集成电路来计算标准化色相和色调。 Stichling 和 Kleinjohann 提出用硬件实现颜色分割算法，通过使用区域增长和合并法在飞利浦 Trimedia 微控制器上实现。这种系统每秒可处理 25 帧小图像，使用HW-SW 系统。 Leclerq 和 Braun 在一个 32 位的摩托罗拉的控制器上实现了颜色分割算法，处理了一张 80*60 的图像。该系统用于机器人杯比赛， 能在大约 0.02 秒内识别小物体。Saffiotti 提出了种子区域增长算法的实现，用特定的使用了阈值技术的 CDT 设备在索尼 AIBO 机器人身上实现。 Johnston 等人做了一个系统，使用了 FPGA，实现了颜色分割和对象跟踪并提供实时处理。 Koo 等人做出了一个系统，用来分析磁共振图像。该系统是一个高性能的可重构的系统，在使用了 4个 FPGA 的计算机上实现，并达到了五倍的加速比。 Dillinger 等人建立了一个基于 FPGA 的程序，实现了三维的分割，并且实现了高性能。 Yamaoka 等人提出了一种新的算法，在 FPGA 上实现在 80*60 的视频图像上跟踪 220个对象。
1.3 图像分割系统
图像处理系统，如自动目标识别（ ATR），脸部识别，运动检测等，都需要一个强大和快速的分割算法。因此，这些系统在使用过程中的特征提取和识别的对象只适用于静止图像或视频。例如，一个 ATR 系统包括许多算法的组合，启发式分割，平缓，边缘检测，细化，区域增长，分形等，在不同的条件下选择合适的算法来识别目标。 这些算法，特别是平滑、分割和边缘检测，在 ATR 系统中软件完成所需要的时间里，它们占有了显著的时间量。颜色分割是一个研究较多的问题，它在像脸部识别这样的应用程序中使用。
因此，这项工作的贡献就是为实现三个耗时部分的 FRS 方法（平滑，边缘检测和色彩分割）提供了架构和硬件的细节设计，它被开发为一个独立的硬件来执行特定的程序，称为“黑盒子”。 最终的结果是图像中相同颜色的部分被分割为一个目标物体。这一部分的信息可以被随后的 ATR 系统执行对象在图像中的特征提取这一步骤所利用。一个完整的系统是一个可重构设计、使用扩展技术的程序。这是一项低成本的技术，可以产生一个嵌入式的子系统。如本文所示，我们将会看到一个嵌入式处理器，紧密耦合的、可重新配置的架构使一个有效的算法得以实现。然而，大量的数据需要在内存、处理器和可重配置的部分之间传送，将对这项工作的深入提出了挑战。
Stretch 公司已经开发出 S5000 和 S6000 系列软件配置处理器，这都是基于 Tensilica的核心 RISC 处理器，开发出来的一个小的嵌入式可重构的部分。整个设计在 C/C 平台上开发，包括剖析代码、映射关键部分的可重构性、使硬件实现指令等。 C/C 编程主要用于控制 S5000 处理器。 Stretch C 是一种类似 C 的语言，其中包括一些硬件的扩展实现。 Stretch C 主要作为设计处理器中可重构部分的编程语言。
本文其余部分安排如下：第2节描述FSR分割方法的实施。第3节描述新的体系结构，其中包括它主要的子系统，它们的互连以及它们在扩展技术上的映射。第4节有以前公布的结果和现在实现的效果的一个详细比较。最后，第5节会对本工作做出结论。
2 FRS 分割方法
分割是图像处理使用的步骤之一，目的是在图像中提取一个对象。FRS，本文中所研究的方法，包括三个步骤（在它自我识别之前）：平滑，边缘检测和颜色分割。分割过程的数据流说明如图1所示。在这项工作中，下面将要详细展示，使用了从原始 RGB图像得来的 HIS（色调，亮度，饱和度）模型，这种方法是很典型的，已经被证明可以工作的很好。（ 见第 1 节）。
2.1 平滑算法
摄影图像包含由相机或嘈杂介质中的图像传输而引入的噪点。在任何情况下，任何进一步的图像处理应用之前，都必须先移除噪点。最常用的方法是使用过滤器的噪点消除。平滑算法中一个重要思想就是平滑两个相邻像素。 该算法允许相邻像素之间有一个模糊算子，其中为每个相邻像素的领域都设置了相应的算子，如图 2 所示。
每个像素的颜色都与它每一个相邻块的颜色进行比较，如图 3 所示。
我们实施的块的大小为 3*3，这样对图像可以达到高度平滑的效果。 每一个领域块的平均颜色都按照下面所示的函数公式（1）来进行计算。要做到平滑，必须测量中心像素和所有周围像素域之间的颜色对比度。 像素（i,j）和领域块 b 之间的颜色对比，从原始图像 RGB 数值中用这些参数通过几何学来表示为下面的式子：
(1)
(2)
在这项工作中平滑算法的实现步骤如图 4 所示，并且展示了具体分析。
2.2 边缘检测
边缘检测是把组成图像的物体分开，且界定边界、区域的一个程序。 色相，强度和饱和度（函数的传递参数为 h， i 和 s），它们是用来评估图像内像素边缘强度的一组参数。这些参数是从原始图像的 RGB 值由以下公式算得的：
在该算法的第一个步骤中，h,s 和 i的值都用来计算像素周围的八个 3*3 的领域块（图3）。一个物体，无论是色调，亮度，或者是阴影的差异，都具有相同的色相贯穿始终。另一方面，色相在低饱和度和强度下是不稳定的，因此色相应该被标准化。 这三个值（色调，亮度和饱和度）关系到物体边缘算法中边缘的像素值。边缘检测算法的流程图如图5 所示。
2.3 颜色分割算法
该分割算法利用了边缘信息和图像平滑信息来找到分割段。这个分割过程遵循以下几个步骤：
1. 找到大且易碎的区域。
2. 基于同质性标准扩展各区域。
3. 基于两色反射模型扩展各区域。
4. 基于算子扩展各区域
5. 应用一个迭代的过滤器。
颜色分割算法的第一个步骤就是找到大且易碎的区域。一旦一个图像的边缘检测被执行，易碎的区域就被边缘像素或图像边界包围。易碎的区域可以被定义为一组完全被边缘像素包围的像素并且只属于一个对象。
分割算法的下一个步骤是对区域进行基于特定标准的同构扩展。现在的区域被增添了与原来有很高相似度的像素点来扩展， 这些区域被边缘检测录入信息且作为最初的图像被扫描。
第三步的颜色分割是基于两色反射模型进行区域扩张的过程。使用两色反射模型，一些相邻像素可能与此前根据模糊算法的区域合并，比如自定义像素与集群的色彩范围的差距。
为了进一步扩张区域， “远近程度”这一措施被使用。一个未选派的像素可以在两种意义上逼近邻近的区域：逼近空间域（物理逼近）；或逼近集群域的颜色立方体（几乎相同的颜色）。一个像素领域的远近程度被定义为这两个措施的产物。
具体来说，远近程度为任何给定像素，使用的是绝对的色彩对比乘以（在像素中）给定的像素和区域边缘之间的几何距离。
最后，在区域扩张完成后，得到的区域的边缘要使用一个迭代的过滤器来平滑。这个过滤器用作三大小分别是3*3,5*5,7*7 的块，最小的一个被最先应用。
根据上述标准， 图像中的所有像素在最后都被分为各个区域。图像中的每个区域都被认为是一个独立的对象，都用相同的颜色表示。每个图像的颜色都被计算为图像中像素点的平均颜色。该颜色分割算法的细节在后文中有详细介绍。
3 一种对于平滑、边缘检测和分割的架构
本节描述了平滑、边缘检测和颜色分割算法利用扩展技术来开发的架构。该系统实现了 ATR 算法的前三个步骤，其中还包括三个子系统，每一个都为一个算法的主要方面来工作。该系统的系统框图如图 6 显示。体系架构的每一个子系统将在以下小节中描述。
每个子系统由串行 C 代码运行在 Stretch S5000 处理器和硬件结构上，用 Stretch C编写的语言，映射在可重构的部分，就是处理器上所谓的 ISEF。 每个使用可重构开发功能资源的可重构处理器和它的代码是并行执行的。每次串行程序调用一个硬件功能，处理器加载其硬件在 ISEF 上的映射并使用各自的输入数据运行它的代码。并行代码完成后的结果返回到程序，串行代码继续执行。实现模块之间的通信将通过具有内部记忆功能的 S5000 处理器。
最初，彩色图片像素的 RGB 值存储在处理器的内部存储中，平滑模块通过读取这些值进行处理，再次存储在系统内存中。这个流程将继续其他两个系统的模块读取输入数据的内存和存储处理过的数据。最后， 检测出图片上的对象用相同的颜色标出，系统输出分割后的图像。
3.1 平滑子系统架构
平滑子系统需要原始像素的 RGB 值作为输入和平滑后的图像数值作为输出。该平滑算法分为七个小步骤，每一个都被设计为一个单独的模块。结构如图 7 所示。
lt;
全文共12468字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[143664]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
