Abstract
Object tracking is a wide area in which a lot of methods available and wide variety of applications. One of the applications would be tracking an object in a clickable hypervideo to enrich the interactivity of video application. In this thesis, some state of the art of object tracking methods are reviewed and closely observed. We then select one of object tracking state of the art methods to improve. Our selection goes to CAMSHIFT which has been very well accepted as one of the most prominent methods in object tracking which has real time speed performance and more suitable for clickable hypervideo. CAMSHIFT is very good for single hue object tracking and in the condition where objectrsquo;s color is different with backgroundrsquo;s colors.
In this thesis, we try to improve the robustness of CAMSHIFT for multihued object tracking and the situation where objectrsquo;s colors are similar with backgroundrsquo;s colors. To improve robustness on the condition where objectrsquo;s colors are similar to backgroundrsquo;s colors, we use object localization by selecting each dominant color object part using combination of Mean-Shift segmentation and region growing. Hue-distance, saturation and value color histogram are used to describe the object. We also track the dominant color object parts separately and combine them together to improve robustness of the tracking on multihued object. Our experiments showed that those methods improved CAMSHIFT significantly. This improvement hopefully will be useful for object tracking in clickable hypervideo.
Keywords: Object tracking, CAMSHIFT, Segmentation, Mean-Shift, Hypervideo.
Introduction
Object tracking has been one of the most emerging areas in computer vision. There are a lot of applications of object tracking. One of which would be tracking an object in a clickable hypervideo. Hypervideo is a displayed video stream that contains embedded user-clickable anchors[19]. In this application, user can interact with the video like interaction between user with a website. This enriches the interactivity of a video. There will be a lot of advantages with this capability. For example,user can monetize their videos by putting companyrsquo;s links inside the video and, in reverse way, companies now able to promote their product in videos
Another capability that would be interesting is object tracking in hypervideo. This means user can select any object in a video and track along the video sequence. For example, user has favorite football player in football match and want to track his movement along the match, then it would be possible with this capability. This also true if a user want to track his favorite racer in F1 videos, track his favorite movie stars in a movie cinema, etc
In this thesis, we try to improve an object tracking method that can be used in hypervideo. Some state of the art of object tracking methods are reviewed, experimented and closely observed. We then select one of object tracking state of the art methods and improve it.
1.1 The General Aim of The Master Thesis
The general objective of the master thesis can be summarized into these points:
- Study some state of the art object tracking methods
2) Choose one to improve based on some criteria
3) Improve the chosen method with some constraint if needed
Previous Work
Object tracking is a very wide area in computer vision. There are many kinds of method which are sometimes suitable only for specific conditions. This part will describe the review of some state of the art object tracking methods available now.
2.1 Test Videos
Before we go deeper into the state of the art methods, in this section we present some test videos which we used to examine the state of the art methods and help us to choose one of them. Secondly, these test videos will be used to test our own proposed method compare to the chosen method without our improvement.
The first one is a yellow trunk(a), This is the simplest case where the object is single hue with scaling, rotation and little deformation in front of dynamic background which color is quite different with the object. The object is yellow while the background is mostly blue. In the middle of the video, partial dynamic occlusion occurs. The dimension of the video is 1280 x 720 pixels in 24 bit. The purpose of this
video is to test the robustness of the state of the art object tracking methods as well as our proposed method on partial occlusion, scaled, rotated and deformed object.
The second test video is an air plane flying above sea with some small islands below and mild cloud distraction . This is a multihued object which passing through a dynamic background. There are some distractions from background which has similar color to some object partsrsquo; color. The dimension of the video is 1280 x 720 pixels in 24 bit. The purpose of using this video is to test the robustness of object tracking methods on multihued object with some distractions.
The third video is a small toy contains several dominant colors which moves across a complex background which is available in [33]. This is a multihued object in front of complex background which has very similar color to the object. Some more challenges of this video are scaling and skewing of the object. The object is moving outward the camera until the size is very small and skews several times. The object is also moving very fast so then it is harder to track.
The background is actually static. Usually, for this kind of video, background subtraction is very powerful. But because of the object stayed for quite a long time in the early frames, even background subtraction will have a problem. It needs a lot of training data to have a very good background model. More over, in the middle of the video, there is some movement of the background that can ruin the background
剩余内容已隐藏，支付完成后下载完整资料
文摘
对象跟踪是一个广阔的区域内,很多方法和各种各样的应用。其中一个应用程序将跟踪一个物体在一个可点击hypervideo丰富互动的视频应用程序。在本论文,一些国家的艺术对象的跟踪方法进行了综述和密切观察。然后,我们选择一个对象跟踪状态的艺术方法改善。我们选择去CAMSHIFT已经很好地接受为最突出的方法之一在对象跟踪实时速度性能和更适合点击hypervideo。CAMSHIFT针对单一色调很好对象的状态跟踪和对象的颜色与背景的颜色是不同的。
在本文中,我们试图提高鲁棒性的CAMSHIFT multihued对象跟踪和情况对象与背景的颜色相似的颜色。以提高鲁棒性条件,对象的颜色与背景的颜色,我们使用对象定位通过选择每个主导颜色对象部分使用均值漂移分割和区域增长。Hue-distance,饱和度和颜色直方图值用于描述对象。我们还跟踪分别占主导地位的颜色对象部分,结合在一起来提高跟踪的鲁棒性multihued对象。我们的实验表明,这些方法极大地提高了CAMSHIFT。这个进步希望在点击hypervideo对象跟踪会有用的。
关键词:对象跟踪、CAMSHIFT、分割、均值漂移,Hypervideo。
介绍对象跟踪一直是计算机视觉中最新兴领域。有很多的应用对象跟踪。其中一个是跟踪一个物体在一个可点击hypervideo。hypervideo是一个包含嵌入式的视频显示user-clickable锚[19]。在这个应用程序中,用户可以交互与用户之间的交互等视频网站,这丰富的互动视频。会有很多这种能力的优势。例如,用户可以从其视频将在视频和公司的联系,相反,公司现在在视频能够促进他们的产品。
另一种能力,是有趣的是对象跟踪hypervideo。这意味着用户可以选择任何对象在一个视频和跟踪视频序列。例如,用户最喜欢的足球运动员在足球比赛,想跟踪他的运动比赛,然后用此功能是可能的。这也真正如果用户想跟踪他的最喜欢的F1赛车视频,跟踪他最喜欢的电影明星在电影电影,等等。
在本文中,我们试图改善对象跟踪方法,该方法可用于hypervideo。一些国家的艺术对象的跟踪方法进行了综述,尝试和密切观察。然后,我们选择一个对象跟踪状态的艺术方法和改进它。
1.1一般硕士论文的目的
硕士论文的总目标可以概括为这些要点:
1)学习一些先进的对象跟踪方法
2)选择一个基于某些标准的提高
3)如果需要提高选择的方法与一些约束
以前的工作对象跟踪是计算机视觉的非常广泛的领域。有很多种方法,有时只适合特定条件。这部分将描述的一些先进的对象跟踪方法。
2.1测试视频
之前我们去深入的艺术方法,在这一部分中,我们将提供一些测试视频,我们用来检查状态的艺术方法和帮助我们选择其中之一。其次,这些测试视频将被用来测试我们自己的方法与选择的方法没有改善。
第一个是一个黄色的箱子(a),这是最简单的情况下,对象是单一色调与缩放、旋转和小变形的动态背景颜色是完全不同的对象,对象是黄色的,而背景是蓝色的。中间的视频,部分动态阻塞发生。视频的尺寸为1280 x 720像素24位的目的视频是测试先进的对象跟踪的鲁棒性方法以及我们提出的方法在部分阻塞,缩放、旋转和变形对象。
第二个测试视频是一个空气海拔飞机飞行与下面的一些小岛屿和温和的云分心。这是一个multihued对象通过一个动态背景。有一些干扰的背景颜色相似的一些对象部分的颜色。视频的尺寸是24位的1280 x 720像素。使用这个视频的目的是为了测试对象跟踪multihued对象上的方法的鲁棒性与一些干扰。
第三个视频是一个小玩具包含几个主要颜色,移动在一个复杂的背景有[33]。这是一个multihued对象的复杂背景非常相似的颜色对象。这段视频的一些更多的挑战对象的缩放和扭曲。我们的目标是向外移动相机,直到规模非常小,倾斜几次。对象也是移动非常快所以很难追踪。
背景实际上是静态的。通常情况下,对于这种视频,背景减法是非常强大的。但由于对象呆了很长时间的帧,即使背景减法问题。它需要大量的训练数据,有一个很好的背景模型。此外,中间的视频,有一些背景,可以毁了背景模型的运动。最后一件事,不仅希望对象是移动,手,对象也正向它下面的纸做一些更多的挑战,如果我们使用背景减法。
视频的尺寸是24位的640 x 480像素。这个视频的目的是为了测试对象跟踪方法的鲁棒性multihued对象面前同样颜色的背景。一些具有挑战性的缩放和扭曲的对象也是很重要的测试对象跟踪性能。出来的视频是一个足球比赛视频有[34]。在这段视频有几乎完全闭塞,有类似的颜色从移动物体对象也非常小。这将是一个巨大的挑战一些对象跟踪方法。视频的尺寸是24位的544 x 436像素。使用这个视频的目的是为了测试对象跟踪的鲁棒性非常小的对象上的方法几乎完全闭塞和分心于其他类似的颜色对象。
2.2跟踪对象分类
在[17],Yilmaz等人写的对象跟踪方法调查的结果。他提议对象跟踪代表每个类别的分类与方法。类别本身分为对象检测和跟踪对象类别。类别提出了在2006年。我们更新与最近的一些方法在每个类别分类的例子,这将是更贴近我们的硕士论文。在下一节中,我们选择一些代表性的方法来研究基于这些标准:
1)可接受性。研究人员更广泛使用的方法更可取的。
2)最近,我们宁愿选择最近比旧方法。
2.3角落探测器结合光流
在[5]Bradski表示,对象跟踪的基本方法之一是选择代表点使用光流特性和跟踪特性。该方法是一种最直观的方法,对象跟踪。KLT跟踪器为代表的这个方法是一个众所周知的对象跟踪方法。这就是为什么我们选择这种方法来审查。该方法根据Yilmaz代表点探测器和内核跟踪等人分类[17]。
2.3.1检测角点
代表功能自然是最有可能的特性有重大改变在下一帧。我们希望可以选择独特(或几乎唯一的)点,这样就可以更容易跟踪。一个可以点,有强壮的衍生品。那些沿着边缘点可能是点。但如果我们把两个正交方向的衍生品,然后我们可以希望点是独一无二的。这些点称为角落检测,可以使用的一个方法是KLT施正荣尔多·托马西也是角落探测器[26]。有OpenCV实现2.0[24]函数名叫做cvGoodFeaturesToTrack()。这个函数计算二阶导数(使用Sobel运营商)是必要的,从那些计算所需的本征值,然后返回一个列表,点满足要求良好的跟踪特性。
2.3.2光学流
定义的另一种方法来跟踪一个地区原始形状来计算它的翻译是使用光流方法。光流的方法用于生成密集流场流矢量的计算每个像素[17]。一个著名的光流算法是卢卡斯算法。拜最基本方程,它是在[27]
特征跟踪的目标:对于一个给定的点你在图片我,找到其相应的位置v = u d下图像J等我(u)和J(v)是“类似”。位移矢量d图像速度在x也称为光学流动x[27]。相似度函数来测量图像邻域的大小(2omega;x 1)*(2omega;y 1)。这个社区将也被称为集成窗口。让omega;x和omega;y是两个整数典型值2,3,4,5,6,7像素。
Lucas-Kanade算法的基本思想是基于三个假设[5]:
1)亮度恒常性。一个对象在一个图像的像素并不改变
外表,因为它(可能)从帧到帧灰度图像,这意味着我们假设一个像素的亮度并不改变跟踪从帧到帧。
2)小运动。对象的图像运动变化缓慢。
3)空间一致性。邻近点一个场景属于同一表面
类似的运动。
在Lucas-Kanade使用小窗口的缺点是大动作可以移动点当地的窗外并使人无法跟踪[5]。这导致锥体路算法的发展开始跟踪从最高层次的图像金字塔最低(细节)和工作降至较低水平(更多的细节),跟踪使用图像金字塔可以跟踪运动在当地的大窗户。1994年,史和尔多·托马西也是提出了KLT跟踪迭代计算的翻译(du,dv)地区(例如,25times;25块)集中在一个兴趣点[17]。
我们尝试了两种方法结合在一起使用OpenCV 2.0中实现。我们做一个矩形边界对象和检测角落使用史尔多·托马西也是方法和检测的运动,使用锥体Lucas-Kanade方法角落。更新对象的矩形的位置,我们平均运动的所有角落运动基于空间一致性的假设,但结果并不令人满意。因为,施正荣尔多·托马西也是角检测给我们,不仅对象的角落,而且背景角落内对象的矩形(图2.3)。例如,如果物体向上那么背景向下移动。当我们做运动平均所有的角落内对象的矩形(对象和背景的角落)对运动对象的矩形的计算,结果并不令人满意。施很难调优尔多·托马西也是角落检测参数,以便它只给对象的角落内对象的矩形。
2.4加快健壮的特性(冲浪)
冲浪是一个图像探测器并使用图像的兴趣点描述符。这个方法很好接受研究人员的最突出的图像兴趣点探测器和描述符。这就是为什么我们选择这种方法来审查。
这种方法代表着点探测器根据Yilmaz等人分类[17]。
[15]湾等人描述点检测使用一个非常基本的海赛矩阵近似。这有助于积分图像的使用大大减少了计算时间。我们需要找到兴趣点在不同的尺度上,尤其是因为通讯的搜索通常需要比较的图像在不同尺度的地方。规模空间通常实现为一个图像金字塔。反复图像与高斯平滑,然后sub-sampled为了实现更高层次的金字塔。为了本地化的兴趣点在图像和尺度,一个non-maximum抑制在一个3times;3times;3的小区。
兴趣点的描述和匹配,他们基于一阶Haar小波响应的分布在x和y方向而不是梯度,利用积分图像的速度,并使用只有64维度。这减少了时间特性计算和匹配,同时证明增加鲁棒性。此外,他们介绍新的索引基于拉普拉斯算子的这步增加鲁棒性的描述符和匹配速度。拉普拉斯算子的亮暗背景上的斑点有别于相反的情况。这个特性可以在没有额外的计算成本,因为它已经在检测阶段计算。
总之,他们声称冲浪分类任务的是伟大的工作,比以前更好的执行方法(筛选,GLOH),同时还被更快的计算。他们指出,应该非常适合冲浪的任务目标检测、目标识别和图像检索。
这个方法现在已广泛应用并驱使我们尝试这种方法在对象跟踪。我们提供的代码作者在[25]。我们做一个简单的跟踪,使周围的边界矩形对象,找到兴趣点。我们的兴趣点存储为对象模型。我们评估下一帧,找到匹配的点。我们计算匹配点的位移。矩形移动对象基于这些匹配点的位移
在上面的步骤中,我们使用我们的测试视频测试冲浪(图2.4)。在第一视频(黄色的箱子),冲浪未能检测兴趣点。第二个视频(飞机上),上网可以检测对象和移动矩形。第三个视频,上网可以检测对象在几个第一帧。但当物体远离相机,变得太小,冲浪失败。此外,有时上网实现给出了一些错误匹配的兴趣点。
2.5意味着改变跟踪
均值漂移是一个健壮的方法寻找模式数据集[5]的密度分布。该方法具有多功能自密度不仅颜色分布,而且质地、运动等(2、5)。这是一个简单的过程继续发行版,仅仅只是希尔攀登应用于密度直方图数据[5]。这种方法是有效的比较标准模板匹配,因为它消除了蛮力搜索[17]。这些特征均值漂移很好被研究者接受。这就是为什么我们选择这种方法来审查。该方法代表了分割对象检测根据Yilmaz等人分类[17]。
该方法可以直观地总结如下[14]:
1)启动过程任意位置和大小的窗口(地区
利息)。
2)找到了均值漂移矢量。
3)移动窗口显示窗口的中心向量那么现在
向量的终点(平均值)。
4)重新计算当前窗口内的向量的位置。
5)返回步骤3),直到收敛收敛。这意味着窗口
运动是低于阈值或均值漂移过程进行了特定的迭代次数。
均值漂移不是应该在第一时间跟踪算法[1],[2]Comaniciu等人应用均值漂移间断保护滤波和图像分割。不过,Comaniciu引入均值漂移跟踪非刚性的对象[29]。
Bradski[5]表示,均值漂移的计算可以简化考虑矩形内核。矩形的内核是一个内核与中心的距离没有下降,直到一个尖锐的过渡到零值。这与高斯指数下降的内核和下降的平方距离中心的常用Epanechnikov内核。简化降低了均值漂移矢量方程计算质心图像的像素分布使用图像的时刻
所以实际上,均值漂移跟踪算法运行如下[5]:
1)选择一个搜索窗的特点
我最初的位置。
二。类型(制服、多项式、指数或高斯)iii。形状(对称,圆形,矩形)iv。尺寸
2)计算窗口重心使用时刻3)中心窗口的中心质量4)返回步骤b,直到收敛。
这种方法有利于一个颜色对象背景与对象具有不同的颜色。缺点是均值漂移只给出了平均位置。它不给对象的方向。在[5],Bradski含蓄地暗示均值漂移不给对象大小。[17],Yilmaz表示,均值漂移不旋转不变量。
2.6 CAMSHIFT跟踪
这是著名的均值漂移方法的改进,使颜色分布的自适应变化的每一帧,CAMSHIFT是均值漂移的心。均值漂移将矩形的中心位置。不仅CAMSHIFT给对象的位置,而且对象的大小及其方向(1、5)。CAMSHIFT改善的能力意味着别的给对象的大小和方向在我们的案例中是非常重要的。这就是为什么我们选择这种方法来审查。该方法代表了模板和基于密度的外观模型根据Yilmaz等人分类[17]。
CAMSHIFT实际上的意图开发实时感知用户界面,在这种情况下,应用程序跟踪人脸[1]。这种方法是基于均值漂移方法。均值漂移方法修改可以自适应动态变化的颜色概率分布从一个视频帧序列[1]。这是由于颜色分布从帧序列变化。CAMSHIFT现在是用于计算机接口控制电脑游戏。
计算机接口的需要,他们开发CAMSHIFT所以它满足一些特点:
1)实时
2)可以运行
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[499722]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
