英语原文共 7 页，剩余内容已隐藏，支付完成后下载完整资料
通过多相机监测输液泵
摘要：当患者操作家用输液泵时，可能会出现一些操作错误，进而引发安全问题。为了检测潜在的威胁生命的错误操作，我们设计了一个基于多个摄像机监测和鲁棒时空算法的辅助系统。首先，当人们使用输液泵时，我们会通过多台摄像机录制视频。其次，我们使用MoSIFT算法，它可以检测特定的点，并且不仅能对其局部外观进行检测，而且还可以明确地对局部运动进行模拟，描述动作的特性。第三，我们记录与检测到使用输液泵的每个人的操作步骤，以确定患者是否以安全的顺序正确执行了所需的动作。用于评估的特定输液泵需要12个动作类别中的22个操作步骤。实验表明，我们最好的分类器可以获得56％的平均速率，表明MoSIFT算法是稳健的。
关键词：人类行为识别;医疗设备;物理传感器;隐马尔可夫模型
介绍
为了解决老龄化人群日益增长的医疗保健需求，我们预计在将来家用医疗器械需求将大大增加。为了保持安全性，个人和他们的家庭同伴必须能够正确地设置和使用这些设备。随着个人年龄的增长，许多人受到认知衰退的影响，无法牢记任务正确步骤。因为在操作过程中发生错误，其后果可能危及生命，因此我们正在研发检测方法来检测这种设备的设置和运行中的操作失误。研发的目的是提醒患者纠错误，防止可能发生安全问题。我们的项目的目标是开发一种灵活的机制，允许系统基于系统已经理解的一组潜在的原始动作来学习和完善高级任务的步骤，进而与人类操作者进行交互。典型的家庭保健设备的例子有呼吸器，氧气泵，呼吸机和喷雾器等；我们的项目是开发灵活的机制，我们使用输液泵，允许患者静脉内给药用药自己在自己家里。用输液泵，允许患者静脉内给药用药自己在自己家里。
我们假设在家里的工作台周围会有专门用于医疗活动的照相机。该系统将对能正确操作设备的人进行培训视频，首先进行视频录制，之后将在当前执行的过程中检测正确的操作顺序，并最终向用户提供校正反馈，反馈的信息可能包含应该如何执行适当的步骤的录音和视屏。
正常的家庭医疗状况，是护理人员在多天内指示患者使用该装置，并且最终能进行完全无人监督下的正确操作。我们的工作模仿了这一过程，提供一般操作的培训，和特定主题的训练数据的实例，以获得更准确地识别正确使用设备所需的人为行动。
这里描述的技术包括两个部分（1）通过记录一组操作，并对系统进行训练，（2）观察操作动作的新实例并识别正在执行的操作。
本文的其余部分安排如下。第二部分描述了有关动作识别的方法。第三节描述了MoSIFT功能的细节。第四节分类。实验设置，结果和结论分别在第V，VI，VII节中给出。
相关工作
事件识别已成为一个非常热门的研究课题，目前已经提出了许多进行事件识别方案。Aggarwal等人[1]概述了人体运动分析中涉及的各种任务。胡等[2]回顾动态场景中的视觉监控，提出不同的研究方向。对于事件识别，第一个也是最重要的问题是如何完全描述事件。由于“兴趣点”已经被证明能过对对象和行动进行描述，许多研究人员[3,5,9,12,14-15]已经设计出用不同方案来检测和描述兴趣点的方法。Dollar等人[3]使用稀疏的时空特征来实现包括人类和啮齿动物的行为识别，。Laptev等人[5]基于哈里斯兴趣点检测器的方法，并在时空中找到局部结构。Laptev等人[9]用时空兴趣点解决自然人类行为的识别。Wong等[12]利用全局信息产生运动识别的一组稀疏兴趣点。Willems等[14]根据当前的空间时空兴趣点是同一时间尺度不变的（空间上和时间上）。Oikonomopoulos等人[15]通过测量像素邻域的信息内容在空间和时间上的变化，来检测时空的兴趣点。Klaser等人[13]基于定向3D时空梯度的直方图构造局部描述符。另外，一些研究人员尝试找出行动之间的相关性[6]，利用最大化信息（MMI）技术[8]中的行为识别技术，利用词汇算法的最佳词数（词汇大小），构建根据本地时空特征的视频表示，并将这些表示与支持向量机分类方案进行集成以进行识别[4]。同时，一些研究人员还通过基于模型的方法来利用事件识别。基于模型的方法依赖于各种模型，包括HMM[19]，耦合HMM[20]和动态贝叶斯网络[21]，以构建构成单一动作或时间演化的部分模式
运动特征点作为构建组
对于空间和时间兴趣点检测和描述，Laptev等人[5]将2D哈里斯角检测器扩展到3D哈里斯角检测器，其可以在空间和时间维度上检测具有高强度变化的点，从而产生紧凑和独特的兴趣点。由于所有在3D上的变化的假定具有十分严重的限制性，[5]只能检测出很少的点，因此许多运动类型不容易识别。Dollar等人[3]丢弃空间约束，只关注时域。利用松弛的空间约束，它们的检测器通过在时间维上应用Gabor滤波器来检测周期性频率分量，比3DHarris检测器检测到更多的感兴趣点。尽管其声称具有强周期性响应的区域通常包含能区别动作的特征，但周期性运动并不总是足以描述复杂的动作。
为了解决这个问题，我们提出了MoSIFT点检测器和描述符[18]，它集中检测在空间和时间上的兴趣点。我们的方法有两个主要步骤：检测兴趣点和构建特征描述符。检测兴趣点可将视频从一系列像素缩小到描述性的兴趣点。
本节概述了MoSIFT算法[18]来检测和描述时空兴趣点。在[18]中显示，MoSIFT优于Laptev方法[5]，Laptev方法也用于空间与时间点，用于KTH数据集上的事件检测。MoSIFT和Laptev之间的区别是MoSIFT首先应用SIFT算法来在空间域中找到视觉上独特的组件，然后通过（时间）运动约束来检测时空兴趣点，而不是从3D角检测器开始。MoSIFT的运动约束包括周围的独特兴趣点光流的“足够”数量的。
- MoSIFT运动兴趣点检测
图1. MoSIFT算法的系统流程图。一对框架是输入。通过减去相邻间隔计算的高斯差分（DoG）图像的局部极值和光流量决定了描述特征的兴趣点。
MoSIFT算法采用一对视频帧来查找多尺度的时空兴趣点。应用两个主要计算:SIFT点检测[17]和光流计算匹配SIFT点的尺度。图1给出了算法的框架。
SIFT旨在检测静态图像中的运动兴趣点。候选人外观的是独一无二的，但它们与视频中的运动无关。例如，混乱的背景产生与人类行为无关的兴趣点。显然，只有具有足够运动的兴趣点才能提供行动认可的必要信息。
在MoSIFT算法的兴趣点检测部分，在两个高斯金字塔上构造光流金字塔。多尺度光流量根据SIFT量表计算。DoG金字塔的局部极端规定只有在光流金字塔中有足够的运动才能成为兴趣点。
使用光流而不是视频立方体或体积的优点是，它明确地捕获了运动的大小和方向，而不是通过随时间的外观变化隐含地模拟运动。
运动兴趣点是空间域中的尺度不变量。然而，我们不会使它们在时间域中不变，因为我们认为时间尺度区分了有意义的不同的人类行为（步行/跑步，触摸/打击）。时间尺度不变性可以通过计算多个尺度上的光流量来实现。
- 运动和外观特征说明
外观和运动信息都是动作分类器的基本组件。由于动作仅由一组时空点描述符表示，所以描述符特征将严格确定可用于识别的信息。
图2.. MoSIFT特征描述符的网格聚合。邻域中的像素被分为4times;4个区域。与SIFT一样，为每个区域形成具有8个仓的方向直方图，得到128个元素向量。MoSIFT功能连接256个元素描述符向量的外观（SIFT）和运动的聚合网格。
MoSIFT描述符适应SIFT中网格聚合的思想来描述运动。光流检测可用于检测运动的大小和方向。由于光流具有与外观梯度相同的性质，所以可以将相同的聚集应用于感兴趣点附近的光流，以增加对遮挡和变形的鲁棒性。
与外观描述的主要区别在于主导地位。对于人类活动识别，由于视角和变形的变化，外观的旋转不变性仍然很重要。由于我们的视频是由固定相机拍摄的，移动方向是一个重要的（非不变的）矢量来帮助识别动作。因此，我们的方法省略了对运动描述符中的方向不变性的调整。
在这种实现中，MoSIFT的外观（SIFT）和运动（光流）部分与普通SIFT特征和光流不同。首先忽略一些小运动的SIFT点，然后在SIFT点周围计算光流，而删除其他光流信息。我们的实验表明，这种对SIFT和光流的约束可以获得良好的性能。当两个直方图（外观和光流）被聚合成一个现在具有256个维度的描述符时，其针对动作和事件分类的性能比各个组件有所改善。也就是说，MoSIFT功能可以直接描述SIFT和光流的动作。图2显示了功能描述。
分类
对于每个关键帧，提取的关键点的数量可能不同，这由移动对象的复杂性决定。因此，我们使用基于k均值聚类的BOW方法。在三个单独的实验中，我们量化SIFT描述符，光流（OF）信息，并将完整的MoSIFT描述符量化为每个帧的固定大小向量。
在所有情况下，我们在单个事件的持续时间内聚合所有视觉词。因此，每个事件由视觉字直方图表示。然后，我们应用一个2内核的SVM分类器，因为它已被证明是最适合计算直方图的距离[16]。
而在文本信息检索中，词汇大小由字典（或语料库）中发现的词确定，我们的视觉词汇词典的大小必须由通过聚类过程创建的群集数决定。我们在歧视与泛化之间的选择最佳大小。一个小的词汇表较难区分，因为即使彼此不相似，两个关键点也可能被分配到一个群集中。另一方面，大词汇可能缺乏推广能力，因为类似的关键点可能被分配给不同的集群。初步的工作表明，使用中等尺寸的视觉词汇将会有最强劲的表现。在我们的实验中，我们使用了一个600BoW词汇量来进行MoSIFT功能。为了比较MoSIFT与SIFT和OF的性能，600BoW词汇大小也分别用于SIFT和OF。
为了对单个动作进行分类，我们使用SVM分类器和MoSIFT功能中的BoW。这种识别和单个运动，但是对于输液泵的操作，它的动作存在顺序。例如。进入手臂的端口必须打开，才能清洗。然而，其他步骤可以在有效的操作顺序中互换。这种部分顺序信息有可能提高分类性能。在[19-21]中，构成一个单一动作或时间演化的部分组件被建模。与[19-21]不同，我们使用隐马尔可夫模型（HMM）来对序列约束进行建模，而不是构成单一动作的部分组件。
我们假设具有状态Y的隐马尔科夫模型（HMM），处于状态i的初始概率pi;以及从状态i到状态j的转换概率.我们观察输出,......,。而状态序列为,hellip;hellip;最有可能产生的观察值由递归关系给出[22]：
这里的是是观测概率，最可能是的状态序列第t 1观测的概率。维特比路径可以通过保存在第二个方程中保存个状态y被使用的指针来获得。令P是返回用于计算t的值y的函数，如果，则返回k，如果t=0，则返回k。即：
这里，我们设置，SVM分类的概率输出被用作我们的观察概率。我们可以从训练数据集中学习，这样我们可以得出状态转移概率。
我们可以对视觉观察和分类进行限制。因此，如果可能，我们决定使用泵内传感器获取准确的动作信息。一些行动将始终保持视力检测，例如“清洗”或“冲洗”。但是通过仅感测输注装置的状态可以容易地获得其他动作。我们的传感器能够电子地检测患者何时将泵“关闭或打开”以及“按下按钮”。为了实现这一点，我们分析了输液泵内部产生的电信号（见图5）。虽然我们的传感器仅给出了泵内不同线路上电压变化的指示，但是这可以映射到对泵本身执行的特定动作的相对鲁棒的估计。虽然可能需要完成重新设计和重新编程泵，例如增加基于按钮推动的更多内部错误状态监测或加速度计，以了解泵正在做什么，这些修改将需要制造商进行FDA批准和重新认证，并且超出了本项目的范围。使用我们简单而便宜的物理传感器，我们仍然有更多的信心，我们以高精度检测至少一些泵按钮相关的动作。因此，我们可以使用物理传感器在识别这些动作方面获得显着的改进，以及由于HMM模型约束而对顺序前后的动作进行改进。
实验装置
为了研究执行泵运行的程序，我们使用了一个真正的Abbot实验室输液泵（AIMPlusAmbulatoryInfusionManager）。在专家顾问的帮助下设计了实际的输液方案。输液方案有22个步骤。要操作该泵，需要以下步骤（简化为可读性）：
1.打开泵装置的电源
2-5。通过按下设备上的按钮选择正确的输液程序（注意：这需要多个步骤）
6.打开（un-cap）臂端口（进入管体进入体内）
7.用无菌垫清洁端口
8.打开（非盖）泵管
9.用无菌垫清洁泵管（端口）
10.用盐水注射器冲洗口腔管
11.将臂口管连接到泵管
12.在设备上开始灌注过程
13.当泵信号输注结束时，停止泵程序
14.断开臂口管
15.用无菌垫清洁泵口管
帽式泵口管
17.用无菌垫清洁手臂
18.用盐水注射器冲洗手臂口管
19.用Heparin抗凝血剂注射器注射冲洗臂口管
20.清洁手臂口管
盖帽端口管
22.关闭泵。
开始，将泵，IV袋，IV输液器，注射器和酒精预制垫放置在方形桌子上。在我们的实验中，用盐溶液注射器和血液稀释剂肝素用颜色编码的注射器用水代替，并且输液管未连接到身体，但是端口被定位成如同。坐在桌子旁边，每个参与者操作泵来实现正确的输液。虽然一些步骤可以按顺序互换，例如打开泵口并打开手臂端口，但一定的关键顺序至关重要。每个参与者都展示了“正确的输液步骤”，并且在作为训练有素的护理人员的实验者的协助
全文共11794字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[144641]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
