将用户度满意度作为衡量系统性能的标准外文翻译资料

 2023-01-06 11:40:26

将用户度满意度作为衡量系统性能的标准

原文作：Jillian R. Griffiths, Frances Johnson and Richard J. Hartley

摘要：很明显从先前的研究来看，用户的满意度是探测三维，主观变量可以受性能系统或搜索以外的许多因素的影响。这篇文章试图在信息检索和信息系统文献的绘制上了解用户满意度如何衡量、 哪些因素影响它、为什么对用户满意度调查结果如此多样和矛盾？其中包括了对在未来调查中使用用户的满意度作为衡量系统性能的建议。

关键词: 信息检索 ；信息系统 ；系统性能 ；用户因素 ；用户的满意程度

1.0介绍

无论是系统或搜索，在信息系统（IS）和信息检索的用户满意度（IR）的研究通常取为成功的替代指标（Gatian，1994）。但在最近几年，产生了争议（Woodroof和Burg，2003：318）。这场争论的发生大多是从满意度角度，受多种因素的影响，确定的用户状态的本质 - 无论是元素或系统特性，用户或任务的情况。正是这种缺乏关注用户满意度结构的理论基础（Melone Hotel，1990），认为导致关于其定义、测量和研究成果的方法之间的分歧。尽管经过多方辩论，用户满意度研究的结构为内两个IR用户为中心的系统评估和IS文献仍持有相当大的价值和吸引力。传统的面向系统的实验红外系统评价，是从克兰菲尔德以TREC，提供系统性能衡量的检索和相关的给定的查询项目方面着手的。然而，今天的最终用户的交互检索的环境要求以可用性的用户为导向的措施，用户行为，认知和偏好（哈特和赫尔特，1997;苏，2003年）着手。用户的满意度通常被用来评价从用户角度出发的系统，格鲁克（1996）指出“尽管定义和操作存在不足之处，这两个传统措施[用户满意度和系统性能]提供相当多的帮助和显著的改善” （第92页）。承接IR和IS文学两个因素进行审查是存在问题的，因为研究不同变量的数量庞大。

此外，困难来自于变量标记的差异，因为一些研究常使用不同的名称为基本相同的变量。这里所采用的方法是将因素按一般类别分类，从希尔德里斯（2001）中给出的类别修改，从而分为：1）系统的因素; 2）用户的因素; 3）环境因素和4）任务的因素。如对表1中总结这些因素进行审查，以确定特西尔等（1977）假设的程度。用户和其他外部因素会影响用户的满意度。本文列出的因素确定表1用以确定那些可能构成用户满意度和其最大的影响因素。来自环境因素的一个重大挑战是，用户评价寻求Lindgaard and Dudek（2003）强调需要更多的研究来阐明用户满意度本身的概念。为此，本文探讨了用户满意度（第2节）的定义，然后继续审查影响用户的满意度的因素：系统因素（3.1节），用户因素，环境因素和任务因素。第4节将讨论这项工作的结论。

2.0用户满意度

用户满意度是一个艰难的、无形的、难以捉摸定义的概念。但如果它是被用来提供关于一个系统的性能和它的一个用户的体验有意义的研究，一个定义恰好是所需要的。在早期尝试定义的概念Tessier (1977)等人指出，满意为用户头脑里的经历的最终状态rsquo;（p.383），因此，这是一个关于rsquo;智力和感情两者共同决定的答案（p.384）。Applegate（1993）描述了三种关于用户满意度的：1）材料的满意度模型，需要测量实际的产品质量;2）情感上的满足，简单的路径模型3）情感满意度，多路径模型。在此，测量系统性能，如“搜索结果的精度将是该材料的满意的模型的适当的措施。

这两种情感上的满足模型是基于主观印象和评价的。Bruce（1998年）将这些定义用来描述满意信息的搜索 “一种代表了用户的物质和情感反应复合到信息寻求环境中的心态”（p.541）。然而，当满意度作为评价构造的模型似乎并没有被广泛应用。Sandore（1990年），将韦氏第三版新国际词典作为研究，该研究的基本假设是，“用户将获得最相关的信息与他们的满足感契合”。早在1973年库珀的“天真评估”要求用户​​通过分配货币价值对每个检索到的文档，表示满意的结果。Su（1998年，2003年）进一步支持这一措施，“最具价值的用户检索系统，来自她广泛的红外系统评估和用户的措施的研究。这项研究的目的是确定红外系统中的成功而被发现是对搜索结果的值的一个最重要的用户措施。在试图开发一种测量仪器用户的满意度的研究中，Bailey and Pearson（1983年）使用的是关键事件访谈法，以找出影响满意度的因素。从这些访谈和文献中，39个因子被确定，并随后创建一个问卷，用于测量的满意度和导频进行测试。虽然从试点测试结果显示，这是一种有效和可靠的测量仪器，研究人员一致认为，进一步分析可以减少一系列因素，需要做更多的验证工作。接着，艾夫斯等。 （1983年）进行了这项仪器的因素分析，并建立了一个较短的版本。由于娃娃和To​​rkzadeh（1988）表示，该艾夫斯仪器是“可能是最好的措施，用户信息满意度”（第262）。该仪器然而，设计为传统的数据处理环境，没有考虑人机界面。Doll and

Torkzadeh继续开发基于618个最终用户的调查，以衡量终端用户计算环境的用户满意度五个部分的12项仪器：内容，准确性，格式，易用性和时效性。笔者从他们的研究证据得出的结论是，开发工具有“足够的可靠性和有效性”（p.272），并且是短暂的，易于使用，又适合兼具实用性和研究目的。

3.0影响因素联合用户满意度

完成将满意度的定义为评价结构后，对用户满意度的文献的研究找出了大量的影响因素用来学习满意度。

3.1将系统因素以及满意度作为评价结构

这种广泛使用从搜索系统所获得的的用户满意结果可以容易地解释为合理的。多数IR系统评估是基于描述为根据检索到的一组的召回率和准确的重点是系统性能的指标。从Cooper (1973) 到 Su(1992)，我们可以看到基于使用的结果相关性的用户判断的调试结果，作为一个单一的措施提供了系统一个简单的和可鉴别的用户评价。然而，它可以说是违背了封装模型和定义的想法，用户的满意度是由比单纯的性能（或产生的结果）系统的影响。

Hildreth（2001）认为，过去的证据表明，IR系统的最终用户经常表示对结果和该系统的整体性能的满意，即使当分析的结果证明他们是差的。Applegate（1993）称为“误报现象”，Hildreth推测这可能是由非性能因素，诸如接口风格和情感因素影响一个搜索者的满意度。为了研究这一点，用户的满意度被使用的两个不同的接口，用于与集搜索任务的OPAC后进行比较。人们发现，易用性和系统有用的感知比没有实际的搜索性能更显著影响用户的满意度的结果。

Wood等人（1996）研究了学生的数据库搜索技术，包括搜索的有效性和他们的满意度与他们的认知和学习方式。结果表明，许多学生无法建立足够的搜索查询，制定一个有效的搜索策略或达到足够的搜索结果（p.90）。尽管如此，超过半数的学生表示满意他们的结果，79％的学生认为自己的搜索至少是成功的。有人建议，满意度与他们搜索的整体高度可能是由 “学生”低预期或他们的搜索策略所影响的。 Sandore（1990）也报告（p.33）无论用户的期望是否进行详尽的（高召回）或特定（高精度）结果是一个精确度和满意度之间的低相关的整体。

这可能是研究方法本身一定程度上解释了这些结果。而Sandore的研究是直接从用户判断，Gluck（1996年）的研究是比较满意度及其相关性，采取的相关性和用户满意度来自与相关计算反应的研究人员的用户编码。用户完成决策时间表问卷，描述他们的信息时间表的内容分析基于需求和相关性的判断。用户的满意度被作为自己满意的检索项，检索项目，成本效益和整个系统的处理的程度使用者的指示。结果表明，用户的满意度与检索项目及这些项目的相关性强烈重叠其中或许表明，用户的满意度并不像Hildreth（2001）所说的那样。

4.0讨论及结论——用户满意度：结构确认

那么，对这用户的满意度判断是怎样的一种复杂方法呢？我们需要定义满意作为衡量，对系统组件、其他因素以及它的影响进行考虑。有人认为，这不是一个单一的构建体在其整体的系统的用户评估，但是包括若干个情感组件。这其中尤其值得质疑的是认为系统性能仅将决定（或至少影响）满意度的有效性。

满意是复数变量，由此需要其他因素作为协变量，以便涉及该系统及其因素影响的判断。要做到这一点，我们需要研究各种用户和环境的特点和满意度之间进行的关系。

外文文献出处：Journal of librarianship and information science, 2007, vol. 39, no.3, pp.142-152

附外文文献原文

User satisfaction as a measure of system performance

Jillian R. Griffiths, Frances Johnson and Richard J. Hartley

It is evident from previous research that user satisfaction is a multidimen-sional, subjective variable which can be affected by many factors other than performance of the system or searcher. This article draws on information retrieval and information systems literature in an attempt to understand what user satisfaction is, how it is measured, what factors affect it, and why findings on user satisfaction have been so varied and contradictory. It concludes with recommendations for future investigation of the use of user satisfaction as a measure of system performance.

KEYWORDS: information retrieval; information systems; system perfor-mance; user factors; user satisfaction

1.0 INTRODUCTION

User satisfaction in information systems (IS) and information retrieval (IR) research is generally taken to be a surrogate measure of success (Gatian, 1994), either of a system or a search, but in recent years has lsquo;generated more controversy than agreementrsquo; (Woodroof and Burg, 2003: 318). This controversy arises mostly from the very nature of lsquo;satisfactionrsquo;, a user state determined by the influences of many factors – be they elements or characteristics of the system, the users or the task situation. It is this lack of attention to the theoretical underpinnings of the user satisfaction construct (Melone, 1990) that has led to disagreements amongst researchers regarding its definition, method of measurement and research findings.

In spite of the debate, user satisfaction holds considerable value and appeal as a construct for user-centred system evaluation within both the IR and the IS literature. The traditional system-oriented experiments for IR system evaluation, from Cranfield to TREC, provide a measure of system performance in terms of items retrieved and relevant to a given query. Yet todayrsquo;s end-user interactive retrieval environments demand user-oriented measures of usability, user behaviour, perceptions and preferences (Harter and Hert, 1997; Su, 2003). User satisfaction is often used to evaluate a syst

剩余内容已隐藏，支付完成后下载完整资料

英语原文共 12 页，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[286980]，资料为PDF文档或Word文档，PDF文档可免费转换为Word

原文和译文剩余内容已隐藏，您需要先支付 30元 才能查看原文和译文全部内容！立即支付

以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。

您可能感兴趣的文章