Social media sentiment analysis through parallel dilated convolutional neural network for smart city applications
Muhammad Alam, FazeelAbid, etc
Abstract
Deep Learning is considered to leverage smart cities through social media sentiment analysis. The digital content in social media can be used for many smart city applications (SCAs). Classical convolutional neural networks (CNNs) are challenging to parallelize and insufficient to capture long term contextual semantic features for sentiment analysis. In this perspective, this paper initially proposes a domain-specific distributed word representation (DS-DWR) with a considerably small corpus size induced from textual resources in social media. In DS-DWR, different Distributed Word Representations are concatenated to builds rich representations over the input sequence, which is worthwhile for infrequent and unseen terms. Second, a dilated convolutional neural network (D-CNN) , which is composed of three parallel dilated convolutional neural network (PD-CNN) layers and a global average pooling (GAP) layer. Our considered parallel dilated convolution reduces dimension and incorporates an extension in the size of receptive fields without the loss of local information. Further, the long-term contextual semantic information is achieved by the use of different dilation rates. Experiments demonstrate that our architecture accomplishes comparable results with multiple hyperparameters tuning for better parallelism which leads to the minimized computational cost.
Keywords：Social media sentiment analysis，Smart city applications，Parallel dilated convolutional neural network (PD-CNN)，Domain-specific distributed word representation (DS-DWR)
Introduction
The development of smart city applications (SCAs) in the last decade has shown flexible design and valuable services. Smart Cities are a combination of technical and social advancements, e.g., Internet access on Mobile, Social Data Analytics, and Internet of Things (IoT) [1]. These advancements can facilitate to manage resources productively primarily through social networks. Our study endorses a novel way for the smart cities towards the building of intelligent and adaptable SCAs. The social media has become a potential information source for social information mining to dominate peoplersquo;s opinions. In our perspective, users can be viewed as social sensors, and opinions are response signals as it is real-time characteristics of social data. These opinions are extensive on social media consist of short sentences and contain useful information in numerous contexts. Therefore, social media data as social sensors can be employed to discover valuable information. A developing pattern in the area of social data mining is to concentrate on social textual data having opinions instead of concentrating on extensive numerical analysis. Social media sentiment analysis is a growing technique to comprehend the opinions of individuals through social networks. While SCAs can utilize the benefits of social media sentiment analysis as the opinions can be related to any event or a source of estimating preferences, dislikes, and patterns.
SCAs can act as “activators” by focusing on improvements in technological, political, and organizational aspects through social media. Also, it can enhance peoplersquo;s attitudes and empower them to build up a feasible environment in Smart cities [2]. Social networks are the primary source of opinions and events; however, the main issue is substantial social content that requires smart approaches to filter out noisy data. The prerequisite of noise filtering of social media data involves automatic classification techniques for valuable facts. It also suffers a few difficulties; for example, sentences are short and contain abbreviations as well as spelling mistakes. The semantic analysis can be used to manage abundant social media data to induce semantic for improvements in terms of integration and reusability [3]. Similarly, social media mining techniques can utilize to collect and process social data posts on Facebook, Twitter, and Instagram for SCAs [4]. We choose Twitter, which has a considerable number of posts and consists of less than 140 characters [5]. This social media data can be used for social media sentiment analysis and considered appropriate to examine peoplersquo;s opinions of smart city services.
Currently, Machine Learning (ML) methodologies utilized IoT and Big Data for the enhancements of smart city services [6]. Among many ML methods on classifying text, Naıve Bayes (NB) is utilized for spam detection [7], topic detection [8], sentiment analysis [9], recommendation systems [10]. In a social context, popular techniques support vector machine (SVM) has been utilized to characterize tweets to get the trends [11]. However, there are some issues related to the extraction of the features with variable-size sequences composition. Whereas a subfield, deep Learning (DL), favorably provides intelligent services. DL employs artificial neural networks (ANNs) architectures in order to learn high-level features for social data with multiple layers. These features are efficient enough to replace many ML methodologies, especially when addressing social media data for predictions. Further, these methodologies are progressively applied to supervised and unsupervised classification problems [12], [13], [14].
Deep learning (DL) persuades researchers by using ANNs that empowers efficient learning of features without requiring complex feature-engineering [15], [16]. DL methodologies work by executing the feature extraction and
剩余内容已隐藏，支付完成后下载完整资料
通过并行扩张卷积神经网络的社交媒体情感分析，用于智慧城市应用
穆罕默德·阿拉姆，法泽尔·阿比德等
摘要
深度学习被认为可以通过社交媒体情绪分析来利用智慧城市。社交媒体中的数字内容可用于许多智能城市应用程序（SCA）。经典卷积神经网络（CNN）难以并行化，并且不足以捕获用于情感分析的长期上下文语义特征。从这个角度来看，本文最初提出了一种特定于域的分布式单词表示（DS-DWR），它具有从社交媒体中的文本资源中引出的相当小的语料库大小。在DS-DWR中，将不同的分布式单词表示形式进行级联，以在输入序列上构建丰富的表示形式，这对于不经常使用且看不见的术语是值得的。其次，一个扩展的卷积神经网络（D-CNN），它由三个并行的扩展的卷积神经网络（PD-CNN）层和一个全局平均池（GAP）层组成。我们考虑的并行扩张卷积可减小维数，并在不损失本地信息的情况下增加了接收域的大小。此外，通过使用不同的膨胀率来获得长期上下文语义信息。实验表明，我们的体系结构通过多个超参数调整达到了可比的结果，从而实现了更好的并行性，从而使计算成本降至最低。
关键词：社交媒体情感分析，智慧城市应用，并行膨胀卷积神经网络（PD-CNN），特定领域分布式词表示（DS-DWR）
引言
过去十年来，智能城市应用程序（SCA）的发展显示出灵活的设计和有价值的服务。智能城市是技术和社会进步的结合，例如，移动互联网访问，社会数据分析和物联网（IoT）。这些进步可以促进主要通过社交网络有效地管理资源。我们的研究认可了智慧城市建立智能和适应性SCA的新颖方法。社交媒体已成为潜在的信息资源，可用于挖掘社会信息来支配人们的意见。在我们看来，用户可以被视为社交传感器，而意见则是响应信号，因为它是社交数据的实时特征。这些意见在社交媒体上广泛存在，包括简短的句子，并在许多情况下包含有用的信息。因此，可以采用社交媒体数据作为社交传感器来发现有价值的信息。社会数据挖掘领域的一种发展模式是，将注意力集中在具有观点的社会文本数据上，而不是集中在广泛的数值分析上。社交媒体情感分析是一种通过社交网络理解个人观点的新兴技术。尽管SCA可以利用社交媒体情绪分析的好处，因为意见可以与任何事件或估计偏好，不喜欢和模式的来源有关。
SCA可以通过关注社交媒体在技术，政治和组织方面的改进来充当“激活者”。此外，它还可以增强人们的态度，使他们能够在智慧城市中建立可行的环境。社交网络是观点和事件的主要来源；但是，主要问题是大量的社交内容，需要使用智能方法来过滤出嘈杂的数据。社交媒体数据进行噪音过滤的前提条件是涉及对有价值的事实进行自动分类的技术。它还有一些困难。例如，句子简短，包含缩写和拼写错误。语义分析可用于管理大量的社交媒体数据，以诱导语义以在集成和可重用性方面进行改进。同样，社交媒体挖掘技术可用于收集和处理针对SCA的Facebook，Twitter和Instagram上的社交数据发布。我们选择Twitter，它具有大量的帖子，并且少于140个字符。该社交媒体数据可用于社交媒体情绪分析，并被认为适合检查人们对智慧城市服务的看法。
当前，机器学习（ML）方法将物联网和大数据用于智能城市服务的增强。在许多用于文本分类的ML方法中，朴素贝叶斯（NB）用于垃圾邮件检测，主题检测，情感分析和推荐系统。在社交环境中，流行的技术支持向量机（SVM）已用于表征推文以获取趋势。但是，存在一些与可变大小序列组成的特征提取有关的问题。深度学习（DL）子字段可提供智能服务。 DL采用人工神经网络（ANN）架构，以学习多层社交数据的高级功能。这些功能足以替代许多ML方法，尤其是在处理社交媒体数据以进行预测时。此外，这些方法逐渐应用于有监督和无监督的分类问题。
深度学习（DL）通过使用ANN来说服研究人员，而ANN可以有效地学习特征，而无需复杂的特征工程。 DL方法通过与相关的权重矩阵相乘来启动一个单词序列的表示来执行特征提取和分类任务，从而将其工作为一个热点矢量。每个单词的序列由输入到神经网络的连续向量空间制定，以借助各个层次的预测来处理单词的连续性。如文献[18]中所述，该处理对训练集的影响在于增加分类准确性。卷积神经网络（CNN）在句子级分类方面取得了出色的成果。通过将单词投影到具有密集空间矢量的较低维度，可以从不同的分布式单词表示中学习，例如Word2Vec，FastText和GloVe。 CNN提取句子特征并将这些特征与手工特征相结合的技术，用于文献[24]中提出的关系分类。但是，传统的CNN无法保持长期的语义特征。相比之下，CNN的独特设计是利用了扩展的卷积。它消除了信息丢失的隐患，信息丢失是由于传统的合并操作中的常规下采样方法以及跨步卷积所致。此外，它可以在指数级扩展接受域的大小，而无需考虑其他参数。因此，使扩张的卷积捕获长期语义信息变得可行。
尽管有许多SCA，但它仍然是与社交媒体的松散耦合关系的集合，有待加强。当前的研究正在利用一种深度学习方法，该方法通过考虑并行扩张的卷积神经网络（PD-CNN）自动识别社交传感器上的信息。根据我们的评论，如上所述，PD-CNN能够预测适当的信息，因为它使用不同的分布式单词表示形式从DS-DWR学习特征。除了SCA的改进之外，还考虑了在使用DL进行社交媒体情感分析时的几个有利的超参数。我们的工作不仅介绍了社交媒体情绪分析的新方法，而且对智能城市的现代化也很有用。以下是这项工作的贡献：
bull;探索了特定领域的分布式词表示形式，以发现与标准方法相比增强分类器展示的功能。
bull;扩展卷积神经网络中的并行性包含三个包含不同扩展速率的扩展卷积层，并以一种新颖的方式实现了全局平均池化。
bull;最后，无需复杂的功能工程，这项工作将继续使用DL方法，通过基于社交传感器（推文）的社交媒体情感分析来提供智能智慧城市应用程序，以增强人们对智慧城市的感知。
相关工作
智慧城市和社交媒体分析的持续增长推动了技术和城市发展的先进水平。近年来只有很少的研究阐明了社会技术生态系统的互补特征。但是，它们的相互重要性尚未完全理想化。通过将创新与社交网络相关联来解释智能城市的可持续性工作在中进行了解释。如文献[28]中所述，智能城市服务的社交用户将充分了解这些服务的可用性和生产力。这意味着在有关社交网络的智能引用研究中需要更多实用性。对于智慧城市的可持续性研究，人们必须专注于与智慧城市相关的社会环境。通过这种方式，智能城市应用程序（SCA）促进了具有观点和前景的社交网络和智能城市服务的集成，如文献[30]，[31]中所述。因此，社交网络对SCA具有深远的影响。社交网络包含非正式的互动和观点方法。我们尝试分析这些意见如何促进上述服务。此外，这些网络允许共享状态更新消息。这些消息具有其他（元）信息，例如名称，时间，位置和主题标签。它可以是必不可少的资源，可以帮助在智慧城市中提供智能服务。随后，社交网络用户被视为社交传感器，消息被视为许多作品中使用的传感器信息。
此外，随着智能手机的使用，“感应”变得无处不在，它可以有效地收集和分析音频，视频和文本形式的信息。与物理设备生成的数据相比，这些传感器生成的数据在语义上是唯一的。这些语义数据是智慧城市中的相关信息。已经提出了许多利用社交网络上的短文本消息来分析多种观点的作品，包括事件检测疾病跟踪和监视。基于社交网络的文本数据的重要意义之一就是语义，这对于社交用户来说更自然。在各种社交网络平台中，Twitter数据已在诸如自然语言学习（NLP），情感分析和智慧城市之类的多种应用程序中得到广泛利用。
为了通过利用元级特征来增强基于推特的情绪分类，例如，在中已经提出了指示极性的强度和情感因素。我们提出了一种在Twitter上手动标记数据过程的众包方法，其中包含诸如Person，Organization和Location之类的实体。该数据还用于基于条件随机场“ CRF”训练模型。后来，引入了另一项使用类似平台进行众包的工作，但未能解释（注释）实体中存在的关系，例如文献[44]中的人，组织和位置。为了标记Twitter以识别情绪，一种方法将文献[45]，[46]中开发的基于喜悦，爱，惊奇，愤怒，悲伤和恐惧的不同主题的帖子分为正面，负面或中立。 Twitter在推文方面的使用量的快速增长可能与许多方面相关，例如观点和事件。这些方面的敏感性受到非信息性消息产生的噪声的限制，如文献[47]中所述。为了获得有价值的信息，过滤器对于统一资源定位符（URL），单词，提及，标点符号，数字和语都可能有用。另外，必须预先定义与一组功能有关的约束。由于此类系统的性能取决于所收集的功能质量。
社交媒体情感分析的拟议架构
本节介绍了一种基于推特的SCA社交媒体情感分析方法的理论模型。它具有特定领域的分布式单词表示形式（DS-DWR），其中包含不同的分布式单词表示形式。 D-CNN体系结构由三个具有全局平均池（GAP）的并行膨胀卷积神经网络层组成，以捕获长期语义特征。我们采用二维卷积运算来提高性能。这样，将数据集的单词初始化为具有二维矩阵的PD-CNN。使用这种方法进行的卷积运算有助于提取其他基本特征，并支持针对设计的DS-DWR的建议模型。我们提出的设计具有以下部分：特定领域的分布式单词表示，三个并行的扩展卷积层，全局平均池和输出层。
分布式单词表示是将单词表示为密集向量的必要元素。使用这些表示的特征提取非常有价值，可以改进社交媒体情感分析的执行。许多技术在参考文献[72]，[73]，[74]中描述的文本分类中利用了多种表示形式。但是，没有一种技术足以解决社交媒体数据的语义和上下文情感信息。在本节中，将诸如Word2vec，fastText，GloVe之类的不同学习之间的关联以及它们的连接作为预处理进行处理。
这些不同的分布式单词表示可以直接连接起来以形成丰富的表示。这种级联不仅会在增加词汇数据方面影响各种技术，而且还会处理词汇量不足（OOV）的单词。加权机制用于不同的表示形式。可以看出，不同的权重有助于分析不同的表示形式，因此在选择特征时考虑使用更高的权重。理论上，关联权重的连接过程有助于句子编码。我们建议训练100和200维的级联分布的单词表示形式。当使用上下文窗口的最佳大小时，我们将字符转换为小写并丢弃不超过十次的单词。此外，在我们的DS-DWR的训练过程中，随着训练的进行，学习率呈对称下降的趋势，早期出现的文本对模型的影响似乎更大。我们分别在两个数据集上训练嵌入，第一个数据集是基于与文献[75]所使用的真实事件相关的twitter的。另一个数据集是通过文献[76]的工作通过TAGS积累的。
讨论
当前，深度学习方法的改进促进了分布式单词表示的可访问性。在这项工作中，我们的调查与表示的质量有关，以执行智能城市的社交媒体情感分析。我们观察到了各种评估指标和超参数。主要挑战之一是分布式单词表示的各个维度，因为我们的实现具有不同的维度。发现不同的分布式字词表示法是独特的，可以通过加权机制来创建特定于域的分布式字词表示法（DS-DWR）。利用基于并行膨胀卷积神经（PD-CNN）网络的新结构的开发来使用大的接收场。它包括三个并行的扩展卷积层，而不是用于顺序处理文本数据的多个扩展卷积的堆栈。像WaveNet一样，PD-CNN确实具有较大的接收场大小，可以通过带卷积的卷积来实现长期依赖性。同样，具有计算时间的优点，该时间由与序列相关的长度线性确定。此外，考虑到特定池在位置不变的情况下更好的方式，我们采用全球平均池（GAP）而不是均值池。与文献[29]相比，D-CNN与特定合并的组合似乎可以改善性能，后者使用了扩展卷积而不进行合并操作。通过评估一般和特定领域的分布式单词表示（DS-DWR），我们观察到尽管语料库的大小有限，但建立DS-DWR还是很重要的。我们的实验在以下方面帮助实现PD-CNN的基本启示：（1）不同的分布式单词表示形式，以GAP生成DS-DWR，从而使用智能城市应用程序（SCA）的社交媒体语义对文本进行分类。 （2）对整体实现有主要印象的超参数首选项和配置。
如今，应该分析诸如Twitter之类的社交网络，因为它提供的微内容数据会对决策标记产生显着影响。 Twitter可能是常用的社交网络，人们可以通过该社交网络共享有关事件及其观点的信息。目前文献中已经研究了几种技术。也许问题仍然存在，即语义细化，对观点的情感分析的可用性，分析社交媒体数据的程序以及为SCA所用的深度学习方法的使用。考虑到这一点，社交媒体挖掘似乎具有出色的能力，可以基于通过社交网络共享的观点为可靠的服务提供社交媒体数据分析的使用。我们在本文中的方法与能够挖掘意见的社交媒体挖掘算法相关。一个激动人心的发展是专注于描述与任何实例相关的不同观点的文本数据，这被称为社交媒体情感分析。感知人类行为者对社交网络的感受是一种日益增长的解决方案。一些SCA具有对Twitter等社交媒体数据进行情感分析的优点。这些应用程序利用用户对任何实例（例如幸福，安全和事件）的意见。
本文的动机之一是与实现与技术发展有关的持续过程所必需的权威相关联。智慧城市技术与可靠，健壮和增值技术的可用性直接相关。因此，我们提出的研究促进了智慧城市当局激活社交媒体数据挖掘的新技术。为智慧城市专业人士提供更深入的方向，以认识到技术的可扩展性及其含义。现在该使SCA标准化了，这将促进社交媒体数据挖掘的重要性。然而，在智慧城市中利用社交媒体数据挖掘的直觉结合了社交媒体数据大小的持续增长。因此，我们的模型可以被视为SCA到多个学科的必要资源。我们可以明确地说，如果不检查社交媒体数据和神经网络驱动的方法，SCA将无法令人满意地运行。通过使用社交媒体数据以及神经网络，可以实现响应速度更快，经济且主动的SCA。
结论
社交媒体已经发展成为传达信息的基本手段。本文解释了神经网络的各种超参数配置，以预测和分类SCA社交媒体上的情感词。它使智慧城市当局可以优化模型，以最大化独特的评估指标。我们首先采用对特定社交媒体数据进行训练的特定领域分布式单词表示（DS-DWR），其性能优于对特定语料库进行训练的通用分布式表示。此外，我们建议使
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[263830]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
