任何谈过恋爱的人都会告诉你,人类的情感是一个复杂的概念。对于那些试图了解产品或服务的质量效益(超越基本功能的价值)的营销人员来说尤其如此。爱游戏全站下载理解你的产品是做什么的并不难,但是你知道它给你的消费者带来了什么感觉吗?爱游戏全站下载

如果你使用社交倾听情感分析,将目标受众未经过滤的社交媒体思考提炼成可操作的战略见解,你就会做到这一点。爱游戏官网皇把所有的Twitter上可用的社交数据将情绪分为积极情绪、消极情绪和中性情绪是一项艰巨的任务,没有两种方法是平等的。这就是为什么Sprou爱游戏体育官网首页爱游戏app体育官方t Social建立了一个混合的情感分析系统,它结合了两种主要方法,规则列表和机器学习。

规则列表

处理情感分析最简单的方法之一是使用人工创建的规则或字典。通过这种方法,系统依赖于直接映射到特定情绪的单词或短语列表。例如,任何包含“击掌”一词的推文都可能被标记为积极的,而包含“可怕”的推文则是消极的。这样的系统是高度可定制的,并且可以扩展到包含数千个单词和短语规则。

不利的一面是,规则系统很难处理与冲突规则相匹配的推文,比如“这部电影没有我预期的那么可怕。”在这里,“可怕的”可能会被标记为消极的,而“预期的”会被标记为积极的。这些相互冲突的规则将推文标记为中性,而一些人类读者会将其解读为略微积极的,而另一些人则会将其解读为略微消极的。

基于规则的系统的另一个限制是依赖于人类的努力和理解。语言发展迅速(尤其是在Twitter上),基于规则的系统需要有人提供源源不断的新术语和短语。更新情感系统并不总是首要任务,系统可能很快就过时了。即使进行了警惕的监控,也很难识别变化的语言趋势,并确定何时需要添加新规则。

机器学习

使用更先进的情感分析系统机器学习(ML)技术(有时也称为人工智能或自然语言处理).机器学习是一系列使用统计学和概率来识别可用于标记项目的复杂模式的技术。

与基于规则的系统不同,ML系统足够灵活,可以检测到人类无法立即发现的相似性。爱游戏官网皇通过查看很多很多的例子,系统学习了通常与积极、消极或中性情绪相关的模式。

例如,ML情绪分析系统可能会发现包含“雨”一词并以一个感叹号结尾的推文是消极的,而包含“雨”和两个感叹号的推文是积极的。人类可能不会注意到这种模式或理解为什么会发生这种情况,但ML系统可以使用它进行非常准确的预测。

虽然机器学习系统可以产生很好的结果,但它们确实有一些缺点。当语言中有很多变化时,ML系统很难从噪声中筛选出模式。当强模式确实存在时,它们会掩盖不太常见的模式,并导致ML系统忽略微妙的线索。

爱游戏体育官网首页发芽的方法

为了构建我们的情感分析系统,我们设计了一个混合系统,它结合了基于规则的方法和机器学习方法的优点。我们分析了数万条推文,以确定ML模型存在的问题,并引入了基于规则的策略来帮助克服这些缺点。

通过补充人类理解的统计模型,我们已经建立了一个健壮的系统,在各种各样的环境中表现良好。

爱游戏体育官网首页萌芽情绪分析

关于准确性

从表面上看,情绪分析似乎非常简单——只需判断一条推文是积极的、消极的还是中性的。然而,人类语言和情感是复杂的,在推特中检测情感反映了这种复杂性。

想想这些推特。它们是积极的、消极的还是中性的?

https://twitter.com/alex/status/917406154321420289

你可能对自己的答案很自信,但很有可能不是每个人都同意你的观点。研究表明,人们只同意推特上的情绪60 - 80%时间的。

你可能会怀疑。我们也是。

为了验证这一点,我们数据科学团队的两名成员将同一组1000条推文标记为积极、消极或中性。我们发现“我们每天都在使用tweet;我们两个人可能会达成近乎完美的协议。”

我们计算了结果,然后反复检查。这项研究非常准确——我们只对73%的推文意见一致。

情感分析中的挑战

研究(以及我们的小实验)表明,情绪分析并不简单。为什么这么棘手?让我们来看看几个最大的挑战。

上下文

推文是时间的一个小快照。虽然有些推文是独立的,但它们通常是正在进行的对话或参考信息的一部分,只有当你认识作者时才有意义。如果没有这些线索,就很难解读作者的感受。

https://twitter.com/RmBarrow/status/919239485107425280

讽刺

讽刺检测是语境挑战的另一种形式。在没有额外信息的情况下,情绪分析系统经常会混淆单词的字面意思和它们的意图。讽刺是学术研究的一个活跃领域,所以在不久的将来,我们可能会看到能够理解讽刺的系统。

比较

当推文进行比较时,情绪也会变得棘手。如果我在做蔬菜市场调查,有人在推特上说“胡萝卜比南瓜好”,这条推特是积极的还是消极的?这取决于你的看法。类似地,有人可能会发推文:“A公司比B公司好。”如果我在A公司工作,这条推文是积极的,但如果我在B公司,这条推文是消极的。

Emojis

表情符号本身就是一种语言.While emojis like express a pretty obvious sentiment, others are less universal. While building our sentiment analysis system, we looked closely at how people use emojis, finding that even common emojis can cause confusion. is almost equally used to mean “so happy I’m crying” or “so sad I’m crying.” If humans can’t agree on the meaning of an emoji, neither can a sentiment analysis system.

定义中性

即使是“中性”情绪也不总是直接的。考虑一个关于悲惨事件的新闻标题。虽然我们都同意这一事件很糟糕,但大多数新闻标题都是事实性的、信息性的陈述。情感分析系统旨在识别内容作者的情绪,而不是读者的反应。虽然看到可怕的新闻被标记为“中立”似乎很奇怪,但这反映了作者传达事实信息的意图。

情绪分析系统在如何定义中性方面也有所不同。有些人认为中性是任何推文的一个笼统类别,系统无法在积极或消极之间做出判断。在这些系统中,“中立”就是“我不确定”的同义词。然而,在现实中,有很多推文并没有表达情感,比如下面的例子。

我们的系统明确地将非情绪化的推文分类为中性,而不是将中性作为模糊推文的默认标签。

评估情绪分析

情绪分析有这么多挑战,在投资新工具之前做足功课是值得的。供应商试图通过关注有关其产品准确性的统计数据来帮助解决复杂性。爱游戏全站下载不过,准确性并不总是一个苹果对苹果的比较。如果你打算用准确性作为衡量标准,你应该问以下几件事。

报告的准确率是否大于80%?
由于人类之间只有60-80%的时间是一致的,所以没有办法创建一个每个人都同意包含“正确”情感标签的测试数据集。说到情感,“正确”是主观的。换句话说,在测试准确性方面并没有一个黄金标准。

情感分析系统的准确性上限永远是人类水平的一致性:大约80%。如果供应商声称准确率超过80%,那么保持怀疑是一个好主意。目前的研究表明,80%的准确率都不太可能;该领域的顶级专家通常能达到60分左右的准确度。

预测了多少种情绪类别?
有些供应商只评估那些被人类评估人员确定为正面或负面的推文的准确性,不包括所有中立的推文。当处理带有强烈情绪的推文并且只有两种可能的结果(积极或消极)时,系统的准确性更容易显得非常高。

然而,在现实生活中,大多数推文都是中立或模棱两可的。当一个系统只对正面和负面进行评估时,就不可能知道该系统对中性推文的处理情况如何——这是您实际看到的大部分推文。

他们的测试集中包含哪些类型的tweet ?
情绪分析系统应该在代表现实世界情况的推文中建立和测试。一些情绪分析系统使用特定领域的推文创建,这些推文经过过滤和清理,使系统尽可能容易理解。

例如,某个供应商可能发现了一个预先存在的数据集,该数据集只包含关于航空业的强烈情感推文,而排除了任何垃圾邮件或离题推文。这将导致准确性很高,但只有在非常相似的推文中使用。如果你在不同的领域工作,或者收到任何跑题或垃圾推文,你会看到更低的准确性。

测试数据集有多大?
情感分析系统应该在数千条推文中进行评估,以衡量系统在许多不同场景下的表现。当一个系统仅在几百条tweet上进行测试时,您将无法获得系统准确性的真实度量。

在Sprout,爱游戏体育官网首页我们从Twitter上随机抽取了5万条推文,并在此基础上构建了我们的模型。因为我们的推文不是特定于领域的,所以我们的情感分析系统在广泛的领域上表现良好。

此外,我们对积极、消极和中性类别进行了单独的预测;当其他人的预测失败时,我们不能只是保持中立。我们在10,000条推文中测试了我们的准确性,其中没有一条被用于构建系统。

参见斯普爱游戏体育官网首页劳特的情感分析现场听众

世界上所有的研究都不能代替第一手的系统评估。让我们的新情感分析系统在我们最新的社交倾听工具集中进行测试,听众,看看它对你的效果如何。归根结底,最好的社交倾听工具是能够满足你的需求并帮助你从社交中获得更大价值的工具。让我们帮助你从今天开始。