基于注意力机制多尺度网络的自然场景情绪识别
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

TP391.4

基金项目:

国家自然科学基金(61871278); 四川省科技计划项目(2018HH0143)


Emotion recognition of the natural scenes based on attention mechanism and multi-scale network
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    情绪识别作为计算机视觉的一项基本课题已经取得巨大进展,然而在无约束自然场景中的情绪识别仍具挑战性。现有方法主要是利用人脸,姿态以及场景信息识别情绪,但是忽略了人物个体在场景中的不确定性,以及不能很好地挖掘场景中的情绪线索。针对现有研究存在的问题,提出基于人物与场景线索的双分支网络结构,两个分支独立学习,通过早期融合得到情绪分类结果。对于人物在场景中的不确定性,引入身体注意力机制预判人物情绪置信度进而获得人体的特征表示,场景中引入空间注意力机制和特征金字塔以便充分获得场景中不同粒度的情绪线索。实验结果表明,该方法有效融合人物与场景信息,在EMOTIC数据集下能够明显提高情绪识别率。

    Abstract:

    Emotion recognition as a fundamental topic in computer vision has made tremendous progress, yet emotion recognition in unconstrained environments is still challenging. Existing methods mainly use face, posture, and scene information to recognize emotions, but these methods ignore the uncertainty of individuals in the context, and do not tap the emotional cues in the scene well. Aiming at the problems in existing research, a dual-branch network structure based on body and context cues is proposed. Two branches learning independently, then obtain the result of emotion classification through early fusion. For uncertainties of person in context, the body gesture attention mechanism is utilized to estimate the confidence coefficient and obtain the feature representation of body. For context branch, spatial attention mechanism and feature pyramid network are employed to fully obtain the emotional cues of different granularities in the scene. The experiment results demonstrated that the effectiveness of the proposed method in the EMOTIC dataset.

    参考文献
    相似文献
    引证文献
引用本文

引用本文格式: 晋儒龙,卿粼波,文虹茜. 基于注意力机制多尺度网络的自然场景情绪识别[J]. 四川大学学报: 自然科学版, 2022, 59: 012003.

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-12-04
  • 最后修改日期:2021-06-29
  • 录用日期:2021-09-08
  • 在线发布日期: 2022-01-19
  • 出版日期: