党建武
- 作品数：12 被引量：25H指数：4
- 供职机构：北陆先端科学技术大学院大学更多>>
- 发文基金：国家自然科学基金国家重点基础研究发展计划天津市自然科学基金更多>>
- 相关领域：自动化与计算机技术电子电信语言文字理学更多>>
- 情感表达的跨文化多模态感知研究被引量：6
- 2009年
- 视频和音频2个模态的信息在交际过程中起着至关重要的作用,该文研究关注的问题是情感表达中不同文化背景的听者对情感的感知(解码)与这2个模态(面部表情和情感声音)的关系。发音人为中国人,录制她的5个语句的7种情感(6种基本情感+中性情感)的音频和面部表情,制作3类刺激:只有音频信息(A-only)、只有面部视频信息(V-only)以及视频和音频同步信息(AV-Congruent)。听辨人为10名不会日语的中国人和10名不会汉语的日本人。对听辨结果分析发现,面部视频信息的加入有益于情感的感知,视频和音频信息在跨文化的情感解码中起着不同的作用,与情感的唤醒度有密切的关系,相关距离空间分布模式说明听辨结果具有稳定性,跨文化的情感感知存在普遍的心理基础。
- 李爱军邵鹏飞党建武
- 关键词：情感音频面部表情跨文化感知
- 藏语语者英语单元音发音可视化矫正
- 2016年
- 藏语语者英语语音学习的现状和需求迫使研究者尽快开发出适合其语音学习的有效工具。该文利用“藏族人说汉语普通话、英语、藏语”声学特征语料库（CETTS）中的相关声学参数,建立直观易懂的舌位图模型辅助藏语语者了解其英语单元音的产出特点。在此舌位模型基础上设计舌位自我纠正软件,并通过为学习者提供实时的语音反馈,辅助其有针对性地改善自身的英语发音现状,从而提高交流时的可理解性。该舌位模型和舌位自我纠正软件可以应用于日常教学之中,来提高英语语音教学的效率。
- 冯卉宋瑞高晓东吴桐雨党建武
- 声道中气动声学问题的光滑粒子动力学模拟被引量：2
- 2016年
- 在人体发音过程仿真中,考虑声道边界的动态变化以及气流的流动,可以更加准确、真实地模拟声波在声道中的传播。在处理带有移动边界的气动声学问题时,相比传统声道声学研究中广泛应用的网格方法,无网格方法可以避免网格重构、网格畸变等。基于Euler体系下的气动声学波动方程,推导了Lagrange体系下声波传播的控制方程,并建立了无网格光滑粒子动力学（smoothed particle hydrodynamics,SPH）方法的数值离散格式。通过对比静止流体中声传播问题的SPH解和时域有限差分（finite difference time domain,FDTD）解,验证了SPH方法在声学计算中的准确性和可靠性。对于一维和二维流动流体中的声传播问题,通过与基于Doppler效应的理论解对比,阐明了利用SPH方法求解复杂气动声学问题的可行性。
- 魏建国韩江侯庆志王颂党建武
- 关键词：气动声学声道无网格LAGRANGE方法
- 互联网时代的中文言语信息处理——从信息碎片整合到言语意图理解
- 人类语言的进化经历了手势语言、有声语言、文字语言和书面语言几个重要的发展阶段。直到书面语言的形成,语言才具有定型化的发展,成为知识传承的载体,为构建高度的社会文明发挥了决定性的作用。互联网正在深刻改变人们获取和交换信息的...
- 党建武
- 文献传递
- 融合语境分析的时序推特摘要方法被引量：2
- 2017年
- 任务中的一个重要分支,旨在从热点事件相关的海量推特流中总结出随时间演化的简要推特集,以帮助用户快速获取信息.推特作为当今最流行的社交媒体平台,其信息量爆发式的增长以及文本碎片的非结构性,使得单纯依赖文本内容的传统摘要方法不再适用.与此同时,社交媒体的新特性也为推特摘要带来了新的机遇.将推特流视作信号,剖析了其中的复杂噪声,提出融合推特流随时序变化的宏微观信号以及用户社交上下文语境信息的时序推特摘要新方法.首先,通过小波分析对推特流全局时序信息建模,实现某一关键词相关的热点子事件时间点检测;接着,融入推特流局部时序信息和用户社交信息建立推特的随机步图模型摘要框架,为每个热点子事件生成推特摘要.在算法评估过程中,对真实推特数据集进行了专家时间点和专家摘要的人工标注,实验结果表明了小波分析和融合了时序-社交上下文语境的图模型在时序推特摘要中的有效性.
- 于广川贺瑞芳刘洋刘洋
- 关键词：小波去噪
- 基于Kinect辅助的机器人带噪语音识别被引量：5
- 2017年
- 音视频信息融合可以提升机器人在噪声环境下的语音识别性能。然而受说话者的头部旋转、唇部尺寸不一、距摄像头距离不固定以及光照等因素影响,唇部信息不能得到有效的全面表征。该文提出融合机器人与Kinect的多模态系统。该系统采用Kinect获取3-D数据和视觉信息,并使用3-D数据重构侧唇来补充音视频信息。一系列基于特征融合和决策融合方法的结果表明:该文提出的多模态系统优于基于音视频单流和双流的语音识别系统,能够辅助机器人在自身噪声环境下的语音识别。
- 王建荣高永春张句魏建国党建武
- 关键词：仿人机器人自动语音识别KINECT
- 无声语音接口中超声图像的混合特征提取被引量：1
- 2017年
- 在基于超声的无声语音接口实现中,通常使用主成分分析或离散余弦变换提取舌部超声图像的特征。为了保留图像的关键信息,该文提出3种混合特征提取方法:使用主成分分析从小波系数中提取特征(Wavelet PCA)、分块离散余弦变换主成分分析(block DCT-PCA)和分块Walsh Hadamard变换主成分分析(block WHT-PCA)。根据能量选取适量的离散余弦变换或WHT变换系数,使用主成分分析提取选定系数的特征。实验结果表明:该文提出的混合特征提取方法优于主成分分析或离散余弦变换,其中block DCT-PCA方法最优。
- 路文焕曲悦欣杨亚龙王建荣党建武
- 关键词：超声舌部主成分分析离散余弦变换
- 基于语境交互感知和模式筛选的隐式篇章关系识别被引量：4
- 2020年
- 隐式篇章关系识别是篇章分析(Discourse Analysis)中一项具有挑战性的子任务,旨在推断出同一篇章内相邻文本片段(称为论元)之间潜在的语义连接关系,例如:时序关系、因果关系等.如何有效地表征篇章论元以及挖掘论元间的交互信息是实现该任务的核心要素.传统研究注重篇章中人工总结的表层语言特征(即情感词极性、位置特征和动词类型等),存在数据稀疏和预处理错误级联的问题,导致机器学习模型性能不高.新近的深度神经网络模型则自动提取篇章论元中的特征,利用注意力或记忆机制等捕获论元的重要信息,并组合不同神经网络提取大量关系特征,以提升模型识别性能.然而,其忽略了表示过程中论元间双向非对称的交互信息,以及识别过程中论元间交互模式的稀疏特性.受认知学相关理论的启发,本文提出基于语境交互感知和模式筛选的隐式篇章关系识别方法(MATS).首先,通过双向长短期记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)分别编码两个论元,以获取带有上下文语境信息的论元表示;其次建模其动态交互注意力机制,以自动学习论元之间的非对称关联矩阵,进而得到融合语境交互感知信息的论元表示;最后,利用带有稀疏约束的张量神经网络捕捉具有篇章关系指示性的深层交互模式,从而提升模型的识别性能.Penn Discourse Treebank(PDTB)语料库上的实验结果表明,本文提出方法的精确率在其四分类上改善了2.36%.
- 郭凤羽贺瑞芳党建武
- 语言文化背景与多模态情感表达和感知
- 视频和音频两个模态的信息在交际过程中起着至关重要的作用,本研究关注的问题是情感表达中不同文化背景的发音人和听者对情感的表达(编码)、感知(解码)与这两个模态(面部表情和情感声音)的关系,以及文化背景对情感表达和感知的影响...
- 李爱军党建武方强
- 关键词：情感表达多模态语言文化背景
- 文献传递
- 互联网时代的中文言语信息处理——从信息碎片整合到言语意图理解
- 人类语言的进化经历了手势语言、有声语言、文字语言和书面语言几个重要的发展阶段。直到书面语言的形成,语言才具有定型化的发展,成为知识传承的载体,为构建高度的社会文明发挥了决定性的作用。互联网正在深刻改变人们获取和交换信息的...
- 党建武
