国家自然科学基金(61370126) 作品数:5 被引量:18 H指数:3 相关作者: 李舟军 马金鑫 夏春和 杨伟铭 李峰 更多>> 相关机构: 北京航空航天大学 中国信息安全测评中心 中国人民解放军 更多>> 发文基金: 国家自然科学基金 国家高技术研究发展计划 国家教育部博士点基金 更多>> 相关领域: 自动化与计算机技术 理学 更多>>
基于BERT的任务导向对话系统自然语言理解的改进模型与调优方法 被引量:11 2020年 任务导向对话系统的自然语言理解,其目的就是解析用户以自然语言形式输入的语句,并提取出可以被计算机所理解的结构化信息,其包含意图识别和槽填充两个子任务。BERT是近期提出来的一种自然语言处理预训练模型,已有研究者提出基于BERT的任务导向对话系统自然语言理解模型。在此基础上,该文提出一种改进的自然语言理解模型,其编码器使用BERT,而解码器基于LSTM与注意力机制构建。同时,该文提出了该模型的两种调优方法:锁定模型参数的训练方法、使用区分大小写的预训练模型版本。在基线模型与改进模型上,这些调优方法均能够显著改进模型的性能。实验结果显示,利用改进后的模型与调优方法,可以分别在ATIS和Snips两个数据集上得到0.8833和0.9251的句子级准确率。 周奇安 李舟军关键词:自然语言理解 一种领域语料驱动的句子相关性计算方法研究 2016年 句子相关性计算在自然语言处理的多个实践应用中均具有十分重要的作用,如舆情监测、信息检索、统计机器翻译等。在明确相似性与相关性之间的关系之后,设计了一种基于领域语料驱动的句子相关性计算方法,该方法基于同一领域的语料构建一个"句-段-篇"3层的领域语义空间,通过度量词语在各个层级间的共现概率、共现平均距离和句长等因子来测量词间的主题相关性。与基于字面特征、HowNet和同义词词林的方法进行了实验对比,结果表明该方法具有较好的实践应用价值。 李峰 黄金柱 李舟军 杨伟铭关键词:主题相关性 借助Hypervisor强化TrustZone对非安全世界的监控能力 被引量:3 2018年 ARM TrustZone技术已经在Android手机平台上得到了广泛的应用,它把Android手机的硬件资源划分为两个世界——非安全世界(non-secure world)和安全世界(secure world).用户所使用的Android操作系统运行在非安全世界,而基于TrustZone对非安全世界监控的系统(例如KNOX,Hypervision)运行在安全世界.这些监控系统拥有高权限,可以动态地检查Android系统的内核完整性,也可以代替Android内核来管理非安全世界的内存.但是由于TrustZone和被监控的Android系统分处于不同的世界,world gap(世界鸿沟)的存在导致处于安全世界的监控系统不能完全地监控非安全世界的资源(例如Cache).TrustZone薄弱的拦截能力和内存访问控制能力也弱化了它对非安全世界的监控能力.提出了一种可扩展框架系统HTrustZone,能够结合Hypervisor来协助TrustZone抵御利用world gap的攻击,增强其拦截能力和内存访问控制能力,从而为非安全世界的操作系统提供更高的安全性保障.并在Raspberry Pi2开发板上实现了HTrustZone的原型系统,实验结果表明,HTrust Zone的性能开销仅仅增加了3%左右. 章张锴 李舟军 夏春和 马金鑫 崔津华关键词:HYPER 监控系统 虚拟化 Q2SM:基于BERT的多领域任务型对话系统状态跟踪算法 被引量:4 2020年 基于管道的方法是目前任务型对话系统的主要构建方式,在工业界具有广泛应用,而对话状态跟踪(dialogue state tracking,DST)是任务型对话系统中的核心任务。面对传统的方法在多领域场景下表现较差的问题,该文结合语言模型预训练的最新研究成果,该文提出了一种基于BERT的对话状态跟踪算法Q2SM(query to state model)。该模型的上游使用了基于BERT的句子表征与相似度交互的槽判定模块,下游使用了一种面向对话状态跟踪任务的自定义RNN:DST-RNN。在WOZ 2.0和MultiWOZ 2.0两个数据集上的实验表明,Q2SM相比于之前的最好模型,分别在联合准确率和状态F1值两个评价指标上提升了1.09%和2.38%。此外,模型消融实验验证了,DST-RNN相比于传统的RNN或LSTM,不仅可以提升评价指标值,还可以加快模型的收敛速度。 张家培 李舟军Exploit latent Dirichlet allocation for collaborative filtering 2018年 Zhoujun LI Haijun ZHANG Senzhang WANG Feiran HUANG Zhenping LI Jianshe ZHOU关键词:DIRICHLET 内容信息 用户级