苏祺
- 作品数：28 被引量：54H指数：4
- 供职机构：北京大学更多>>
- 发文基金：国家自然科学基金国家高技术研究发展计划中央高校基本科研业务费专项资金更多>>
- 相关领域：自动化与计算机技术文化科学语言文字交通运输工程更多>>
- 基于语料库的我国职业性别无意识偏见共时历时研究被引量：2
- 2021年
- 性别偏见是社会学研究的热点。近年来,机器学习算法从数据中学到偏见,使之得到更广泛的关注,但目前尚无基于语料库的方法对文本数据中职业性别偏见的研究。该文基于标记理论,利用BCC和DCC语料库,从共时和历时两个层面考察了63个职业的性别无意识偏见现象。首先,以调查问卷的形式调研了不同性别和不同年龄段的人群对63个职业的性别倾向,发现和BCC语料库中多领域的职业性别偏见度呈显著的正相关关系。然后从共时的角度,利用BCC语料库中不同领域的语料,以及DCC语料库中2018年全国31个省级行政单位(不含港澳台地区)的报纸语料,发现从口语至书面语语体,大部分职业表现出对女性的性别偏见逐渐升高,且不同地区对职业的性别偏见存在差异。最后,从历时的角度,利用DCC语料库2005至2018年的报纸语料进行统计分析,发现职业性别无意识偏见现象随着时间的推移,呈现总体弱化趋势。
- 朱述承苏祺刘鹏远
- 关键词：语料库性别
- 词性标注对信息检索系统性能的影响
- 在信息检索中引入NLP技术是信息检索发展的主要趋势,本文将NLP中较为成熟的词性标注技术加入信息检索,采用大规模TREC数据集,试图发现词性标注对信息检索系统性能的影响.笔者在SMART检索系统上使用不同标注集、不同索引...
- 苏祺昝红英胡景贺项锟
- 关键词：信息检索向量空间模型词性标注SMART
- 文献传递
- 义项矩阵模型SMM简介
- 本文介绍了一个同时利用词语和义项来索引和检索文档的信息检索模型,称为'义项矩阵模型'SMM(Sense Matrix Model).利用词语和义项的关联提出了一种新的文档表示,即把文档表示成为一个term×sense矩阵...
- 孙斌吕学强苏祺
- 关键词：信息检索数据分析文本信息
- 文献传递
- 基于链接聚类的Shark-Search算法
- 根据对Shark-Search主题爬取算法的分析,提出了一种基于链接聚类的改进Shark-Search算法.并通过几个对比实验对该算法进行了验证.实验结果表明,新算法能够更有效地识别链接与主题的相关性.
- 苏祺项锟孙斌
- 关键词：链接聚类
- 文献传递
- 搜索引擎用短语词典建设被引量：9
- 2005年
- 百度搜索引擎分词系统中的原短语库是由统计得出,含有大量噪音。委托北京大学计算语言学研究所进行了手工整理标注。为此设计了加工规范,对短语进行了严格的定义,制定了加工操作手册,并开展了手工工程,通过严格的控制保证标注的一致性。共整理短语119 984条,噪音短语比例约占7%。当前该短语词典已应用于百度搜索引擎中,对提高检索效果和减少索引空间都起到一定作用。
- 吕学强苏祺孙斌俞士汶
- 关键词：搜索引擎语言资源短语词典中文分词
- 基于预训练语言模型的繁体古文自动句读研究被引量：1
- 2023年
- 未经整理的古代典籍不含任何标点,不符合当代人的阅读习惯,古籍加断句标点之后有助于阅读、研究和出版。该文提出了一种基于预训练语言模型的繁体古文自动句读框架。该文整理了约10亿字的繁体古文语料,对预训练语言模型进行增量训练,在此基础上实现古文自动句读和标点。实验表明,经过大规模繁体古文语料增量训练后的语言模型具备更好的古文语义表示能力,能够有助提升繁体古文自动句读和自动标点的效果。融合增量训练模型之后,古文断句F1值达到95.03%,古文标点F1值达到了80.18%,分别比使用未增量训练的语言模型提升1.83%和2.21%。为解决现有篇章级句读方案效率低的问题,该文改进了前人的串行滑动窗口方案,在一定程度上提高了句读效率,并提出一种新的并行滑动窗口方案,能够高效准确地进行长文本自动句读。
- 唐雪梅苏祺王军王军杨浩
- 古籍数字化关键技术评述被引量：12
- 2021年
- 中国历史文化典籍是中华民族的宝贵财富.在数字环境下,实现古籍的数字化整理与利用,能够为数字人文研究、历史学研究及其他人文研究提供基础性资源,也是推动中华文明创造性转化与创新性发展的重要依托.古籍的数字化整理包括纸本资源的电子化,以及在电子化文本基础上的断句、标点、词语切分等基础性加工和深层知识提取.本文对现有古籍数字化整理的技术方法与平台进行梳理与评述,分析古籍数字化整理的挑战,探讨古籍数字化整理任务的未来发展方向.
- 苏祺胡韧奋诸雨辰严承希王军
- 关键词：古籍整理古籍数字化自然语言处理
- 面向观点挖掘的产品评价特征词识别
- 在观点挖掘的研究中,目前的研究方法大部分集中在识别不同语言单元中所表述观点评价的整体褒贬性。然而在很多情况下,仅简单地识别评价语料对所评价对象(如特定类产品)的褒贬并不能完全解决问题。有必要区分评论语料中针对所评价对象不...
- 苏祺孙斌
- 文献传递
- 词性标注对信息检索系统性能的影响
- 在信息检索中引入NLP 技术是信息检索发展的主要趋势,本文将NLP 中较为成熟的词性标注技术加入信息检索,采用大规模TREC 数据集,试图发现词性标注对信息检索系统性能的影响。笔者在SMART检索系统上使用不同标注集、不...
- 苏祺昝红英胡景贺项锟
- 关键词：信息检索向量空间模型词性标注SMART
- 文献传递
- 一种两阶段的长文本相似度计算方法
- 本发明公布了一种两阶段的长文本相似度计算方法，在第一阶段相似句子检测阶段，基于深度学习模型构建句向量提取模型，将文本转换为句向量；检测得到每条长文本之间多种相似类型的相似句子对；在第二阶段图结构计算阶段，计算得到基础相似...
- 段思宇苏祺王军
