赵彬
- 作品数：2 被引量：29H指数：2
- 供职机构：辽宁工程技术大学软件学院更多>>
- 发文基金：辽宁省高等学校杰出青年学者成长计划国家自然科学基金辽宁省科技厅基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 结合语义改进的K-means短文本聚类算法被引量：14
- 2016年
- 针对短文本聚类存在的三个主要挑战,特征关键词的稀疏性、高维空间处理的复杂性和簇的可理解性,提出了一种结合语义改进的K-means短文本聚类算法。该算法通过词语集合表示短文本,缓解了短文本特征关键词的稀疏性问题;通过挖掘短文本集的最大频繁词集获取初始聚类中心,有效克服了K-means聚类算法对初始聚类中心敏感的缺点,解决了簇的理解性问题;通过结合TF-IDF值的语义相似度计算文档之间的相似度,避免了高维空间的运算。实验结果表明,从语义角度出发实现的短文本聚类算法优于传统的短文本聚类算法。
- 邱云飞赵彬林明明王伟
- 关键词：K-MEANS算法知网语义相似度
- 基于Hadoop平台的改进关联规则挖掘算法被引量：15
- 2016年
- 数据采集方式的增多导致单处理器下的关联规则挖掘受到I/O和内存的限制。针对该问题,对传统挖掘算法进行改进。借助Hadoop平台的优势,通过累加迭代的方法降低算法的时间复杂度,并利用MapReduce编程特点,通过一次遍历和MapReduce任务调度完成频繁项集挖掘,在强关联挖掘中通过Sqoop组件将外部表Hive中的数据迁移到Redis,实现数据的高速读取。实验结果表明,该方法可有效提高挖掘效率,提高幅度随数据集规模同步增大,并且具有较好的加速比和扩展性。
- 王英博马菁柴佳佳赵彬
- 关键词：HADOOP平台关联规则大数据数据挖掘
