李永红
- 作品数：3 被引量：46H指数：2
- 供职机构：太原科技大学计算机科学与技术学院更多>>
- 发文基金：国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 相关子空间中的局部离群数据挖掘及应用
- 随着科技的飞速发展，数据在不断的积累，人类已经进入了大数据时代，但随着数据的急速增加和维度的不断扩大，如何能高质量和高效率的从高维大数据中获取想要的信息，已经成为当前数据挖掘领域研究的热点。本文采用MapReduce编程...
- 李永红
- 关键词：MAPREDUCE概率密度
- 文献传递
- 相关子空间中的局部离群数据挖掘算法研究被引量：17
- 2015年
- 针对高维数据集,采用局部稀疏差异和局部密度差异的度量因子,给出一种相关子空间中的局部离群数据挖掘算法.该算法根据K最近邻(K-NN),确定数据集中各数据对象的局部数据集,并依据属性值的稀疏因子生成全局的稀疏因子矩阵和局部稀疏因子矩阵,从而有效地反映了数据对象的局部稀疏程度;根据局部稀疏因子矩阵,计算属性维对应的局部稀疏差异因子,并确定数据对象对应的子空间定义向量,从而体现了具有任意性相关的相关子空间;如果数据对象存在相关子空间,则采用高斯误差函数体现相关子空间中各数据对象的局部密度差异,有效地降低了"维灾"的影响,使得离群数据的度量与相关子空间的维度无关,并能够度量相关子空间的数据对象,否则设置数据对象的局部密度差异为0,表明其为正常数据;选取局部密度差异(离群程度)最大的若干数据对象作为局部离群数据;最后采用UCI和恒星光谱数据集,实验验证了该算法的有效性.
- 李永红张继福荀亚玲
- 关键词：高维数据集
- 基于MapReduce与相关子空间的局部离群数据挖掘算法被引量：39
- 2015年
- 针对高维海量数据,在Map Reduce编程模型下,提出了一种基于相关子空间的局部离群数据挖掘算法.该算法首先利用属性维上的局部稀疏程度,重新定义了相关子空间,从而能够有效地刻画各种局部数据集上的分布特征;其次,利用局部数据集的概率密度,给出了相关子空间中的局部离群因子计算公式,有效地体现了相关子空间中数据对象不服从局部数据集分布特征的程度,并选取离群程度最大的N个数据对象定义为局部离群数据;在此基础上,采用LSH分布式策略,提出了一种Map Reduce编程模型下的局部离群数据挖掘算法;最后,采用人工数据集和恒星光谱数据集,实验验证了该算法的有效性、可扩展性和可伸缩性.
- 张继福李永红秦啸荀亚玲
- 关键词：MAPREDUCE概率密度
