陕西省教育厅自然科学基金(11JK1018)
- 作品数:2 被引量:7H指数:1
- 相关作者:孙韩林更多>>
- 相关机构:西安邮电大学更多>>
- 发文基金:陕西省教育厅自然科学基金更多>>
- 相关领域:自动化与计算机技术更多>>
- 一种基于云计算的并行流生成方法
- 2013年
- 在高速网络中,网络设备的分组转发性能在打开流采集功能后会受其影响。为此,提出一种在网络设备外基于云计算平台的并行流生成方法。在需要监测的网络设备附近部署小型云,把分组流量复制到云中,采用云的Map-Reduce并行处理框架快速地从海量分组数据中生成流记录。设计基于Map-Reduce框架的并行流生成算法,通过配置合适数量的云节点,可分析任意大小的网络流量。用实际网络分组数据对并行流生成方法的性能进行验证,实验结果表明,在由3台、5台或7台节点构成的小型云平台上,从超过40 GB的文本分组数据中共提取了15 160 052条流,与顺序处理相比,耗费时间至少可减小85%、90%和94%。
- 孙韩林
- 关键词:网络流量分析并行处理HADOOP平台
- 一种基于云计算的网络流量分析系统结构被引量:7
- 2013年
- 基于云计算平台Hadoop提出一种新的分布式网络流量分析系统结构。在关键监测点附近部署小型本地云,采集的流量发送到本地云进行存储和分析,本地云规模可根据监测点流量大小按需配置;分析结果传输到协调节点,存入关系数据库供查询;协调节点调度分析任务在各本地云上运行。新结构具有统一的并行处理编程框架,且能减小大量数据传输对被监测网络性能的影响。在小型云平台上用实际流量数据验证用Map-Reduce程序对分组进行统计分析的性能,相对于顺序程序处理,执行速度可提高90%以上,表明用小型云实现快速海量流量分析的方案是有效的。
- 孙韩林
- 关键词:网络流量分析网络监控云计算HADOOP平台