陶利民
- 作品数:2 被引量:6H指数:1
- 供职机构:中国空间技术研究院更多>>
- 发文基金:北京市自然科学基金国家自然科学基金更多>>
- 相关领域:自动化与计算机技术更多>>
- 基于Hadoop的电商大数据平台性能调优被引量:1
- 2020年
- 为了提升电商大数据平台复杂数据操作性能,通过分析电商业务特点,从数据重新组织与平台参数调优两个方面对数据平台进行优化。在数据重新组织方面,使用ORC数据格式存储数据,并对数据表进行合理的分区、分桶;在平台参数调优方面,对业务涉及到的主要组件参数进行针对性调节。最后,通过搭建具有32个节点的Hadoop集群,并使用TPC-DS测试集进行仿真实验,验证调优思路及方法的有效性。结果表明,调优之后的平台性能大约是未进行任何优化平台的7.5倍,优化效果显著。
- 马亚铭陶利民刘子琦
- 关键词:电子商务HADOOP性能调优
- 面向卫星数据系统的SpaceWire应用模型仿真研究被引量:5
- 2015年
- 针对我国未来航天应用的需要,建立了SpaceWire总线在卫星在轨数据系统应用的半物理仿真平台,对SpaceWire总线的仿真应用模型进行了设计与实现.仿真系统采用了冗余容错结构,在节点故障时,能够通过Dijkstra算法重新计算最优通信路径,对路由表进行动态重构,实现对节点故障的动态容错.另外,通过对SpaceWire总线的通信性能测试结果的分析研究指出,SpaceWire总线在卫星在轨数据系统中可以用于提高总线数据传输的带宽和实时性,然而总线系统的基础可靠性还应当由1553B总线来提供.
- 朱晓燕陶利民张伟功底素然