大数据基准测试 --记“云计算与大数据管理系列讲座”之二

  • 创建时间: 2014-07-08
  • 1989

            刘晟源

  6月24日,应计算机学院的邀请,中科院计算所先进计算机系统研究中心詹剑锋研究员在雁栖湖校区教一002教室带来了有关大数据基准测试的精彩讲座。
  詹剑锋老师现为先进计算机系统研究中心副主任,计算机学会高级会员,中国计算机学会高性能计算机专委会委员,ACM会员;主要研究方向为数据中心操作系统、大数据系统的基准测试程序等;参与组织诸多国家项目,曾获中科院杰出成就奖、国家科技进步二等奖等奖励。
  詹老师首先讲解了基准测试的重要性,提到基准测试是研究的基础,是评价和比较方法好坏的基准;如果无法评测一个系统,便无从提高系统的性能。随后又分析了合理基准测试程序应具备特点:有代表性、轻便、可伸缩、简约容易理解。詹老师又跟我们讲解了基准测试程序的分类以及各个类别的优缺点,分析了大数据环境下对基准测试的要求,以及基准测试面临的机遇与挑战。接着詹老师介绍了他们团队针对大数据系统所做的BigDataBench,指出制作基准测试程序时需要对真实应用负载进行抽象,并且需要建立良好的负载模型;BigDataBench分析了典型的应用负载,结合了大数据4V特性选取了有代表性的多元负载。詹老师随后给我们详细分析了大数据系统的应用特性,指出经典基本操作可以分为三大类,处理过程可以分为三种模式。接着详细分析了大数据负载的刻画分析方法,从分解指令、浮点操作、整型操作分析几个方面举例详细描述了分析方法。
  随后詹老师又接着介绍了应用BigDataBench来进一步研究的方法,指出应用BigDataBench可以有诸多的研究方向,比如操作系统、文件系统、体系结构、数据管理、调度、性能优化等。最后又介绍了目前应用BigDataBench实际的研究例子。
  詹老师的讲座涉及到了基准测试的诸多方面,从基准测试的意义到大数据环境下的基准测试,从基准测试程序的构建到基准测试在学术研究方面的应用。在讲解过程中詹老师结合了许多的运用场景,同学们仿佛身临其境,对基准测试有了更加深入的理解。