Project Tungsten让Spark更接近物理极限  
   
  2015年5月5日  
  Project Tungsten将是Spark诞生以来在内核级别上最大的一次改动,这次改动聚焦于提升Spark应用的CPU和内存的利用率,以期更接近硬件的性能瓶颈,这次改动主要包括以下三个方面:
内存管理和二进制处理:利用应用的语义更明确地管理内存,并消除JVM对象模型和垃圾回收的费用
缓存感知计算:能充分利用存储器层次的算法和数据结构
代码生成:用代码生成来利用现代编译器和CPU
 
     
 
COPYRIGHT (C) 1992-2015 China HPC Technology ALL RIGHTS RESERVED. MAIL TO US .  
华算信息科技有限公司 上海市新华路365弄6号科技园2号楼2G座