英特尔进军云计算 推出Hadoop CPU优化版

图灵汇官网

导览

在2月份全球范围内同步发布,英特尔宣布推出专属于其品牌的Hadoop分布式计算软件。此套件包含了Hadoop发行版(Intel Distribution)、管理工具Intel Manager与Intel Active Tuner,标志着自2009年英特尔大量投资于云计算研究以来,首次发布此类软件产品。英特尔旨在利用开源分布式数据解析平台Hadoop,开拓云数据市场。

Intel Distribution

英特尔DCSG亚太区总经理Jason Fedder指出,Hadoop发行版是建立在英特尔硬件基础上的解决方案,为Hadoop用户提供了更加安全、易于部署和高效的资料处理环境。英特尔承诺将持续投资于Hadoop的研发,但明确表示无意转型为软件公司。英特尔的目标是构建一个开放的云数据市场生态系统,通过跨行业的合作来推动Hadoop市场的发展。

合作伙伴与战略联盟

Jason Fedder透露,除了原始设备制造商(OEM)外,系统集成商和独立软件开发者将成为直接向企业推广英特尔版Hadoop的合作伙伴。英特尔将提供教育培训服务。目前,英特尔已与超过20家软硬件供应商达成合作意向,包括SAP、Cisco、SAS、1degreeNorth、Revolution Analytics等。

Hadoop专属软件平台

英特尔推出的Hadoop专属软件平台由三大核心组件构成:

  1. 管理工具:优化了Hadoop框架的使用体验,提供更便捷的管理和监控功能。
  2. 框架强化:对HDFS、MapReduce、HBase进行了定制化改进,并支持SQL查询语言Hive,显著提升了SQL查询效率达8.5倍。
  3. 整合工具:整合了常用的Hadoop工具,如Zookeeper等,增强了平台的全面性。

性能提升与安全性

通过重新编写Hadoop框架,英特尔的架构能够直接支持Xeon处理器的高级加密指令集AES-NI,从而加速资料运算。此外,资料收集、存储至HBase的过程能够利用芯片级别的加密功能进行保护,且不会影响性能。使用Xeon E5-2690处理器、配备Intel SSD 520固态硬盘和10GbE网卡,处理1TB资料仅需7分钟。

性能评估与部署

此前,英特尔曾推出HiBench作为评估Hadoop系统效能的基准测试工具。英特尔提供的Hadoop软件将采用订阅模式向商业客户提供服务,在正式发布前,中国移动、中国联通、Nextbio以及英特尔内部团队已先行部署。例如,中国移动部署了133个Hadoop节点,用于每月处理30TB的账务数据。

本文来源: 互联网 文章作者: 今日科技微观
    下一篇

导读:IT时报记者 郝俊慧 没有最低,只有更低!最近一周,大模型卷起价格战。 5月21日,阿里云宣布降价,通义千问GPT-4级主力模型Qwen-Long,API输入价格从0.02元/千tokens降至