百度大数据开发套件-『鲁班』 亮相中国国际大数据大会

图灵汇官网

2018年10月18日至19日,中国北京国际大数据大会盛大举行,百度大数据部门受邀在此次盛会上分享观点。高级产品经理赵乔在此场合介绍了百度自主研发的大数据开发基础套件——“鲁班”,并深入探讨了其在智能工业大数据领域的应用。

鲁班,作为百度大数据部门的核心产品,涵盖了从数据采集传输、处理分析到挖掘的全流程。它包括Minos、Pingo、Palo、Elasticsearch、Jarvis、Sugar以及Dayu等多个组件,致力于为企业提供高效、稳定、功能强大的大数据解决方案。

鲁班各子系统的亮点:

  • Minos:提供多样化的介质传输方式,简化数据传输过程,提升效率,同时支持多种传输模式,包括批量和流式传输,以及实时数据订阅。

  • Pingo:实现自动化集群管理,快速构建和调整计算集群,降低运营成本,提供实时数据仓库,支持流式和批量作业,简化开发流程。

  • Jarvis:提供交互式数据挖掘体验,简化建模过程,集成多种算法库,支持深度学习和时间序列分析。

  • Palo:以高性能著称,支持PB级数据查询,毫秒级响应,同时兼容多种BI工具,提供灵活配置选项和高度安全的环境。

  • Elasticsearch:提供简单易用的HTTP RESTful接口,具备高可用性和超高性能,适合大规模数据检索。

  • Sugar:支持数据探索和可视化,提供丰富的图表展示功能,兼容多种数据源,确保数据安全。

  • Dayu:实现联邦式数仓管理,提供统一的数据资产管理视角,支持权限管理和数据隔离,保障数据安全。

实施案例:

赵乔在大会上详细展示了鲁班套件在工业智能场景中的应用,从数据收集到模型训练、部署直至监控车间工作健康状态的全过程。这一系列实践展示了数据智能如何显著提升工业效率,赢得了全场的共鸣。

总结:

鲁班套件凭借其全面的功能、高效的性能和强大的安全性,成为中国乃至全球大数据领域的重要解决方案。通过赵乔的分享,与会者深刻理解了鲁班如何助力企业实现数据驱动的智能化转型,开启了工业领域智能化的新篇章。

本文来源: 图灵汇 文章作者: 王慕昂