图灵汇官网

携程的大数据架构及其应用

提起携程，许多人可能会联想到“大数据杀熟”。尽管这个问题一度引起热议，但携程官方已经明确表示不存在这种情况。实际上，作为一家在上海为数不多的互联网巨头，携程的大数据架构值得我们探讨和分享。

数据平台技术选型

1. 整体框架

携程的大数据平台涵盖了从数据源到消息队列，再到数据清理和数据展示等一系列常见架构。其中，每个部分的实现细节和组件选择因具体场景而异。

例如，消息队列方面，携程选择了Kafka，因为其具有高吞吐量的特点，并且支持Push和Pull相结合的方式。在ETL（提取、转换、加载）阶段，携程倾向于采用自定义的方式，例如使用LinkedIn提供的Camus工具来同步数据到HDFS（分布式文件系统）。

在HDFS中存储的数据主要用于批处理。选择合适的分析引擎是关键，可能的选择包括Hive、Spark、Presto和Impala等。具体选择取决于应用场景。

Presto的选择

Presto作为一个分析引擎，其特点是专注于SQL查询，这使得它在交互式查询方面表现出色。虽然Presto的用户界面不如其他工具友好，但携程通过开发Web UI和采用jQuery的EasyUI来提升用户体验。

Elasticsearch的运用

Elasticsearch作为搜索引擎，因其强大的搜索能力和活跃的社区而被广泛使用。然而，维护Elasticsearch需要一定的技巧。为了简化搜索操作，携程引入了Elasticsearch-SQL插件，允许用户通过SQL语句查询数据。未来，Elasticsearch还将支持SQL查询，使其更加易用。

ETL管道

Gobblin的运用

Gobblin是携程用来构建ETL管道的工具。相较于直接使用Spark或流处理方式，Gobblin能更好地解决小文件问题。通过合理配置分区和存储格式，可以提高数据处理效率。

分析引擎——Presto

Presto在数据分析方面的优势在于其专注性和高性能。与Hive和Spark相比，Presto更适合交互式查询，因为它能够快速返回结果，而无需等待多个Stage完成。

近实时搜索——Elasticsearch

Elasticsearch是携程用于近实时搜索的主要工具。它基于Lucene构建，支持JSON和水平扩展。虽然Solr也是一个不错的选择，但Elasticsearch因其更活跃的社区和更好的易用性而被更多地采用。

Elasticsearch的优化和运维

OS层面的优化

为了优化Elasticsearch，可以从操作系统层面入手，例如调整文件句柄数、内存管理和I/O调度。携程的经验表明，将虚拟内存的DirtyRatio从默认的20%调低至10%有助于提高响应速度。

ES本身的优化

在集群层面，确保Shard均匀分布非常重要。此外，通过合理设置Replica数量和优化索引配置，可以显著提升性能。

数据可视化——Zeppelin

Zeppelin是携程用于数据可视化的工具，它通过JDBC接口连接到Presto，提供直观的图表展示。此外，帆软的FineReport和FineBI也是优秀的数据可视化工具。

数据微服务——统一查询接口

携程提供了一个统一的查询API，以便进行权限管理和数据查询。这种设计简化了数据访问流程，确保了数据的安全性。

任务调度器——Zeus

Zeus是携程内部的任务调度系统，用于管理ETL和定时任务。它支持将数据从Kafka导入HDFS或将数据从关系型数据库同步到HDFS。

以上是携程大数据平台的关键组成部分及其应用情况。希望这些信息对您有所帮助。