图灵汇官网

数据迷信并不是一门独立的学科，而是借助了统计学、机器学习、数据挖掘、数据库、分布式计算、云计算和信息可视化等多种技术和方法来处理问题。

从广义的角度来看，数据迷信可以归纳为三大任务：

首先，原始数据需要经过一系列的收集、提取、清洗和整理等预处理步骤，才能形成高质量的数据。其次，我们需要观察数据的特点和规律，以便更好地理解数据。最后，根据具体需求，如对数据进行分类、预测或从海量数据中提取有价值的信息，都需要进行数据建模以得出相应的输出。

这三个步骤虽然不一定严格固定，但在实践中，每一步都可能包含不同的子步骤。根据我个人的经验，遵循这一总体思路，数据处理一般不会偏离目标。

数据迷信实际上是一门复合型技术。既然涉及技术层面，我们可以从编程语言入手，重点介绍R和Python这两种常用的语言。然而，鉴于本书的目标是推荐数据迷信方面的书籍，因此不会涉及编程基础知识，而是直接讨论与数据迷信相关的书籍。

企业需要哪种人才

企业需要两种类型的大数据人才：一种是负责构建数据平台的人才；另一种则是从事数据挖掘和应用的人才。大数据的价值在于其广泛的应用领域，如推动金融、气候和行政管理等领域的发展，促进个人信贷和医疗保健等行业的发展。

成就大数据人才的三种能力

一是具备技术能力，包括IT、系统、硬件和软件等方面的知识；二是拥有数量分析能力，涵盖统计、数学、建模和算法等领域；三是具备业务领域的专业知识。

建立数据存储需要技术能力，而进行数据分析则需要数量分析能力。

大数据时代的热门职业

1. 数据规划师：在产品设计前为企业决策提供关键数据支持，实现数据价值最大化，帮助企业实现差异化竞争。

2. 数据工程师：设计、建设和管理大数据基础设施，确保系统稳定运行，满足企业需求。

3. 数据架构师：解决数据杂乱无章的问题，熟练掌握统计学方法，通过监控系统获取原始数据并进行解释。

4. 数据分析师：将数据转化为企业可用的信息，通过数据分析找到问题根源，为企业改进提供关键点。

5. 数据应用师：将数据应用于产品中，用易于理解的语言表达数据信息，根据分析结果推动企业内部调整。

6. 数据科学家：引领大数据领域，具备跨学科的科学和商业技能，能够将数据和技术转化为商业价值。

关于编程语言的选择

学习大数据并不需要全面掌握Java SE标准版，只需了解一些与大数据相关的技术，如Servlet、JSP、Tomcat、Struct、Spring和Hibernate等。这些技术在大数据领域应用较少，但了解它们有助于更好地理解大数据技术。当然，掌握JDBC连接数据库的知识是必要的，因为这是操作数据库的基础。

Linux的重要性

由于大数据相关软件大多运行在Linux上，因此深入学习Linux对掌握大数据技术有很大帮助。掌握Linux能够让你更好地理解Hadoop、Hive、HBase和Spark等大数据软件的运行环境和网络配置，避免踩坑。此外，学会使用Shell脚本能够帮助你更好地理解和配置大数据集群，加速学习新技术。

大数据技术的学习路径

接下来介绍一些重要的大数据技术，建议按照以下顺序学习：

1. Hadoop：作为目前流行的大数据处理平台，Hadoop几乎已经成为大数据的代名词。Hadoop包括HDFS、MapReduce和YARN等组件，其中HDFS用于存储数据，MapReduce用于处理数据，而YARN则帮助Hadoop平台更好地利用资源。

2. Zookeeper：Zookeeper是一个多功能的工具，主要用于安装Hadoop的高可用性环境以及HBase等其他组件。它主要用于存放一些协作信息，对于个人用户来说，只需要正确安装并使其正常运行即可。

3. MySQL：学习MySQL数据库的安装和基本配置，包括在Linux上的安装、权限配置、修改root密码和创建数据库。重点是掌握SQL语法，因为Hive的语法与此相似。

4. Sqoop：Sqoop用于将MySQL中的数据导入到Hadoop中，虽然可以直接导出数据文件再上传到HDFS，但在实际生产环境中使用Sqoop更为便捷。

5. Hive：Hive是一款神器，适用于熟悉SQL语法的人，能够简化大数据处理，无需编写复杂的MapReduce程序。与Pig类似，掌握其中之一即可。

6. Oozie：Oozie可以帮助管理Hive或MapReduce、Spark脚本，还可以检查程序执行情况并发送报警，帮助重试程序，配置作业依赖关系。

7. HBase：HBase是Hadoop生态系统中的NoSQL数据库，适合存储大量数据，并可用于数据去重。

8. Kafka：Kafka是一个高效的消息队列工具，用于处理大量数据的排队处理，防止数据拥堵。

9. Spark：Spark是一种弥补MapReduce处理速度不足的技术，特别适合迭代运算，使用Scala编写，但也可以用Java或Scala操作。

希望以上内容对你有所帮助。如果你觉得文章写得不错，请关注作者，我会持续分享更多关于大数据的学习资源和开发工具。