大数据期末知识点总结

投稿
APP
微信扫一扫获取更多

大数据期末知识点总结

丁舒熳

2020-04-15 21:19:58

图灵汇官网

大数据的特点

大数据具有以下几个重要的特性：

大体量：数据规模庞大，从几百TB到数百PB乃至EB级别。
多样性：数据格式和形态多样，涵盖各种类型的数据。
时效性：很多大数据需求需要在限定时间内迅速处理。
准确性：处理结果需具备一定的准确性。
大价值：大数据包含丰富的潜在价值，通过分析和应用能够带来巨大的商业价值。

大数据的概念

大数据指的是数据规模巨大，尤其是由于数据形式多样化和非结构化特征显著，导致数据存储、处理和挖掘变得极为复杂的那一类数据集。

大数据的性质

大数据具有以下性质： - 非结构性：数据结构复杂且多样。 - 不完备性：数据可能存在缺失或不完整的情况。 - 时效性：数据需要快速处理。 - 安全性：数据保护非常重要。 - 可靠性：数据的质量和准确性需要保证。

大数据技术概述

大数据技术涵盖了从数据采集、清洗、集成、分析到解释的全过程，旨在从海量数据中快速提取有价值的信息。

大数据的发展趋势

大数据领域呈现出以下发展趋势： - 大数据细分市场：市场细分化。 - 推动企业发展：帮助企业更好地利用数据。 - 新分析方法的出现：不断涌现新的分析方法。 - 与云计算的高度融合：大数据与云计算的结合越来越紧密。 - 一体化设备的出现：一体化设备的应用逐渐增多。 - 安全性的重视：大数据的安全问题越来越受到关注。

大数据的应用实例

大数据的应用场景广泛，包括： - 网络大数据：分析网络流量。 - 金融大数据：金融风险管理。 - 企业大数据：企业运营优化。 - 政府管理大数据：城市管理。 - 安全大数据：安全防护。

具体应用实例包括： - 医疗行业：预测分析，如早产儿预测、准确诊断。 - 能源行业：智能电网、风力系统分析。 - 通信行业：客户资料分析，需求分析。 - 交通行业：交通管理，缓解拥堵。 - 零售业：社交信息分析，了解消费者需求。

科学研究的四个范式

科学研究的四个范式分别是： 1. 实验范式：主要描述自然现象，通过观察和实验进行研究。 2. 理论范式：基于建模和归纳的理论学科，解释经验现象。 3. 计算范式：通过模拟复杂现象进行研究。 4. 数据密集型范式：基于数据密集型计算的研究方法，结合实验和模拟。

可伸缩性

可伸缩性是指通过扩展系统规模来提高性能和处理更大的用户量。

CAP定理

CAP定理指出，一个分布式系统不能同时满足一致性、可用性和分区容错性这三个需求，最多只能满足其中两个。

函数式编程的优点

函数式编程具有以下优点： - 逻辑可验证：便于验证逻辑。 - 模块化：易于模块化设计。 - 组件化：易于组件化。 - 易于调试和测试：易于调试和测试。 - 高生产率：提高生产效率。

MapReduce与Hadoop

MapReduce：用于大规模数据处理的分布式编程模型。
Hadoop：用于收集、共享和分析大量数据的平台，具有方便、健壮、横向扩展和简单的优点。

流式数据的特征

流式数据具有以下特征： - 实时性：实时处理。 - 易失性：数据容易丢失。 - 突发性：数据突发性高。 - 无序性：数据可能无序。 - 有限性：数据有限。 - 可靠性：数据需要可靠。

Storm

Storm是一种分布式实时计算系统，具有以下特征： - 编程模型简单：使用Spout和Bolt模型。 - 多语言支持：支持多种编程语言。 - 作业级容错：具有作业级容错机制。 - 水平可扩展：支持水平扩展。 - 快速消息处理：支持快速消息处理。

Zookeeper

Zookeeper是一个集中式服务，用于维护配置信息、命名、提供分布式同步和组服务。

大数据搜索技术

大数据搜索技术包括： - 组成部分：搜索器、索引器、检索器、用户接口。 - 分类：全文搜索引擎、目录搜索引擎、元搜索引擎等。 - 工作过程：爬取、抓取、存储、预处理、排名。 - 评价指标：查全率、查准率、响应时间、覆盖率、用户友好性。

大数据预处理技术

大数据预处理技术包括： - 数据抽取：从数据源抽取数据并存储到目标数据库。 - 抽取方法：同构同质、同构异质、文件型、增量更新。

大数据分析

大数据分析包括： - 概述：分析处理后的数据，提取有价值的信息，形成有效结论并通过可视化技术展示。 - 目的：从杂乱无章的数据中提炼规律和价值。 - 分类：基本分析方法、高级分析方法、数据挖掘方法。 - 步骤：需求识别、数据收集、数据分析。 - 类型：探索性分析、定性分析、离线分析、在线分析。 - 方法：统计分析、对比分析、分组分析、综合评价、指数分析、平衡分析、平滑和滤波、基线与峰值分析。