图灵汇官网

数据处理是对海量复杂数据的价值提炼，其中最具价值的部分在于预测性分析。预测性分析可以通过数据可视化、统计模式识别和数据描述等数据挖掘形式，帮助数据科学家更好地理解数据，并根据挖掘结果得出预测性决策。

大数据采集技术

数据包括通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等多种方式获得的各种类型的结构化、半结构化（或称为弱结构化）及非结构化数据，是大数据知识服务模型的基础。关键技术包括分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术；高速数据解析、转换与装载等大数据整合技术；以及质量评估模型的设计和数据质量技术的开发。

大数据采集主要分为两个层面： 1. 大数据智能感知层：该层次涵盖了数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，能够智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理结构化、半结构化和非结构化数据。重点是攻克针对大数据源的智能识别、感知、适配、传输和接入技术。 2. 基础支撑层：提供大数据服务平台所需的虚拟服务器、结构化、半结构化及非结构化数据的数据库及物联网资源等基础支撑环境。重点攻克分布式虚拟存储技术、大数据获取、存储、组织、分析和决策操作的可视化接口技术、大数据网络传输与压缩技术及大数据隐私保护技术。

大数据预处理技术

大数据预处理涉及数据的辨析、抽取和清洗等操作。 1. 抽取：复杂数据的抽取过程有助于将不同类型的数据转化为易于处理的形式，以便快速分析。 2. 清洗：并非所有大数据都具有价值，有些数据可能是无效的或干扰项，因此需要通过过滤“去噪”来提取有效数据。

大数据存储及管理技术

大数据存储与管理涉及使用存储设备保存采集到的数据，并建立相应的数据库系统进行管理和调用。重点在于解决复杂结构化、半结构化和非结构化大数据的管理与处理技术。关键问题包括数据的可存储性、可表示性、可处理性、可靠性和有效传输等。开发新型数据库技术，如分布式文件系统（DFS）、能效优化的存储、计算融入存储、大数据去冗余和高效低成本的大数据存储技术。此外，突破分布式非关系型大数据管理与处理技术、异构数据的数据融合技术和数据组织技术。研究大数据建模技术，突破大数据索引技术，开发大数据可视化技术。

开发新型数据库技术，包括关系型数据库、非关系型数据库以及数据库缓存系统。非关系型数据库主要包括键值数据库、列存数据库、图存数据库和文档数据库等类型。关系型数据库则包括传统的关系数据库系统和NewSQL数据库。

开发大数据安全技术，包括改进数据销毁、透明加解密、分布式访问控制、数据审计等技术，以及突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。

大数据分析及挖掘技术

大数据分析技术包括改进已有数据挖掘和机器学习技术，开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术，突破基于对象的数据连接、相似性连接等大数据融合技术，以及用户兴趣分析、网络行为分析、情感语义分析等面向领域的数据挖掘技术。

数据挖掘是从实际应用中的大量、不完全、有噪声、模糊、随机的数据中提取隐含的、未知的、但潜在有用的信息和知识的过程。数据挖掘技术涉及多种分类方法，根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等；根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web；根据挖掘方法可以分为机器学习方法、统计方法、神经网络方法和数据库方法。

机器学习方法细分为归纳学习方法（如决策树、规则归纳）、基于范例学习和遗传算法等。统计方法细分为回归分析（多元回归、自回归等）、判别分析（贝叶斯判别、费歇尔判别、非参数判别等）、聚类分析（系统聚类、动态聚类等）、探索性分析（主元分析法、相关分析法等）。神经网络方法细分为前向神经网络（BP算法等）、自组织神经网络（自组织特征映射、竞争学习等）。数据库方法主要包括多维数据分析或OLAP方法，以及面向属性的归纳方法。

数据挖掘的主要过程是：首先根据分析挖掘目标从数据库中提取数据，然后经过ETL（提取、转换、加载）组织成适合分析挖掘算法使用的宽表，最后利用数据挖掘软件进行挖掘。传统的数据挖掘软件通常只能支持在单机上进行小规模数据处理，因此常常采用抽样方式减少数据分析规模。数据挖掘的计算复杂度和灵活性远远超过了其他需求，这主要是因为数据挖掘问题的开放性导致了大量衍生变量的计算，以及许多数据挖掘算法本身的复杂性，需要通过多次迭代求得最优解，例如K-means聚类算法、PageRank算法等。