图灵汇官网

大数据治理与元数据管理

大数据是指无法在合理时间和成本内通过传统流程或工具进行处理和分析的信息。这些数据对于帮助企业做出更明智的决策至关重要。广义的大数据不仅涵盖了传统数据，还包括了大量难以处理的新类型数据。

大数据的五大类型

1. Web 和社交媒体数据：包括微博、博客、社交平台和电商网站的数据。
2. 机器对机器（M2M）数据：例如RFID数据、GPS数据、智能仪表数据及其他传感器数据。
3. 海量交易数据：涵盖电信行业的通话记录、金融行业的交易记录、保险行业的理赔记录等。
4. 生物计量学数据：涉及指纹、DNA、虹膜、视网膜、面部识别、声纹和笔迹等。
5. 人工生成的数据：包括问卷调查、电子邮件、纸质文件、扫描件、录音和电子病历等。

大数据的应用场景

在不同行业中，大数据的应用日益广泛。例如，高铁机车上的传感器每时每刻生成设备状态信息，企业需要实时收集并分析这些数据，以便及时发现潜在问题。在电信行业，基于用户通信行为的精准营销和位置营销也需要实时处理用户数据。

大数据治理的重要性

大数据治理旨在为企业提供持续且可量化的价值。治理人员需定期与高层管理者沟通，确保治理计划得到支持。随着大数据的应用日益普及，治理的范围和严格程度也在逐步提升。为了帮助企业更好地进行大数据治理，笔者结合IBM数据治理统一流程模型及相关行业经验，整理出一个参考模型，分为必选步骤和可选步骤。

必选步骤

1. 元数据管理策略：明确企业元数据管理的愿景、目标、需求、约束和策略。
2. 数据治理路线图：定义数据治理的成熟度和度量指标。

可选步骤

1. 主数据监管
2. 大数据监管
3. 信息单一视图监管
4. 运营分析监管
5. 预测分析监管
6. 管理安全与隐私
7. 监管信息生命周期

元数据管理策略

元数据是描述数据的数据，它包括业务元数据、技术元数据和操作元数据。业务元数据主要用于业务用户，技术元数据定义信息供应链的结构，操作元数据记录应用程序运行的信息。企业需要明确元数据管理策略，确保元数据在整个信息供应链中的语义一致性。

本体的概念

本体是知识共享和重用的重要工具，它定义了共享概念模型的规范。本体最早起源于人工智能领域，后来扩展到多个学科。根据研究层次，本体可分为顶级本体、领域本体、任务本体和应用本体。

元数据集成体系结构

元数据集成体系结构是实现元数据管理策略的技术框架。常见的体系结构包括点对点、中央辐射式、基于CWM模型驱动的点对点、基于CWM模型驱动的中央存储库、分布式（联邦式）和层次/星型元数据集成体系结构。

点对点的元数据集成体系结构

最初，元数据交换采用点对点方式，但这种方式构建元数据桥的工作量大，且难以重用。因此，中央辐射式元数据体系结构应运而生，它通过中央元数据存储库实现元数据交换。

中央辐射式元数据体系结构

中央辐射式元数据体系结构通过中央存储库减少构建元数据桥的工作量，提高投资回报率。这种体系结构使用中央存储库作为元数据交换的访问层，但仍需建立元数据桥实现组件间的互访。

基于CWM模型驱动的元数据集成体系结构

基于CWM模型驱动的元数据集成体系结构使用通用元模型，减少了构建元数据桥的工作量。这种体系结构在点对点和中央辐射式体系结构中都有应用。

分布式（联邦式）元数据集成体系结构

分布式元数据集成体系结构通过多个中央存储库实现元数据集成。每个存储库使用相同的元模型和接口，或者使用不同的元模型和接口。这种体系结构适用于多区域部署的应用环境。

层次/星型元数据集成体系结构

层次/星型元数据集成体系结构通过根存储库和叶子存储库实现元数据集成。根存储库实现公共部分，叶子存储库实现特定的元模型子集。

结束语

本文详细介绍了大数据治理的基本概念和统一流程参考模型，重点讨论了元数据管理策略和元数据集成体系结构。未来将继续探讨元模型、元-元模型、公共仓库元模型（CWM）及其发展史和模型驱动体系结构（MDA）。