统一数据架构是关于涵盖组织架构方面的所有数据方面。并不存在一个预定义的适用于所有人的统一数据架构。
让我们看看在数据方面,一个组织可以有多少种架构。
Ø源应用程序的体系结构,即OLTP
Ø数据仓库的架构,即OLAP和多维数据集
Ø数据湖、Delta Lake、数据网格、数据金库、业务金库、数据中心、数据结构的架构
Ø高级分析的架构,即机器学习和深度学习等
Ø数据虚拟化架构
正如上面所述,每个组织中可能存在多种数据架构。在当前时代,数据已成为每个人的核心关注点,因此在为上述每个组件设计数据架构之前,必须先设计统一的数据架构以获得全局视图。
就像企业架构涉及业务架构、应用架构、技术架构和数据架构一样,所有这些都必须遵循企业架构标准。同样,组织中所有的数据架构都必须遵循统一数据架构标准。
构建统一数据架构的几种方法:
Ø现有遗留架构的增强
Ø逻辑数据仓库和数据虚拟化架构
Ø组织驱动的数据架构,如数据湖、数据仓库等
Ø业务或业务线(LOB,Line Of Business)驱动的数据架构,如数据网格,数据集市等。
Ø多云架构
Ø混合架构(本地和云)
大多数统一数据架构涉及以下元素:
Ø数据产生层,即源系统。
Ø数据消费层,即ETL / ELT过程
Ø数据存储层,即数据商店
Ø高级分析层
Ø数据服务层
Ø数据管理层,即元数据、数据质量、数据安全和隐私、数据治理、元数据、主数据、参考数据等。