一、什么是数据架构？

数据架构是企业架构中的一个元素，继承了企业架构的主要属性：流程、策略、变更管理和评估权衡。根据Open Group架构框架，数据架构是对“企业主要数据类型、来源、逻辑数据资产、物理数据资产和数据管理资源的结构和交互” 的描述。

根据数据管理知识体系，数据架构是“识别企业的数据需求（无论结构如何）并设计和维护核心蓝图以满足这些需求”的过程。它使用核心蓝图来指导数据集成、控制数据资产并使数据投资与业务战略保持一致。

然而，糟糕的数据架构是僵化且过度集中的。它使用了错误的工具来完成工作，这阻碍了开发和变更管理。

二、基于速度的数据架构

数据速度是指数据生成的速度、数据移动的速度以及将其处理为可用指导的速度。 

根据处理数据的速度，数据架构通常分为两类：Lambda和Kappa。

（一）Lambda数据架构

1、什么是Lambda

Lambda数据架构由Apache Storm的创建者Nathan Marz于 2011 年开发，旨在解决大规模实时数据处理的挑战。术语 Lambda 源自lambda演算 (λ)，描述了在多个节点上并行运行分布式计算的函数。Lambda数据架构提供了一个可扩展、容错且灵活的系统来处理大量数据。它允许以混合方式访问批处理和流处理方法。 

2、Lambda架构的使用场景

1）当您有各种工作负载和速度要求时，Lambda架构是理想的选择。由于它可以处理大量数据并提供低延迟查询结果，因此适合仪表板和报告等实时分析应用程序。Lambda架构对于批处理（清理、转换、数据聚合）、流处理任务（事件处理、开发机器学习模型、异常检测、欺诈预防）以及构建集中存储库（称为“数据湖”）非常有用。

2）Lambda架构的关键区别在于，它使用两个独立的处理系统来处理不同类型的数据处理工作负载。第一个是批处理系统，它将结果存储在集中式数据存储（例如数据仓库或数据湖）中。第二个系统是流处理系统，它在数据到达时实时处理数据并将结果存储在分布式数据存储中。

3、Lambda架构的组成

Lambda架构由摄取层、批处理层、速度层（或流层）和服务层组成。

• 批处理层：批处理层处理大量历史数据并将结果存储在集中式数据存储中，例如数据仓库或分布式文件系统。该层使用Hadoop或Spark等框架进行高效的数据处理，使其能够提供所有可用数据的总体视图。
• 速度层：速度层处理高速数据流，并使用Apache Flink或Apache Storm等事件处理引擎提供最新的信息视图。该层处理传入的实时数据并将结果存储在分布式数据存储中，例如消息队列或NoSQL数据库。
• 服务层：无论底层处理系统如何，Lambda架构服务层对于为用户提供一致的数据访问体验至关重要。它在支持需要快速访问当前信息（例如仪表板和分析）的实时应用程序方面发挥着重要作用。

4、Lambda架构的优势

Lambda架构解决了计算任意函数的问题，系统必须评估任何给定输入的数据处理函数（无论是慢动作还是实时）。此外，它还提供容错功能，确保在一个系统出现故障或不可用时，任一系统的结果都可以用作另一个系统的输入。在高吞吐量、低延迟和近实时应用程序中，这种架构的效率是很明显的。