什么是数据湖？
数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。您可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析 – 从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策。
什么时候采用数据湖？
- 数据形式多样，有结构化和半结构化数据，如基于事件的数据，服务器日志/点击流
- ETL过程复杂，需要复杂的流程将非结构化数据结构化
- 需保留大量历史数据，需要存储低廉的存储成本
- 面向实验性的机器学习/预测分析的数据需求，没有固定的数据需求
为什么采用数据湖？
通过数据成功创造商业价值的组织将胜过同行。
Aberdeen 的一项调查表明，实施数据湖的组织比同类公司在有机收入增长方面高出 9%。
这些领导者能够进行新类型的分析，例如通过日志文件、来自点击流的数据、社交媒体以及存储在数据湖中的互联网连接设备等新来源的机器学习。
这有助于他们通过吸引和留住客户、提高生产力、主动维护设备以及做出明智的决策来更快地识别和应对业务增长机会。
数据湖与数据仓库相比– 两种不同的方法
根据要求，典型的组织将需要数据仓库和数据湖，因为它们可满足不同的需求和使用案例。
- 数据仓库是一个优化的数据库，用于分析来自事务系统和业务线应用程序的关系数据。
- 事先定义数据结构和 Schema 以优化快速 SQL 查询，其中结果通常用于操作报告和分析。
- 数据经过了清理、丰富和转换，因此可以充当用户可信任的“单一信息源”。
- 数据湖有所不同，因为它存储来自业务线应用程序的关系数据，以及来自移动应用程序、IoT 设备和社交媒体的非关系数据。
- 捕获数据时，未定义数据结构或 Schema。这意味着您可以存储所有数据，而不需要精心设计也无需知道将来您可能需要哪些问题的答案。
- 您可以对数据使用不同类型的分析（如 SQL 查询、大数据分析、全文搜索、实时分析和机器学习）来获得见解。
| 特性 | 数据仓库 | 数据湖 |
|---|---|---|
| 数据 | 来自事务系统、运营数据库和业务线应用程序的 关系数据 | 来自 IoT 设备、网站、移动应用程序、社交媒体和企业应用程序的 非关系和关系数据 |
| Schema | 设计在数据仓库实施之前（写入型 Schema） | 写入在分析时（读取型 Schema） |
| 性价比 | 更快查询结果会带来较高存储成本 | 更快查询结果只需较低存储成本 |
| 数据质量 | 可作为重要事实依据的高度监管数据 | 任何可以或无法进行监管的数据（例如原始数据） |
| 用户 | 业务分析师 | 数据科学家、数据开发人员和业务分析师（使用监管数据） |
| 分析 | 批处理报告、BI 和可视化 | 机器学习、预测分析、数据发现和分析 |
数据湖和分析解决方案的基本要素
组织构建数据湖和分析平台时，他们需要考虑许多关键功能，包括：
- 数据移动：数据湖允许您导入任何数量的实时获得的数据。
- 您可以从多个来源收集数据，并以其原始形式将其移入到数据湖中。此过程允许您扩展到任何规模的数据，同时节省定义数据结构、Schema 和转换的时间。
- 安全地存储和编目数据：数据湖允许您存储关系数据（例如，来自业务线应用程序的运营数据库和数据）和非关系数据（例如，来自移动应用程序、IoT 设备和社交媒体的运营数据库和数据）。它们还使您能够通过对数据进行爬网、编目和建立索引来了解湖中的数据。最后，必须保护数据以确保您的数据资产受到保护。
- 分析：数据湖允许组织中的各种角色（如数据科学家、数据开发人员和业务分析师）通过各自选择的分析工具和框架来访问数据。这包括 Apache Hadoop、Presto 和 Apache Spark 等开源框架，以及数据仓库和商业智能供应商提供的商业产品。
- 数据湖允许您运行分析，而无需将数据移至单独的分析系统。
- 机器学习：数据湖将允许组织生成不同类型的见解，包括报告历史数据以及进行机器学习（构建模型以预测可能的结果），并建议一系列规定的行动以实现最佳结果。
数据湖的价值
能够在更短的时间内从更多来源利用更多数据，并使用户能够以不同方式协同处理和分析数据，从而做出更好、更快的决策。
数据湖具有增值价值的示例包括：
- 改善客户互动：数据湖可以将来自 CRM 平台的客户数据与社交媒体分析相结合，有一个包括购买历史记录和事故单的营销平台，使企业能够了解最有利可图的客户群、客户流失的原因以及将提升忠诚度的促销活动或奖励。
- 改善研发创新选择：数据湖可以帮助您的研发团队测试其假设，改进假设并评估结果 – 例如在产品设计中选择正确的材料从而提高性能，进行基因组研究从而获得更有效的药物，或者了解客户为不同属性付费的意愿。
- 提高运营效率：物联网 (IoT) 引入了更多方式来收集有关制造等流程的数据，包括来自互联网连接设备的实时数据。使用数据湖，可以轻松地存储，并对机器生成的 IoT 数据进行分析，以发现降低运营成本和提高质量的方法。
数据湖的挑战
数据湖架构的主要挑战是存储原始数据而不监督内容。对于使数据可用的数据湖，它需要有定义的机制来编目和保护数据。没有这些元素，就无法找到或信任数据，从而导致出现“数据沼泽”。
满足更广泛受众的需求需要数据湖具有管理、语义一致性和访问控制。