云颠覆了数据转换

samrak

传统的提取、转换和加载 (ETL) 数据转换过程在云技术的支持下以现代方式迅速转变（在新选项卡中打开）。 云的低成本、灵活性和可扩展性以及云数据仓库的巨大处理能力推动了一项重大变化：在转换之前将所有数据加载到云中的能力。这种趋势意味着 ETL 本身已经转变为提取、加载和转换或 ELT。 ELT 具有多项优势，包括保留数据粒度、减少对昂贵软件工程师的需求以及显着缩短项目周转时间。 赞助商链接 你会说英语吗？在孟加拉国在家工作美国工作 在家工作搜索广告 数据转换： 数据对于使用它来了解客户、发现新机会并为决策者提供关键任务和最新信息的组织至关重要。但是，要分析数据，首先必须对其进行结构化。需要理解它，以便可以将其拉入仪表板、报告和预测模型中。 问题是原始数据并没有呈现为格式精美、可用的信息。这就是数据转换的用武之地。需要将凌乱的原始数据转换为帮助用户实现特定目标的现实表示。 这种转换可以在数据加载到其目的地（通常是数据仓库）之前进行，也可以在之后进行 传统ETL： 在传统的 ETL 中，数据在加载之前被转换为分析就绪的数据模型。正如 Fivetran 的 Charles Wang 所指出的，“将转换与加载结合到同一步骤中可以节省存储和计算资源，但会给数据工程工作流程带来很大的脆弱性。这也意味着用于转换的软件通常是使用 Python 和 Java

等脚本语言编写的。此外，ETL 中的转换可能需要使用 Airflow 等工具进行大量复杂的编排。” ETL 通常还需要大量定制代码。因此，传统 ETL 的主要挑战之一是可访问性。需要让工程师和数据科学家等稀缺、昂贵的资源参与进来。 另一个问题涉及周转时间。与本地数据仓库相关的传统 ETL 过程通常非常耗时。使用 ETL 还涉及持续维护，并可能引入复杂性。 现代转型方法： 传统上，存储成本高得令人望而却步。 ETL 对组织的好处是他们不必将所有数据加载到最终目的地。现在，云技术已经改变了这一点。我们看到南非的云 墨西哥 WhatsApp 号码列表 采用率大幅增加，技术成本正在显着下降。较低的成本使组织可以将所有数据加载到云中，而不必考虑存储成本。 这意味着在现代 ELT 工作流程中，原始数据在加载后会转换为可供分析的数据模型。一旦进入仓库，就可以使用 SQL 转换数据，由于其直观的基于英语的语法，它可以被更广泛的用户使用。因此，转换可以由组织中懂 SQL 的成员完成，而不仅仅是那些具有编码知识的人。 因此，今天的数据转换利用了基于云的工具和技术。这些共同构成了所谓的现代数据堆栈


(MDS)。 这个 MDS 的核心是一个强大的云数据平台，通常是一个云仓库，也可以包括数据湖。数据从各种源系统加载到其中，包括数据库、Web 应用程序和 API。为此，使用可靠的转换层将原始数据转换为可查询的数据集。最后，协作式商业智能和可视化解决方案使企业能够与数据交互并得出可操作的见解来指导业务决策。 在他的文章《数据转换解释》中，Wang 指出 MDS 通过以下阶段汇集数据： 来源——来自运营数据库、SaaS 应用程序、事件跟踪的数据 数据管道——从源中提取数据并将其加载到数据仓库中，有时对其进行规范化 数据仓库——将数据存储在为分析优化的关系数据库中 数据转换工具——一种基于 SQL 的工具，它使用来自源的数据在数据仓库中创建新的数据模型 分析工具——用于生成报告和可视化的工具，例如商业智能平台 数据仓库内的转换： 转换是为生成组织分析所需的特定数据模型而量身定制的。现代 ELT 将提取和加载与转换分开。这使公司可以自动化和外包额外的