Migrace více než 40 000 datových objektů z WhereScape do dbt během šesti měsíců

Zastaralou platformu WhereScape pro automatizaci datového skladu jsme nahradili nástrojem dbt. Pomocí automatizovaného frameworku v Pythonu jsme během šesti měsíců migrovali více než 40 000 databázových objektů v poměru 1:1, bez přerušení provozu a se zcela zachovaným modelem Data Vault.

Kontaktujte nás Stáhnout PDF

Migrace více než 40 000 datových objektů z WhereScape do dbt během šesti měsíců

Hlavní body

Plně automatizovaný migrační framework založený na Pythonu převedl více než 40 000 databázových objektů z WhereScape do dbt během pevně stanovených šesti měsíců.
Migrace proběhla v poměru 1:1. Shodné chování všech objektů zajistilo nepřerušený provoz bez narušení reportingu a každodenní práce koncových uživatelů.
Stávající model Data Vault byl zachován zcela beze změny, čímž byly ochráněny předchozí investice klienta do architektury.
Validační framework systematicky porovnával zdrojové a cílové objekty, potvrdil jejich shodu v poměru 1:1 a minimalizoval riziko lidských chyb v komplexní logice Data Vault.
Dokumentace a datová lineage byly převedeny z vizuálního nástroje do nativního dokumentačního frameworku dbt.

O klientovi

Globální lídr v oblasti spotřebního zboží působící napříč komplexními dodavatelskými řetězci, výrobou a obchodními procesy po celém světě.

Výzva

Klient potřeboval nahradit stávající platformu pro automatizaci datového skladu nástrojem dbt, aniž by ohrozil provoz, governance nebo kvalitu dat.

Migrace více než 40 000 databázových objektů v pevně stanoveném termínu šesti měsíců
Provedení migrace v poměru 1:1 bez funkčních nebo strukturálních změn
Zachování modelu Data Vault přesně v podobě, v jaké byl implementován ve WhereScape
Minimální dopad na reporting a koncové uživatele

Řešení

UD4D navrhlo plně automatizovaný migrační framework, který místo manuálního přepisování využíval generování kódu v Pythonu.

Analýza existujících metadat ve WhereScape a závislostí mezi objekty
Vývoj Python skriptů, které převáděly metadata a logiku z WhereScape do modelů v dbt
Zachování plné shody objektů a struktur Data Vault prostřednictvím automatizace
Implementace validačního frameworku pro porovnání zdrojových a cílových objektů
Převod dokumentace a datové lineage z vizuálního nástroje do dokumentačního frameworku dbt

Dopad na byznys

40K+

objektů migrovaných během šesti měsíců

Generování kódu v Pythonu umožnilo zpracovat desítky tisíc objektů během několika měsíců namísto několika let.
0

výpadků během migrace

Shodné chování všech migrovaných objektů zajistilo nepřerušený provoz bez dopadu na byznys.
1:1

ověřená shoda dat

Systematické testování potvrdilo shodu mezi zdrojovými a cílovými objekty a minimalizovalo riziko lidské chyby v komplexní logice Data Vault.
100 %

zachovaná architektura Data Vault

Stávající model Data Vault byl převeden beze změn a zachoval tak předchozí investice do architektury.

Časté dotazy

Co klient potřeboval?

Nahradit stávající platformu pro automatizaci datového skladu nástrojem dbt a během šesti měsíců migrovat více než 40 000 databázových objektů, aniž by došlo k ohrožení provozu, governance nebo kvality dat. Zároveň bylo nutné zachovat model Data Vault přesně v podobě, v jaké byl implementován ve WhereScape.

Jak UD4D migrovalo více než 40 000 objektů za šest měsíců?

Místo manuálního přepisování vytvořilo UD4D plně automatizovaný migrační framework. Python skripty analyzovaly metadata ve WhereScape a závislosti mezi objekty a převáděly tuto logiku do modelů v dbt. Díky tomu bylo možné migrovat desítky tisíc objektů během několika měsíců namísto několika let.

Jak byla zajištěna kvalita a shoda dat?

Validační framework systematicky porovnával zdrojové a cílové objekty a potvrdil jejich shodu v poměru 1:1. Tím se minimalizovalo riziko lidských chyb v komplexní logice Data Vault a zároveň byla zajištěna migrace bez přerušení provozu.

Byla dotčena architektura Data Vault?

Ne. Stávající model Data Vault byl převeden zcela beze změny. Dokumentace i datová lineage byly zároveň přesunuty z vizuálního nástroje do dokumentačního frameworku dbt.