UD4D — Pomáháme měnit data v užitečné informace

Vybudování centrální platformy pro observabilitu dat s využitím komerčně dostupného nástroje

Provedli jsme strukturované dvoufázové vyhodnocení dodavatelů a nasadili jednu podnikovou platformu pro observabilitu dat, která sjednotila monitoring napříč analytickým prostředím.

Kontaktujte nás Stáhnout PDF
Vybudování centrální platformy pro observabilitu dat s využitím komerčně dostupného nástroje

O klientovi

Globální biofarmaceutická společnost působící napříč několika divizemi.

Výzva

Klient potřeboval zavést komplexní observabilitu dat napříč datovými pipeline a datovými aktivy a zároveň propojit několik analytických platforem.

  • Monitoring byl roztříštěný mezi jednotlivé divize a jeho rozsah se napříč týmy lišil
  • Chyběl dostatečný přehled o běhu datových pipeline, změnách schémat a provozních metadatech
  • Napříč 7 analytickými platformami nebyla k dispozici jednotná vrstva observability
  • Hybridní nasazení muselo splňovat požadavky na zabezpečení, jednotné přihlašování SSO a automatizovanou správu uživatelů prostřednictvím SCIM
  • Projektové týmy neměly k dispozici standardizovaný proces onboardingu ani jednotný přístup k monitoringu

Řešení

UD4D provedlo strukturované dvoufázové vyhodnocení dodavatelů a následně implementovalo podnikovou platformu pro observabilitu dat integrovanou do stávajícího technologického prostředí.

  • V rámci technických PoC jsme vyhodnotili nástroje Astro Observe, Monte Carlo a Acceldata ADOC
  • ADOC jsme vybrali díky jeho hybridní architektuře a schopnosti zajišťovat observabilitu napříč několika platformami
  • Platformu jsme integrovali s Databricks, Redshift, AWS Glue, S3, Airflow, dbt Cloud a Trino a zajistili tak komplexní monitoring napříč celým datovým tokem
  • Nakonfigurovali jsme jednotné přihlašování SSO a automatizovanou správu uživatelů prostřednictvím SCIM v Azure Entra ID a zabezpečené připojení pomocí AWS PrivateLink
  • Definovali jsme procesy onboardingu projektů, pravidla monitoringu a technická pravidla kvality dat včetně exportu přes API do vlastních dashboardů

Dopad na byznys

  • 11

    projektů v produkčním provozu

    Během šesti měsíců jsme do nové platformy pro observabilitu dat zapojili 11 projektů, jejichž řešení nyní běží v produkčním provozu. To potvrzuje rychlé přijetí platformy napříč společností.

  • 7

    platforem pod jednou vrstvou observability

    Databricks, Redshift, AWS Glue, S3, Airflow, dbt Cloud a Trino jsou monitorovány napříč celým datovým tokem z jednoho pracovního prostředí.

  • 3

    vyhodnocené nástroje pro observabilitu dat

    Astro Observe, Monte Carlo a Acceldata ADOC jsme porovnali v rámci technických PoC, takže rozhodnutí o výběru platformy vycházelo z konkrétních výsledků.

  • 2

    vzájemně se doplňující vrstvy kvality dat

    ADOC doplňuje stávající pokrytí v Collibra Data Quality o technickou observabilitu datových pipeline a automatická upozornění na selhání, zpoždění a anomálie.

Časté dotazy

Co klient potřeboval?

Komplexní observabilitu dat napříč svými datovými pipeline a datovými aktivy, integrovanou přes více analytických platforem.

Jak je monitoring standardizován napříč týmy?

Prostřednictvím standardizovaných procesů onboardingu, pravidel monitoringu a technických pravidel kvality dat, která se připravují hromadně pro konzistentní nastavení napříč týmy, s exportem přes API do vlastních dashboardů pro centralizovaný monitoring.

Které platformy jsou monitorovány?

Databricks, Amazon Redshift, AWS Glue, S3, Apache Airflow, dbt Cloud a Trino jsou monitorovány z jednoho pracovního prostředí, se SSO a SCIM přes Azure Entra ID a zabezpečeným připojením přes AWS PrivateLink.

Jaké byly výsledky?

Během šesti měsíců bylo do produkce zapojeno 11 projektů, sedm platforem je monitorováno pod jednou vrstvou a technická observabilita datových pipeline od ADOC doplňuje stávající pokrytí Collibra DQ.

Související případové studie