UD4D — Pomáháme měnit data v užitečné informace

Snížení nákladů na výpočetní výkon pro reporting souladu s pravidly DPH ve Snowflake o více než 80 %

Nákladné a obtížně udržovatelné řešení pro tvorbu reportů jsme přestavěli na štíhlou, modulární architekturu ve Snowflake, která je rychlejší a levnější a zároveň poskytuje stejné výstupy.

Snížení nákladů na výpočetní výkon pro reporting souladu s pravidly DPH ve Snowflake o více než 80 %

O klientovi

Globální farmaceutická společnost, která zajišťuje centralizovaný reporting souladu s pravidly DPH napříč několika daňovými regiony.

Výzva

Reporting souladu s pravidly DPH byl postaven na zastaralé architektuře ve Snowflake využívající uložené procedury a dočasné tabulky. Její provoz byl nákladný a údržba složitá.

  • Hlavní tok zpracování reportů řídila monolitická uložená procedura, kterou bylo obtížné udržovat a škálovat
  • Rozsáhlé zdrojové tabulky ze systému SAP S/4HANA přenášely při každém běhu velké objemy nevyužívaných dat
  • Intenzivní využívání dočasných tabulek prodlužovalo dobu zpracování a snižovalo přehlednost transformační logiky
  • Předimenzovaný výpočetní sklad Gen1 vedl k vysokým nákladům na výpočetní výkon a poskytoval pouze omezený přehled o průběhu zpracování

Řešení

UD4D refaktorovalo celé řešení ve dvou fázích a snížilo náklady i dobu zpracování, aniž by došlo ke změně reportovacích výstupů.

  • Provedli jsme revizi kódu a dotazů v uložené proceduře a zjednodušili výpočetně nejnáročnější transformační kroky
  • Odstranili jsme 11 nepoužívaných zdrojových tabulek a 3 869 nepoužívaných sloupců ve vrstvě CRT, což představuje přibližně 88% snížení počtu sloupců v této vrstvě
  • Logiku uložené procedury jsme nahradili modulárními Snowflake Dynamic Tables umožňujícími paralelní zpracování a odstranili jsme všechny dočasné tabulky
  • Filtrování dat jsme přesunuli do dřívějších fází zpracování a odstranili přibližně 60 ze 150 reportovacích sloupců
  • Zdokumentovali jsme více než 100 objektů a přibližně 2 500 jejich sloupců a upravili velikost výpočetního skladu na XS Gen2

Dopad na byznys

  • 83 %

    nižší spotřeba výpočetního výkonu ve Snowflake

    Týdenní spotřeba klesla z přibližně 61 kreditů na zhruba 10 kreditů. To představuje odhadovanou roční úsporu 2 600 kreditů, tedy přibližně 9 000 USD.

  • rychlejší zpracování reportů

    Doba zpracování se díky paralelnímu běhu a zjednodušené logice zkrátila ze 40 až 50 minut na 6 až 7 minut.

  • 88 %

    menší objem zpracovávaných dat

    Odstranění 3 869 nepoužívaných sloupců ve vrstvě CRT a nadbytečných reportovacích sloupců výrazně snížilo objem dat zpracovávaných při každém běhu.

  • 100+

    plně zdokumentovaných objektů

    Komentáře na úrovni tabulek i sloupců napříč přibližně 2 500 sloupci nahradily nepřehledné monolitické řešení modulární a snadno dohledatelnou strukturou.

Časté dotazy

Jaký byl problém?

Reporting souladu s pravidly DPH běžel na zastaralé architektuře ve Snowflake založené na uložených procedurách a dočasných tabulkách. Její provoz byl nákladný a údržba složitá.

Jak UD4D řešení refaktorovalo?

Ve dvou fázích jsme revidovali a zjednodušili logiku uložené procedury, odstranili nepoužívané tabulky a sloupce, nahradili uloženou proceduru modulárními Snowflake Dynamic Tables umožňujícími paralelní zpracování a upravili velikost výpočetního skladu. Reportovací výstupy přitom zůstaly beze změny.

Jaké technologie byly použity?

Snowflake Dynamic Tables, zdroje SAP S/4HANA a Informatica IICS.

Jaké byly výsledky?

Spotřeba výpočetního výkonu ve Snowflake klesla přibližně o 83 %, běhy reportingu se zrychlily zhruba 7×, objem zpracovávaných dat se snížil přibližně o 88 % a více než 100 objektů bylo plně zdokumentováno.