Snížení nákladů na výpočetní výkon pro reporting souladu s pravidly DPH ve Snowflake o více než 80 %
Nákladné a obtížně udržovatelné řešení pro tvorbu reportů jsme přestavěli na štíhlou, modulární architekturu ve Snowflake, která je rychlejší a levnější a zároveň poskytuje stejné výstupy.
O klientovi
Globální farmaceutická společnost, která zajišťuje centralizovaný reporting souladu s pravidly DPH napříč několika daňovými regiony.
Výzva
Reporting souladu s pravidly DPH byl postaven na zastaralé architektuře ve Snowflake využívající uložené procedury a dočasné tabulky. Její provoz byl nákladný a údržba složitá.
- Hlavní tok zpracování reportů řídila monolitická uložená procedura, kterou bylo obtížné udržovat a škálovat
- Rozsáhlé zdrojové tabulky ze systému SAP S/4HANA přenášely při každém běhu velké objemy nevyužívaných dat
- Intenzivní využívání dočasných tabulek prodlužovalo dobu zpracování a snižovalo přehlednost transformační logiky
- Předimenzovaný výpočetní sklad Gen1 vedl k vysokým nákladům na výpočetní výkon a poskytoval pouze omezený přehled o průběhu zpracování
Řešení
UD4D refaktorovalo celé řešení ve dvou fázích a snížilo náklady i dobu zpracování, aniž by došlo ke změně reportovacích výstupů.
- Provedli jsme revizi kódu a dotazů v uložené proceduře a zjednodušili výpočetně nejnáročnější transformační kroky
- Odstranili jsme 11 nepoužívaných zdrojových tabulek a 3 869 nepoužívaných sloupců ve vrstvě CRT, což představuje přibližně 88% snížení počtu sloupců v této vrstvě
- Logiku uložené procedury jsme nahradili modulárními Snowflake Dynamic Tables umožňujícími paralelní zpracování a odstranili jsme všechny dočasné tabulky
- Filtrování dat jsme přesunuli do dřívějších fází zpracování a odstranili přibližně 60 ze 150 reportovacích sloupců
- Zdokumentovali jsme více než 100 objektů a přibližně 2 500 jejich sloupců a upravili velikost výpočetního skladu na XS Gen2
Dopad na byznys
-
83 %
nižší spotřeba výpočetního výkonu ve Snowflake
Týdenní spotřeba klesla z přibližně 61 kreditů na zhruba 10 kreditů. To představuje odhadovanou roční úsporu 2 600 kreditů, tedy přibližně 9 000 USD.
-
7×
rychlejší zpracování reportů
Doba zpracování se díky paralelnímu běhu a zjednodušené logice zkrátila ze 40 až 50 minut na 6 až 7 minut.
-
88 %
menší objem zpracovávaných dat
Odstranění 3 869 nepoužívaných sloupců ve vrstvě CRT a nadbytečných reportovacích sloupců výrazně snížilo objem dat zpracovávaných při každém běhu.
-
100+
plně zdokumentovaných objektů
Komentáře na úrovni tabulek i sloupců napříč přibližně 2 500 sloupci nahradily nepřehledné monolitické řešení modulární a snadno dohledatelnou strukturou.
Časté dotazy
Jaký byl problém?
Reporting souladu s pravidly DPH běžel na zastaralé architektuře ve Snowflake založené na uložených procedurách a dočasných tabulkách. Její provoz byl nákladný a údržba složitá.
Jak UD4D řešení refaktorovalo?
Ve dvou fázích jsme revidovali a zjednodušili logiku uložené procedury, odstranili nepoužívané tabulky a sloupce, nahradili uloženou proceduru modulárními Snowflake Dynamic Tables umožňujícími paralelní zpracování a upravili velikost výpočetního skladu. Reportovací výstupy přitom zůstaly beze změny.
Jaké technologie byly použity?
Snowflake Dynamic Tables, zdroje SAP S/4HANA a Informatica IICS.
Jaké byly výsledky?
Spotřeba výpočetního výkonu ve Snowflake klesla přibližně o 83 %, běhy reportingu se zrychlily zhruba 7×, objem zpracovávaných dat se snížil přibližně o 88 % a více než 100 objektů bylo plně zdokumentováno.