Jak zmigrowaliśmy dane cyfrowe dużego banku do Azure Databricks?

Jak zmigrowaliśmy dane cyfrowe dużego banku do Azure Databricks?

Poznaj use case migracji analityki bankowej do Azure Databricks. Zbudowaliśmy nowoczesny Data Lakehouse dla 800+ tabel danych. Sprawdź szczegóły wdrożenia!

Co zyskał klient?

długu technologicznego

0 %

zmigrowanych tabel

0 +

zadań migracyjnych

zysku wydajnościowego

do 0 %

Migracja Azure Databricks

Naszym Klientem była jedna z większych instytucji finansowo-bankowych w Polsce, obsługująca miliony klientów w kanałach bankowości internetowej oraz aplikacji mobilnej.

Bank poszukiwał sposobu na wyjście z przestarzałej infrastruktury on-premise na rzecz nowoczesnej, elastycznej architektury chmurowej. Dotychczasowy system cierpiał na wysoki dług technologiczny (kilkaset skryptów, rozproszenie procesów pomiędzy różnymi środowiskami) oraz ograniczenia wydajnościowe. Kluczowym zapalnikiem do zmian były również wygasające licencje oraz kwestie bezpieczeństwa i ciągłości działania.

Bank potrzebował doświadczonego partnera technologicznego, który zrealizuje bezpieczną, sprawną i zautomatyzowaną migrację kluczowych procesów do chmury Azure Databricks (Data Lakehouse)

Głównym celem było stworzenie jednolitego środowiska danych dla ponad 20-osobowego zespołu analityków cyfrowych, konsolidacja rozproszonych narzędzi, odciążenie zasobów ludzkich od ręcznego utrzymywania kodu oraz umożliwienie wdrażania nowoczesnych rozwiązań opartych na Machine Learningu i AI.

Wyzwania i problemy do rozwiązania:

⮕ Brak dokumentacji i skomplikowane zależności (Gąszcz kodu)

System opierał się na kilkuset skryptach w języku Python oraz dziesiątkach dashboardów w Tableau, do których brakowało aktualnej, przejrzystej dokumentacji. Bezpośrednie przemapowanie logiki procesów było niemożliwe bez wcześniejszego automatycznego przeanalizowania zależności między bazami.

⮕ Silosowość i ciągły transfer danych

Przetwarzanie procesów analitycznych wymagało przesyłania potężnych wolumenów danych pomiędzy 5 różnymi, odizolowanymi od siebie platformami. Generowało to wąskie gardła wydajnościowe, wysokie koszty operacyjne i ryzyko błędów w spójności danych.

⮕ Sztywność infrastruktury sprzętowej (No Scalability)

Uzależnienie od stałych klastrów fizycznych serwerów uniemożliwiało podbijanie mocy obliczeniowej na żądanie. Duże, nagłe przeliczenia analityczne paraliżowały działanie środowiska, a bank płacił za niewykorzystane zasoby w momentach niższego obciążenia.

⮕ Wymóg zachowania ciągłości działania biznesu (Zero Downtime)

Zespół analityczny działa jako „oczy banku” dla Zarządu, a system zasila kluczowe procesy raportowe dla regulatorów (KNF, giełda) oraz systemy ML do oceny ryzyka kredytowego i BLIK. Prace migracyjne musiały zostać przeprowadzone tak, aby ani na chwilę nie przerwać ciągłości zasilania systemów produkcyjnych.

Migracja tak krytycznego obszaru w banku to operacja na otwartym sercu. W projekcie tej skali nie ma miejsca na zgadywanie – projektujemy szybko, ale nigdy po omacku. Połączyliśmy autorskie narzędzia wspomagane przez AI, które automatycznie rozpracowały gąszcz zależności technologicznych, z naszą solidną architekturą i ponad 25-letnim doświadczeniem w IT. Dzięki temu przenieśliśmy analitykę cyfrową banku na Azure Databricks nie tylko bez absolutnie żadnych przestojów biznesowych, ale też redukując dług technologiczny o dwie trzecie. Zbudowaliśmy dla klienta fundament, który nie tylko działa szybciej i taniej, ale jest w pełni gotowy na nadchodzącą rewolucję AI.

Jakub Strychowski

CTO & AI Architect

Jakie działania podjęliśmy?

Projektujemy szybko, ale nigdy po omacku – każde nasze wdrożenie opiera się na bezpiecznej, skrupulatnie zaplanowanej i skalowalnej architekturze. Wykorzystujemy zaawansowane narzędzia AI, aby maksymalnie przyspieszyć pracę i wyeliminować ryzyko błędów, nie idąc przy tym na żadne kompromisy w kwestii jakości. Pozwala nam na to ponad 25 lat doświadczenia w IT, dzięki któremu doskonale wiemy, jak przeprowadzić tak złożoną operację w sektorze bankowym.

Oto kluczowe kroki, które podjęliśmy w ramach tego wdrożenia:

⮕ Automatyczny audyt i analiza zależności

Stworzyliśmy i wykorzystaliśmy dedykowane narzędzie wywiadu kodowego (Spider Web), które automatycznie przeanalizowało setki skryptów w Pythonie oraz strukturę dashboardów. Narzędzie to samodzielnie zbudowało mapę zależności danych i wygenerowało precyzyjny, zautomatyzowany plan migracji złożony z 13 000 cząstkowych zadań ułożonych w idealnej chronologii.

⮕ Refaktoryzacja kodu i budowa nowej architektury

Przeprowadziliśmy gruntowną czystkę i refaktoryzację starzejącego się kodu, redukując jego objętość aż o 2/3 bez utraty logiki biznesowej. Stare skrypty przepisaliśmy na wydajny standard PySpark / Python, dostosowany do natywnego przetwarzania chmurowego.

⮕ Wdrożenie Azure Databricks (Data Lakehouse)

Skonsolidowaliśmy dane z 5 rozproszonych środowisk w jeden spójny ekosystem Azure Databricks. Zbudowaliśmy nowoczesną strukturę Data Lakehouse, przenosząc ponad 800 tabel i tworząc wydajne modele danych (np. modele typu Silver w BigQuery na potrzeby web-analityki).

⮕ Obsługa przetwarzania strumieniowego (Real-time Data)

Zaprojektowaliśmy i wdrożyliśmy pipeline’y do strumieniowego przetwarzania logów z aplikacji mobilnej oraz serwisu bankowości internetowej. Pozwoliło to na bieżąco zasilać systemy CRM, modele Machine Learningowe (scoring i ryzyko) oraz automatyczne raporty dla Zarządu i regulatorów.

⮕ Przygotowanie pod innowacje AI i edukacja zespołu

Wdrożyliśmy interaktywne notatniki Databricks oraz moduły ML, tworząc środowisko gotowe na zasilanie modeli językowych (LLM) do odpytywania baz w języku naturalnym. Zapewniliśmy płynne przejście zespołu analityków do nowego środowiska bez przestojów w ich codziennej pracy.

3Qcode oficjalnym partnerem DataBricks w Polsce

Wspieramy organizacje w budowie nowoczesnych platform danych opartych na architekturze Lakehouse. Projektujemy, wdrażamy i optymalizujemy środowiska, które łączą inżynierię danych, analitykę i AI, umożliwiając szybsze podejmowanie trafnych decyzji biznesowych.

10x szybsze analizy

przyspieszenie przetwarzania danych w porównaniu do tradycyjnych baz, szybciej podejmujesz decyzje biznesowe

100% skalowalność

od małych projektów po petabajty danych w chmurze, bez ograniczeń infrastruktury

Wyniki

Wybór Azure Databricks okazał się strzałem w dziesiątkę – ta platforma to rynkowy benchmark dla firm, które chcą bezkompromisowo połączyć potężną wydajność z prostotą zarządzania danymi. Wdrożenie architektury Data Lakehouse wyeliminowało dotychczasowe wąskie gardła i otworzyło bankowi drzwi do natywnego wykorzystania potencjału AI oraz Machine Learningu. Efektem przejścia na Databricks jest nie tylko stabilne i bezpieczne środowisko, ale przede wszystkim wymierne, policzalne korzyści biznesowe:

⮕ -66% długu technologicznego

Rredukcja liczby wymaganych do utrzymania skryptów o 2/3 przy zachowaniu $100\%$ dotychczasowej funkcjonalności biznesowej.

⮕ 800+ zmigrowanych tabel

Skuteczny transfer potężnych zasobów danych (w tym tabel o rozmiarach sięgających kilkudziesięciu TB) do chmury.

⮕ 13 000 cząstkowych zadań

Zautomatyzowany i bezbłędny plan migracji wygenerowany przez autorskie narzędzie do analizy kodu.

⮕ 30–40% zysku wydajnościowego

Odciążenie zespołu analityków od rutynowej obsługi przestarzałego kodu i przekierowanie ich zasobów na rozwój nowych projektów AI i ML.

Kto za tym stoi?

Dawid przechodził wielotygodniowy proces certyfikacji podczas sesji online z przedstawicielem technicznym dostawcy. Weryfikowano mapowanie stawek, sprawdzano zapytania o dostępność oraz testowano procesy rezerwacji i anulacji (dla różnych konfiguracji uczestników i dzieci) na środowisku testowym. Projekt koordynował nasz CTO Kuba wraz z BDM.

Jak zmigrowaliśmy dane cyfrowe dużego banku do Azure Databricks?

Wyzwania i problemy do rozwiązania:

Jakub

Adam

Napisz, w czym
możemy Ci pomóc?

Jak zmigrowaliśmy dane cyfrowe dużego banku do Azure Databricks?

Wyzwania i problemy do rozwiązania:

Jakub

Adam

Napisz, w czym możemy Ci pomóc?

Napisz, w czym
możemy Ci pomóc?