Dziś firmy IT nie istnieją bez specjalistycznych narzędzi. Mogą to być komercyjne rozwiązania, opensource, jak również te tworzone wewnętrznie. W VSoft tworząc systemy dla naszych klientów bazujemy na wewnętrznej platformie low-code VSoft archITekt. To pomaga nam wdrażać rozwiązania szybciej, w sposób bardziej elastyczny i optymalny. Przez te 26 lat stworzyliśmy dziesiątki systemów dla wielu różnych branż. Dużym sukcesem jest fakt, że wiele z nich rozwijamy wspólnie z klientami. Opracowaliśmy procedury dotyczące równoległej pracy nad projektami, przez co taka współpraca przyspiesza rozwój intelektualny i biznesowy obu zespołów.
Migracja danych
Przy realizacji projektów dedykowanych praktycznie zawsze mamy do czynienia z migracją danych. Migracja odbywa się raz lub iteracyjnie kilka razy – wszystko zależy od rodzaju, ilości i jakości danych.
Tym razem nie było łatwo, migrowaliśmy kilka tysięcy polis ubezpieczeniowych ze starego systemu do naszego VSoft Insurance Platform.
Dane do importu zostały dostarczone w formie plików Excel, osobnych dla poszczególnych typów obiektów. Może ta liczba nie przeraża, jednak kiedy okazało się, że migracja dotyczy również wielu powiązanych z polisą obiektów, takich jak dodatkowe ryzyka, przedmioty, podmioty, których łącznie jest ponad 30 tysięcy, wówczas zrobiło się ciekawie.
Marzeniem przy każdej migracji jest dobra jakość danych, dostosowanie pól słownikowych w plikach wejściowych. Tym razem to było tylko marzenie.
Zaczęliśmy prace… na początek 99% rekordów było odrzuconych, szybko okazało się, że klient nie dostosował pól zgodnie z założeniami. Czasu było mało, stąd szybka decyzja, zmiany walidacji i poszło. Wykorzystaliśmy do migracji narzędzie klasy ETL o nazwie moduł masowego przetwarzania danych, który jest częścią platformy low-code VSoft archITekt. Dzięki zastosowaniu tego narzędzia czas wykonania migracji to około 4 minuty 30 sekund. Moduł wykorzystuje tzw. pakiety przetwarzania, które konfiguruje się w łatwy i szybki sposób za pomocą graficznego designera. Narzędzie na bieżąco generuje raporty jakościowe, informuje szczegółowo o postępie migracji i jakości danych, co ułatwia podejmowanie decyzji odnośnie kolejnych kroków migracyjnych w trakcie tego procesu.
Dlaczego skorzystaliśmy z narzędzia ETL – modułu masowego przetwarzania danych?
Ponieważ posiada wiele zalet i usprawnień przydatnych przy migracji danych, a przede wszystkim:
- wielokrotnie sprawdził się przy tego typu (i innych) zadaniach – to nowoczesna, wygrzana i niezawodna technologia;
- jest intuicyjny w obsłudze, bazuje na graficznym designerze, za pomocą którego konfiguruje się odpowiednio bloczki służące do wczytania danych wejściowych, transformacji danych oraz do zapisu danych przetworzonych;
- posiada czytelny i przyjazny graficzny designer, który ułatwia nie tylko implementację rozwiązania (tworzenie pakietów), ale również testowanie i diagnozowanie problemów (np. bloczki poglądu danych, graficzna prezentacja wczytanych logów z przetwarzania);
- zawiera Runner CLI, wystarczający do uruchamiania pakietu przetwarzania bez całej części graficznej – lżejsze i wystarczające rozwiązanie do uruchamiania na docelowym środowisku, ciekawe zarówno dla programistów jak i projektantów procesów;
- daje możliwość, w razie potrzeby, definiowania bardziej skomplikowanych operacji z użyciem wbudowanego języka programowania z podpowiadaniem składni;
- ma przyjazny sposób definiowania reguł walidacyjnych i obsługi błędów.
Â
W trakcie tej migracji moduł masowego przetwarzania danych platformy VSoft archITekt ułatwił realizację postawionego zadania.
Szczególnie pomocne okazały się takie usprawnienia, jak:
- graficzny designer – potrafi podpowiadać i ostrzegać przed nieoptymalnym połączeniem źródeł danych i miejsc zapisu (np. ostrzeżenie przed deadlockami na bazie);
- chwilowa zmiana formatu dla plików wejściowych z Excel na CSV – gdy pojawiła się taka potrzeba, udało się to zrealizować w ciągu sekundy poprzez zmianę typu bloczka wejściowego w module masowego przetwarzania;
- zmiana wymagań odnośnie walidacji danych – gdy w ostatnim momencie na testach pojawiła się taka konieczność, poradziliśmy sobie za pomocą paru kliknięć.
Â
Dziś bez narzędzi firmy IT nie istnieją. Mogą to być komercyjne narzędzia, opensource oraz te tworzone wewnętrznie. VSoft tworząc systemy bazuje na wewnętrznej platformie low-code VSoft archITekt. To nam pomaga tworzyć szybciej, elastyczniej, optymalniej. Przez te 26 lat stworzyliśmy wiele systemów dla wielu branż. Dużym sukcesem jest fakt, że wiele z nich rozwijamy wspólnie z klientami. Stworzyliśmy procedury jednoczesnego rozwoju, taka współpraca to duży rozwój intelektualny i biznesowych obu zespołów.
Masz przed sobą wyzwanie związane z migracją danych lub chcesz opowiedzieć, jak Ty radzisz sobie z podobnymi problemami? Napisz do mnie na LinkedIn.
