Masowe przetwarzanie danych

Rozwiązanie klasy ETL (Extract, Transform and Load), umożliwiające m.in. tworzenie i modyfikację, za pomocą graficznego designera, pakietów przetwarzających duże zbiory danych z wielu źródeł, a także budowanie sieci przetwarzań sterujących kolejnymi krokami procesu.

Kluczowe cechy

Pakiety przetwarzania danych dostępne w postaci łatwo modyfikowalnych w środowisku graficznym schematów blokowych.

Dane wejściowe tworzone w oparciu o wielorakie źródła, począwszy od tabel bazodanowych, poprzez pliki (np. w formacie CSV) aż po usługi sieciowe.

Możliwość budowania złożonych sieci przetwarzań, w ramach których poszczególne kroki przetwarzań mogą być uruchamiane równolegle lub być wyzwalane zajściem określonych zdarzeń.

Dokonywanie płynnych transformacji struktury przetwarzanych danych w ramach kolejnych kroków przetwarzania, łączenie pól pochodzących z różnych strumieni danych, operowanie na plastycznych drzewach danych (o strukturze, która może się zmieniać na kolejnych krokach przetwarzania) itp.

Mechanizm budujący automatycznie statystykę danych przepływających przez pakiet przetwarzania.

Określanie dla różnych rodzajów błędnych danych poziomów granicznych, które wstrzymują dalsze przetwarzanie.

Mechanizm obsługujący błędy techniczne (m.in. w przypadku krótkotrwałych zaników połączeń) oraz w razie konieczności umożliwiający bezproblemowe wznowienie przetwarzania jeśli błędu nie można obsłużyć w sposób automatyczny (np. brak miejsca na dysku).

Możliwość wielokrotnego użycia raz zbudowanej logiki przetwarzającej dane biznesowe w wielu procesach (mechanizm podpakietów).

Możliwość wygodnego udostępniania pakietów przetwarzaniach danych innym aplikacjom, poprzez usługę sieciową.

Zobacz co zyskasz korzystając z naszego rozwiązania

Czytelny dla użytkownika sposób prezentacji
Definicje pakietów przetwarzania danych prezentowane w przejrzysty dla użytkownika sposób.
Elastyczność i wygoda transformacji danych
Operowanie na drzewach danych zawierających listy podstruktur.
Pełna kontrola procesu przetwarzania danych
Uruchamianie pakietów w środowisku graficznym daje możliwość śledzenia w czasie rzeczywistym przetwarzania danych.
Wysoka wydajność obliczeń
Możliwość uzyskania znacznie większej wydajności przetwarzania danych w porównaniu do standardowego przetwarzania wsadowego przez odpowiednie zaprojektowanie procesu przetwarzania.
Optymalizacja procesów
Zwiększenie efektywności procesów poprzez namierzenie "wąskich gardeł" w przetwarzaniu danych.
Szybka analiza danych
Szybka i automatyczna analiza danych w bazie np. ilości unikalnych wartości w danej kolumnie, ilości wartości pustych itp.
Zmniejszenie czasu i nakładu pracy przy realizacji zadań
Dostosowanie rozwiązania do wymagań związanych z codziennym przetwarzaniem oraz łączeniem różnego typu danych, koniecznością tworzenia raportów, zgłaszania błędów oraz problemów w trakcie wykonywania odpowiednich czynności.
Modyfikacje logiki przezroczyste dla innych aplikacji
Możliwość wykonywania modyfikacji w logice obliczeń bez konieczności wprowadzania dodatkowych zmian w aplikacjach korzystających z rozwiązania.

Zastosowania

Zautomatyzowany transfer danych pomiędzy systemami z dostosowaniem ich do nowej postaci.
Możliwość integracji danych różnych typów z wielu rozproszonych źródeł.
Wydajne przetwarzanie danych z jednej postaci do drugiej (np. plików csv do bazy grafowej).
Moduł przetwarzania danych jest częścią naszej autorskiej platformy - VSoft archITekt, przeznaczonej do tworzenia oprogramowania.
Czytaj więcej

W przypadku dodatkowych pytań

napisz do nas na podany adres mailowy
technologia@vsoft.pl