Masowe przetwarzanie danych

Rozwiązanie klasy ETL (Extract, Transform and Load) umożliwiające m.in. tworzenie i modyfikację za pomocą graficznego designera pakietów przetwarzających duże zbiory danych z wielu źródeł, a także budowanie sieci przetwarzań sterujących kolejnymi krokami procesu.

Kluczowe cechy

Pakiety przetwarzania danych dostępne w postaci schematów blokowych łatwo modyfikowalnych w środowisku graficznym.

Dane wejściowe tworzone w oparciu o wielorakie źródła, począwszy od tabel bazodanowych, poprzez pliki (np. w formacie csv), aż po usługi sieciowe.

Możliwość budowania złożonych sieci przetwarzań, w ramach których poszczególne kroki przetwarzań mogą być uruchamiane równolegle lub wyzwalane zajściem określonych zdarzeń.

Dokonywanie płynnych transformacji struktury przetwarzanych danych w ramach kolejnych kroków przetwarzania, łączenie pól pochodzących z różnych strumieni danych, operowanie na plastycznych drzewach danych (o strukturze, która może się zmieniać w kolejnych krokach przetwarzania) itp.

Mechanizm budujący automatycznie statystykę danych przepływających przez pakiet przetwarzania.

Określanie dla różnych rodzajów błędnych danych poziomów granicznych, które wstrzymują dalsze przetwarzanie.

Mechanizm obsługujący błędy techniczne (m.in. w przypadku krótkotrwałych zaników połączeń) oraz w razie konieczności umożliwiający bezproblemowe wznowienie przetwarzania, jeśli błędu nie można obsłużyć w sposób automatyczny (np. brak miejsca na dysku).

Możliwość wielokrotnego użycia raz zbudowanej logiki przetwarzającej dane biznesowe w wielu procesach (mechanizm podpakietów).

Możliwość wygodnego udostępniania pakietów przetwarzania danych innym aplikacjom poprzez usługę sieciową.

Zobacz, co zyskasz korzystając z naszego rozwiązania

Czytelny dla użytkownika sposób prezentacji
Definicje pakietów przetwarzania danych prezentowane w przejrzysty dla użytkownika sposób.
Elastyczność i wygoda transformacji danych
Operowanie na drzewach danych zawierających listy podstruktur.
Pełna kontrola procesu przetwarzania danych
Uruchamianie pakietów w środowisku graficznym daje możliwość śledzenia przetwarzania danych w czasie rzeczywistym.
Wysoka wydajność obliczeń
Możliwość uzyskania znacznie większej wydajności przetwarzania danych w porównaniu do standardowego przetwarzania wsadowego poprzez odpowiednie zaprojektowanie procesu przetwarzania.
Optymalizacja procesów
Zwiększenie efektywności procesów poprzez namierzenie "wąskich gardeł" w przetwarzaniu danych.
Szybka analiza danych
Szybka i automatyczna analiza danych w bazie, np. ilości unikalnych wartości w danej kolumnie, ilości wartości pustych itp.
Zmniejszenie czasu i nakładu pracy przy realizacji zadań
Dostosowanie rozwiązania do wymagań związanych z codziennym przetwarzaniem oraz łączeniem różnego typu danych, koniecznością tworzenia raportów, zgłaszania błędów oraz problemów w trakcie wykonywania odpowiednich czynności.
Modyfikacje logiki przezroczyste dla innych aplikacji
Możliwość wykonywania modyfikacji w logice obliczeń bez konieczności wprowadzania dodatkowych zmian w aplikacjach korzystających z rozwiązania.

Zastosowania

Zautomatyzowany transfer danych pomiędzy systemami z dostosowaniem ich do nowej postaci.
Możliwość integracji danych różnych typów z wielu rozproszonych źródeł.
Wydajne przetwarzanie danych z jednej postaci do drugiej (np. plików csv do bazy grafowej).
Moduł Przetwarzania Danych jest częścią naszej autorskiej platformy – VSoft archITekt, przeznaczonej do tworzenia oprogramowania.
Czytaj więcej

W przypadku dodatkowych pytań

napisz do nas na podany adres mailowy
technologia@vsoft.pl