ETL/ELT – integracja danych z zewnętrznych źródeł w systemach analitycznych

QBICO oferuje usługę wdrożenia oprogramowania pozwalającego na połączenie do zewnętrznego źródła danych (które będzie cyklicznie pobierało dane do hurtowni danych (ang. data warehouse), jeziora danych (ang. data lake), sieci danych (ang. data mesh) lub bezpośrednio narzędzia Business Intelligence, takiego jak Power BI (poprzez zasilenie modelu semantycznego – ang. semantic model, zwanego wcześniej zbiorem danych ang. data set). Niezależnie czy dane udostępnione są w formie API (JSON, SOAP, inne), plików CSV czy widoków SQL – (ODBC, JDBC, ADO.NET), będą się automatycznie odświeżały zgodnie z przyjętym harmonogramem.

Jak działa integracja danych biznesowych?

Każda firma codziennie generuje niezliczoną ilość danych. Często dane te przechowywane są w wielu niezależnych od siebie miejscach. Z tego powodu niemożliwe jest efektywne ich przetwarzanie i zestawianie ze sobą. Integracja danych źródłowych do jednego systemu skutecznie rozwiązuje ten problem, pozwalając na zebranie ich w jednym miejscu i przygotowanie do późniejszej analizy. Dzięki naszej usłudze możliwe jest importowanie danych z różnych systemów i źródeł, takich jak:

  • systemy CRM,
  • zewnętrzne API,
  • relacyjne bazy danych,
  • bazy danych NoSQL.

Integrację danych warto stosować w wielu branżach – finansowej, telekomunikacyjnej, energetycznej, ale także w usługach medycznych, nauce czy sektorze publicznym. W każdym przypadku integracja danych pozwala na sprawniejsze zarządzanie danymi klientów, tworzenie lepszych strategii biznesowych (w tym także marketingowych) i zwiększanie jakości świadczonych usług.

Dlaczego warto zdecydować się na łączenie danych z różnych źródeł?

Integracja danych z różnych źródeł to pierwszy krok do ich analizy i pozyskania użytecznych informacji. Efektem jest lepszy ogląd na funkcjonowanie firmy i możliwość dostrzeżenia zależności, których nie sposób byłoby zauważyć, analizując dane w tradycyjny sposób. Dzięki temu można podjąć optymalne decyzje biznesowe – ograniczać działalność firmy w nieefektywnym obszarze, który nie przynosi zysków i zmaksymalizować perspektywiczne kierunki rozwoju.

Jak połączyć zewnętrzne dane z Power BI lub hurtownią?

Tego rodzaju usługa integracji danych jest często realizowana w ramach procesu informatycznego zwanego potokiem danych (ang. Data pipeline). Standardowo proces integracji danych przebiega z użyciem jednego z dwóch podejść:

  • proces ETL (ang. Extract Transform Load) – dane po pobraniu są najpierw transformowane, a później ładowane do hurtowni danych. Narzędzia ETL pozwalają na odpowiednie przygotowanie danych do dalszej analizy. Współczesne rozwiązania pozwalają na działanie w czasie rzeczywistym, co nie było możliwe, jeśli chodzi o starsze programy ETL;
  • proces ELT (ang. Extract Load Transform) – dane po pobraniu są najpierw ładowane do jeziora danych (ang. data lake) a później ewentualnie transformowane, na przykład za pomocą Power Query przez analityków biznesowych. Przenoszenie danych ma zatem miejsce przed ich przetwarzaniem.

Dane pobrane z zewnętrznego źródła są zazwyczaj dalej przetwarzane tak, aby dostosować je do wymogów analitycznych i procesów biznesowych. Przez ostatnie 17 lat łączyliśmy się z wieloma systemami od zewnętrznych dostawców. Niektóre z nich zostały odzwierciedlone w poniższej tabeli:

Nazwa programu Producent Użyta technologia
Subiekt InsERT S.A. SQL .Net/C#
Probit Probit Sp. z o.o. SQL SSIS
wfirma Web INnovative Software Sp. Z o.o. SQL .Net/C#
WFMag / Wapro KID Sp. Z o.o. SQL .Net/C#
Personio API Personio SE & Co. KG SQL .Net/C#
Productive The Productive Company Inc. SQL .Net/C#
ERP Optima Comarch S.A. ADF
ERP XL Comarch S.A. SQL .Net/C#
REGON API Główny Urząd Statystyczny – GUS SQL .Net/C#
NBP Web API Narodowy Bank Polski – NBP ADF
API ShipX InPost Sp. Z o.o. SQL .Net/C#
Developer UPS API United Parcel Service – UPS SQL .Net/C#
freshdesk Developer API Freshworks Inc. SQL .Net/C#
freshsales CRM API Freshworks Inc. SQL .Net/C#
TimeCamp API TimeCamp S.A. SQL .Net/C#
ClickUp API ClickUp SQL .Net/C#

Dla kogo jest usługa integracji zewnętrznych źródeł danych w systemach analitycznych?

Usługa integracji zewnętrznych źródeł danych w systemach analitycznych jest dla wszystkich firm, które mają potrzebę zamienić dane ukryte w źródłowych systemach dziedzinowych w informację wizualizowaną w hurtowni danych lub bezpośrednio z użyciem Power BI i z innymi aplikacjami klasy Business Intelligence (Tableau, Qlik, Microstrategy itp.).

Model sprzedaży

Usługę wdrożenia możemy zrealizować zarówno w modelu fixed price, jak i w ramach godzin w abonamencie. Aby dowiedzieć się więcej, skontaktuj się z nami.

Najczęściej zadawane pytania

Tak, realizujemy połączenia zarówno do systemów popularnych dostawców, jak i systemów pisanych na zamówienie, nawet gdy nie posiadają aktualnej dokumentacji technicznej. Zgłoś się do nas po szczegóły.

Technologie, w których najczęściej pracujemy: SQL, .NET, PowerQuery. Na życzenie Klienta możemy użyć innych wskazanych technologii.

To zależy od wymagań biznesowych i technicznych. Jeśli dane mają być dostępne on-line, to zalecamy skorzystania z technologii asynchronicznej, takiej jak Rabit MQ.

Każdy etap pobierania danych jest szczegółowo rejestrowany w tabelach audytowych, gdzie gromadzone są szczegółowe informacje diagnostyczne na temat czasów przetwarzania, liczby przetworzonych rekordów oraz ewentualnych błędów i anomalii napotkanych podczas pobierania danych z systemu źródłowego.

Aplikacje uruchamiane w trybie cyklicznym w pierwszej kolejności sprawdzają możliwość połączenia. Jeśli wystąpi błąd, jest on rejestrowany w pliku z logami aplikacji oraz tabeli audytowej. Istnieje możliwość skonfigurowania dodatkowych powiadomień, które będą wysyłane mailem, publikowane na Slack lub innym komunikatorze.

Tak, pobierając dane najczęściej stosujemy jedno z tych dwóch podejść.

Przygotowujemy procesy pobierające dane w dwóch trybach. Należy jednak pamiętać, że realizując pobierania danych w trybie różnicowym, trzeba być przygotowanym na pierwsze pobranie w trybie pełnym oraz posiadanie możliwości pobrania pełnego, gdy nastąpi desynchronizacja trybu różnicowego. Realizując wiele projektów, wypracowaliśmy rozwiązania działające według najlepszych praktyk, które pozwalają na przełączanie się między tymi dwoma trybami.

Zachęcamy do wypełnienia formularza kontaktowego znajdującego się poniżej. Na pewno pomożemy 🙂

Zainteresowała Cię nasza oferta?

Jeśli chcesz dowiedzieć się więcej o integracji zewnętrznych źródeł danych w systemach analitycznych w swojej firmie, wyślij wiadomość przez poniższy formularz kontaktowy.