QBICO oferuje usługę wdrożenia oprogramowania pozwalającego na połączenie do zewnętrznego źródła danych (które będzie cyklicznie pobierało dane do hurtowni danych (ang. data warehouse), jeziora danych (ang. data lake), sieci danych (ang. data mesh) lub bezpośrednio narzędzia Business Intelligence, takiego jak Power BI (poprzez zasilenie modelu semantycznego – ang. semantic model, zwanego wcześniej zbiorem danych ang. data set). Niezależnie czy dane udostępnione są w formie API (JSON, SOAP, inne), plików CSV czy widoków SQL – (ODBC, JDBC, ADO.NET), będą się automatycznie odświeżały zgodnie z przyjętym harmonogramem.
Każda firma codziennie generuje niezliczoną ilość danych. Często dane te przechowywane są w wielu niezależnych od siebie miejscach. Z tego powodu niemożliwe jest efektywne ich przetwarzanie i zestawianie ze sobą. Integracja danych źródłowych do jednego systemu skutecznie rozwiązuje ten problem, pozwalając na zebranie ich w jednym miejscu i przygotowanie do późniejszej analizy. Dzięki naszej usłudze możliwe jest importowanie danych z różnych systemów i źródeł, takich jak:
Integrację danych warto stosować w wielu branżach – finansowej, telekomunikacyjnej, energetycznej, ale także w usługach medycznych, nauce czy sektorze publicznym. W każdym przypadku integracja danych pozwala na sprawniejsze zarządzanie danymi klientów, tworzenie lepszych strategii biznesowych (w tym także marketingowych) i zwiększanie jakości świadczonych usług.
Integracja danych z różnych źródeł to pierwszy krok do ich analizy i pozyskania użytecznych informacji. Efektem jest lepszy ogląd na funkcjonowanie firmy i możliwość dostrzeżenia zależności, których nie sposób byłoby zauważyć, analizując dane w tradycyjny sposób. Dzięki temu można podjąć optymalne decyzje biznesowe – ograniczać działalność firmy w nieefektywnym obszarze, który nie przynosi zysków i zmaksymalizować perspektywiczne kierunki rozwoju.
Tego rodzaju usługa integracji danych jest często realizowana w ramach procesu informatycznego zwanego potokiem danych (ang. Data pipeline). Standardowo proces integracji danych przebiega z użyciem jednego z dwóch podejść:
Dane pobrane z zewnętrznego źródła są zazwyczaj dalej przetwarzane tak, aby dostosować je do wymogów analitycznych i procesów biznesowych. Przez ostatnie 17 lat łączyliśmy się z wieloma systemami od zewnętrznych dostawców. Niektóre z nich zostały odzwierciedlone w poniższej tabeli:
| Nazwa programu | Producent | Użyta technologia |
|---|---|---|
| Subiekt | InsERT S.A. | SQL .Net/C# |
| Probit | Probit Sp. z o.o. | SQL SSIS |
| wfirma | Web INnovative Software Sp. Z o.o. | SQL .Net/C# |
| WFMag / Wapro | KID Sp. Z o.o. | SQL .Net/C# |
| Personio API | Personio SE & Co. KG | SQL .Net/C# |
| Productive | The Productive Company Inc. | SQL .Net/C# |
| ERP Optima | Comarch S.A. | ADF |
| ERP XL | Comarch S.A. | SQL .Net/C# |
| REGON API | Główny Urząd Statystyczny – GUS | SQL .Net/C# |
| NBP Web API | Narodowy Bank Polski – NBP | ADF |
| API ShipX | InPost Sp. Z o.o. | SQL .Net/C# |
| Developer UPS API | United Parcel Service – UPS | SQL .Net/C# |
| freshdesk Developer API | Freshworks Inc. | SQL .Net/C# |
| freshsales CRM API | Freshworks Inc. | SQL .Net/C# |
| TimeCamp API | TimeCamp S.A. | SQL .Net/C# |
| ClickUp API | ClickUp | SQL .Net/C# |
Usługa integracji zewnętrznych źródeł danych w systemach analitycznych jest dla wszystkich firm, które mają potrzebę zamienić dane ukryte w źródłowych systemach dziedzinowych w informację wizualizowaną w hurtowni danych lub bezpośrednio z użyciem Power BI i z innymi aplikacjami klasy Business Intelligence (Tableau, Qlik, Microstrategy itp.).
Usługę wdrożenia możemy zrealizować zarówno w modelu fixed price, jak i w ramach godzin w abonamencie. Aby dowiedzieć się więcej, skontaktuj się z nami.
Tak, realizujemy połączenia zarówno do systemów popularnych dostawców, jak i systemów pisanych na zamówienie, nawet gdy nie posiadają aktualnej dokumentacji technicznej. Zgłoś się do nas po szczegóły.
Technologie, w których najczęściej pracujemy: SQL, .NET, PowerQuery. Na życzenie Klienta możemy użyć innych wskazanych technologii.
To zależy od wymagań biznesowych i technicznych. Jeśli dane mają być dostępne on-line, to zalecamy skorzystania z technologii asynchronicznej, takiej jak Rabit MQ.
Każdy etap pobierania danych jest szczegółowo rejestrowany w tabelach audytowych, gdzie gromadzone są szczegółowe informacje diagnostyczne na temat czasów przetwarzania, liczby przetworzonych rekordów oraz ewentualnych błędów i anomalii napotkanych podczas pobierania danych z systemu źródłowego.
Aplikacje uruchamiane w trybie cyklicznym w pierwszej kolejności sprawdzają możliwość połączenia. Jeśli wystąpi błąd, jest on rejestrowany w pliku z logami aplikacji oraz tabeli audytowej. Istnieje możliwość skonfigurowania dodatkowych powiadomień, które będą wysyłane mailem, publikowane na Slack lub innym komunikatorze.
Tak, pobierając dane najczęściej stosujemy jedno z tych dwóch podejść.
Przygotowujemy procesy pobierające dane w dwóch trybach. Należy jednak pamiętać, że realizując pobierania danych w trybie różnicowym, trzeba być przygotowanym na pierwsze pobranie w trybie pełnym oraz posiadanie możliwości pobrania pełnego, gdy nastąpi desynchronizacja trybu różnicowego. Realizując wiele projektów, wypracowaliśmy rozwiązania działające według najlepszych praktyk, które pozwalają na przełączanie się między tymi dwoma trybami.
Zachęcamy do wypełnienia formularza kontaktowego znajdującego się poniżej. Na pewno pomożemy 🙂
Jeśli chcesz dowiedzieć się więcej o integracji zewnętrznych źródeł danych w systemach analitycznych w swojej firmie, wyślij wiadomość przez poniższy formularz kontaktowy.
