W świecie, gdzie dane stały się jednym z najcenniejszych zasobów, efektywne zarządzanie nimi to klucz do sukcesu. Jak zmienić chaos danych w uporządkowane, użyteczne informacje? Data Mesh (sieć danych) i Data Governance (ład danych) to nowoczesne podejścia, które nie tylko usprawniają zarządzanie danymi, ale także pomagają firmom w pełni wykorzystać ich potencjał. Dowiedz się, jak Data Products (produkty danych) rewolucjonizują tradycyjne podejście do pracy z informacjami.
Data Governance – w wolnym tłumaczeniu ład danych kojarzy się bardziej z wielkimi korporacjami i regulacjami niż zwinną firmą Business Intelligence, zamieniającą chaos danych w uporządkowane informacje.
Naturalne więc jest pytanie: skąd w QBICO zainteresowanie Data Governance?
QBICO powstało, aby wspierać Organizacje w przetwarzaniu i rozumieniu posiadanych danych. Przez kilkanaście lat realizacji różnych projektów z tego obszaru (hurtownie danych, narzędzia raportowe, systemy billingowe, wdrożenia systemów klasy Business Intelligence itp.) zdaliśmy sobie sprawę, że w przetwarzaniu danych aspekty biznesowe (procesy, właściwa komunikacja, zarządzania ryzykiem, zwiększenie bezpieczeństwa danych, dostępność, zgodność z przepisami, zarządzanie cyklem życia danych, zarządzanie metadanymi itp.) są nie mniej ważne niż technologia.
Z naszych doświadczeń wynika, że zastosowanie zasad Data Governance zdecydowanie zwiększa prawdopodobieństwo sukcesu wdrażanych przez nas projektów, a co więcej ułatwia ich bezproblemowe utrzymanie i wieloletni rozwój.
Zmiany w otoczeniu biznesowym i rozwój usług opartych o przetwarzanie danych sprawiają, że wciąż zwiększa się świadomość wartości danych dla organizacji. Ogromne bazy danych tworzone przez podmioty gospodarcze, mogą być zarówno błogosławieństwem jak i przekleństwem. Wiele zależy od tego, czy i jak jesteśmy w stanie wykorzystać dane, które wytworzyliśmy lub do których mamy dostęp.
Zanim rozpoczniemy pracę nad projektem, zadajemy klientowi pytania, które mają kluczowe znaczenie w zrozumieniu przez nas jego sytuacji – dzięki temu możemy wdrożyć rozwiązania adekwatne do jego potrzeb.
Przykładowo:
Często spotykamy się z tym, że wywołują one konsternację i zakłopotanie. Może to wskazywać na to, że obszar wykorzystania i przetwarzania danych pozostaje w dużym stopniu niezabezpieczony, a potencjał w nich drzemiący – niewykorzystany.
Uświadomienie sobie tego, jak ważnym zasobem są dane często sprawia, że Klienci poszukują sposobów na zagospodarowanie tego obszaru. Bazując na swoim doświadczeniu, QBICO proponuje w takiej sytuacji wdrożenie Data Governance – koncepcji zarządzania, maksymalizującej wykorzystanie danych w organizacji.
Istnieje wiele mniej lub bardziej skomplikowanych definicji tworzonych przez teoretyków Data Governance. Dla nas jako praktyków najlepiej przemawia propozycja, której autorką jest Laura Madsen, a którą najkrócej można zamknąć w następującej definicji:
Data Governance to proces zarządzania danymi, który ma realizować 4 podstawowe cele:
Produkt danych rozumiemy jako zbiór komponentów cyfrowych przetwarzających dane analityczne z określonej domeny (obszaru w organizacji) i udostępniający je konsumentom.
Przykłady produktów danych:
Jak widać powyżej produkty danych mogą pełnić dwojaką rolę: być użyteczne samodzielnie lub stanowić składnik innych, bardziej złożonych produktów.
Przykładowo: jedna z wizualizacji dostępnych w dashboardzie menadżerskim może czerpać dane z tabeli o pracownikach. Z kolei dane o pracownikach gromadzone przez tabelę pracowników a zawarte w systemie kadrowo-płacowym mogą być dostępne za pomocą interfejsu danych.
Przełom w myśleniu związany jest z następującymi aspektami:
Konsekwencją wprowadzenia pojęcia Produkt danych jest powstanie Data Mesh (sieć danych).
Każdy produkt danych jest traktowany jako niezależny węzeł sieci. Oznacza to, że dane są zdecentralizowane – odpowiedzialność za nie przynależy do domen. Skutecznie zarządzać danymi będą natomiast dedykowane zespoły. Dzięki temu produkty danych są obsługiwane przez osoby z nimi związane. Wpływa to pozytywnie na skalowalność i elastyczność oraz przyspiesza procesy analityczne i decyzyjne.
Funkcjonowanie produktów w ramach Data Mesh umożliwia ewolucyjne tworzenie kolejnych nowych produktów.
Przykładowo: dane o pracownikach łączone z kilku systemów do produktu danych ‘tabela pracowników’ w domenie HR. Staje się on źródłem danych dla produktu ‘raport rezerwy na niewykorzystane urlopy’ w domenie Controlling. Z kolei ten produkt jest źródłem dla podsumowania w ‘raporcie wykonania budżetu’ funkcjonującego w domenie Zarząd.
To podejście pozwala niemal na składanie różnych elementów z gotowych modułów, zamiast bezpośredniego przetwarzania danych u źródła. W podanym przykładzie, przy tworzeniu ‘raportu wykonania budżetu’, nie musimy sięgać do systemu urlopowego po informacje o niewykorzystanych dniach urlopu ani do systemu płacowego po dane o wynagrodzeniach. Korzystamy z gotowego półproduktu, jakim jest ‘raport rezerwy na niewykorzystane urlopy’. Dzięki temu oszczędzamy czas i mamy pewność, że korzystamy z prawidłowych danych. Dane źródłowe często są przechowywane w specyficznej formie, najlepiej zrozumiałej dla specjalistów w danej dziedzinie. Z punktu widzenia biznesowego, np. nazewnictwo kolumn może być mniej intuicyjne i prowadzić do nieporozumień.
Wdrożenie Data Mesh i Data Governance dzielimy w praktyce zwykle na 4 etapy:
1. Definicja zakresu i celów
Celem jest inwentaryzacja danych w domenach działalności organizacji.
Efektem prac powinien być rejestr zbiorów danych w podziale na domeny.
Poniżej fragment rejestru dla przykładowej firmy:
Domena | Właściciel biznesowy | Zbiory danych | Cel gromadzenia i przetwarzania danych | Narzędzia do przetwarzania, analizy i wizualizacji |
---|---|---|---|---|
Finanse i Controlling | Dział controllingu | Przychody i koszty w ujęciu księgowym | Analiza bieżących wyników | System finansowo-księgowy, Power BI, time tracker |
Budżet (plany i wykonania) | Weryfikacja planów finansowych | |||
Pracownik | HR | Wynagrodzenia, urlopy i absencje, oceny okresowe, dane rekrutacyjne | Naliczanie wynagrodzeń, planowanie nieobecności, weryfikacja zatrudnienia | hrNest, time tracker, SDF, system kadrowo-płacowy |
Analiza czasu pracy | Weryfikacja i planowanie prac |
2. Identyfikacja produktów i ról
Celami są:
Efektem prac powinna być zmiana kultury organizacyjnej w zakresie zarządzania danymi.
Przykładowe produkty danych:
Pulpit Menedżerski | Raport statyczny | Raport ad-hoc | Model uczenia maszynowego | API do eksportu danych |
---|---|---|---|---|
Zbiór pulpitów używanych przez Zarząd | Zbiór predefiniowanych raportów z wynikami sprzedaży w ujęciu kwartalnym, miesięcznym itp. | Tabela przestawna w Excelu z wynikami audytów bezpieczeństwa w przedsiębiorstwie | Model przewidujący odejście klienta na postawie interakcji z Biurem Obsługi Klienta | Moduł programistyczny udostępniający stany magazynowe zewnętrznym aplikacjom klienckim. |
Przykładowe role występujące w produktach opartych o dane:
Właściciel produktu | Konsument | Producent danych | Data product developer | Data custodian |
---|---|---|---|---|
Osoba odpowiedzialna za dane i powstały z nich produkt | Osoba korzystająca z danych dostępnych w produkcie | Osoba odpowiedzialna za zasilanie produktu danymi | Osoba odpowiedzialna za wytworzenie produktu | Przedstawiciel IT odpowiedzialny za administrowanie i utrzymanie danych i produktu, który z nich powstał |
3. Definicje i procedury
Celami są:
Efektem pracy powinna być gotowość do wdrażania produktów danych.
Przykładowa macierz interakcji (RACI)* pomiędzy rolami zdefiniowanymi w etapie 2:
Właściciel produktu | Konsument | Producent danych | Data product developer | Data custodian | |
---|---|---|---|---|---|
Zdefiniowanie nowych wymagań biznesowych | A | C | C | I | I |
Zdefiniowanie nowych wymagań technicznych | A | C | C | I | R |
Zmiana modelu danych | A | I | C | R | C |
Zmiana źródeł danych | A | I | C | C | C |
Skierowanie zmian do realizacji | A | C | C | I | I |
Testowanie nowej wersji produktu | A | R | C | I | I |
Wdrażanie nowej wersji produktu | A | I | I | I | R |
*Macierz interakcji (RACI)
Narzędzie przydatne w określaniu poziomu odpowiedzialności i ról w zespołach projektowych. Zwykle ma postać tabeli, w której nagłówki określają osoby lub role, natomiast w pierwszej kolumnie znajduje się lista zadań.
Zawartość komórki znajdującej się na przecięciu osoba/rola i zadanie określa rolę danej osoby przy realizacji wskazanego zadania.
Do wyboru są:
R (responsible) – osoba bezpośrednio odpowiedzialna za zadanie. Wskazane jest, aby dla każdego zadania była tylko jedna osoba z tą rolą.
A (accountable) – osoba nadzorująca prace, niekoniecznie wykonawca. Zwykle jest to kierownik projektu lub przełożony wyższego szczebla, odpowiedzialny za zatwierdzenie prac. Wskazane jest, aby dla każdego zadania była jedna osoba z tą rolą.
C (consulted) – kontrybutor, osoba dokonująca przeglądu i zatwierdzająca pracę przed jej dostarczeniem. W każdym zadaniu może być więcej niż jeden kontrybutor.
I (informed) – osoba informowana o postępie prac lub ich zakończeniu. Dla każdego zadania może być przypisane więcej niż jedna osoba z tą rolą.
4. Automatyzacja i usprawnianie
Celami są:
Efektem pracy powinien być w pełni wdrożony Data Governance.
Poniżej przykładowe metryki użycia produktów danych:
Nazwa | Opis |
---|---|
Uruchomienia | Liczba uruchomień w okresie |
Użytkownicy | Liczba unikalnych użytkowników |
Sesja | Średni czas trwania sesji |
Rekordy | Liczba dodanych rekordów |
Czas | Czas generowania raportu rocznego |
Źródła | Liczba źródeł danych |
Przykładowe metryki jakości danych:
Nazwa | Opis |
---|---|
Poprawność | Współczynnik błędu=liczba wykrytych błędów/liczba uruchomionych testów automatycznych |
Kompletność | Kompletność kolumn = liczba rekordów z kolumnami null / liczba rekordów |
Spójność | Spójność = liczba niespójnych rekordów / liczba rekordów |
Unikalność | Unikalność = liczba unikalnych rekordów / liczba rekordów |
Automatyzacja monitorowania jakości danych i użycia produktów ułatwia wyciąganie wniosków dotyczących użyteczności i wiarygodności. Również w tym obszarze QBICO wspiera Klientów tworząc intuicyjne narzędzia do raportowania oparte o hurtownie danych i Power BI. Dzięki temu możliwe są dalsze usprawnienia i ciągła poprawa wykorzystania danych w praktyce.
Data Governance, Data Mesh i Data Product to koncepcje odbiegające od tradycyjnego rozumienia obsługi i wykorzystania danych w organizacji. Zmiana podejścia pozwala jednak na pełne wykorzystanie potencjału drzemiącego w danych, co zwykle skutkuje możliwością szybszego podejmowania trafnych decyzji biznesowych.
Ułożenie procesu i wdrożenie Data Governance w praktyce nie należy do łatwych zadań, ale korzyści z jego funkcjonowania są nie do przecenienia. Projekty z tym związane zwykle wymagają zaangażowania wielu działów organizacji. W związku z tym wskazane jest, aby zarządzający projektem miał doświadczenie i spójną wizję celu zrozumiałego dla wszystkich domen.
Na Państwa życzenie QBICO podejmie się tego zadania, wykorzystując dotychczasowe doświadczenie i dostosowując się do Państwa potrzeb.