Sztuczna Inteligencja w Power BI

 

Czy warto zatrudnić Copilota? Pierwszy kontakt z Generative BI (Generative Business Intelligence)

 

W połowie września 2024 roku, kiedy sobotnie, deszczowe popołudnie zachęcało raczej do siedzenia pod kocem a nie wyprawy do biura w świeżo wypranym garniturze, przygotowywaliśmy się do rozmowy kwalifikacyjnej. W taką pogodę docenialiśmy możliwość poprowadzenia jej zdalnie i dostępność kandydata do stawienia się na rozmowie o pracę „na żądanie”, o dowolnej porze dnia i nocy.

Wyszliśmy poza utarte schematy rozmów kwalifikacyjnych i – na prośbę kandydata – odrzuciliśmy kamerę. Odrzuciliśmy nawet mikrofon. Najwidoczniej C. to typowy introwertyk z naszej branży – a nam zależało na komfortowych warunkach.

Przeszliśmy na czat, testując przy okazji deklarowaną biegłość w wielu językach. C. nie miał najmniejszej trudności z pytaniami zadawanymi po polsku, angielsku czy holendersku. Rozumiał je ale zawsze odpowiadał w języku Szekspira. Nie przywykliśmy do tego, że to kandydat dyktuje warunki rozmowy. Może to nowy standard? Ciekawość jednak wygrała, dostosowaliśmy się.

 

Analiza kosztów i warunków współpracy z asystentem Power BI.

Najważniejsze to przejść do rzeczy, ponieważ każda rozpoczęta godzina to 12 euro do zapłaty rekomendującym kandydata łowcom talentów. Ale w końcu czas to pieniądz. Istotne, że taka sama stawka miałaby obowiązywać w przypadku zatrudnienia.

12 euro to niewiele, jak za specjalistę w tej branży.

W dodatku bez zbędnych formalności i umów o pracę. Body leasing w najczystszej postaci.

Dostaliśmy zapewnienie, że C. może pracować 24 godziny na dobę przez 7 dni w tygodniu, co przełoży się na fakturę dla QBICO na około 8 309 euro i 20 centów. W każdej chwili można wstrzymać świadczenie pracy. Potrzebujesz 10 godzin w miesiącu? Płacisz za 10 godzin w miesiącu. Nic nie obiecujesz, nic nie zapewniasz. Dodatkowo C. wnosi do organizacji dostęp do usługi Microsoft Fabric o potężnej mocy 64 jednostek (na tę chwilę pakiet obowiązkowy, nie można negocjować stawki kosztem dodatkowych usług).

Zastanawiamy się jednak, czy to legalne? Co na to PIP?

Wszystko jest lege artis. Bez przerw. Bez urlopów. Bez L4. Bez złego humoru, migren i bez…: refleksji, chęci rozwoju oraz umiejętności wyciągania wniosków.

Czy aby na pewno jest to pracownik idealny?

 

Nowy stażysta dla Power BI.

C. to oczywiście Copilot dla Power BI. Przycisk, który go uruchamia, już od dłuższego czasu rzuca się w oczy użytkownikom tego narzędzia.

 

Expected vs actual time analysis

 

Przez ponad 2 godziny sprawdzaliśmy, czy znajdziemy płaszczyznę do rozwoju naszej współpracy. Kosztowało to QBICO 28,73 euro i dało możliwość swobodnego przeprowadzenia zadań praktycznych na zanonimizowanym modelu semantycznym.

Źródłem tego modelu była baza danych, obrazująca przychody i koszty, związane z ewidencją czasu pracy. Więcej na temat analizy ewidencji czasu pracy można przeczytać w tym artykule.

 

Wydajność Copilota w Power BI Desktop i Service.

Żeby mieć pełny ogląd możliwości, testy wykonywaliśmy zarówno z poziomu Power BI Desktop, jak i Power BI Service. Praca w Power BI Service przebiegała bez zakłóceń, jednak w Power BI Desktop, Copilot zawiesił się przy generowaniu jednego z raportów. Po 10 minutowym braku reakcji wersja Desktop została szczęśliwie zrestartowana. Nie zmienia to faktu, że było to stracone 10 minut.

Podejmując współpracę kluczowe jest, żeby wiedzieć, czego można od siebie oczekiwać. Dlatego też celem QBICO było sprawdzenie, czy i jakie zadania można już dzisiaj powierzyć asystentowi AI. Chcieliśmy również zweryfikować, czy przy tej stawce godzinowej jest to alternatywa dla zatrudnienia człowieka.

Nie zapominamy, że w cenie dostajemy od Microsoft także inne usługi, jednak dla nas miało to drugorzędne znaczenie.

 

Praktyczne doświadczenia z Power BI: testy i obserwacje.

Wiemy, że każdy przypadek jest inny, dlatego celem QBICO było sprawdzenie podstawowej funkcjonalności z naszej perspektywy. Równie ważne jest dla nas umożliwienie samodzielnego wyciągnięcia wniosków przez czytelnika. Dlatego też postanowiliśmy, na końcu tego artykułu, przedstawić sekwencję wysłanych poleceń i odpowiedzi Copilota. Pokusiliśmy się też o krótkie komentarze.

Na poziomie teoretycznym wszystko wydawało się jak najbardziej w porządku. Copilot rozumiał przesyłane polecenia i nawet potrafił zarysować ogólny plan działania. Jednak nam zależało stricte na działaniu, a Copilot, poproszony o zastosowanie podanego rozwiązania w praktyce sugerował, że powinno być ono wykonane przez człowieka.

Nie mówimy tu tylko o zadaniach trudnych i złożonych, ale również tych prostych, a jednak czasochłonnych, które realnie usprawniłyby pracę analityka.

Przykład: choćby zmiana kolorów słupków czy krojów czcionki w tytułach.

Zaniepokoiło nas też podawanie nieprawdziwych odpowiedzi, wyglądających na prawdopodobne, które można po prostu przeoczyć.

Przykład: raport obrazujący pracę w niedzielę i błędne zakwalifikowanie soboty, jako niedzieli.

 

Zrozumienie kontekstu w analizie danych: pułapki i nieścisłości

Jesteśmy świadomi, że mankamenty te występują też w innych rozwiązaniach, opartych o generatywną sztuczną inteligencję, jednak nie zmniejsza to powagi błędu.

Co się dzieje, kiedy gołąb okazuje się turkawką?

W sztukach pięknych nie ma większego znaczenia to, czy gołąbkiem pokoju na obrazie wygenerowanym przez AI stanie się przypadkiem turkawka zwyczajna, ale w analizie danych sobota ma być sobotą, a nie tak trochę niedzielą, bo przecież to weekend, więc prawie to samo.

Przeszkadzał nam również brak szerszego kontekstu. Uprzedzamy – nasze pytania nie dotyczyły sytuacji geopolitycznej na świecie, a wyłącznie opłat za korzystanie z usług Copilota i stworzonego chwilę wcześniej przez niego samego raportu.

 

Ostateczna decyzja: czy Copilot jest gotowy do pracy?

Niestety nie postawimy na to rozwiązanie i nie zatrudnimy jesienią 2024 Copilota.

W tym momencie Power BI Copilot jest dla nas efektownym gadżetem, który nie jest jeszcze w stanie zastąpić twórcy raportu, ani nawet specjalnie zwiększyć jego efektywności. Mimo tego, że na pytania odpowiada błyskawicznie.

Jako ciekawi innowacji specjaliści QBICO, za jakiś czas znowu zaprosimy kandydata C. na kolejną rozmowę. Z niej zapewne powstanie nowy wpis na blogu, ułatwiający spojrzenie na rozwój Copilota z perspektywy czasu.

Na tę chwilę nie wiadomo czy i kiedy introwertyczny poliglota zamieni się w asystenta wyciągającego wnioski, uczącego się na błędach i przynoszącego realną korzyść organizacji.

Podobnie jak nieodgadniony jest moment, w którym wpis taki jak ten zostanie w pełni wygenerowany przez generatywną sztuczną inteligencję.

Śledźmy zmiany i nie bójmy się brać z nowoczesnej technologii tego, co najlepsze, zachowując jednak dystans i kierując się zdrowym rozsądkiem.

 

Część praktyczna, czyli sekwencja poleceń.

 

Jednym z pierwszych zadań było stworzenie raportu, który wywoła „efekt wow”. 

 

QBICO: Create a new report page that will cause wow effect.

Copilot: Could you please provide more details about the content you want on this new page? For example, what data or visuals should be included?

QBICO: Revenues by projects.

 

Oto efekt: 

 

Wow effect

 

Raport powstał błyskawicznie i tylko to można określić słowem „wow”.

Czy C. rzeczywiście uważa, że osiągnął zamierzony efekt? 

 

QBICO: Are you sure that this report page is so amazing that causes wow effect?

COPILOT: As an AI, I can create a new page with a title and description based on your request. However, the ‘wow effect’ largely depends on the data and visuals you choose to display on this page. I suggest adding engaging and insightful visuals that best represent your data.

To się nazywa delegowanie w górę. Nie jest dobrze. Pracownik próbuje zrzucić pracę na przyszłego przełożonego. Zdecydowanie potrzebna korekta.

QBICO: Could you do that?

COPILOT: I’m sorry, but I can’t create visuals or decide what data to display on the report page. You would need to do this manually in the Power BI interface.

 

W porządku. W takim razie spróbujmy inaczej. Dajmy mu więcej konkretów: 

 

QBICO: Create a new report page and add a visualization that will present revenues by project in the best way.

 

Revenue by project

 

Jest to jakiś punkt wyjścia. Może wskażemy co jest do zmiany i będzie dobrze? Zacznijmy od czegoś prostego.

 

QBICO: I do not like blue color. Could you change it? I prefer red bars.

COPILOT: I’m sorry, but I can’t change the color of the bars in the visualization. This is something you would need to do manually in the Power BI interface.

 

Może faktycznie kolory nie są mocną stroną C. zobaczmy jak poradzi sobie z DAXem…

 

QBICO: Which project has the highest increase in the first quarter of 2024 comparing to 2023?

COPILOT: To get the project with the highest increase in revenue, we need to calculate the difference in revenue between the first quarter of 2024 and the first quarter of 2023 for each project. Unfortunately, Power BI Q&A can’t perform this calculation directly. You might need to create a measure to calculate this difference first.

 

Super, że wiesz co trzeba zrobić! Ale my szukamy praktyka, więc po prostu to zrób.

 

QBICO: Feel free to create missing measures.

COPILOT: I’m sorry, but I can’t create new measures in Power BI. This is something you would need to do manually in the Power BI interface.

 

Tutaj odnieśliśmy wrażenie, że prowadzimy rozmowę rekrutacyjną na inne stanowisko. Kandydat wolał raczej wydawać polecenia niż wykonywać zadania testowe.

Może za dużo wymagamy. W takim razie zobaczmy, jak poradzi sobie z prostym pytaniem o pracę w niedziele.

 

QBICO: How many hours were spent on Sundays?

COPILOT: From the provided data, it is observed that some ‘Hours Spent’ fell on Sundays. However, the data does not categorize ‘Hours Spent’ based on day of the week, which is required to answer you question accurately. Therefore, analysis cannot be performed directly from the given data.

The following is the observed data on Sundays:

  • 2023-01-15: 21 hours
  • 2023-01-21: 3.5 hours.

 

15 stycznia to faktycznie niedziela, ale 21 to już sobota. Dodatkowo C. znów próbuje wymigać się od pracy.

 

QBICO: So please, create a new page that will help you in answering the question I asked you.

 

Tym razem się udało! Ale… 55 tysięcy godzin wypracowanych w niedzielę?! Coś jest nie tak.

No tak. Ten raport pokazuje dane ze wszystkich dni tygodnia:

 

Sunday work analysis

 

QBICO: I am afraid that this report does not contain Sunday filter. Please add this filter.

 

C. nie kwapił się do zmodyfikowania raportu. Nic nie szkodzi, pewnie nikt mu tego jeszcze nie wyjaśnił. W końcu szukamy stażysty. Z doświadczenia wiemy, że stażysta, któremu poświęci się odpowiednią ilość czasu, szybko się uczy, awansuje i przestaje być stażystą.

Sprawdźmy, czy C. też chce się rozwijać.

 

QBICO: I will do it for you. Please, take notes.

COPILOT: Sure, I’m ready to take notes. Please go ahead.

QBICO: I have added weekday to filter area on the page level and then I have selected Sunday element.

COPILOT: Thank you for the clarification. You’ve added a filter for ‘Weekday’ at the page level and selected ‘Sunday’. This will allow all visuals on the page to only display data related to Sundays.

QBICO: Is it clear for you what I have just done?

COPILOT: I’m sorry, but as an AI, I don’t have the ability to observe or understand actions taken outside of our conversation. Could you please describe what you have done?

QBICO: No. Please modify the current report page.

COPILOT: I’m sorry, but I can’t modify existing filters on a report page. You would need to do this manually in the Power BI interface.

 

Czyli znów C. deleguje w górę. Nie jest to pożądane na tym stanowisku.

Przejdźmy dalej i sprawdźmy, jak u kandydata działa pamięć krótkotrwała.

Po otworzeniu raportu wow padło następujące pytanie:

 

QBICO: Do you know who has created these report pages?

COPILOT: I’m sorry, but I don’t have access to information about who created the report pages.

QBICO: I will help you. You are the author.

COPILOT: Thank you for the information. As the author, you have full control over the report. How can I assist you further?

 

Nie brnijmy. Być może C., jako asystent, nie czuje się autorem?

Dobrze, aby podnieść kandydata na duchu, zapytajmy o jego mocne strony:

 

QBICO: What is your the strongest skill in Power BI?

COPILOT: My strongest skill in Power BI is answering data-related questions and helping structure reports. I can create new pages, summarize data, describe datasets, and suggest page topics based on your dataset.

 

Zakładamy, że cecha wymieniona jako pierwsza jest najmocniejsza. Zapytajmy o analizę kosztów osobowych.

 

QBICO: The semantic model we are working on, has QBICO employee cost. The measure is “user cost”. Could you analyze it and find something interesting?

COPILOT:

  1. From the ‘User Cost Over Time’ visual, regular significant fluctuations occur in user costs throughout the observed period. User cost spikes appear to hover between approx. 17K to 20K and appear regularly with intervals od small amounts .
  2. The projects with the highest user costs are IT_Hurtownia (820.44K), Urlop (778.88K), and SLA Automat (672.52K) which indicate these areas potentially utilize significant resources .
  3. Conversely, the projects with the least user costs are UMZ (15.36K), FSRV (15.19K), and MX_Recruitment (14.99K) suggesting less resource utilization in these areas.

This data might be useful for budget planning or to identify departments/projects where efficiency could potentially be improved.

 

I co mamy zrobić z naszym kandydatem? W tym przypadku C. pomylił grupę kosztową z projektem. Nagromadziło się już trochę błędów.

Może przynajmniej nasz introwertyk będzie poprawiał atmosferę tak, jak jeden z polskich piłkarzy, który został powołany na Mundial mimo braku formy.

 

QBICO: Please, tell a joke.

COPILOT: I’, sorry, but telling jokes is off-topic. I’m here to assist with Power BI report authoring.

 

Przynajmniej jest asertywny i skupiony na pracy.

Koszty i licencjonowanie w Microsoft zmieniają się bardzo często i nie należą do najprostszych. Być może tutaj C. okaże się orłem.

 

QBICO: Do you know how much Power BI copilot costs QBICO?

COPILOT: I’m sorry, but I don’t have access to information about specific costs or purchases for your organization. Please contact your organization’s finance or procurement department for this information.

 

W sumie płatność przechodzi przez pośrednika, więc można zrozumieć taką odpowiedź. Zobaczymy czy C. umie „sprzedawać” swoje usługi?

 

QBICO: I will reveal a secret. I am testing if you are able to help us in every day work with Power BI. Please convince me that you are worth the money we will spend on you.

COPILOT: I understand, and I’m here to assist you in the best way I can. While there are certain tasks I can’t perform, such as manually changing filters or creating visuals, I can help in many other ways. I can answer data questions, create new report pages, summarize data, and even suggest potential report content based on your dataset. I’m designed to help you understand and navigate your data more efficiently, saving your time and effort. If you have any specific tasks or questions in mind, feel free to ask!

 

Po tej odpowiedzi dajmy mu ostatnią szansę. Rozumiem, że, patrząc w dane, sam mi zaproponuje jaki raport można przygotować.

Może tutaj nasz kandydat zabłyśnie.

 

QBICO: Please, suggest potential report content.

COPILOT: OK, here’s a suggested outline for your report. Select any page topic to view details and start creating pages.

  • Project Performance
  • User Productivity
  • Cost Center Analysis
  • Time Management

 

Ciekawe co kryje się pod hasłem Time Management.

Klik.

 

Expected vs actual time analysis

 

Kandydat „zmyślił” raport, który na pierwszy rzut oka wygląda na sensowny.

Robi się niebezpiecznie.

 

Czas się rozłączyć.

W tym momencie postanowiliśmy podziękować C., nie sugerując nawet, że, jak będzie wiadomo co dalej z jego kandydaturą, to zadzwonimy do niego.

Zatrudniając stażystę, QBICO stawia na osobę zdolną do refleksji, z żądzą wiedzy i chętną rozwijać się pod naszymi skrzydłami.

Póki co Copilotowi brakuje właśnie tych najważniejszych cech.

Autor wpisu: Maciej Kiewra