Miliony użytkowników Excela i Power BI na świecie pokochały Power Query. Prosty, graficzny interfejs pozwala każdemu – zwłaszcza osobom bez programistycznego zacięcia – zautomatyzować proces pobierania, czyszczenia, transformowania i ładowania danych. Narzędzie jest szczególnie przydatne w procesach raportowych, gdzie ilość danych i mnogość źródeł dotychczas spędzała sen z powiek. Ale czy wiesz, że Power Query masz też w przeglądarce dzięki usłudze Power BI Online?
Co to jest Power Query?
Jeśli jeszcze nie znasz Power Query, obejrzyj 2-minutową animację ze mną w roli głównej.
Czego potrzebuję, aby tworzyć przepływy danych w usłudze Power BI?
Aby utworzyć przepływ danych, potrzebujesz co najmniej płatnej usługi Power BI Pro. Jednak warto wiedzieć, że niektóre funkcjonalności są ograniczone tylko do przestrzeni Premium.
Power Query znajdziesz też w usłudze Dataverse, ale to temat dla użytkowników Power Apps. My skupimy się na Power BI.
Gdzie znaleźć Power Query w przeglądarce?
Wejdź do obszaru roboczego (ang. workspace) > Kliknij „+ Nowy” > Przepływ danych.
Następnie wskaż opcję Definiowane nowych tabel.
W moim prostym przykładzie pobiorę dane z OneDrive, gdzie trzymam Kalendarz finansowy, który chcę wykorzystywać w wielu raportach. Dlatego spośród dostępnych źródeł (których lista jest spójna z wyborem w Power BI Desktop) wybiorę Excel.
Jest to najprostszy scenariusz, a serwis Power BI Online będzie mógł bez żadnych dodatkowych utrudnień odświeżać plik ze wskazanej ścieżki (1) za pomocą mojego konta Microsoft (2).
Podobnie jak przy zautomatyzowanym odświeżaniu zestawów danych (ang. dataset), kluczowe jest zbudowanie pomostu między danymi źródłowymi a chmurą Microsoft. Przy źródle typu OneDrive i innych chmurowych usługach wszystko idzie gładko. Przy źródłach typu lokalnego (ang. on-premise), gdzie źródło jest w infrastrukturze firmy, potrzebne są dodatkowe ustawienia, jak np. brama danych (ang. gateway).
Kolejne kroki są już bardzo podobne do działań w Power Query na desktopie, choć interfejs wygląda lekko inaczej. Najpierw wybieram arkusz.
Następnie otwiera się Edytor zapytań, który tak jak w Excelu czy Power BI ma:
- Wstążkę z kartami Narzędzia główne, Przekształć (aktualnie przetłumaczone jako Transformacja), Dodaj kolumnę, Widok.
- Podgląd tabeli
- Listę kroków w zapytaniu.
Nowością jest za to widok diagramu dla danego zapytania (4), który umożliwia graficzne zarządzanie powiązanymi zapytaniami. Oto przykład dla operacji Odwołanie.
Jest też dostępny kolejny nowy widok: Widok schematu.
W interfejsie Power Query online znajdziemy kilka nowości, które wkrótce postaram się przybliżyć w oddzielnych wpisach na blogu. Niemniej 99% narzędzia działa tak samo jak w Excelu.
Na koniec pracy z zapytaniem klikamy Zapisz i zamknij, a usługa Power BI Online zachęci nas do natychmiastowego ustawienia odświeżania. Ja ustawiam odświeżanie codziennie o 7 rano.
Przepływ danych jest gotowy i może stanowić teraz źródło danych do moich raportów w Power BI Desktop, Excel lub jako przepływ źródłowy do innych przepływów.
Jeśli chcę zbudować raport Power BI, zaczynam zapytanie od pobrania danych z przepływów danych.
Jeśli chcę zbudować raport Excel, zaczynam zapytanie od czystego pliku Excel i pobrania danych z przepływów danych.
Co wykorzystuje usługa Power BI Online do przechowywania danych z przepływów?
Przepływy danych korzystają z Azure Data Lake Storage, co gwarantuje wysoką szybkość zapisu i odczytu danych.
Widzimy zatem integrację chmury obliczeniowej Azure z usługą Power BI, która postępuje w taki sposób, aby użytkownik nie wychodził z Power BI i miał wszystko w jednym środowisku. Kolejnym elementem tej integracji jest możliwość tworzenia w usłudze Power BI Online hurtowni danych, nazywanych na razie po polsku Składnice danych lub Magazyny danych (sic!), choć nazwa angielska Datamart jest dużo bardziej właściwa. Funkcjonalność ta jest w momencie pisania artykułu w trybie preview.
Dodanie przepływów danych do Power BI pokazuje, że czasami łatwiej, elastyczniej i taniej jest, jeśli najpierw wczytamy dane nieustrukturyzowane, niezamodelowane do jeziora danych (ang. data lake), a następnie będziemy na nich tworzyć transformacje.
Przechowywanie danych w ten sposób pozwala je analizować z perspektyw, które pojawiają się już po stworzeniu założeń do baz danych czy hurtowni danych – w takich projektach dane są przechowywane z myślą o konkretnych (znanych wcześniej przed projektem) zastosowaniach.
Czy mogę przenieść zapytanie Power Query z pliku Power BI Desktop do przepływu danych?
Tak 😊. Działa tu metoda kopiuj-wklej: otwórz Power Query w aplikacji Power BI Desktop > skopiuj zapytanie z panelu zapytań > Utwórz nowy przepływ > Wklej zapytanie do edytora zapytań Power Query online. Trochę trudniej będzie, jeśli do źródła danych jest potrzebna brama danych (ang. gateway), którą trzeba dodatkowo skonfigurować.
Kiedy tworzyć przepływy danych w Power Query online?
Świetnie temat wykorzystania w przepływów w praktyce opisał Reza Rad na blogu Radacad.
Jakie są dobre praktyki tworzenia przepływów danych?
Projektując przepływy danych, wchodzimy w temat konstrukcji architektury rozwiązania BI. Dlatego warto poczytać o dobrych praktykach i najczęstszych błędach. Przykładowo, warto pomyśleć o stworzeniu przejściowych przepływów danych (ang. staging dataflows), do których będą odwoływać się transformacyjne przepływy danych (ang. transformation dataflows).
Czy przy pracy z przepływami danych można wykonać odświeżanie przyrostowe?
Tak, ale wymagane jest konto Premium. Na szczęście nie musi to być licencja korporacyjna Premium – wystarczy licencja Premium per User, która jest minimalnie droższa niż Pro. Tu możesz poznać inne opcje Premium dostępne przy przepływach danych.
Inne ważne linki nt. przepływów danych w usłudze Power BI
Ograniczenia i uwagi nt. przepływów danych: https://learn.microsoft.com/en-us/power-bi/transform-model/dataflows/dataflows-features-limitations
Czy zdarzyło Ci się już pracować z przepływami danych? Co o nich sądzisz?
Podziel się opinią w komentarzu.
