Microsoft wprowadził przydatną funkcję, która zmieni sposób zarządzania odświeżaniem danych w Power BI. Semantic Model Refresh Templates to nowa funkcja w trybie Preview, która pozwala orkiestrować proces odświeżania modeli semantycznych przy użyciu Fabric Data Pipelines. Brzmi skomplikowanie? Nic bardziej mylnego! 🚀
💡Co to są szablony odświeżania?
Wyobraź sobie, że możesz wizualnie zaprojektować i zsekwencjonować proces odświeżania swoich danych bez pisania ani linijki kodu. Dostarczają wszystko co potrzebne by lepiej zrozumieć działanie odświeżania danych i przebieg całego procesu, przy okazji odblokowując tworzenie bardziej zaawansowanych scenariuszy. Dzięki szablonom możesz:
🛠️Gdzie znajdziesz nowe szablony?
Dostęp do szablonów jest naprawdę prosty. Wystarczy, że przejdziesz do szczegółów swojego modelu semantycznego w workspace (musi to być workspace korzystający z licencji Microsoft Fabric), klikniesz w "Refresh" i wybierzesz opcję "Create advanced refresh". Pokaże Ci się galeria szablonów z gotowymi scenariuszami do wyboru, z których każdy jest zaprojektowany dla konkretnego przypadku użycia. Dostępne szablony stanowią punkt wyjścia dla zbudowania Twojego własnego rozwiązania.
Dodatkowo, galerię szablonów możesz również otworzyć z poziomu pipeline'u, klikając przycisk "Use a template" w zakładce Home. To sprawia, że nawet w trakcie pracy nad istniejącymi procesami możesz szybko dodać nowe elementy z gotowych wzorców.
📋Praktyczne scenariusze zastosowania szablonów
1. Automatyczne odświeżanie po zakończeniu dataflow
Jeden z najczęstszych przypadków użycia to automatyczne uruchamianie odświeżania modelu semantycznego po tym, jak dataflow zakończy swoje działanie. W tradycyjnym podejściu musiałeś ręcznie monitorować stan dataflow i dopiero potem uruchamiać refresh modelu lub w przypadku np. dostępu do Databricks stworzyć programistyczne rozwiązanie monitorujące i wyzwalające poszczególne zadania. Teraz cały proces działa automatycznie w tle.
Konfiguracja jest bajecznie prosta i intuicyjna. System prowadzi Cię krok po kroku przez proces ustawienia. Najpierw wybierasz dataflow i workspace, które mają być monitorowane, a następnie konfigurujesz ustawienia modelu semantycznego, wskazując odpowiednie połączenie, workspace i konkretny model do odświeżenia.
2. Inteligentne odświeżanie przyrostowe
Zamiast odświeżać cały model za każdym razem, możesz teraz precyzyjnie wybrać konkretne tabele lub partycje do odświeżenia. To rozwiązanie jest szczególnie cenne dla dużych modeli danych, gdzie pełne odświeżanie zajmuje bardzo dużo czasu i zasobów. Funkcja incremental refresh pozwala na aktualizację tylko tych części modelu, które rzeczywiście uległy zmianie.
Co istotne, to system automatycznie analizuje zmiany w danych i decyduje, które partycje wymagają aktualizacji. To nie tylko oszczędza czas, ale również znacznie redukuje obciążenie serwerów i poprawia ogólną wydajność środowiska Power BI. W praktyce oznacza to, że procesy, które wcześniej trwały godziny, teraz mogą być wykonane w kilka minut.
3. System alertów i powiadomień
Po zakończeniu procesu odświeżania, niezależnie od tego czy zakończył się sukcesem czy porażką, możesz automatycznie wysłać powiadomienie przez Microsoft Teams lub Outlook. To kończy erę zastanawiania się, czy refresh już się wykonał i czy dane w raporcie są aktualne. Ty zajmujesz się swoimi zadaniami, refresh dzieje się automatycznie, a na koniec działania procesu dostaniesz odpowiedni komunikat. Dodatkowo system powiadomień jest w pełni konfigurowalny, więc możesz zdecydować, kto i kiedy ma otrzymać informację o statusie procesu.
Na duży plus, że możemy skonfigurować różne typy alertów w zależności od wyniku operacji. Na przykład, w przypadku pomyślnego zakończenia może zostać wysłana krótka informacja do zespołu, a w przypadku błędu - szczegółowy raport do administratora systemu z pełną diagnozą problemu.
4. Zaawansowane harmonogramowanie
Nowy system harmonogramowania odświeżania oferuje przede wszystkim elastyczność w definiowaniu kiedy i jak często mają się wykonywać odświeżenia. Możesz ustawić interwały od minutowych po kwartalne, a system automatycznie będzie się trzymał zdefiniowanego harmonogramu.
Co więcej, harmonogram można dostosować do specyfiki biznesu. Na przykład, część tabel w modelu jak np. dane sprzedażowe mogą być odświeżane co godzinę, a dane dotyczące produktów raz w miesiącu, kiedy nowe produkty rzeczywiście wprowadzane są do bazy.
Jak widzisz na poniższym screenie, kreator harmonogramu odświeżenia jest zbliżony do standardowego, znanego już z planowania refreshu semantic modelu, więc poruszanie się po nim nie powinno stanowić trudności. Różnica polega na tym, że w przypadku szablonów, stworzony schemat odświeżania możemy wpleść w bardziej zaawansowany scenariusz zależności tak aby przeładowywać dane tylko wtedy kiedy to rzeczywiście potrzebne i tylko te dane, które uległy zmianie.
5. Sekwencyjne zarządzanie modelami
W środowiskach raportowych często mamy do czynienia z sytuacją, gdzie kilka modeli semantycznych musi być odświeżanych w określonej kolejności ze względu na zależności między danymi. Dotychczas, korzystając ze standardowych funkcjonalności, należało oszacować czas odświeżenia poszczególnych modeli, doliczyć bufor czasowy na wypadek gdyby model przeładowywał się nieco dłużej, a następnie stworzyć sekwencję refreshy mając do wyboru jedynie 48 slotów w ciągu dnia (o pełnych i półgodzinach). To oznaczało ciągłe ryzyko, że któryś z modeli nie wstrzeli się w harmonogram kolejnego, powodując chaos w całym systemie odświeżania i błąd odświeżania lub przeładowanie nieaktualnych danych. Nowy szablon rozwiązuje ten problem, pozwalając na zdefiniowanie precyzyjnej sekwencji operacji.
System automatycznie monitoruje status każdego kroku i uruchamia kolejny dopiero po pomyślnym zakończeniu poprzedniego, niezależnie od tego, czy trwało to 5 minut czy 2 godziny. W przypadku błędu w którymkolwiek etapie, cały proces zostaje wstrzymany, a administrator otrzymuje szczegółową informację o przyczynie niepowodzenia. To znacznie upraszcza zarządzanie złożonymi środowiskami danych i eliminuje ryzyko problemów związanych z nieprawidłową kolejnością odświeżania czy nakładaniem się procesów.
6. Reaktywne odświeżanie oparte na zdarzeniach
To najbardziej zaawansowany i innowacyjny scenariusz. System potrafi automatycznie wykrywać określone wydarzenia w ramach środowiska Fabric, ale też zewnętrznych systemach i w odpowiedzi na nie uruchamiać proces odświeżania danych. Oznacza to przejście od statycznego, harmonogramowego modelu aktualizacji do dynamicznego, reagującego na rzeczywiste potrzeby biznesowe.
Możesz na przykład skonfigurować automatyczne odświeżanie raportu sprzedaży za każdym razem, gdy w systemie CRM pojawi się nowa transakcja powyżej określonej wartości lub uruchamiać aktualizację danych magazynowych co każde 100 wysłanych paczek z zamówieniami. Możliwości są praktycznie nieograniczone, a cała konfiguracja odbywa się przez intuicyjny interfejs graficzny.
💎Rewolucja w zarządzaniu danymi? Zdecydowanie, ale jest to opcja "premium"
Funkcjonalność tworzenia schematów odświeżania to swego rodzaju rewolucja w podejściu do zarządzania danymi w Power BI. Do tej pory administratorzy musieli żonglować skomplikowanymi procedurami, często uciekając się do rozwiązań niestandardowych, po części bardziej elastycznych, ale też podatnych na błędy i trudnych w utrzymaniu. Alternatywą było korzystanie z wbudowanych mechanizmów ręcznego odświeżania, jednak brakowało im przejrzystego interfejsu użytkownika, wizualnej kontroli nad procesem i szerszych możliwości automatyzacji. Debugowanie problemów bywało koszmarem, a skalowanie całego procesu o kolejne elementy układanki wymagało eksperckiej wiedzy technicznej.
Wraz z wprowadzeniem szablonów odświeżania otrzymujemy intuicyjny interfejs graficzny, gotowe wzorce dla najczęstszych scenariuszy, łatwą automatyzację nawet skomplikowanych przepływów oraz czytelne monitorowanie z systemem alertów. Całość została zaprojektowana tak, aby skuteczne zarządzanie procesami odświeżania danych było możliwe także dla osób bez zaawansowanej wiedzy technicznej. Nie jest to jednak rozwiązanie dla każdego - schemat odświeżania jest funkcjonalnością dostępną tylko dla workspace korzystających z licencji Fabric.
PODSUMOWANIE
Choć na ten moment to funkcjonalność w wersji preview (czyli udostępniona testowo w ramach wczesnego dostępu), więc jeszcze nie wszystko może działać perfekcyjnie. To zdecydowanie jedna z tych funkcji "z potencjałem", która ma szanse łatwo przebić się do mainstreamu, tak aby stać się standardowym rozwiązaniem dla set-upowania refreshy. Kluczowa jest tutaj elastyczność, co pozwala na dopasowanie do nawet bardzo nietypowych wymagań biznesowych.
Co więcej, interfejs wizualny wydaje się dość intuicyjny, a sam kreator schematu odświeżenia mimo, że oferuje na prawdę sporo opcji konfiguracji, to sam układ jest czytelny i znany z innych miejsc w PowerBI Service/MS Fabric, co sprawia, że od razu wiemy co się dzieje, a dzięki gotowym szablonom adopcja rozwiązania powinna być jeszcze bardziej ułatwiona.
Czy planujesz wypróbować nowe szablony odświeżania w swoich projektach? Jestem ciekaw Twoich przemyśleń i doświadczeń. Zapraszam do dyskusji pod powiązanym z tym artkułem postem na LinkedIn.
Sprawdź też inne wpisy na moim blogu: [LINK]