Architektura i zarządzanie danymi | Data Technology

W projektach transformacyjnych, kluczowe jest właściwe zarządzanie danymi i odpowiednio zaprojektowana architektura danych. Projektując, a także wdrażając rozwiązania można wykorzystywać zarówno nowoczesne jak i ugruntowane podejścia czy wzorce architektoniczne w ramach Data Warehouse, Data Lake, Cloud Data Platform, Lakehouse, etc. Spójna strategia powinna - oprócz zastosowania technologii wspierających pozyskanie, przetwarzanie i korzystanie z danych – obejmować zwiększenie potencjału ludzi oraz organizacji w obszarze danych.



Transformacja „data-driven” zaczyna się od architektury danych

Organizacje w coraz większym stopniu wdrażają strategie związane z podejmowaniem decyzji bazujących na danych, które postrzegają jako fundament dla wzrostu i innowacji. Strategie klientów na najbliższe lata zawierają nowoczesne koncepcje platform danych, chmurowych jezior danych (data lake), ich integracji z hurtowniami oraz koncepcje typu „data mesh”.


Jesteś zainteresowany doradztwem w zakresie Data Technology?

Umów się na rozmowę z ekspertem*
Konsultacja obejmie:
  • omówienie istniejącej architektury danych,
  • wskazanie obszarów potencjalnych zmian,
  • dyskusję nt. kierunków rozwoju,
  • rekomendacje kolejnych działań.
*do konsultacji będą wymagane podstawowe informacje nt. działalności firmy z uwzględnieniem obecnej architektury danych oraz planowanych kierunkach rozwoju.


Zarządzanie danymi i strategia data-driven

Zarządzanie i przetwarzanie danych leży u podstaw transformacji cyfrowej. Zdecydowana większość firm docenia ich potencjał w dostarczaniu wartości biznesowej, a w rezultacie, w coraz większym stopniu uwzględnia je w swojej strategii działania. W konsekwencji, rośnie znaczenie właściwej architektury danych oraz Data Governance, a posiadana platforma staje się krytycznym elementem procesu transformacji.

Przy wdrażaniu strategii data-driven, zakres posiadanych danych, niezawodny sposób dostępu, a także efektywne metody przechowywania, sprzyjają powstaniu szerokiego spektrum zastosowań np. analityka zarządcza, raportowanie ESG, uczenie maszynowe (machine learning) oraz wykorzystywanie sztucznej inteligencji (AI). Data Technology ulega nieustannemu doskonaleniu, a stopień jej innowacyjności jest kluczowym czynnikiem sukcesu organizacji.

Platforma danych  to rozwiązanie, które wspiera organizację w gromadzeniu, przetwarzaniu i zarządzaniu danymi (Data Governance). Istnieje wiele różnych rozwiązań technologicznych, które mogą zostać wykorzystane jako narzędzia do budowy Data Platform. Ważne jednak, aby budowana platforma danych była spójna z koncepcją architektury w domenie danych, a także z zasadami zarządzania danymi, np. inaczej są dobierane rozwiązania dla koncepcji Data Mesh, a inaczej dla zcentralizowanej hurtowni danych.

Zespół EY wspiera klientów w procesach dostosowania koncepcji platformy danych do wymogów i ambicji organizacji w zakresie przetwarzania danych. Od kilku lat klienci coraz częściej decydują się na chmurowe platformy danych (CDP). Eksperci EY budują rozwiązania z wykorzystaniem natywnych usług od największych dostawców chmurowych, jak również, cieszące się coraz większą popularnością, rozwiązania multi-cloud, które mogą zostać uruchomione na dowolnej z trzech głównych chmur publicznych.

Niezwykle istotny, zwłaszcza w kontekście modernizacji i doboru narzędzi w ramach platform danych, jest również wybrany sposób przetwarzania danych, w szczególności: przetwarzanie strumieniowe, bazujące na zdarzeniach (event-based architecture) oraz w czasie rzeczywistym lub bliskim rzeczywistemu.

Doświadczenia projektowe EY w dużych organizacjach o rozbudowanej strukturze pozwalają uniknąć częstych pułapek podczas wdrożeń dla tego typu rozwiązań. Do wykorzystania na szeroką skalę rozwiązań lub modeli AI, EY proponuje uwzględnienie platformy analitycznej w ramy tworzenia spójnej koncepcji platformy danych i wykorzystanie synergii wynikającej z procesów pozyskiwania, czyszczenia i transformacji danych oraz zawansowanych sposobów ich wykorzystania.

Architektura domeny danych często okazuje się dużym wyzwaniem, choćby ze względu na dynamiczny rozwój organizacji. W szczególności dotyczy to:

  • utrzymania zgodności ze stanem faktycznym modeli i przepływów danych,
  • pozyskania osób łączących wiedzę z obszaru modelowania danych, przepływów i profili konsumpcji danych, a także posiadających wiedzę z zakresu wskazanej dziedziny   lub sektora biznesowego.

Typowymi konsekwencjami są problemy z jakością danych, rzetelnością finalnych informacji operacyjnych, zarządczych, a także bazujących na danych automatyzacjach procesów biznesowych. Dysponując wiedzą ekspertów w obszarach biznesowych, technologicznych i w zakresie modelowania danych i ich przepływów, zespoły EY pracują z organizacjami nad sposobami podniesienia jakości architektury danych, co jest krytycznym elementem w procesie zapewnienia wiarygodności danych.

W architekturze domeny danych należy zwrócić szczególną uwagę na zastosowane narzędzia oraz ich spójność w ramach platformy danych. W dłuższej perspektywie automatyzacja, pozyskiwanie informacji o modelach i przepływach czy "data-lineage", stają się kluczowymi elementami z punktu widzenia utrzymania zgodności architektury ze stanem rzeczywistym.

Organizacje oczekują elastycznego i efektywnego systemu zarządzania danymi dostosowanego do istniejących, a także przyszłych wymagań technologicznych. Eksperci EY wspierają organizacje w odpowiedzi na następujące pytania:  

  • Jak tworzyć i aktualizować procedury dotyczące danych, aby wspierały cele organizacji dotyczące przyszłego rozwoju?
  • Jakie najnowsze trendy branżowe wpływają na politykę danych i jak je zaimplementować?
  • W jaki sposób lepiej mierzyć zgodność z politykami?
  • W jaki sposób wiodące organizacje uwzględniają wymagania polityki Data Governance we wdrożeniach technologicznych oraz usługach danych? Jakie zmiany należy wprowadzić w przypadku migracji do chmury?

Firmy nieustannie oceniają i zmieniają zasady dotyczące danych, by dotrzymać kroku innowacjom i sprostać nowym oczekiwaniom regulacyjnym. Zmiany obejmują m.in.:

  • Dodanie wymagań w zakresie prywatności i etyki danych (lub z powiązanymi politykami)
  • Usprawnienia uwzględniające nowe technologie (np. strumieniowe przesyłanie danych, Data Lake i przetwarzanie w chmurze, AI/ML)
  • Wzrost oczekiwań, by odpowiadać na bieżące branżowe wyzwania, które są związane z danymi podstawowymi lub referencyjnymi, a także pozyskiwaniem i architekturą​​​​​​​​​​​ danych.​​​

Zespół EY uwzględnia ludzi, procesy i technologie, a także pomaga stworzyć spójne zasady oraz polityki w obszarze danych. Powyższe działanie to fundament dla uzyskania wiarygodnych informacji w skali całej organizacji.

Ze względu na ryzyka wynikające ze zmian klimatycznych kwestie środowiskowe, społeczne i dotyczące ładu korporacyjnego, stały się jednym z ważniejszych wyzwań dla firm, zwłaszcza w branży finansowej.  Dane związane z ESG zazwyczaj są rozproszone w organizacji, a uzyskanie brakujących często. wymaga zmian w procesach wewnętrznych. We wszystkich tych aspektach, wykorzystanie odpowiednich narzędzi pozwala przyspieszyć proces transformacji.

Należy jednak pamiętać, że narzędzia to tylko jeden z niezbędnych elementów. System działa na tyle efektywnie, na ile prawidłowe są dane wejściowe. Jeśli dane są niekompletne, źle zidentyfikowane, nieprawidłowo przetworzone lub o niewystarczającej jakości, ich wykorzystanie wiąże się z ryzykiem regulacyjnym i wizerunkowym. W efekcie, powyższy obszar skupia coraz większą uwagę inwestorów i partnerów biznesowych.

Dodatkowym wyzwaniem jest szeroka perspektywa potrzebnych danych. Kwestie środowiskowe to dekarbonizacja, odnawialne źródła energii czy monitorowanie wpływu na klimat. Element społeczny oznacza nie tylko kwestie równości i inkluzyjności, ale także m.in bezpieczeństwo danych. Z kolei ład korporacyjny to połączenie właściwego zarządzania przedsiębiorstwem i stopnia zaufania inwestorów. Wiele z powyższych informacji nie było dotychczas w ogóle gromadzonych, dlatego trzeba zidentyfikować ich źródła, ustanowić właścicieli i odpowiednie procesy oraz sposób przetwarzania danych, aby uzyskać zestaw gotowych informacji do raportowania ESG.

Prawidłowe przeprowadzenie procesu gromadzenia danych związanych z ESG jak i właściwy nad nim nadzór powinny być kluczowym elementem strategii w tym obszarze. Zrozumienie potrzeb organizacji, a następnie właściwa ocena i klasyfikacja danych ESG pomagają w procesie dostosowania do wymagań regulacyjnych, a także wewnętrznych potrzeb organizacji.


Co nas wyróżnia

Zespol yellow

Interdyscyplinarny zespół konsultantów

Zespół, który łączy wszystkie kompetencje w zakresie przetwarzania danych, w tym techniczne, biznesowe oraz prawne.

EY globe

Sieć partnerów technologicznych

Szerokie portfolio produktowe i doświadczenie we wdrożeniach rozwiązań data.

EY medal

Doświadczenie z międzynarodowych projektów

Realizacja zgodnie z najnowszymi trendami oraz z wykorzystaniem zestawu narzędzi dopasowanych do wybranej architektury.

Najczęstsze wyzwania, w których wspieramy naszych klientów

  1. Brak precyzyjnych, spójnych i akceptowalnych definicji danych: niejednoznaczności oraz ich niespójne wykorzystanie

  2. Brak jednorodnego widoku klienta wpływa na jakość obsługi klienta oraz operacje biznesowe

  3. Brak biznesowych właścicieli danych powoduje zwiększenie liczby nierozwiązanych problemów dotyczących ich jakości

  4. Nieefektywne i niespójne metody dostępu do posiadanych danych

  5. Wiele silosów danych: duplikowanie i trudności z automatyzacją

  6. Nieodpowiedni model działania i brak narzędzi do zarządzania danymi

Skutecznie i kompleksowo pomagamy w zarządzaniu danymi

Interdyscyplinarny Zespół Data Technology składa się z doświadczonych architektów, analityków i inżynierów danych, który posiada szerokie spektrum kompetencji potrzebnych do przeprowadzenia transformacji w obszarze danych. Pracujemy z polskimi, a także międzynarodowymi firmami z sektora ubezpieczeniowego, bankowego oraz przedsiębiorstwami produkcyjnymi.

Osoby kontaktowe

Radosław Wojdowski
EY Polska, Technology Consulting, Senior Manager and Solution Architect

Radoslaw wojdowski

Agnieszka Grzeszczyk
EY Polska, Technology Consulting, Manager

Agnieszka grzeszczyk

Polecane publikacje

Organizacje data-driven. Jak przekroczyć horyzonty hype’u?

W ostatnich latach nastąpiła rewolucja w danych, a firmy w sektorze finansowym dążą do stania się organizacjami data-driven. Ich celem jest podejmowanie przemyślanych, perspektywicznych decyzji poprzez wykorzystanie danych do automatyzacji procesów, oferowania nowych produktów, personalizacji usług oraz wdrażania nowoczesnych metod zarządzania cenami i relacjami z klientami.