Jak analiza dużych zbiorów danych może pomóc instytucjom finansowym?

Jak analiza dużych zbiorów danych może pomóc instytucjom finansowym?

Autorzy

5 minute read 15 lut 2024

Pytanie o to, czy instytucje finansowe potrzebują efektywnych narzędzi do analizy i przetwarzania danych, a takimi są technologie Big Data, wydaje się retoryczne, zwłaszcza że organizacje finansowe gromadzą coraz więcej danych. Trudniejsza jest odpowiedz na pytanie jakich narzędzi użyć, w czym analiza dużych zbiorów danych może pomóc oraz czy inwestycja w te narzędzia ma szanse przynieść realny zwrot z inwestycji.

Terminologia Big Data

Terminologii Big Data używam ze względu na popularność tego terminu, ale rozumiem go znacznie szerzej niż pierwotna definicja, która pojawiła się ponad 30 lat temu. Upraszczając, zgodnie z definicją Big Data to mowa o narzędziach zajmujących się danymi w dużej ilości, różnorodnymi w sensie zawartości i formatu, oraz napływającymi w szybkim tempie. Historycznie rozwój w obszarze narzędzi Big Data wprowadził do świata dzisiejszych narzędzi wiele koncepcji i rozwiązań, które odnajdujemy np. w rozwiązaniach chmurowych. Dlatego na potrzeby dalszej wypowiedzi używany jest termin technologii Big Data w szerokim ujęciu, czyli takich do przetwarzania oraz zaawansowanych analiz na dużych zbiorach danych.

Jakie usecase’y

Zanim jednak zaczniemy nazywać technologie, warto odpowiedzieć sobie na pytanie o potrzeby instytucji finansowych związane z przetwarzaniem i analizą danych. Opierając się na badaniach EY, ocenach analityków i naszych doświadczeniach projektowych, skupię się na kilku przykładowych obszarach w których instytucje finansowe prowadzą lub planują prowadzić prace z wykorzystaniem omawianych narzędzi.

Rozpocznę od obszaru AI/GenAI. Od roku to jest temat, którego nie sposób pominąć a GenAI, czyli tzw. generatywna sztuczna inteligencja inspiruje i prowadzi do szukania w instytucjach finansowych miejsc do zastosowania na szerszą skalę. Obecnie, często zastosowania związane są z efektywnością kosztową: ograniczenie kosztów obsługi klientów przez wprowadzenie samoobsługowych kanałów wpieranych przez AI, wsparcie pracowników obsługujących klientów poprzez np. podpowiedzi tematów rozmowy czy tzw. „next best action”, wsparcie AI w ramach procesów wewnętrznych itd. Pomijam kwestie prawne, regulacyjne, potrzeby związane z możliwościami eksperymentowania, takie jak piaskownice AI. Skupię się na temacie przygotowania danych. Otóż coraz więcej firm zauważa, że efektywne wykorzystanie AI wymaga odpowiedniej jakości danych. Patrząc z perspektywy ryzyka, zastosowanie AI i wygenerowanie niepoprawnych odpowiedzi w oparciu o niepoprawne dane wsadowe stawia pod znakiem zapytania wartość zastosowania AI. Dlatego warto wykorzystać odpowiednie narzędzia i technologie, żeby zadbać o odpowiednią jakość danych, a pamiętajmy, że w przypadku instytucji finansowych są to często bardzo duże zbiory danych wymagające wiarygodnego i szybkiego przetwarzania.

Odpowiednia jakość danych, nie jest nowym tematem i wiadomo od lat, że nawet na potrzeby podejmowania decyzji dysponując kilkoma raportami i analizami, w wielu instytucjach pojawia się pytanie czy dane są wiarygodne i aktualne. Czasami są to pytania od regulatora, czasami od działów zapewnienia zgodności. Żeby odpowiedzieć na tak postawione pytania potrzebna jest pewność, że pobraliśmy właściwe dane, z właściwych miejsc, przetworzyliśmy je zgodnie z ustaloną logiką i zasadami a także AI/ML działa w sposób zgodny z regulacjami. Potrzeby spójności regulacyjnej i wewnętrznej stanowią często przyczynę ponoszenia kosztów projektów w obszarze danych, a nowoczesne narzędzia oferują dużą pomoc (np. wykorzystanie mechanizmów ML/AI do deduplikacji, podniesienia jakości danych tzw. „złotego rekordu klienta”). Co istotne, próby podniesienia jakości danych, zmniejszenia silosowości przetwarzania, w oparciu o narzędzia tradycyjne, bez wykorzystania nowoczesnych technologii, są zdecydowanie mniej skuteczne.

Wybierając kilka przypadków użycia, oprócz korzyści kosztowych, regulacyjno-decyzyjnych, warto wskazać jeszcze przykład przychodowy. I tu szczególnie istotna jest właściwość technologii przetwarzających dane w czasie rzeczywistym (lub bliskim rzeczywistemu). W konkurencyjnym środowisku instytucji finansowych przewagę może zapewnić personalizowana oferta (tzw. hiperpersonalizacja), spójna w każdym kanale komunikacji, odpowiadająca na przyszłe potrzeby (najlepiej z zastosowaniem AI/ML) wymagającego klienta. Dodatkowo oferta zoptymalizowana nie tylko pod kątem oferowanego produktu, momentu jej przedstawienia, ale także pod kątem zindywidualizowanej, dynamicznie ustalanej ceny. Ceny, która zgodnie z dynamiczną strategią cenową instytucji finansowej adresuje jej cele, ryzyka i optymalizuje długoterminowy zysk z relacji z klientem. Realizacja takich przetwarzań nie byłaby możliwa bez technologii opracowanych w ramach nurtu Big Data.

Narzędzia

Opisując narzędzia warto zaznaczyć, że oceniać narzędzia należy nie tylko z perspektywy ich dojrzałości technologicznej ale przede wszystkim z punktu widzenia skuteczności ich zastosowania do realizacji celów biznesowych w oczekiwanej skali. Najbardziej popularne narzędzia do analizy danych, typu MS Excel, dość trudno jest zastosować do przetwarzania dużych, różnorodnych oraz szybko zmieniających się danych.

Dlatego powstały i rozwinęły się technologie Big Data. Na wczesnym etapie wykorzystania tych technologii pojawiało się dużo zawiedzionych oczekiwań związanych z kłopotami z zapanowaniem nad jakością i wiarygodnością danych w tzw. jeziorach danych. Ładowano tam duże ilości danych bez panowania nad schematami, modelami, czy zasadami przetwarzania. 

Obecnie narzędzia są bardziej dojrzałe, a wiele koncepcji Big Data zostało zaaplikowanych w technologiach chmurowych: sposób przechowywania plików skorzystał z rozwoju tzw. HDFS (Apache Hadoop Distributed File System), kolejnym etapem ewolucji bigdata’owego MapReduce jest przetwarzanie Spark (podstawa działania w Databricks, Azure Fabric) lub podobne typy przetwarzań (Snowflake), Hive metastore odnajdziemy np. w Databricks UnityCatalog, a popularna Apache Kafka znalazła swoich odpowiedników w wszystkich głównych chmurach (Azure EventHubs, Google PubSup, AWS Kinesis).

Oprócz większej dojrzałości samych narzędzi mamy również ich lepszą integrację, a dodatkowo pojawiło się wiele narzędzi wspierających zarówno w obszarach modeli danych, semantyki danych, wsparcia dla metadanych, wsparcia w zakresie uprawnień dostępu, itd. W instytucjach regulowanych są to niezbędne funkcjonalności dla systemów przetwarzania danych. 

Ale rzecz najważniejsza – technologie Big Data stają się bardziej wydajne i skuteczne, oraz coraz bardziej dostępne w sensie kosztów oraz kompetencji ludzi z nimi pracujących. To bardzo poszerza obszar tzw. Data Science lub też zaawansowanej analityki danych. Obecnie, barierą innowacyjności dla wielu pracowników instytucji finansowych najczęściej nie jest już technologiczna trudność, ale brak odpowiednich piaskownic do pracy, uprawnień, dostępów, możliwości eksperymentowania i tworzenia nowych rozwiązań. 

Jak EY może pomóc

  • Architektura i zarządzanie danymi | Data Technology

    Właściwe zarządzanie danymi i odpowiednio zaprojektowana architektura danych są niezwykle ważne podczas transformacji biznesowo-technologicznych. Projektując, a także wdrażając rozwiązania można wykorzystywać zarówno nowoczesne jak i ugruntowane podejścia czy wzorce architektoniczne w ramach Data Warehouse, Data Lake, Cloud Data Platform, Lakehouse, etc.

    Przeczytaj więcej

Podsumowując, istnieją liczne narzędzia, bazujące na technologiach Big Data lub je wspierające, często dostępne w wersjach chmurowych. Warto wybierać te potrzebne do aktualnych potrzeb, ale także takie, które otwierają myślenie i projektowanie kolejnych usług i pomogą nam w dalszym rozwoju.

 

Czy warto inwestować?

Skoro są powody do wykorzystania technologii Big Data, a narzędzia są coraz lepsze i często łatwiejsze w użyciu, to czy instytucje finansowe je wdrażają oraz używają? Odpowiedz jest w większości przypadków twierdząca. Wyzwaniem jest natomiast kwestia, czy wykorzystywane narzędzia są nowoczesne, czy są wdrożone w większej skali, czy nadal funkcjonują na obrzeżach głównego nurtu przetwarzania danych.

 

Z jednej strony inwestycje w obszary przetwarzania danych są wysokie, a zwrot z inwestycji nie jest łatwy do oceny na etapie przygotowywania business case. Z drugiej strony dalsze pozostawanie z przetwarzaniem danych w trybach wsadowych, w silosach biznesowych z wykorzystaniem tradycyjnych narzędzi on-premise, może instytucjom finansowych ograniczyć możliwości rozwoju, utrudnić spełnianie coraz to bardziej wymagających oczekiwań regulacyjnych, utrudnić pracownikom i tym instytucjom drogę do innowacyjności np. z wykorzystaniem AI/ML w skali produkcyjnej.

 

W takiej sytuacji, rozwiązaniem może być wprowadzanie nowoczesnych narzędzi, nazywanych na potrzeby tej wypowiedzi Big Data. Dajemy pracownikom narzędzia do działania w wybranych obszarach przy jednoczesnej kontroli postępów inwestycji. A następnie skalujemy rozwiązanie na kolejne obszary działalności. Tu pojawia się ryzyko skalowalności rozwiązania, a mianowicie czy opracowane pomysły w jednym miejscu będzie można zastosować w całej instytucji. Dlatego też warto wykorzystać nowoczesne narzędzia i nowoczesne koncepcje architektoniczne. Wówczas obniżamy ryzyko podczas weryfikowania rozwiązań w ramach pilota/PoC, a następnie przy wdrażaniu rozwiązań produkcyjnie w pełnej skali mamy szanse osiągnąć realny zwrot z inwestycji.

Podsumowanie

Artykuł ukazał się w magazynie BRANDSIT w styczniu 2024 r.

Jak EY może pomóc

Transformacja cyfrowa

Transformacja cyfrowa i wykorzystywanie nowoczesnych technologii stało się kluczowym elementem strategii biznesowej wielu firm. Poznaj kierunki i możliwości, jakie daje cyfrowa transformacja.

Przeczytaj więcej

Lider

  • EY - Radosław Frańczak
    Radosław Frańczak

    Partner, Technology Consulting Leader w EY Polska, CESA Consulting SAP Leader

  • Mateusz Mazur
    Mateusz Mazur

    Partner, CESA Technology Strategy & Transformation Leader, Digital Engineering Leader w EY Polska

Kontakt
Chcesz dowiedzieć się więcej? Skontaktuj się z nami.

Informacje

Autorzy

Powiązane tematy
Digital
Technologia
Konsultacje

Polecane artykuły

Agile, AI i automatyzacja: Nowe wyzwania dla umiejętności pracowników oraz przyszłość rynku pracy

Automatyzacja, choć nie jest terminem nowym, w ciągu ostatnich 2 lat wydaje się być na ustach wszystkich. A to za sprawą referowania do niej w kontekście robotyzacji, tym samym mając na myśli m.in. wykorzystanie sztucznej inteligencji, w tym chat GPT - dowiedz się więcej z artykułu.

Maja Ossowska-Nowakowska + 1

Jak Agile wpływa na innowacyjność w branży ubezpieczeniowej?

Transformacja kulturowa i organizacyjna w firmach ubezpieczeniowych, które dotychczas bazowały na hierarchicznych strukturach oraz sztywnych procedurach, jest dziś koniecznością wynikającą z dynamicznie rozwijającej się konkurencji ze strony innowacyjnych organizacji InsurTech. Stosując najnowsze technologie i zwinne zarządzanie, wyznaczają standardy w personalizacji oferty, szybkości obsługi klienta oraz efektywności operacyjnej. W efekcie, w przypadku tradycyjnych firm ubezpieczeniowych, adaptacja zwinnych metodologii staje się kluczowa dla osiągnięcia sukcesu.

Michał Lewandowski

AI jako strażnik stabilności finansowej: Jak technologia może zapobiegać bankructwom firm?

Przyszłość, często malowana na stronach powieści science-fiction jako świat, w którym zaawansowane technologie i AI kształtują codzienność, staje się dziś faktem. Podobnie jak rzeczywistość z dzieł Asimova czy Gibsona, rynki finansowe stają przed wyzwaniami szybkiego tempa zmian, złożoności oraz różnorodności zagrożeń o charakterze nie tylko makro- i mikroekonomicznym, ale również naturalnym, które może wpływać na ich stabilność finansową.

Michał Lewandowski

    EY oznacza globalną organizację i może odnosić się do jednej lub więcej firm członkowskich Ernst & Young Global Limited, z których każda stanowi odrębny podmiot prawny. Ernst & Young Global Limited, brytyjska spółka z ograniczoną odpowiedzialnością, nie świadczy usług na rzecz klientów.