Nieznane wymiary big data 

Korzyścią z rozwiązań big data jest nie tylko zdolność do porządkowania zbiorów informacji czy odkrywanie wzorców zachowań klientów. Prawdziwą siłą algorytmów AI i uczenia maszynowego jest zdolność wydobywania nowej jakościowo wiedzy o rynku, której nikt wcześniej się nie spodziewał. Jest jak czerwona strzałka kompasu, wskazując kierunek rozwoju biznesu.

Big data już od dawna jest z nami, tylko nierówno rozłożone. Możemy pokusić się o parafrazę słynnego zdania Williama Gibsona, ojca cyberpunka: przyszłość już tu jest, tylko nierówno rozłożona. Bo chociaż nie ma już dziś branży, która nie korzystałaby z dobrodziejstw big data, to są jeszcze przedsiębiorstwa, które nie poznały wartości, którą daje analiza danych. 
Wykładnicze tempo powstawania informacji oznacza, że niemal 90% wszystkich danych powstało w ciągu ostatnich dwóch lat. Ponad dwie trzecie wytwarzają klienci i internauci, korzystający z platform społecznościowych, sklepów online, sieci komórkowych, a nawet sieci energetycznych. Big data otwiera drzwi do skarbca z informacjami, do głębokiego zrozumienia zwyczajów zakupowych klientów. 

Czym jest big data? To zbiory danych zbyt duże lub zbyt złożone dla tradycyjnych aplikacji do przetwarzania danych. Dlatego do ich analizy potrzebna jest większa moc obliczeniowa i rozwiązania analityczne, wykorzystujące algorytmy AI oraz zasady uczenia maszynowego, aby  poradzić sobie z ich złożonością. Celem wykonywanych operacji jest znajdowanie zależności, między danymi, rozumienie korelacji czy odkrywanie anomalii i nieoczywistych powiązań pomiędzy nimi.

Jednak surowe dane to jedynie początek. Są jak negatyw filmowy, który musisz wywołać, aby zobaczyć, co kryje zdjęcie. Dowiesz się tego, kiedy odbitka będzie wysokiej jakości.

Trzy wymiary big data, a nawet sześć

Możemy powiedzieć, że dane są wielopiętrowe. Przykładowo, nie tylko mówią jak wygląda historia zakupów klienta, ale wzbogacone są o dane z innych źródeł, dane transakcyjne czy geolokalizacyjne umożliwiają nakreślenie szerokiego portretu użytkownika. Taki zbiór informacji będziemy oceniać pod kątem wielkości, wiarygodności czy faktycznej przydatności.

Na trzy wymiary danych zwrócił uwagę już w 2001 r. analityk Doug Laney. Gartner spopularyzował jego obserwację  w 2012 roku  przedstawiając definicję big data w postaci koncepcji 3V: high volume, high velocity, high variety, która w rozbudowanej postaci przyjmuje dziś postać 6V.

Volume, czyli wielkość. Źródłem danych są transakcje sklepowe, systemy bankowe i finansowe, bazy danych klientów, serwisy internetowe, wyszukiwarki, newslettery, sieci społecznościowe, platformy rozrywkowe, aplikacje mobilne. Również wewnętrzne dane firmowe płynące z monitoringu pojazdów, maszyn, robotów, czujników RFID, internetu rzeczy (IoT). Chociaż danych powstających każdego dnia jest bardzo dużo, ostatecznie sama wielkość danych nie jest wyznacznikiem ich wartości.

Variety, czyli różnorodność. Duże zbiory dane są zróżnicowane, dlatego trzeba nadać im zrozumiałą dla programów postać. Dane mogą mieć postać ustrukturyzowaną, liczbową jak np. transakcje. Mogą być bez nieustrukturalizowane, w różnych formatach jak tekst, dokumenty i pliki multimedialne. Wreszcie mogą mieć charakter pośredni, częściowo usystematyzowany czy otagowany. Wyzwaniem ich uspójnianie różnych formatów danych, zwłaszcza z uwagi na ich wielkość i tempo pojawiania się.

Velocity, czyli szybkość. Big data rośnie w tempie wykładniczym. Tempo, w jakim dane są generowane, przetwarzane i analizowane ma znaczenie dla ich biznesowej wartości. Dziś zbiory danych są aktualizowane praktycznie w czasie prawie rzeczywistym, co ma wpływ na dalszą analizę i wyciąganie wniosków.

Veracity, czyli wiarygodność. Odnosi się do stopnia dokładności zbiorów danych i ich wiarygodności. Surowe dane zbierane z różnych źródeł mogą powodować problemy z jakością danych, które mogą być trudne do zidentyfikowania. Jeśli nie zostaną odpowiednio oczyszczone i zakwalifikowane, złe dane doprowadzą do błędnych wyników. 

Value, czyli wartość.  Nie wszystkie gromadzone dane mają realną wartość biznesową. Organizacje muszą znać ich wartość, zanim zostaną wykorzystane dalej, aby nie miały negatywnego wpływu na wynik analiz. 

Variability, czyli zmienność. Dotyczy danych, które mogą być wieloznaczne lub różnie sformatowane w źródłach, z których pochodzą.

Seksowny jak data scientist

Zrozumienie wielowymiarowości danych jest kluczem do inteligentnego gromadzenia informacji i dalszego ich wykorzystania przy podejmowaniu decyzji. 

Zanim to się stanie, dane muszą przejść przez ręce i głowę analityka danych. Data Scientist to dziś jedna z najbardziej poszukiwanych kompetencji na rynku IT. Już w 2012 roku magazyn Harvard Business Review nazwał go najseksowniejszym zawodem XXI wieku. To rola wymagająca znajomości języków programowania, dostępnych narzędzi, wiedzy z zakresu machine learning, statystyki, analizy biznesowej i komunikacji. Analityk danych pracuje na olbrzymich zbiorach danych, które porządkuje lub  przygotowuje do dalszej cyfrowej obróbki, gdy wpadają między algorytmy AI, następnie interpretuje wyniki, wizualizuje i przekazuje dalej. Uzyskane wyniki przekazane do kierownictwa działu marketingu, sprzedaży czy kierownictwa organizacji dają nową wiedzę, nowy wgląd w sytuację i powinny przekładać się na działania.

Jeśli szukamy porównania z życia codziennego to najbliżej mu do doświadczonego kucharza, który znając wartość składników, umiejętnie je dobiera, przygotowuje i korzysta z bogactwa narzędzi poddając je twórczej przeróbce, pozostając przy tym otwartym na zaskakujące doznania smakowe. 

Po teoretycznym wprowadzeniu w świat Big Data warto pochylić się nad kwestią praktyki. Bo skoro Big Data jawi się aż w sześciu wymiarach, to jego praktyczne wykorzystanie z pewnością odkryje przed nami jego prawdziwy potencjał. Druga część tego wpisu, traktuje właśnie o tym.