Big Data

Big data je termin koji se sve češće spominje kada se govori o inovativnim poslovnim modelima ili analizi podataka. No što zapravo stoji iza termina Big data? Na kojim principima se temelji ta tehnologija? I kako se ti principi mogu koristiti za unaprjeđenje poslovanja? Na ta pitanja pokušat ćemo odgovoriti u našoj rubrici Big data.

Krenimo s par primjera kako bi prikazali što predstavlja termin Big data. Društvene mreže su neiscrpan izvor podataka koji se prikupljaju iz dana u dan. Facebook sa svojih 1,4 milijarde korisnika dnevno prikupi i spremi preko 600 TB raznih podataka (slike, statusi, osobne poruke…). Trenutno posjeduju data storage veličine 300 PB (peta bajt – 1000 TB). Microsoft je također tvrtka koja svakodnevno prikuplja podatke od više od milijardu korisnika diljem svijeta. Prikupljaju se podaci o stanju računala, našoj lokaciji i mnogi drugi. Svi ti podaci prikupljaju se i obrađuju na velikim farmama podataka.

Što je Big Data?

Podaci koji se prikupljaju su različiti. Od slika, video zapisa, statusa, lozinki, poruka… Takvi podaci imaju tri zajedničke karakteristike: veliki volumen (svake sekunde pristižu terabajti podataka), velika brzina pristizanja (u realnom vremenu) i mnogo se razlikuju (nisu strukturirani). Upravo zbog takvih karakteristika podataka pojavila se potreba za razvijanjem nove tehnologije, Big data, koja nadilazi SQL ograničenja. Veliki izazovi kod obrade Big Data nalaze se u prihvaćanju, pohrani, analizi te očuvanju podataka. Osim toga, prilično je zahtjevno pretraživanje i transport podataka, kao i vizualizacija i podatkovna privatnost. Naziv se često se odnosi na korištenje prediktivne analize, analize ponašanja korisnika ili nekih drugih naprednih metoda podatkovnih analiza koje nalaze vrijednosti u podacima. Službena definicija pojma ne postoji, no može se definirati kao:

“Baze podataka čija veličina nadilazi mogućnosti spremanja i obrade tradicionalnih DBMS sustava.”McKingsley Global Institute

“Skup podataka koji su toliko veliki i kompleksni da se ne mogu obraditi putem tradicionalnih baza podataka ili tradicionalnih aplikacija za obradu.”Wikipedija

“Novi alat za analizu podataka koji na omogućuje analizu i uvid u buduće poslovne prilike.”Gil Press, Forbes

Primjeri primjene

Posjedovanje ovakve količine podataka donosi mnoge mogućnosti primjene. Razumijevanje i targetiranje kupaca, razumijevanje i optimizacija poslovnih procesa, povećanje osobne produktivnosti, poboljšanje zdravstva, poboljšanje sportskih rezultata su samo neki od mogućih primjena.

Google Maps koristi real-time podatke prikupljene od milijardi korisnika kako bi prikazali prometno opterećenje na prometnicama, društvene mreže dodaju nove aplikacije na temelju ponašanja korisnika na njihovim mrežama, auto industrija optimizira potrošnju sirovina za izradu dijelova na temelju podataka prikupljenih tijekom godina.

Big Data alati

Korist od velike količine podataka može se postići jedino ako se koriste odgovarajući alati za analizu takvih podataka. Rezultat analize i zaključak na temelju rezultata omogućavaju da se doista primjeni ono na što ukazuju podaci. Neki alati za analizu i spremanje podataka su Hadoop, Cloudera, MongoDB i Talend.

 

Iz dana u dan popularna rečenica koja se pojavljuje na internetu:

“Data is everything and everything is data!”

dobiva sve veću težinu.

 

Youtube video Big Data: