Big data - termin sa kojim se sve češće susrećemo
×

Big Data se uopšteno odnosi na skupove podataka koji su tako veliki po obimu i tako složeni da tradicionalni softverski proizvodi za obradu podataka nisu u mogućnosti da preuzmu, upravljaju i obrađuju podatke u razumnom vremenskom roku. Big Data je kao termin nastao 2008. godine.

Sta je Big data

Ovi veliki skupovi podataka mogu uključivati strukturisane, nestrukturisane i delimično strukturisane podatke, od kojih svaki mogu da se prekopavaju za uvide.

U poslednje vrijeme sve više se priča o Big Data, kako je to posao budućnosti i slično.

Dimenzije Big Data

Često se spominju dimenzije Big Data. Kako tačno da znamo šta je, da li je relaciona baza od 10TB Big Data ili ne?

Često, Big Data karakterišu tri V:

  • Volume (ekstremni obim podataka) – velika brzina rasta količine novih podataka i čuvanje postojećih dovodi do toga da se sada skladište stotine terabajta, pa čak i mnogo više.
  • Variety (širok spektar tipova podataka) – (raznolikost podataka) više nije dovoljno čuvati samo struktuirane podatke, već i slike, podatke sa društvenih mreža, logove, senzorske podatke…
  • Velocity (brzina kojom se podaci moraju obraditi i analizirati) – brzina kojom pristižu novi podaci je velika i veća je od brzine obrade podataka.

Ako neki podaci imaju ove karakteristike, onda možete reći da imate Big Data u svom sistemu. Sa razvojem inteligentnih uređaja raste i količina podataka koji oni generišu. Na primjer, jedan Airbas avion za jedan prosječan let izgeneriše 1TB senzorskih podataka, koji analizom mogu da poboljšaju kvalitet samog leta ili da spriječe kvarove prije nego se i dese. U principu, ako imate dovoljno resursa za skladištenje podataka, možete lako prikupiti podatke.

Neke firme su u mogućnosti da prikupe velike količine podatka, neke možda i imaju implementiran Big Data softver, a gotovo sam siguran da se prate zapadni trendovi ulaganja u nove tehnologije, da bi i neke firme već imale zavidna dostignuća.

Big Data je jako prisutna u telekomunikacijama, medicini, trgovini, proizvodnji…

Big data

Ekosistem Hadoop

Hadoop je jedna od tehnologija koja je blisko povezana sa Big Data. Projekat Apache Hadoop razvija softver otvorenog koda za skalabilno, distribuirano računarstvo.

Softverska biblioteka Hadoop predstavlja okvir koji omogućava distribuiranu obradu velikih skupova podataka preko klastera računara pomoću jednostavnih programskih modela. Dizajniran je da se skalira od jednog servera pa sve do hiljade servera, od kojih svaki nudi lokalno računanje i skladištenje.

Prednosti i nedostaci.

Mogućnost samog predviđanja i posjedovanja vrednih informacija prije svih je nešto što je danas vrjednije od novca.

Kao što je to prednost, javlja se i nedostatak na strani običnih ljudi, čiji se podaci sakupljaju u Data centrima raznih firmi. Postoji primjer u SAD-u, kompanija Target je stalno slala šesnaestogodišnjoj djevojci ponude za opremu za bebe i slično, što je zasmetalo njenom ocu koji je tužioTarget. Ispostavilo se da je devojka stvarno trudna, da je Target sistem sa preporuku odradio svoj posao. Posle toga otac je morao javno da se izvini. Ovo je jedan pomalo zastrašujući primjer korišćenja Big Data.

Postavlja se i pitanje etike u ovim slučajevima.

Naravno nije Big Data zlo, možda avion sa stotinu putnika ne padne u okean baš zbog Big Data ili se spreči ekološka katastrofa na bušotini nafte. Mislim da Big Data i softver za Big Data pružaju ogromne mogućnosti i da je sve na onima koji ih koriste.

Blog
limun.co © 2018 | Sva prava zadrzana