Softver omogućuje laptopu analiziranje Big Data podataka

Računalni znanstvenici Sveučilišta Carnegie Mellon razvili su softver za izvođenje računalnih zadaća koji procesira velike količine podataka (Big data) i može se primjenjivati za zadaće poput analiza društvenih mreža i efikasnosti web tražilica.

Izraz Big data (velika količina podataka) dolazi iz softverskog inženjerstva i računalne znanosti, a opisuje setove podataka koji se povećavaju takvom količinom da ih je nemoguće procesirati bez strahovite računalne snage, bilo uvezanim sustavima mnoštva računala (klasterima), ili moćnim superračunalima.

Novi softver koji su nazvali GraphChi, na jedinstven način koristi kapacitet tvrdih diskova za pohranu grafova koji se obično pohranjuju u RAM memoriju.

"Osobna računala nemaju dovoljno RAM-a da bi mogla pohraniti čitav web graf, no imaju tvrde diskove koji mogu pohranjivati velike količine informacija. No tvrdi diskovi su spori u usporedbi s RAM-om za čitanje i zapisivanje podataka, što značajno usporava računalne operacije. Stoga smo razvili bržu, manje random (slučajnu) metodu pristupa tvrdom disku", kaže Carlos Guestrin, direktor Carnegie Mellonovog Select Laba, gdje je proizveden GraphChi.

Prema njegovim riječima, Mac Mini koji koristi GraphChi, može analizirati Twitterov socijalni graf od 2010. (koji sadrži 40 milijuna korisnika i 1,2 milijardu konekcija) za 59 minuta. "Prijašnji najbolji objavljeni rezultati rješavanja ovog problema, zahtijevali su 400 minuta, korištenjem klastera od 1.000 računala", navodi Guestrin.

GraphChi za sada nije u stanju operirati s takozvanim "streaming graphovima", koji predstavljaju precizniji model za analizu velikih mreža, omogućujući prikaz promjena tijekom prolaska vremena, no Guestrin i njegov tim već rade na iznalaženju načina koji će omogućiti GraphChiju da "probavlja" i njih.

Što se tiče praktične primjene GraphChija, Guerin kaže kako će biti vrlo koristan računalnim biolozima za izvođenje računalnog procesiranja na "velikoj skali", kao i developerima koji rade na algoritmima za data-centre kako bi ih mogli testirati na svojim računalima prije nego ih postave na oblak.

"Velike količine podataka se danas nalaze svugdje, no neke njihove vrste nisu više tako velike kao što su bile nekada. Alati poput GraphChija će omogućiti mnogim manjim tvrtkama i startupima da rješavaju sve svoje graf-računalne potrebe na jednom računalu", tvrdi Guerin. 

Ako se bavite "Big data" računalstvom, na ovom linku možete preuzeti izvorni kod GraphChija, te vidjeti praktične primjere koji će vam omogućiti uvid u njegove mogućnosti: http://graphlab.org/graphchi.