ANALIZA APACHE HADOOP-A I MOGUĆNOSTI UPOTREBE

Dragan Šušak; Zoran Đurić

Dragan Šušak diva-e Platforms
Zoran Đurić Elektrotehnički fakultet, Univerzitet u Banjoj Luci, RS, BiH

Кључне речи: Apache Hadoop, Apache Spark, mašinsko učenje, kategorizacija vijesti

Сажетак

U ovom radu urađena je analiza i ispitane mogućnosti upotrebe Apache Hadoop aplikativnog framework-a, zajedno sa njegovim propratnim alatima. Osim toga, data je i detaljnija analiza alternativnog framework-a za procesiranje podataka u distribuiranom okruženju, poznatog i kao Apache Spark. Takođe, opisani su hardverski, softverski i sigurnosni zahtjevi neophodni za uspostavljanje tipičnog Hadoop klastera, prema Cloudera-inoj referentnoj specifikaciji. Kao praktični dio, implementirana je relativno kompleksna aplikacija za kategorizaciju Web vijesti, korištenjem Apache Spark aplikativnog framework-a i principa mašinskog učenja. Specifikacija implementirane aplikacije data je odgovarajućim UML dijagramima, a navedeni su i ilustrativni primjeri kategorizacije novih Web vijesti.