Theses
Theses
Bruno Gavranović
Primjena dubokog učenja na analizu sentimenta
Application of Deep Learning for Sentiment Analysis
2016
Undergraduate
Jan Šnajder
Martin Tutek
FER
FER2
4752
50
HR
Uzevši u obzir eksponencijalnni rast dostupnih podataka generiranih u cijelom svijetu, postoji rastući interes u stvaranje modela sposobnih za analizu podataka koji imaju semantički nepoznat kontekst. Ovaj rad se fokusira na istraživanje i analizu teorijske osnove koja stoji iza modela zvanih povratne neuronske mreže (engl. recurrent neural networks, RNN) kroz konkretnu implementaciju na problemu semantičke analize. Poseban slučaj povratnih neuronskih mreža, mreže s dugotrajnim kratkoročnim pamćenjem (engl. Long short-term memory networks, LSTM) su implementirane na problemu klasifikacije sentimenata na skupu podataka recenzija filmova. Testirane su i uspoređene mnogobrojne arhitekture i konfiguracije hiperparametara spomenutih neuronskih mreža. Značajano poboljšanje performansi je primjećeno s dubokim višeslojnim LSTM mrežama, u za razliku od rezultata dobivenih s plitkim mrežama.
Given the exponential growth of amount of available data generated worldwide, there has been a rising interest in the creation of models capable of analyzing the data without knowing the semantic context. This paper focuses on exploration and analysis of the theoretical foundation that stands behind models called recurrent neural networks through concrete implementation on a problem of semantic analysis. Special case of recurrent neural networks, long short-term memory networks (LSTM networks) were implemented on a task of semantic classification on the IMDb dataset. Various architectures and hyperparameter configurations were tested and compared on the said neural networks. Significant performance boost was detected with deep multi-layer LSTM networks, compared to performance with shallow ones.
obrada prirodnog jezika, strojno učenje, neuronske mreže, duboko učenje, analiza sentimenata, LSTM, povratne neuronske mreže
natural language processing, machine learning, neural networks, deep learning, sentiment analysis, LSTM, recurrent neural networks
6.7.2016.
Duboko učenje naziv je za skup algoritama strojnoga učenja koji kroz višeslojnu obradu podataka modeliraju apstrakcije visoke razine. Ti su se modeli pokazali iznimno učinkoviti na nizu zadataka obrade prirodnog jezika. To se posebno odnosi na metode temeljene na povratnim neuronskim mrežama, koje se u posljednje vrijeme preuzele vodstvo nad tradicionalnim pristupima u analizi teksta.
U okviru završnoga rada potrebno je upoznati se s osnovama neuronskih mreža, a zatim proučiti modele dubokog učenja temeljene na tradicionalnim povratnim neuronskim mrežama (eng. recurrent neural networks, RNN), modele dugog kratkoročnog pamćenja (engl. long short term memory, LSTM) te modele s propusnim povratnim jedinicama (gated recurrent units, GRU). Upoznati se s problemom analize sentimenta u korisnički generiranom sadržaju. Razviti i implementirati model za analizu sentimenta temeljen na dubokom učenju te ga primijeniti na prikladne skupove podataka na hrvatskome i engleskome jeziku. Provesti eksperimentalno vrednovanje modela, uključivo usporedbu s referentnim modelom i statističku obradu rezultata. Radu priložiti izvorni i izvršni kod razvijenog sustava, označene skupove podataka i potrebnu dokumentaciju te citirati korištenu literaturu.