prikaz prve stranice dokumenta Savezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima
  Download
PDF 233.1 KB
undergraduate thesis
Savezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima
2022. urn:nbn:hr:137:598746
Borina, Mateo
University of Pula
Faculty of Informatics in Pula

Cite this document

Borina, M. (2022). Savezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima (Undergraduate thesis). Pula: University of Pula. Retrieved from https://urn.nsk.hr/urn:nbn:hr:137:598746

Borina, Mateo. "Savezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima." Undergraduate thesis, University of Pula, 2022. https://urn.nsk.hr/urn:nbn:hr:137:598746

Borina, Mateo. "Savezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima." Undergraduate thesis, University of Pula, 2022. https://urn.nsk.hr/urn:nbn:hr:137:598746

Borina, M. (2022). 'Savezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima', Undergraduate thesis, University of Pula, accessed 14 January 2025, https://urn.nsk.hr/urn:nbn:hr:137:598746

Borina M. Savezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima [Undergraduate thesis]. Pula: University of Pula; 2022 [cited 2025 January 14] Available at: https://urn.nsk.hr/urn:nbn:hr:137:598746

M. Borina, "Savezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima", Undergraduate thesis, University of Pula, Pula, 2022. Available at: https://urn.nsk.hr/urn:nbn:hr:137:598746

Please login to the repository to save this object to your list.
Metadata
TitleSavezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima
Title (english)Federated Learning with pretrained Transformer-based Neural Networks
AuthorMateo Borina
MentorNikola Tanković (mentor)
MentorRobert Šajina (komentor)
Committee memberGoran Oreški (član povjerenstva)
Committee memberNikola Tanković (član povjerenstva)
Committee memberSiniša Sovilj (član povjerenstva)
Committee memberRomeo Šajina (član povjerenstva)
Committee memberRobert Šajina (član povjerenstva)
GranterUniversity of Pula
(Faculty of Informatics in Pula)
Pula
Defense date and country2022-09-09, Croatia
Scientific / art field,
discipline and subdiscipline		SOCIAL SCIENCES
Information and Communication Sciences
Information Systems and Information Science
Abstract
Federalno učenje je paradigma kolaborativnog učenja koja se brzo razvija i trenira modele neuronske mreže na uređajima korisnika. Federalno učenje se distribuira, a samo se rezultati treniranja dijele sa središnjim poslužiteljem, čuvajući privatnost. Modeli temeljeni na Transformerima su modeli strojnog učenja koji se koriste za predviđanje slijeda riječi u obradi prirodnog jezika (NLP). Ovaj rad istražuje ideju o treniranju Transformera u arhitekturi udruženog učenja na zadatku prepoznavanja imenovanih entiteta (NER). Transformeri za treniranje mogu se provesti korištenjem nasumično inicijaliziranih ili prethodno treniranih modela. Ovaj rad analizira rezultate treniranja prethodno treniranih BERT modela u federalnom učenju. Sve 24 manje veličine BERT modela koriste se u eksperimentima za istraživanje utjecaja slojeva i veličina sakrivenih slojeva (H) pri korištenju unaprijed treniranih modela. Uvježbani modeli se procjenjuju na dobro poznatim skupovima podataka, a konačni rezultati se navode i analiziraju. Izvorni kod se može pronaći na Githubu: https://github.com/fipu-lab/ner-federated
Abstract (english)
Federated learning is a fast-emerging collaborative learning paradigm of training neural network models on users' devices. Federated learning is distributed, and only training results are shared with a central server, preserving privacy. Transformer-based models are machine learning models used for word sequence prediction in natural language processing. This paper explores the idea of training Transformers in federated learning architecture on a named-entity recognition (NER) task. Training Transformers can be conducted using randomly initialized or pre-trained models. This paper analyses results of training pre-trained BERT models in Federated learning. All 24 smaller BERT model sizes are used in the experiments to explore the impact of layers and hidden size when using pre-trained models. Trained models are evaluated on well-known datasets, and the final results are provided and analyzed. Source code can be found on Github: https://github.com/fipu-lab/ner-federated
Keywords
Keywords (english)
Languagecroatian
URN:NBNurn:nbn:hr:137:598746
Study programmeTitle: Informatics
Study programme type: university
Study level: undergraduate
Academic / professional title: sveučilišni/a prvostupnik/prvostupnica (baccalaureus/baccalaurea) informatike (sveučilišni/a prvostupnik/prvostupnica (baccalaureus/baccalaurea) informatike)
Type of resourceText
File originBorn digital
Access conditionsOpen access
Terms of useLicence In copyright icon
Created on2022-09-17 14:42:37