prikaz prve stranice dokumenta Savezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima
  Preuzmi
PDF 233.1 KB
završni rad
Savezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima
2022. urn:nbn:hr:137:598746
Borina, Mateo
Sveučilište Jurja Dobrile u Puli
Fakultet informatike u Puli

Citirajte ovaj rad

Borina, M. (2022). Savezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima (Završni rad). Pula: Sveučilište Jurja Dobrile u Puli. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:137:598746

Borina, Mateo. "Savezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima." Završni rad, Sveučilište Jurja Dobrile u Puli, 2022. https://urn.nsk.hr/urn:nbn:hr:137:598746

Borina, Mateo. "Savezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima." Završni rad, Sveučilište Jurja Dobrile u Puli, 2022. https://urn.nsk.hr/urn:nbn:hr:137:598746

Borina, M. (2022). 'Savezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima', Završni rad, Sveučilište Jurja Dobrile u Puli, citirano: 20.04.2024., https://urn.nsk.hr/urn:nbn:hr:137:598746

Borina M. Savezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima [Završni rad]. Pula: Sveučilište Jurja Dobrile u Puli; 2022 [pristupljeno 20.04.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:137:598746

M. Borina, "Savezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima", Završni rad, Sveučilište Jurja Dobrile u Puli, Pula, 2022. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:137:598746

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:137:598746
Prijavite se u repozitorij kako biste mogli spremiti objekt u svoju listu.
Podaci o radu
NaslovSavezno učenje s unaprijed obučenim neuronskim mrežama temeljenim na transformerima
Naslov (engleski)Federated Learning with pretrained Transformer-based Neural Networks
AutorMateo Borina
MentorNikola Tanković (mentor)
MentorRobert Šajina (komentor)
Član povjerenstvaGoran Oreški (član povjerenstva)
Član povjerenstvaNikola Tanković (član povjerenstva)
Član povjerenstvaSiniša Sovilj (član povjerenstva)
Član povjerenstvaRomeo Šajina (član povjerenstva)
Član povjerenstvaRobert Šajina (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište Jurja Dobrile u Puli
(Fakultet informatike u Puli)
Pula
Datum i država obrane2022-09-09, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		DRUŠTVENE ZNANOSTI
Informacijske i komunikacijske znanosti
Informacijski sustavi i informatologija
Sažetak
Federalno učenje je paradigma kolaborativnog učenja koja se brzo razvija i trenira modele neuronske mreže na uređajima korisnika. Federalno učenje se distribuira, a samo se rezultati treniranja dijele sa središnjim poslužiteljem, čuvajući privatnost. Modeli temeljeni na Transformerima su modeli strojnog učenja koji se koriste za predviđanje slijeda riječi u obradi prirodnog jezika (NLP). Ovaj rad istražuje ideju o treniranju Transformera u arhitekturi udruženog učenja na zadatku prepoznavanja imenovanih entiteta (NER). Transformeri za treniranje mogu se provesti korištenjem nasumično inicijaliziranih ili prethodno treniranih modela. Ovaj rad analizira rezultate treniranja prethodno treniranih BERT modela u federalnom učenju. Sve 24 manje veličine BERT modela koriste se u eksperimentima za istraživanje utjecaja slojeva i veličina sakrivenih slojeva (H) pri korištenju unaprijed treniranih modela. Uvježbani modeli se procjenjuju na dobro poznatim skupovima podataka, a konačni rezultati se navode i analiziraju. Izvorni kod se može pronaći na Githubu: https://github.com/fipu-lab/ner-federated
Sažetak (engleski)
Federated learning is a fast-emerging collaborative learning paradigm of training neural network models on users' devices. Federated learning is distributed, and only training results are shared with a central server, preserving privacy. Transformer-based models are machine learning models used for word sequence prediction in natural language processing. This paper explores the idea of training Transformers in federated learning architecture on a named-entity recognition (NER) task. Training Transformers can be conducted using randomly initialized or pre-trained models. This paper analyses results of training pre-trained BERT models in Federated learning. All 24 smaller BERT model sizes are used in the experiments to explore the impact of layers and hidden size when using pre-trained models. Trained models are evaluated on well-known datasets, and the final results are provided and analyzed. Source code can be found on Github: https://github.com/fipu-lab/ner-federated
Ključne riječi
Ključne riječi (engleski)
Jezikhrvatski
URN:NBNurn:nbn:hr:137:598746
Studijski programNaziv: Informatika
Vrsta studija: sveučilišni
Stupanj studija: preddiplomski
Akademski / stručni naziv: sveučilišni/a prvostupnik/prvostupnica (baccalaureus/baccalaurea) informatike (univ.bacc inf.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaOtvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Datum i vrijeme pohrane2022-09-17 14:42:37