Znanstveniki izboljšajo metodo globokega učenja za nevronske mreže

J. Krishnamurti & David Bohm - Brockwood Park 1980 - 15: Can human problems be solved? (Junij 2019).

Anonim

Raziskovalci na Inštitutu za intelektualno-informacijske sisteme na Nacionalni raziskovalni jedrski univerzi MEPhI (Rusija) so nedavno razvili nov učni model za omejen Boltzmannov stroj (nevronska mreža), ki optimizira procese semantičnega kodiranja, vizualizacije in prepoznavanja podatkov. Rezultati te raziskave so objavljeni v reviji Optical Memory in Neural Networks.

Danes so globoka nevronska omrežja z različnimi arhitekturami, kot so pretvorbena, ponavljajoča in avtokoderna omrežja, vse bolj priljubljena področja raziskav. Številna visokotehnološka podjetja, vključno z Microsoftom in Googlom, uporabljajo globoke nevronske mreže za oblikovanje inteligentnih sistemov.

V sistemih globokega učenja so procesi izbire in konfiguracije funkcij avtomatizirani, kar pomeni, da lahko omrežja sami izberejo med najučinkovitejšimi algoritmi za hierarhično ekstrakcijo lastnosti. Za globoko učenje je značilno učenje s pomočjo velikih vzorcev z enim samim optimizacijskim algoritmom. Tipični algoritmi za optimizacijo konfigurirajo parametre vseh operacij hkrati in učinkovito ocenijo vpliv vsakega parametra nevronske mreže na napako s pomočjo ti-backpropagation metode.

"Sposobnost nevronskih mrež, da se učijo sami, je ena od njihovih najbolj zanimivih lastnosti, " je pojasnil Vladimir Golovko, profesor na Inštitutu za intelektualne sisteme MEPhI. "Tako kot biološki sistemi se nevronske mreže lahko sami oblikujejo in si prizadevajo razviti najboljši možni model vedenja".

Leta 2006 je področje usposabljanja nevronske mreže zaznamovalo preboj, ko je Geoffrey Hinton objavil raziskavo o nevronskih mrežah pred treningom. Povedal je, da bi se večplastne nevronske mreže lahko predhodno usposabljale z enim slojem hkrati s pomočjo omejenega Boltzmannovega stroja, nato pa jih natančno nastavljali z uporabo povratne napetosti. Ta omrežja so imenovali omrežja globokih prepričanj ali DBN.

Golovko je analiziral glavna vprašanja in paradigme globokega strojnega učenja in predlagal novo metodo učenja za omejen Boltzmannov stroj. Raziskovalec je pokazal, da je klasično pravilo usposabljanja te nevronske mreže poseben primer metode, ki jo je razvil.

"Ameriški znanstveniki Minsky in Papert so enkrat pokazali, da z vidika klasifikacije vzorcev enocenski perceptron s funkcijo aktivacije pragov tvori linearno ločilno površino, zaradi česar ne more rešiti" izključnega ali "problema" Golovka opozoriti. "To je privedlo do pesimističnih zaključkov o nadaljnjem razvoju nevronskih mrež, vendar pa zadnja izjava velja le za enojni perceptron s pragom ali monotonično zvezno aktivacijsko funkcijo, na primer sigmoidno funkcijo. Ko uporabite aktivacijo signala lahko enostopenjski perceptron reši "ekskluzivno ali" težavo, saj lahko s pomočjo dveh ravnih črt razdeli območje tiste in ničle v razrede. "

Raziskava je vključevala tudi analizo možnosti uporabe globokih nevronskih mrež za stiskanje, vizualizacijo in prepoznavanje podatkov. Poleg tega je Golovko predlagal tudi nov pristop k izvajanju semantičnega kodiranja ali hashinga, ki temelji na uporabi globokih avto-asociativnih nevronskih mrež.

Ta globoka učna metoda je lahko zelo uporabna za usposabljanje nevronskih omrežij iskalnikov, avtor pravi, saj bo izboljšal hitrost iskanja ustreznih slik.

Te ugotovitve imajo veliko praktično vrednost: že našlejo aplikacijo na področju računalniškega vida, prepoznavanja govora in bioinformatike.

menu
menu