Popis tématu

Bakalářská práce v programu, specializaci Informatika (Bc).

Nástroj pro paralelní spouštění tréninku neuronových sítí.

Modely neuronových sítí (zejména pokud se jedná o složitější modely spadající do tzv. oblasti hlubokého učení) často vyžadují pro dosažení optimální výsledků opakované spouštění procesu trénování s různým nastavením hyper-parametrů. Hyper-parametry jsou parametry, které nelze je přímo optimalizovat při trénování modelů a musí být stanoveny před spuštěním trénovacího procesu.

Hlavním úkolem řešení práce bude vytvořit řídící a výpočtový uzel. Tyto uzly budou spolu komunikovat po síti. Řídící uzel bude zadávat výpočetním uzlům pokyny k zahájení, popř. zastavení výpočtu. Výpočtové uzly budou spouštět a zastavovat výpočet a hlásit řídícímu uzlu stav (metriku) aktuálně probíhajícího výpočtu.

V rámci tohoto zadání budeme využívat knihovnu Ray Tune (https://ray.readthedocs.io/en/latest/tune.html) a propojíme ji s Českým výpočetní clusterem Metacentrum (https://www.metacentrum.cz/). K využití knihovny Ray Tune existuje celá řada tutoriálů. V našem případě postačí využívat pouze jednoduché strategie distribuce výpočtů. Další tipy k použití této knihovny a ukázky kódů Vám budou dodány zadavatelem. Prostředí Metacentra běží na Linuxových serverech a práce v tomto prostředí se příliš neliší od práce s běžným Linuxem (v tomto případě nejčastěji distribuce Debian).

Téma vypsal: Ing. Miloslav Konopík, Ph.D. (UN 334)

Vypsáno pro akademický rok 2020/2021 dne: 2020-04-19

Rezervace tématu

Toto téma je sice volné, ale protože bylo vypsáno pro akademický rok 2020/2021, tak ho již nelze rezervovat. Pro případné bližší informace kontaktujte osobu, která téma vypsala.

Aktualizováno 0