Základy teorie informace,
osnova přednášek a cvičení.
1. Entropie, relativní entropie, divergence,
sdílená informace.
2. Entropie a sdílená informace jako „objemové
míry“,
základní
vztahy.
3. Význam, použití, plánování a vyhodnocení
experimentů.
4. Typové sekvence, použití pro extrémní
odchylky, kódování.
5. Úvod do teorie sázek, entropie a divergence.
6. Úvod do teorie sázek II.
7. Přenosový kanál jako jedna z metod odhadu.
8. Základní stochastické procesy, Markovský řetězec a proces.
9. Skryté markovské
modely, entropická míra.
10. Teorie informace a
statistika.
11. Teorie informace a burza
cenných papírů.
12. Teorie informace,
obslužné linky a sítě.
13. Princip maxima entropie
a jeho využití pro odhady.
Adámek:
Stochastické procesy a
teorie informace - úlohy, skripta ČVUT,
ediční středisko ČVUT, Praha 1989.
Vajda: Teória informácie a štatistického rozhodovania.
Alfa, Bratislava 1982.
Šebesta:
Signály a soustavy II., skripta VUT
Brno, SNTL Praha 1982.
Adámek: Kódování.
SNTL, Praha 1989. Edice
Matematika pro vysoké školy
technické.
Cover, Thomas: Elements of Information Theory. Wiley, New York
1991.
Csiszár, Koerner: Information Theory, Coding Theorems for Discrete Memoryless Systems. Akademiai Kiado. Budapest 1986.
Bečvář: Úvod do algebry. Skripta MFF - UK, SPN Praha
1984.
Bican: Algebra II. Skripta MFF - UK, SPN Praha 1982.
Bican, Kepka, Němec: Úvod do
teorie konečných těles a
lineárních kódů. Skripta MFF - UK, SPN
Praha 1982.
1. Konečný automat jako dynamický model.
2. Odvozené množinové popisy konečného automatu,
modelování neurčitosti.
3. Pravděpodobnostní automat, jeho neurčitost,
aplikace sdílené informace.
4. Příklady využití entropie pro plánování
experimentů. Vyhledávání prahu, metoda „půlení
pravděpodobnosti“, kód s „minimální délkou“ zprávy.
5.
Příklady elementárních sázek, základní algoritmy sázkové kanceláře.
6. Investice a sázka na výnos. Střední výnos a ztráta.
7. Úvod do klasifikace, klasifikační úloha jako
přenosový kanál na jehož vstupu jsou klasifikační
třídy a na
výstupu hodnoty příznaků.
8. Příklady markovských
řetězců, některé elementární fronty.
9.
Další příklady markovských řetězců a obsluha, úloha o
skladu, vazba na informační míry.
10. Odhalování extrémních hodnot, extrémní
trajektorie, příklady ze sledování jakosti, odhady
výjimečného
chování kurzových trajektorií.
11.
Klasifikační úlohy II. rozpoznávání obrazů, gramatiky a automaty, neurčitost popisu.
12. Obslužné linky a elementární sítě.
13. Některé důsledky principu maxima entropie,
apriorní rozdělení pravděpodobnosti.
Další doporučená literatura
pro cvičení:
Friedman, Menon: Teorie a návrh
logických obvodů. SNTL, Praha 1983.
Chytil: Teorie automatů a formálních jazyků, skripta MFF UK, SPN Praha 1978.
Chytil: Automaty a gramatiky. SNTL, Praha 1984.
Češka: Gramatiky a jazyky, skripta VUT Brno 1981.
Bokr: Minimalizace booleových funkcí, skripta VŠSE Plzeň 1970.
Demlová, Koubek: Algebraická teorie automatů, SNTL
Praha 1990.
Zápočet je získán za splnění
vedoucím definovaných podmínek. Vedoucí cvičení předloží zkoušejícímu práci
spolu s návrhem známky za zápočtový úkol. Tato známka bude mít v celkovém
hodnocení váhu 1. Zápočet uděluje a zapisuje vedoucí cvičení. Pokus o získání
zápočtu lze opakovat pouze jednou!
Student, který získal
zápočet má právo přihlásit se na zkoušku. Pokud se na zkoušku přihlásí student,
který dosud nezískal zápočet má se za to, že je v takovém termínu klasifikován
nevyhověl. Pokud se student přihlásí na více zkušebních termínů má se za to, že
bude zkoušen v posledním termínu na který se přihlásil a že, v předchozích
termínech je hodnocen nevyhověl (důvod neblokovat kolegům místa). Na opravný
termín se student může přihlásit pouze po klasifikaci nevyhověl a to ve
vypsaných termínech a pokud je na nich místo. V jednom dni bude zkoušeno
maximálně 15 studentů. Nárok na vypsání zkušebních termínu ve zkouškovém období
letního semestru není.
Zkouška má písemnou část
sestávající z 20 otázek a řešených jednoduchých problémů (dále jen otázky).
Zkouška bude trvat 60 minut čistého času. Pokud student odevzdá práci dříve, má
se za to, že již dalšího času nepotřebuje a to ze své vůle. Z předčasného
odevzdání nelze odvozovat žádné další nároky
Správná odpověď nebo řešení otázky vede na zisk dvou bodů (v případě
chybné odpovědi může zkoušející udělit hodnocení jednoho bodu,
pokud je přesvědčen, že uvedený postup by vedl k správnému řešení). Při písemné
zkouškové práci bude student potřebovat pouze psací potřeby a poznámkový papír.
Nic jiného nebude připuštěno. Zkoušející má právo kdykoliv v průběhu zkoušky
požádat studenta o prokázání vlastní identity (indexem a zápisem ve zkušebním
formuláři).
Hodnocení písemné části:
> 30 bodů - výborně = 1,
21 - 30 bodů - velmi
dobře = 2,
11- 20 bodů - dobře
= 3,
< 11 bodů - nevyhověl.
Hodnocení nevyhověl nebo
nezískání zápočtu má za následek celkové hodnocení nevyhověl. Při pochybnostech
o písemné zkouškové práci má právo zkoušející vyžádat si dodatečnou ústní část
zkoušky, která bude pouze ověřovat zda byla písemná část zpracována korektně
tj. zda její obsah odpovídá znalostem studenta, negativní zjištění má za
následek hodnocení písemné části nevyhověl.
V ostatních případech se celkové hodnocení zkoušky
stanoví následovně:
1 x známka
za zápočtovou práci + 3 x známka za písemnou část
celkové hodnocení
=
-----------------------------------------------------------------------------------
4
výsledek se zaokrouhlí dle platných zaokrouhlovacích
pravidel tj.