Základy teorie informace, osnova přednášek a cvičení.

 

1.  Entropie, relativní entropie, divergence, sdílená informace.

2.  Entropie a sdílená informace jako „objemové míry“,

     základní  vztahy.

3.  Význam, použití, plánování a vyhodnocení experimentů.

4.  Typové sekvence, použití pro extrémní odchylky, kódování.

5.  Úvod do teorie sázek, entropie a divergence.

6.  Úvod do teorie sázek II.

7.  Přenosový kanál jako jedna z metod odhadu.

8.  Základní stochastické procesy, Markovský řetězec a proces.

9.  Skryté markovské modely, entropická míra.

10. Teorie informace a statistika.

11. Teorie informace a burza cenných papírů.

12. Teorie informace, obslužné linky a sítě.

13. Princip maxima entropie a jeho využití pro odhady.

 

Doporučená literatura:

 

Základní studium:

Adámek:  Stochastické procesy  a teorie  informace - úlohy, skripta ČVUT, ediční středisko ČVUT, Praha 1989.

 Vajda:  Teória  informácie  a  štatistického  rozhodovania. Alfa,    Bratislava 1982.

Šebesta:  Signály a  soustavy II.,  skripta VUT  Brno, SNTL Praha    1982.

Adámek: Kódování.  SNTL, Praha 1989. Edice  Matematika pro vysoké    školy technické.

Pro podrobnější studium:

Cover, Thomas:  Elements of Information  Theory. Wiley, New  York    1991.

Csiszár,  Koerner:   Information  Theory,  Coding   Theorems  for    Discrete Memoryless Systems. Akademiai Kiado. Budapest 1986.

Bečvář: Úvod do algebry. Skripta MFF - UK, SPN Praha 1984.

Bican: Algebra II. Skripta MFF - UK, SPN Praha 1982.

Bican, Kepka, Němec:  Úvod do  teorie konečných  těles a lineárních    kódů. Skripta MFF - UK, SPN Praha 1982.

Cvičení:

1. Konečný automat jako dynamický model.

2. Odvozené množinové popisy konečného automatu, modelování  neurčitosti.

3. Pravděpodobnostní automat, jeho neurčitost, aplikace sdílené informace.

4. Příklady využití entropie pro plánování experimentů. Vyhledávání prahu, metoda „půlení

    pravděpodobnosti“, kód s „minimální délkou“ zprávy.

5. Příklady elementárních sázek, základní algoritmy sázkové kanceláře.

6. Investice a sázka na výnos. Střední výnos a ztráta.

7. Úvod do klasifikace, klasifikační úloha jako přenosový kanál na jehož vstupu jsou klasifikační

    třídy a na výstupu hodnoty příznaků.

8. Příklady markovských řetězců, některé elementární fronty.

9. Další příklady markovských řetězců a obsluha, úloha o skladu, vazba na informační míry.

10. Odhalování extrémních hodnot, extrémní trajektorie, příklady ze sledování jakosti, odhady

    výjimečného chování kurzových  trajektorií.

11. Klasifikační úlohy II. rozpoznávání obrazů, gramatiky a  automaty, neurčitost popisu.

12. Obslužné linky a elementární sítě.

13. Některé důsledky principu maxima entropie, apriorní rozdělení pravděpodobnosti.  

 

Další doporučená literatura pro cvičení:

Friedman, Menon: Teorie a návrh logických obvodů. SNTL, Praha 1983.

Chytil: Teorie automatů  a formálních jazyků, skripta  MFF UK, SPN Praha 1978.

Chytil: Automaty a gramatiky. SNTL, Praha 1984.

Češka: Gramatiky a jazyky, skripta VUT Brno 1981.

Bokr:  Minimalizace booleových funkcí, skripta VŠSE Plzeň 1970.

Demlová, Koubek: Algebraická teorie automatů, SNTL Praha 1990.

 

Požadavky na zápočet a zkoušku:

 

Zápočet je získán za splnění vedoucím definovaných podmínek. Vedoucí cvičení předloží zkoušejícímu práci spolu s návrhem známky za zápočtový úkol. Tato známka bude mít v celkovém hodnocení váhu 1. Zápočet uděluje a zapisuje vedoucí cvičení. Pokus o získání zápočtu lze opakovat pouze jednou!

Student, který získal zápočet má právo přihlásit se na zkoušku. Pokud se na zkoušku přihlásí student, který dosud nezískal zápočet má se za to, že je v takovém termínu klasifikován nevyhověl. Pokud se student přihlásí na více zkušebních termínů má se za to, že bude zkoušen v posledním termínu na který se přihlásil a že, v předchozích termínech je hodnocen nevyhověl (důvod neblokovat kolegům místa). Na opravný termín se student může přihlásit pouze po klasifikaci nevyhověl a to ve vypsaných termínech a pokud je na nich místo. V jednom dni bude zkoušeno maximálně 15 studentů. Nárok na vypsání zkušebních termínu ve zkouškovém období letního semestru není.

Zkouška má písemnou část sestávající z 20 otázek a řešených jednoduchých problémů (dále jen otázky). Zkouška bude trvat 60 minut čistého času. Pokud student odevzdá práci dříve, má se za to, že již dalšího času nepotřebuje a to ze své vůle. Z předčasného odevzdání nelze odvozovat žádné další nároky  Správná odpověď nebo řešení otázky vede na zisk dvou bodů (v případě chybné odpovědi může zkoušející udělit hodnocení jednoho bodu, pokud je přesvědčen, že uvedený postup by vedl k správnému řešení). Při písemné zkouškové práci bude student potřebovat pouze psací potřeby a poznámkový papír. Nic jiného nebude připuštěno. Zkoušející má právo kdykoliv v průběhu zkoušky požádat studenta o prokázání vlastní identity (indexem a zápisem ve zkušebním formuláři).  

 

Hodnocení písemné části:

>   30 bodů     -           výborně          = 1,

21 - 30 bodů   -           velmi dobře    = 2,

11-  20 bodů   -           dobře              = 3,

<    11 bodů    -           nevyhověl.

Hodnocení nevyhověl nebo nezískání zápočtu má za následek celkové hodnocení nevyhověl. Při pochybnostech o písemné zkouškové práci má právo zkoušející vyžádat si dodatečnou ústní část zkoušky, která bude pouze ověřovat zda byla písemná část zpracována korektně tj. zda její obsah odpovídá znalostem studenta, negativní zjištění má za následek hodnocení písemné části nevyhověl.

V ostatních případech se celkové hodnocení zkoušky stanoví následovně:

 

                                       1 x  známka  za zápočtovou práci + 3 x známka za písemnou část

celkové hodnocení    = -----------------------------------------------------------------------------------

                                                                                     4

výsledek se zaokrouhlí dle platných zaokrouhlovacích pravidel tj. 0.500 a výše nahoru.