Projekt Eva -- sběr dat od studentů pro zjišťování kvality výuky


Univerzitní noviny, Západočeská univerzita v Plzni, květen 2000, č. 41, str. 5


Projekt EVA (Elektronické Vyhodnocování Anket) vzniká jako jedna z částí komplexního systému hodnocení kvality výuky na ZČU. Projekt si klade za úkol vytvořit ucelený systém, který by maximálně usnadnil jednotlivým vyučujícím sběr a základní vyhodnocení dat ze studentských dotazníků. Celý projekt se snaží o co největší "uživatelskou přívětivost" a zautomatizování všech činností v co možná největší míře. Projekt se zaměřuje pouze na sběr jednoho typu dat – informací od studentů – a i z tohoto důvodu nemůže být považován za "komplexní řešení kvality".

V článku se dočtete o technickém řešení projektu a důvodech, které k němu vedly, nikoliv o organizačních záležitostech a prováděcích pokynech.

1. Důvody vzniku

Pojmy typu "hodnocení kvality" můžeme slyšet z mnoha různých stran. Pokud mají být součástí seriózního výzkumu, musí být jejich součástí i nějaký systém, který umožní efektivní sběr dat. Sběr dat sám o sobě není ani hodnocením kvality, ani jejím řízením. Z tohoto pohledu je sběr dat principiálně triviální činnost, která je považována za cosi samozřejmého. Na ZČU je nyní nepochybně několik desítek vyučujících, kteří si sami připravují, zadávají studentům a vyhodnocují nejrůznější dotazníky, týkající se kvality jejich výuky. Těmto lidem nečiní sběr dat buď žádné nebo jen malé problémy a pokud nyní čtou tento článek, jistě se právem diví, proč se okolo toho dělá "takový humbuk". Jistě však přiznají, že i když sběr dat nečiní problémy, jedná se o poměrně časově náročnou činnost (viz též dále).

Projekt EVA vychází z předpokladu, že většina vyučujících na ZČU stojí o zajištění informační zpětné vazby od studentů svých předmětů, ovšem za předpokladu, že jim to nebude zabírat větší množství jejich drahocenného času. Pokud by bylo možné zautomatizovat postup vytváření dotazníků a jejich vyhodnocování, je oprávněná naděje, že by jej použilo mnoho vyučujících. A při případném (již delší dobu očekávaném) tlaku z MŠMT na kontrolu kvality výuky by bylo možné realizovat tento sběr dat plošně na celé ZČU, což představuje několik tisíc předmětů za každý semestr. Na tomto místě je opět nutné zdůraznit, že stále mluvíme pouze o jedné z mnoha součástí systému hodnocení kvality.

Každý, kdo se s podobnými dotazníky někdy zabýval, bude asi souhlasit, že jsou zde dvě protikladné snahy. První snahou je, aby dotazník vyplnilo co nejvíce respondentů a druhou je, aby bylo možné získaná data snadno vyhodnotit. Snadné vyhodnocení dat lze lehce zajistit tím, že budou dotazníky v elektronické podobě – pak je vyhodnocení otázkou zlomku vteřin. Nevýhodou však je, že elektronické dotazníky vyplňuje jen velmi málo lidí. Naopak velký počet respondentů lze zajistit použitím klasického papírového dotazníku, který při vhodné motivaci vyplní většina studentů. Ruční vyhodnocování těchto dotazníků je ale "noční můrou" a navíc je zatíženo poměrně velkou chybovostí.

Projekt EVA se snaží shrnout výhody obou přístupů a potlačit jejich nevýhody. Dotazníky jsou papírové a vyhodnocují se elektronicky pomocí skeneru (tzv. "rozpoznávací část" projektu). Součástí vyhodnocení je i automatické základní vyhodnocení dat. Aby však mohl celý projekt smysluplně fungovat v předpokládaném rozsahu tisíců různých dotazníků každý semestr, je nutné v co největší míře zautomatizovat i vytváření těchto dotazníků a předávání vyhodnocených dat jednotlivým vyučujícím (tzv. "komunikační část" projektu). Tato oblast projektu je řešena pomocí WWW a e-mailu, což jsou technologie, které již aktivně používá naprostá většina vyučujících na ZČU.

2. Předpokládaný způsob praktického využívání po dokončení celého projektu

Libovolný vyučující na ZČU, který bude systém používat, musí provést následující činnosti (v závorkách je uvedena předpokládaná doba trvání):

  1. zadat pokyn k vytvoření dotazníku zapsáním několika málo údajů na WWW o sobě, o předmětu a o otázkách, které chce položit (5 minut)
  2. vytisknout si automaticky vygenerovaný dotazník, který obdrží e-mailem (5 minut) a podle něj namnožit příslušný počet dotazníků (asi 10 minut – záleží na počtu dotazníků)
  3. zadat dotazníky studentům (asi 20 minut na vyplnění dotazníků)
  4. vyplněné odevzdat k vyhodnocení na rektorát (5 minut)
  5. vytisknout si automaticky vygenerované základní vyhodnocení, které obdrží e- mailem (5 minut)
  6. v případě zájmu použít soubor dat, který obdrží e-mailem a v tabulkovém kalkulátoru (Excel) provádět jejich libovolné analýzy (časově neomezeno)
Pokud sečtete všechny odhadované časy, dostanete 45 minut. Pokud tedy provedeme pesimistický odhad, pak získání zpětné vazby od studentů předmětu zabere vyučujícímu jednu hodinu za semestr.

3. Současný stav projektu

Na konci dubna 2000 je z projektu EVA zcela funkční zadávání pokynů pro vytvoření dotazníku, jeho automatické generování, vyhodnocení dat metodou rozpoznávání snímků načtených skenerem a automatické generování základních výsledků, tj. dvou typů histogramů četností odpovědí. To znamená, že "rozpoznávací" část je zcela hotova. Usilovně se pracuje na "komunikační" části. Celý projekt je řešen v rámci dvou diplomových prací na KIV/FAV. Množství podrobností o projektu si můžete přečíst na připravovaných WWW stránkách (www.eva.zcu.cz). Zde také naleznete odpovědi na nejčastější dotazy. Rád bych ale chtěl zdůraznit, že tyto stránky nejsou ještě zdaleka dokončeny.

4. Výhledy do nedaleké budoucnosti

Na konci letního semestru proběhne testování "rozpoznávací"části na omezené množině zhruba 50 předmětů. Z důvodu dosud nedokončené "komunikační" části budou dotazníky generovány poloautomaticky.
Začátkem října 2000 by podle předpokladů měla být dokončena "komunikační" část. Okamžitě po jejím dokončení a otestování bude zorganizováno předvádění systému pro co nejširší okruh vyučujících, kteří budou mít o používání systému zájem.
Plošné nasazení na ZČU se předpokládá na konci zimního semestru 2000/2001.

Ing. Pavel Herout, Ph.D. (KIV-FAV) - vedoucí projektu EVA




 Zpět na seznam publikací 
 (Back to list of publications) 
 Zpět na seznam článků 
 (Back to list of articles) 

Poslední změna (Last update): 7. 6. 2000
Počet přístupů od (Number of accesses since) 7. 6. 2000:

Pavel Herout