Projekt Hodnocení písemných prací - HOPP

• Co vedlo ministerstvo ke změně způsobu hodnocení písemných prací po maturitě v roce 2011?
  Pro maturitu 2011 došlo v rámci úsporných opatření ke snížení počtu hodnotitelů ze dvou pro každou písemnou práci na jednoho. Písemné práce v roce 2011 tedy hodnotil povinně jeden hodnotitel, v drtivé většině případů učitel kmenové školy žáků. Ve velké většině to nemělo na nezávislost hodnocení písemek velký vliv a dle průzkumu mezi řediteli asi třetina škol nad rámec povinného provedla vlastní interní supervizi hodnocení druhým, nepovinným hodnotitelem. Nicméně, ne ve všech školách ředitel věnoval nezávislosti hodnocení dostatečnou pozornost. To se nakonec projevilo nejen při zpracování výsledků, ale i při vyřizování žádostí o přezkum výsledků písemných prací. Druhým významným důvodem byla administrativní zátěž, kterou s hodnocením písemek školy měly. Ta nebyla malá a je nesporné, že změna na centrální hodnocení bude pro školy velkou úlevou.
   
• Znamená to, že hodnocení písemných prací nebylo v roce 2011 objektivní?
  Principiálně byl první ročník písemných prací obrovským a úspěšným krokem od objektivity na úrovni školy k objektivitě v rámci celé republiky. Domnívat se však, že se dosáhne absolutní plošné srovnatelnosti z roku na rok, by bylo poněkud naivní. Hodnocení provádělo přes 8 tisíc učitelů z 1.262 velmi různých škol. Ti do hodnocení promítali své často dlouholeté zkušenosti a pohledy na hodnocení písemek. Budování hodnotitelských center v zahraničí trvá 5–8 let, než jsou hodnotitelé plně sladěni. Nicméně ministerstvo a CERMAT vyhodnotily stávající progres a náklady, které by bylo nutné vynaložit v dalších letech, a rozhodlo se pro nejefektivnější a zároveň nejméně nákladnou variantu řešení. Tou je právě centrální hodnocení.

Konzistence hodnocení z roku 2011 se ve srovnání s rokem 2008 zvýšila 3,25 krát. Průměrná odchylka, která v roce 2008 činila 0,85 stupně, klesla na hodnotu 0,26. Zde jsou výsledky.

• V čem spočívá změna organizace hodnocení?
  Písemné práce žáků nebudou hodnotit učitelé ze stejné školy. Hodnotitel ani hodnocený nebudou vědět, kdo a čí práci hodnotí. Hodnotitele nebude jmenovat ředitel školy, ale CERMAT. Tím pádem přejde veškerá agenda s tím spojená z gesce jednotlivých ředitelů do gesce CERMATu. S tím samozřejmě i odpovědnost za to, že hodnocení bude pořádku. Bude tak zajištěna nezávislost. Musí být však ještě zajištěna konzistence hodnocení, chcete-li to, že všichni hodnotitelé budou tzv. měřit stejným metrem.
   
• Jakým způsobem bude zajištěna nezávislost, je srozumitelné. Jak si však chce ministerstvo a CERMAT poradit s onou konzistencí hodnocení?
  Podstata řešení spočívá v počtu aktivních hodnotitelů, resp. v jeho radikálním snížení. To není možné, pokud hodnotitel hodnotí pouze práce žáků své školy a na hodnocení má přinejlepším 10 dnů.
  Situace v roce 2012 je však jiná. Díky tomu, že se didaktické testy a písemné práce budou konat před ústními zkouškami, vzroste počet dnů, kdy bude možné hodnotit písemné práce, z 10 na 22–26 v průměru. A díky centralizaci může hodnotitel hodnotit práce žáků nikoli z jedné, ale z více škol. Jestli tedy hodnotitel češtiny nyní hodnotil v průměru 36 prací, lze počítat s tím, že ohodnotí v průměru 200–250 prací. Vyjádřeno v číslech to znamená, že češtinu zvládne ohodnotit 400–450 hodnotitelů, angličtinu 240-280 a malé jazyky opraví ve skutečnosti 3–4 hodnotitelé. Samozřejmě se jedná o hodnotitele vybrané a trénované na to, aby hodnotili se stejnou přísností. V počtu 400 je to možné zajistit, v počtu 8x větším již nikoli.
   
• To ale znamená, že školení hodnotitelů, kterým prošlo téměř 11 tisíc učitelů středních škol je vlastně k ničemu.
  Ani v nejmenším. Předně aktivní hodnotitelé se rekrutují výhradně z již certifikovaných hodnotitelů a možnost se zapojit to tréninkového programu mají všichni (byli osloveni všichni certifikovaní hodnotitelé). Podstatné je však to, že učitelé českého jazyka a cizích jazyků bez ohledu na to, zda hodnotí maturitní písemky, či nikoli, musí metodiku maturitních písemných prací znát a měli by ji být schopni aplikovat při výuce. Kdyby ji totiž neznali a neuměli ji použít, jen těžko by mohli své žáky na maturitní písemku připravit. A každý žák, který by se s takovou písemkou a kritérii jejího hodnocení setkal poprvé až u maturity, by se logicky cítil ošizen. Ostatně aplikace naučeného ve výuce žáků byla hlavním důvodem, proč se v roce 2009 dala přednost vyškolení tisíců učitelů před „kabinetním“ modelem hodnocení písemek v hodnotitelských centrech. Takže v žádném případě nejde o zbytečně vynaložené peníze a čas.
   
• Proč tréninkový program? Myslíte, že je nutný, když hodnotitelé vloni prošli dlouhým a náročným školením?
  Nejde o žádné školení, ale skutečně o trénink v hodnocení písemek, který je zacílen jednoznačně na zajištění stejné kalibrace všech hodnotitelů. Pokud budou hodnotitelé z odborných škol opravovat třeba písemky gymnazistů a hodnotitelé z gymnázií písemky žáků odborných učilišť, musí být zajištěno, aby se všichni hodnotitelé koukali na hodnocení se stejnou přísností a stejným pohledem. Je to výhradně v zájmu žáků. Trénink není nic jiného než hodnocení-zpětná vazba-hodnocení-zpětná vazba atd., přičemž je sledována míra shody a konzistentnosti hodnocení.
   
• Zaslali jste hodnotitelům výzvu k účasti v tréninkovém programu HOPP. Kolik se vám jich přihlásilo? Většina učitelů, se kterými jsem mluvil, říkala, že se vám nepodaří sehnat dostatek ochotných učitelů.
  Je nesporné, že stát se profesionálním hodnotitelem písemných prací bude náročné na čas, energii a schopnosti hodnotitelů. Rozhodně v začátku. Ono primárně nejde o to, aby hodnotitel prosadil svoje vidění, profesionální hodnotitel musí kromě metodicky bezchybného hodnocení přijmout společný standard celého hodnotitelského týmu často i přesto, že sám by byl v něčem mnohem přísnější nebo mnohem benevolentnější, nebo některé aspekty vidí trochu odlišně od ostatních. Musí to být zkrátka profesionální týmový hráč.
  Ale zpět k otázce. Ke konci listopadu 2011 se přihlásilo téměř 1.800 hodnotitelů, tj. zhruba dvojnásobek předpokládaného počtu budoucích aktivních hodnotitelů. Stalo se tak přesto, že ve výzvě byly uvedeny obě strany mince, pozitivní i negativní.
   
• Na základě čeho bude CERMAT hodnotitele vybírat?
  Na základě přihlášky obdržel každý zájemce stejnou sadu 10 písemných prací se žádostí o jejich ohodnocení. A prvním kolem výběru projdou ti, kteří hodnotí co nejvíc stejně. Samozřejmě platí, že hodnocení musí být provedeno po metodické stránce bezchybně. Jinými slovy bude vybrána co možná nejvíce konzistentní skupina hodnotitelů, kteří budou následně zařazeni do již zmíněného tréninkového programu. Tedy do jedné z mnoha dvacetičlenných skupin vedených zkušenými trenéry. A od ledna nastane maratón secvičných hodnocení, při nichž bude průběžně sledován a vyhodnocován progres směrem k co možná vysoké a stabilní konzistentnosti hodnocení. Trénink znamená desítky a desítky hodin práce s hodnocením písemek a 3 víkendová soustředění. Poslední, které proběhne na přelomu března a dubna, bude z velké části formálním ověřením, že týmy a profesionální hodnotitelé jsou připraveni.
   
• Budoucí profesionální hodnotitel bude muset obětovat příští rok spoustu volného času, než bude vůbec připuštěn k vlastnímu hodnocení. Co když se potom stane, že pro něj nebude práce?
  Koncem roku bude již známo, kolik písemných prací bude na jaře hodnoceno. Smlouva, která bude s hodnotitelem uzavřena, hodnotiteli zaručí minimální a CERMATu maximální objem písemných prací, které ohodnotí v rámci jarního termínu maturit. Vše přirozeně na základě vzájemné dohody. Pro obě strany je to garance. Obě strany musí vnímat tuto smlouvu jako střednědobou investici. Zájmem ministerstva i CERMATu je vytvořit stabilní profesionální tým.
   
• Byla zde zmíněna pozitiva této práce, patří mezi ně i finanční ohodnocení?
  Pozitiv z toho být profesionálním hodnotitelem je nesporně více, ale samozřejmě musí být odvedená práce náležitě ohodnocena. Jedna věc je, že při průměrném počtu ohodnoceným prací jde o zajímavý vedlejší příjem, to podstatné však je, že hodnotitel při tom využije své kmenové kvalifikace. Jednotková cena za ohodnocenou písemnou práci zůstává dle vyhlášky stejná. Co se však jistě změní, je reálná hodinová sazba. Chápeme stížnosti na slabé ohodnocení hodnotitelů od těch, kteří při loňské maturitě hodnotili deset či patnáct prací. K tomu, aby se tato práce vyplatila, je potřeba ji dobře a v odpovídajícím čase zvládnout, a samozřejmě potřebujete dostatečný objem prací. Pak se stane hodnocení písemek velmi efektivní. Peníze však nejsou zdaleka to jediné. Jsem si jist, že hodnotitelé budou mít výrazně jednodušší přístup k informacím. Vytvoří svým způsobem silné znalostní zázemí, které svými připomínkami bude ovlivňovat mj. vývoj metodiky maturitní zkoušky. Že tím získají i jejich žáci, o tom není pochyb. Pro ředitele školy bude jistě výhodné mít na své škole takového hodnotitele.
   
• Za tím vším je ale spousta práce…
  Ano. Nabízí se spousta práce, která je slušně honorovaná. A zároveň jsou nabízeny i další příležitosti, jak se podílet na zajištění maturitní zkoušky, případně i jiných zkoušek. Je to o práci a taky o příležitostech. Hodnocení písemných prací bude pro hodnotitele velmi náročné, bude to tvrdá a vysoce kvalifikovaná práce. Ale to ostatně hodnotitelé, kteří museli letos na jaře zvládnout za deset dnů stovku prací, vědí. A zase tak málo jich nebylo.
   
• Jak bude vlastně hodnocení probíhat?
  Z pohledu ředitele školy začíná hodnocení písemek jeho žáků tím, že, stejně jako letos, komisař na jeho škole naskenuje záznamové archy písemek a ředitel uloží originály do archivu. A hodnocení končí tím, že ředitel dostane elektronický výpis podrobného bodového ohodnocení všech prací. Vše, co je mezi tím, je v režii CERMATu.
   
• A mezitím je co?
  Začneme hodnotitelským týmem. Na počátku dubna bude připraveno 280 profesionálních hodnotitelů anglických písemek. Tento tým je rozdělen do 14 hodnotitelských skupin, každá o 20 hodnotitelích. Skupiny bude řídit a koordinovat vedoucí hodnotitelské skupiny, který bude práci svých hodnotitelů koordinovat, monitorovat a vyhodnocovat. Pokud by se ukázalo, že při hodnocení někdo od ostatních hodnotitelů vybočuje, bude upozorněn a práce bude muset přehodnotit. Nad prací vedoucích hodnotitelských týmů bude bdít vedoucí hodnocení daného předmětu a metodici. Ti hlídají, že se hodnotitelské skupiny od sebe při hodnocení neodchylují.
  Digitální obrazy písemných prací, které přijdou do CERMATu ze škol se podle rozdělovníku rozdistribuují mezi jednotlivé hodnotitele. Hodnotitel obdrží nejen vlastní písemné práce, ale i itinerář. Ten stanoví, do kdy musí být ty které práce opraveny. Termín, kdy musí být hodnocení písemek z dané školy ukončeno, je dán tím, kdy na škole končí ústní zkoušky.
  Výsledné hodnocení každé písemky zaznamená přes webové rozhraní přímo do centrální databáze. V momentě, kdy je ukončeno hodnocení školy a výsledky hodnocení potvrzeny vedoucím hodnotitelského týmu, obdrží škola výpis hodnocení písemek všech svých žáků.
   
• Obdrží školy kopie ohodnocených písemek?
  Ne, protože je fakticky k ničemu. Školy mají originály písemek a obdrží podrobnou tabulku hodnocení se všemi dílčími i souhrnnými body. Samotný „počmáraný papír“ ve skutečnosti není k ničemu, protože poznámky hodnotitelů, pokud si je vůbec dělají do záznamového archu, nejsou nijak standardizovány. Vyhodnocení písemky není o tom, že se označí pravopisné chyby a za tři chyby je dostatečná. Těch hodnotících kritérií je řada a část z nich má „celostní“ charakter. Takže z vlastního, hodnotitelem počmáraného záznamového archu ani škola, ani žák nemusí nic podstatného vyčíst. Nezapomínejme, hodnotitel je učitel z jiné školy. Není to tedy učitel, na jehož opravování písemek je žák zvyklý.
   
• Když hodnotitel z gymnázia dostane k ohodnocení písemku žáka z učiliště a nasadí na ni „gymnaziální metr“, maturant asi zřejmě spláče nad výdělkem. Jak tomu chcete zamezit?
  Tréninkový program, výběr hodnotitelů, supervize hodnocení a vše, co je uvedeno výše, má předejít tomu, aby jinak přísně hodnotil jindy velmi náročný profesor gymnázia a jinak možná jindy benevolentnější hodnotitel z odborné školy. Prostě při hodnocení písemek musí profesionální hodnotitel zapomenout často na to, odkud je. V tom je onen obrovský kus profesionality. A to je také záruka toho, že hodnocení písemek bude nezávislé.