Časopis Respekt v č. 8 přinesl článek Marka Švehly Když Jirous, tak Nohavica, věnovaný zejména tzv. státní maturitě z českého jazyka; článek věcně nepříliš zdařilý a celkově málo profesionální. V úvodu se autor věnuje opakovaným sporům Oldřicha Botlíka a Tomáše Feřteka s češtináři, přičemž spory traktuje způsobem zcela tendenčním – opíraje se evidentně o vyjádření dotyčných antimaturitních aktivistů, jejich oponenty de facto dehonestuje. K článku se samozřejmě vrátíme obsáhlejším samostatným příspěvkem; nyní upřeme pozornost na konkrétní sporné záležitosti. Polemiku vyvolal O. Botlík článkem publikovaným na České škole (ZDE), přičemž do diskuse se zapojivší češtináři – mezi nimi i autor tohoto příspěvku – Botlíkovi vytýkali zejména tvrzení, že úloha „místo porozumění jevu testuje pouze znalost jeho jména‟, a nesmyslný odpor vůči využívání odborných výrazů v testech (v tomto případě šlo o termín personifikace; blíže viz článek V. Stanzela). Spor to byl z Botlíkovy strany přes suverénnost jeho vyjadřování místy až komický (viz citace dále), tím spíše, že podobné úlohy běžně vytváří společnosti Kalibro, s níž je O. Botlík profesně spojen a k jejímž testům často odkazuje.
V rámci polemiky o „diletantskou úlohu‟ (formulace Oldřicha Botlíka) byla zmíněna typově podobná úloha, kterou v té době prezentovalo Kalibro na svých stránkách jako ukázku vlastní práce (pravděpodobně delší dobu, snad několik let, nyní zde úloha již není dostupná). Tato úloha je velmi nepovedená, neobstála by v žádném seriózním testu. Její znění (spolu s dalšími úlohami vztahujícími se k jedné výchozí ukázce) přinášíme ZDE, rozbor následuje níže.
Konkrétně se jedná o úlohu A. Pro přehlednost úlohu (bez výchozího textu) uvádíme i zde:
A / zapiš čísla všech položek vyhovujících zadání
Ukázka byla vybrána z cestopisu. Když si v knihovně vybíráš cestopis, co můžeš od četby očekávat?
- popis nebo vylíčení autorovy cesty
- autorovy postřehy o kulturních odlišnostech
- velmi rozsáhlé dějové zápletky
- časté zmínky o lupičích a zlodějích
- nepřehledný příběh zalidněný množstvím postav
- zamyšlení autora nad místními poměry
Vzhledem k tomu, že O. Botlík ve výše uvedeném sporu uváděl, že autoři Cermatu údajně nevzali v potaz, jak uvažuje žák, pokusíme se při analýze úlohy vycházet zejména z pohledu konkrétního řešitele, tj. žáků 9. třídy ZŠ, jimž je test určen.
V úloze je nabídka šesti položek, z nichž tři – 1, 2, 6 – evidentně vyhovují zadání. Žák, který je obeznámen s tím, co je to cestopis, může příslušné položky uvést jako řešení, aniž by se zabýval výchozím textem. Žák, který je odkázán pouze na ukázku, může k uvedeným položkám dospět rovněž – v textu najde to, co tyto položky uvádějí. Musí přitom brát jako fakt, že výchozí 38řádkový text je ukázkou spolehlivě reprezentující cestopisy obecně.
Zbylé tři položky ovšem představují problém. Všimněme si, že už lexikálně jsou od výše uvedených vyhovujících položek jasně odlišeny. Úvodní – nejsnáze řešitelná položka (popis cesty – cestopis) – obsahuje slovo autorovy, stejně tak položka druhá, v šesté položce najdeme slovo autor. Tato slova však v dalších položkách, autory úlohy zjevně považovaných za nevyhovující, chybí. (Přitom ani v položkách 1, 2, 6 nejsou nezbytná, resp. jsou nahraditelná jinými slovy.) Nelze samozřejmě předpokládat, že by žák (řešitel) v průběhu testu podroboval zadání takovémuto rozboru, možnost podvědomého ovlivnění je však velmi reálná; tím spíše, že jak už jsme uvedli, první položka je velmi snadno řešitelná, z hlediska užitých slov přímo návodná.
Tímto nedostatkem se však odlišení vyhovujících a údajně nevyhovujících položek nevyčerpává. Významově stěžejní slova položek 3, 4, 5 – zmínky, zápletky, příběh – jsou na rozdíl od ostatních položek uvozena přídavnými jmény tvrdými (ta se v dalších položkách vůbec nevyskytují). V položkách 3 a 4 přídavná jména vyjadřují míru, v položce 3 je navíc význam stupňován příslovcem velmi. To ovšem nemůže nevnést do mysli řešitele, jenž neví, co je to cestopis, nejistotu: Jak je možné na základě dosti krátké ukázky s jistotou usoudit, že je v celém díle něco časté nebo velmi rozsáhlé?
Položku 4 částečně zachraňuje fakt, že formulace zmínky o lupičích a zlodějích se vztahuje k motivu, který je na rozdíl od motivů v ostatních položkách konkrétní. Na druhé straně: Autoři úlohy automaticky předpokládají, že řešitel bude brát jejich ukázku jako typický vzorek celého konkrétního díla a cestopisů obecně, a to ve všech charakteristikách. Pak ho ovšem ohledně položky 4 právě ukázkou matou – nemůže pasáž tvořící téměř šestinu ukázky (navíc připomeňme zmínku o korupci, tedy rovněž nepoctivém, přeneseně doslova zlodějském jednání) dostačovat na zobecnění? Připomeňme, že bereme v potaz řešitele, kteří o cestopisu mají jen mlhavé nebo nulové představy.
Dále: Jak bude na položku 3 nahlížet řešitel, který čte cestopisy na pomezí románu, zejména cestopisy s dobrodružnými prvky? Tam – ovšem nejen tam – je narativní složka velmi výrazná, dokonce může převládat. Vždyť už renesanční autor Václav Vratislav z Mitrovic nazval svůj cestopis Příhody, a budeme-li se držet četby přístupné dětem, stačí připomenout autobiografické dílo Františka Běhounka Trosečníci polárního moře. Vyprávěcí prvky samozřejmě nemusí vést ke spletitým dějovým zápletkám vztahujícím se k většímu počtu postav a událostí – právě to autoři úlohy zřejmě chtěli v položce vyjádřit –, ale jak dějové zápletky poměřit vágní formulací velmi rozsáhlé, obzvlášť v případě žáka (dětského čtenáře), to věru nevím. Položky 3 a 4 tedy znejisťují i řešitele, který je s cestopisy obeznámen.
Subjektivnost hodnocení je ještě větším problémem v položce 6. S ní se současně dostáváme k zásadní, daleko největší vadě celé úlohy. Tou je užití slova nepřehledný, jediného slova s negativní významovou konotací. Pro větší názornost si zkusme toto slovo přesunout k položkám 1, 2 či 6 – zjistíme, že jeho užitím se stejně jako v případě položky 5 hodnocení vyhovující/nevyhovující zadání mění, obrací. Je přitom úplně jedno, co v položce následuje – příběh, ale i popis, vylíčení, postřehy, zamyšlení jsou prostě nepřehledné, tudíž označením položek jako odpovídajících zadání bychom jednak negovali podstatný rys ukázky – je dosti přehledná –, jednak (s premisou, že výchozí ukázka je pro cestopisy typická) nepřímo označili všechny autory cestopisů za neschopné vytvořit text, v němž je možné se bez problémů orientovat.
Je tedy jednoznačné, že autoři úlohy A nerespektovali ani testologické zásady, ani uvažování řešitele. V žádném případě nedostáli tvrzení „v testech Kalibro se především dbá na to, aby bylo předem jasné, co každá úloha zjišťuje‟ (O. Botlík jinde na České škole). V diskusi nad úlohou Kalibra se O. Botlík snažil odbýt oponenty mj. poukazem na vysokou úspěšnost žáků při řešení (je příznačné, že podle jeho údajů byli v položce se slovem nepřehledný žáci nejúspěšnější), ovšem úspěšnost řešitelů – jak sám uváděl např. při polemikách o úlohách Cermatu – na testologických závadách nic nemění, navíc řešení je jako celek problematické. Vůbec Botlíkova obhajoba úlohy je výmluvná sama o sobě: „Hranice ,velmi rozsáhlé dějové zápletky´ i ,nepřehledného příběhu zalidněného množstvím postav´ prochází nepochybně velmi daleko od hranic žánru ,cestopis´ – alespoň v cestopisech, které žáci obvykle znají. Řekl bych tak 1000 kilometrů.‟ Jak se ukázalo, ve skutečnosti je především vlastní řešení úlohy nahony vzdáleno od představ autorů. Lze oprávněně předpokládat, že úspěšnost žáků při řešení byla dána prostě tím, že předem věděli, co je to cestopis. Jinak řečeno: Tato úloha z valné části ověřuje pouze znalost termínu, nic víc; tedy přesně to, co O. Botlík – chybně – vytýkal úloze Cermatu zaměřené na personifikaci.
Závěrečné poznámky: Ve srovnání s tím, na co jsme doposud poukázali, jsou další výhrady, tentokrát i k ostatním přetištěným úlohám, jen drobnostmi. V zadání úloh A, B, D, E, G je setřen rozdíl mezi autorem a vypravěčem, což by vzhledem k žánru až tolik nevadilo, ovšem žáky úloha bezděčně vede k automatickému ztotožňování těchto kategorií, což je samozřejmě chyba. V úloze C je v položce 3 užito slovo vnitrozemí, ačkoli se ve výchozí ukázce píše pouze o směřování z Addis Abeby do „divokých oblastí jihozápadní Etiopie‟ – řešitel určitě nemusí znát polohu hlavního města Etiopie v rámci země. Úloha D užívá při označení toho, o čem mají žáci rozhodovat, jazykově příznakovou formulaci trapné nedorozumění; měl být využit neutrální opis.
Při vší své kritičnosti bych však rád zdůraznil, že z analýzy jedné úlohy nelze vyvodit obecné závěry o úrovni testů společnosti Kalibro.
Na úplný závěr ještě jedna citace, tentokrát z komentáře, jímž O. Botlík svoji účast v diskusi k úloze Cermatu zakončil: „S takovou úrovní argumentace (o odborném problému z češtiny a testování) byste z matfyzu vyletěli kvůli první zkoušce.‟
Konstatuji, že z matfyzu bych určitě „nevyletěl‟, neboť jako člověk, který má sice matematiku i fyziku rád, ale je si vědom svých schopností, bych se ke studiu na této škole nikdy nepřihlásil. A ač nejsem expert, ale pouze absolvent základního kurzu testování (v Cermatu), který se dané problematice věnuje čistě z profesního zájmu a „živnost‟ nevykonává, nikdy bych se nikomu neodvážil předložit tak nezvládnutou úlohu, jaká zde byla prezentována.
Přetiskuji svůj komentář z diskuse na ČŠ:
Kvalita testovacích úloh firmy Kalibro zřejmě nebude ani zdaleka tak skvělá, jak se její představitelé a příznivci snaží prezentovat. Například Ondřej Šteffl na svém blogu (s pochvalnou poznámkou) publikoval, resp. recykloval 22. února 2016 článek Oldřicha Botlíka a Davida Součka z roku 2000 nazvaný Aby žáci uměli víc, musí být učiva méně.
Ačkoliv lze s lecčíms v článku souhlasit, nelze si nevšimnout, že z poloviny jde o PR Kalibra, v němž se staví na testových úlohách této firmy. Diskutéři, kteří se na blogu k článku vyjadřovali, však některé úlohy, resp. jejich Kalibrem předkládaná správná řešení, přesvědčivě rozmetali – například nick Tachyon u úlohy nazvané Příprava FeS prokázal, že z osmi Kalibrem uvedených řešení jsou správná tři, nikoliv že „Čtenáři, který si z výuky chemie odnesl aspoň základy, musí být jasné, že žádná položka nabídky není v této úloze správnou odpovědí.“, jak uvádějí autoři článku. Diskutér Antonín Hrbek pak postihl hlubší problém daných testových úloh – „Autoři testů si zásadně pletou věcné znalosti s obecnou logikou. Mohou se omlouvat, že při řešení problému je zapotřebí logiku používat ale tím se soustřeďují na výjimečné případy a ne na převážně používaná rutinní řešení, která jsou základem praktického života.“
Vypadá to tedy na potvrzení známého frazeologismu, že není všechno zlato, co se třpytí, a že kritické soudy Oldřicha Botlíka k úlohám jiných testovacích institucí je nutno brát s velkou rezervou.