Evaluarea Națională 2015 – o analiză statistică necoafată

de Radu Borza

Acum, că s-a dus nebunia cu Evaluarea Naţională, este momentul perfect pentru a face o analiză amănunţită a examenului şi, de ce nu, a întregii proceduri. De ce abia acum? Printre altele, abia acum avem o anumită stabilitate (5 ani) în procedura de examinare, căci înainte se schimba la fiecare 2-3 ani. Motivul principal: mi-aş fi dorit ca analiza sau măcar datele brute să fie puse la dispoziţie de alţii (în principiu Ministerul Educaţiei sau Inspectoratele Școlare). Cum încă nu am descoperit o analiză asemănătoare, m-am pus pe treabă!

Metodologia de lucru nu a implicat prea mult lucruri inteligente de făcut: un simplu script scris în Perl a parcurs toate listele de candidaţi puse la dispoziţie de site-ul Ministerului Educaţiei şi a încărcat informaţiile într-o bază de date, iar apoi câteva interogări bine ţintite au generat listele de note. Mai întâi să vedem câteva lucruri care se văd cu ochiul liber, fără nici o analiză prea amănunţită!

Curiozităţi:

Cele mai mari diferenţe de note între română şi matematică (am exclus neprezentările, notate cu nota 0):

  • 8,90: română: 1,00 – matematică: 9,90 (judeţul Timiş);
  • 6,90: română: 2,80 – matematică: 9,70 (judeţul Harghita);
  • 7,00: română: 9,40 – matematică: 2,40 (judeţul Vâlcea);
  • 7,00: română: 9,25 – matematică: 2,25 (judeţul Vrancea);

Cele mai mari diferenţe dintre media 5-8 şi media la Evaluarea Naţională:

  • -8,28: media EN: 1,42 – media 5-8: 9,70 (judeţul Alba);
  • -7,49: media EN: 1,10 – media 5-8: 8,59 (judeţul Argeş);
  • +1,87: media EN: 9,42 – media 5-8: 7,55 (judeţul Galaţi);
  • +1,89: media EN: 8,15 – media 5-8: 6,26 (judeţul Mehedinţi);

Numărul de candidaţi care au fost notaţi, dar nu au reuşit să facă nici măcar un subpunct corect (note între 1,01 şi 1,49): 422 la matematică şi 699 la limba română.

Jumătate din elevii din acest an au media din clasele V-VIII mai mare de 8,77. În schimb, pentru a ajunge la jumătatea mediei probelor de la Evaluarea Naţională trebuie să cobori până la 6,93…

Totuşi, să trecem la treburi mai serioase!

Examenul la matematică

Deoarece subiectele din acest an au fost mai simple chiar decât cele din 2013, am început analiza cu proba de matematică, pentru că mă aşteptam ca notele să se înghesuie către zonele superioare.

NoteMate2015

Imaginea 1: Distribuţia notelor la matematică la Evaluarea Naţională 2015
Click pe imagine pentru a merge la varianta interactivă

Câteva observaţii imediate legate de această distribuţie:

  1. distribuţia notelor nu seamănă absolut deloc cu ce mă aşteptam, adică o distribuţie normală (clopotul lui Gauss); vezi mai jos cum arată curba la un examen bine pregătit;
  2. între 5 şi 10 notele sunt practic egal distribuite;
  3. cea mai întâlnită notă este 10! A doua cea mai întâlnită notă este 5;
  4. se observă câteva „beţe” (număr mare de elevi cu aceeaşi notă, în contrast cu notele alăturate) la notele întregi, adică aceste note au fost preferate de corectori. Acestea sunt excepţii ale distribuţiei, puţin probabil să fie cauzate de exerciţii, ci mai curând corectorii au ajustat notele către notele rotunde, fără a înţelege că elevii cu pricina primeau un ajutor nemeritat.
  5. imediat înainte de nota 5 se observă o scădere bruscă a numărului de note, compensată de creşterea bruscă a băţului corespunzător notei 5. În mod evident, mulţi corectori au trăit cu impresia că este un concurs la care nota de trecere este 5;
  6. practic notele au avut o granularitate de 0,05 (adică notele sunt din 0,05 în 0,05, nu din 0,01 în 0,01 aşa cum ar fi normal conform notării): doar trei note au ieşit din această paradigmă: un 2,92, un 5,33, şi un 7,12. Cînd un exerciţiu ca 10 ⋅ 2 – 20 = ? valorează 0,50 puncte, este greu să poţi departaja elevii. Nici relevanţa unui asemenea exerciţiu nu este clară;

Pentru comparaţie, distribuţia punctajelor la un examen tipic de matematică:MCAT-scores-e1435824107284

Examenul la limba română

După surpriza rezultatelor de la matematică, apetitul mi-a crescut, aşa că am purces să prelucrez datele şi pentru limba română.

NoteRomana2015

Imaginea 2: Distribuţia notelor la limba română la Evaluarea Naţională 2015
Click pe imagine pentru a merge la varianta interactivă

Și aici se pot face rapid câteva observaţii:

  1. curbele arată un pic mai bine decît la matematică, numărul notelor având măcar o tendinţă de scădere către nota 10;
  2. aceleaşi „beţe” există şi aici (la notele rotunde);
  3. scăderea imediat dinainte de nota 5 compensată de numărul mare de note de 5 este mult mai vizibilă aici;
  4. cea mai întâlnită notă este 5,00 (spre deosebire de matematică);
  5. practic notele au avut o granularitate de 0,05: există doar 20 de note „intermediare” (mai multe decât cele 3 de la matematică);

Este interesant faptul că compensarea notelor nu este tipic mioritică. Ceva similar se întâmplă şi în Polonia (diferenţa fiind că acela este un examen având un prag de promovare. În plus, distribuţia este foarte apropiată de cea teoretică):4nnbyru

Media claselor V-VIII

După analiza notelor propriu-zise din cadrul examinării, cu abateri grave faţă de ce spune teoria, dar care într-un fel erau predictibile din cauza gradului de dificultate (sau mai bine zis de uşurătate) a examenului, m-am gîndit să calculez corelaţia dintre media generală din gimnaziu şi notele la cele două examene. Cum notele la cele două probe păreau să aibă o corelaţie bună cu mediile claselor 5-8 (deşi media generală ar trebui să fie un bun predictor pentru notele de la examene, analiza precedentă mi-a cam tulburat siguranţa), şi anume 0,8, m-am simţit obligat să analizez şi distribuţia mediilor din gimnaziu. Cu adevărat şocant a fost rezultatul: Aici imediat se observă:

Medii58-2015

Imaginea 3: Distribuţia mediilor din clasele V-VIII pentru elevii participanţi la Evaluarea Naţională 2015
Click pe imagine pentru a merge la varianta interactivă

  1. liniaritatea aproape perfectă a distribuţiei. Este greu de crezut că este doar o coincidenţă! Nici dacă Ministerul Educaţiei şi-ar fi propus o atare distribuţie nu cred că ar fi reuşit mai bine! Drept urmare, mi-am planificat în viitorul apropiat o analiză a mediilor generale pe ultimii 10 ani;
  2. numărul exagerat de mare de medii de 10, care iese şi din tipicul unei eventuale distribuţii liniare dorite de minister. Am putea crede că excelenţa este la ea acasă în şcolile româneşti, însă crunta realitate ne contrazice: vezi ultimele teste PISA;
  3. cea mai întâlnită medie generală în gimnazii este 10,00 (mai mult de dublu faţă de următoarea medie, care şi ea este foarte aproape de 10);

Pentru comparaţie, media celor două probe (se observă o liniaritate aproximativă până la 9,50):

MediiEN-2015

Imaginea 4: Distribuţia mediei probelor la Evaluarea Naţională 2015

Concluzii

Ar fi multe de spus, însă câteva concluzii se impun de la sine:

  • gimnaziul, prin notele cu care îi evaluează pe elevi (vezi imaginea 3), creează o imagine falsă a succesului educaţiei: sub nici o formă nu este posibil ca aproape jumătate dintre elevi să aibă media între 9 şi 10. În plus, chiar pentru această distribuţie, numărul mediilor de 10 este inconsistent cu restul datelor! Mai are vreun sens să existe un asemenea examen când mediile gimnaziale nu corespund cunoştinţelor elevilor, iar probele la evaluare sunt simple şi prost concepute?
  • inflaţia notelor pare a fi o momeală cu care şcolile ademenesc părinţii. Când notele devin mai importante decât cunoştinţele, atunci ştim că sistemul educaţional a dat greş;
  • este important de aflat cauza liniarităţii distribuţiei mediilor în gimnaziu (şi, neapărat, cauza inflaţiei mediilor de 10 curat);
  • evaluarea profesorilor şi a şcolilor devine o necesitate: ar trebui să fie imposibil ca un elev cu media 9,70 în gimnaziu să obţină media 1,42 la Evaluarea Naţională. Cu atât mai importantă pare evaluarea naţională pe parcurs (clasele pare), introdusă de fostul ministru Daniel Funeriu, care în paralel cu evaluarea elevilor va aduce şi evaluarea profesorilor (şi până la urmă, a şcolilor!)
  • probele de examen sunt prost concepute: granularitatea este de 5 ori mai mare decât ar trebui (0,05 în loc de 0,01). Asta se traduce fie prin faptul că sunt de 5 ori mai puţin subiecte decât trebuie, fie că sunt prea puţine elemente evaluabile în subiecte;
  • faptul că probele sunt prost concepute mai este susţinut şi de distribuţia aproape uniformă a notelor între 5 şi 9,50. La ambele probe!
  • numărul mare de note de 10 la matematică arată în plus faptul că subiectele au fost şi mult prea uşoare, nu numai prost concepute;
  • singura explicaţie posibilă pentru nivelul scăzut al subiectelor ar fi încercarea de a ascunde dezastrul educaţional din gimnaziu;
  • corectura superficială este demonstrată de încercarea de a ridica notele la 5 (la proba de română acest lucru este vizibil în imaginea 2) atât timp cât nu era necesară nota 5 pentru promovare şi de „beţele” care spun că notele întregi au fost preferate de corectori;
  • notele de la simulările efectuate pe parcursul anului nu sunt, din păcate, disponibile (sau nu le-am descoperit eu). În fiecare an, de exemplu, la matematică subiectele sînt semnificativ mai grele decît cele de la examen. Comparativ, la limba română putem vorbi de subiecte de acelaşi nivel de dificultate;
  • numărul mare de contestaţii depuse nu poate fi considerat o dovadă a faptului că s-a corectat superficial. Cu toate acestea, numărul relativ mare de contestaţii la care saltul notei a fost de peste un punct este o dovadă care nu poate fi trecută cu vederea prea uşor.
stiri verificate

Comentarii prin facebook

18 răspunsuri la Evaluarea Națională 2015 – o analiză statistică necoafată

  • Felix
    Iulie 31, 2015 la ora 17:56

    Foarte buna analiza … Jos palaria!

    Răspunde
     
  • Nagy István
    Iulie 25, 2015 la ora 19:19

    Este o analiză interesantă.
    Ceva similar am scris și eu despre EN din 2014, dar nu l/am publicat. Este în lucru analiza EN din 2015, și voi corobora concluyiile pentru cele duă evaluări.

    Răspunde
     
  • Cbaicus
    Iulie 24, 2015 la ora 20:58

    @anonim: medie si deviatie standard se calculeaza cand distributia e gaussiana, ori tocmai, aici nu este!

    Răspunde
     
  • rares
    Iulie 24, 2015 la ora 16:42

    Desi subiectele la matematica au fost usoare, numarul mare de note de 10, in comparatie cu cel mic de la romana, arata subiectivitatea profesorilor de romana când vine vorba de corectarea lucrarilor.
    P.S.
    Normal ca mediile din gimnaziu au fost umflate, deoarece la materile de pe a doua pagina a catalogului toata lumea are medii de 10.

    Răspunde
     
  • logicamatematica
    Iulie 24, 2015 la ora 16:17

    este firesc sa fie notele cu pasul de 0.05 (nu din 0.01 cum crede autorul); explicatie: punctajul maxim este 100 si poate fi doar intreg deci pasul este 1(la fiecare exercitiu se acorda puncte intregi de la 0 la 10, chiar acolo unde se specifica pentru cea mai mica cerinta 1pct acesta nu poate fi spart: adica 0 sau 1 ); prin impartire la 10 se obtine nota si se obtine pasul 0,1 ; tinand seama ca sunt 2 corectori va rezulta pasul 0,05 ( adica x,4 si x,5 iar media va fi x,45)

    Răspunde
     
  • Adrian
    Iulie 24, 2015 la ora 15:31

    Interesanta analiza. Concluzia e ca la Ministerul Educatiei cursul de statistica s-a oprit la calculul mediei si in acceptiunea ME cu cat media e mai mare inseamna ca rezultatele invatamantului romanesc sunt mai bune. Realitatea o simtim cu totii pe copiii nostri. Sunt curios daca dupa acest articol se va schimba altceva decat faptul ca aceste date vor fi din ce in ce mai greu de gasit/analizat.

    Răspunde
     
  • Andrei
    Iulie 24, 2015 la ora 14:03

    pt. Anonim

    Analiza este buna si pe intelesul oamenilor de rand (a celor mai multi)

    Ce spui tu nu are relevanta aici, daca tu intelegi cum e treaba cu „clopotul” lui Gauss atunci tb sa intelegi acest lucru simplu.

    Autorul nu avea nevoie sa faca parada despre cunostintele sale in statistica si matematica, nu acesta era scopul analizei

    Răspunde
     
  • UCA
    Iulie 23, 2015 la ora 22:24

    felicitari pt.analiza realizata,dar din pacate aceasta evaluare este defapt o cadere in abis.Invatamantul romanesc este la pamant,grad scazut de cultura,lipsa de interes,analfabeti si „o cursa maraton”in a ocupa locurile la liceele vip,s.a.Eu personar sunt total dezamagita de nivelul de invatamant din Romania,de cadrele didactice,de dezinteres de lipsa de motivatie de profesorii titulari care in mare parte nu isi merita locul de la catedra.Inchei cu speranta,totusi,ca va veni o zi cand ceva se va schimba in bine,cand adevarata valoare v-a prima.

    Răspunde
     
  • o femeie
    Iulie 23, 2015 la ora 20:41

    excelenta analiza. Asa e de peste 20 de ani.

    Răspunde
     
  • Emil
    Iulie 23, 2015 la ora 20:14

    Super. Aceeasi problema,la bac si admiterea la facultati. Asteptam analiza.☺

    Răspunde
     
  • costache
    Iulie 23, 2015 la ora 18:28

    Nu am inteles niciodata de ce evaluarea se face la matematica? Adica sa se studieze matematica, toata lumea are nevoie de cunostinte generale de geometrie si algebra, dar de ce evaluarea nationala se face la matematica? De ce nu la istorie sau geografie sau biologie? Care e relevanta probei de matematica daca, de exemplu, elevul vrea sa se inscrie la liceu la un profil filologic si viseaza sa devina avocat? Sau poate vrea sa se inscrie la profil de stiinte si viseaza sa ajunga neurochirurg?

    Răspunde
     
    1. gogu
      Iulie 24, 2015 la ora 09:18

      Si de ce la biologie sau istorie? Din experienta iti spun ca un copil se schimba in cei 4 ani de liceu. Si de la cls a IX-a cand a vrut filologie, la a XII-a vrea medicina…si face pregatiri la greu la anatomie sau chimie. Discipline pe care le-a pierdut de la cls a X-a…

      Răspunde
       
  • Cititor
    Iulie 23, 2015 la ora 14:54

    Analiza e foarte minutios facuta, tot respectul, insa ce se doreste a se demonstra? Parerea mea este ca notele au prea mica relevanta pentru pregatirea elevilor. Degeaba un copil are nota 10 la romana, sa zicem, daca el nu este in stare a redacta corect un text functional. In rest, ar fi oportuna o analiza a corelarii competentelor vizate de programa cu cele vizate de probele la evaluare si adaptarea lor la specificul de varsta al elevilor.

    Răspunde
     
  • Cristii
    Iulie 23, 2015 la ora 14:00

    Felicitări pentru efort şi prezentare. Aştept versiunea extinsă.

    Răspunde
     
  • Alin
    Iulie 23, 2015 la ora 11:59

    Da, avem „multiple system failure”. Metoda de obţinere a datelor mi-a plăcut în mod deosebit. Bravo!

    Răspunde
     
  • Anonim
    Iulie 23, 2015 la ora 11:16

    „Excelenta analiza”… pacat ca autorul nu pare sa inteleaga clopotul lui Gauss, n-am vazut nicaieri medie si deviatie standard in grafice ( http://crop.unl.edu/claes/SALTA/Henderson/GaussianCurve.jpg )
    Ar trebui sa-i spuneti „o analiza statistica eronata” nu necoafata.

    Răspunde
     
    1. @ Anonim
      Iulie 26, 2015 la ora 17:19

      Daca datele dau o functie liniara atunci ea nu este gaussiana si prin urmare nu are medie si deviatie standard.
      Mai exista si o alta posibilitate ca datele sa faca parte dintr-o functie gaussiana dar media sa fie la 50 si atunci iar notele nu au nici o relevanta.

      Articolul este foarte bine scris si confirma un lucru pe care toti cei cu niste notiuni minime despre invatamantul romanesc le cunosc

      Răspunde
       
  • Ina
    Iulie 23, 2015 la ora 08:33

    Excelentă analiza.

    Răspunde
     
 
 
Adaugă comentariul
 
 

Emailul nu va fi făcut public. Câmpurile marcate cu * sunt obligatorii.

Nume: *
Adresa de email: *
Pagină web
Comentariul*
 caractere rămase