Procesul statistic de calibrare și rafinare a itemilor pe baza datelor colectate din pilotare
Pilotarea produce date brute; datele brute, în sine, nu rafinează instrumentul. Între momentul „am colectat răspunsurile" și momentul „instrumentul e gata" se află un proces statistic distinct: curățarea datelor, estimarea comportamentului fiecărui item, identificarea itemilor care nu funcționează și decizia de a-i revizui, elimina sau păstra. Acest capitol descrie acel proces.
Curățarea și controlul de calitate al datelor
Calibrarea nu pornește din date brute, ci din date validate. Prima etapă elimină înregistrările neutilizabile și verifică integritatea răspunsurilor rămase. În pilotarea de față, din 529 de înregistrări brute au fost excluse răspunsurile-test și cele incomplete, prin aplicarea unui prag de finalizare (minimum 37 din 43 de itemi cantitativi completați), rezultând un eșantion de lucru de 319 respondenți.
Controlul de calitate a inclus și detectarea tiparelor de răspuns suspecte: 33 de respondenți cu răspuns identic pe toate matricile au fost inspectați individual (majoritatea, răspunsuri legitime), iar 19 care combinau uniformitatea cu un timp de completare sub cinci minute au fost marcați ca răspunsuri de calitate scăzută. O analiză de sensibilitate a confirmat robustețea: excluderea lor modifică indicii sintetici cu sub 0,05 puncte, deci nu schimbă concluziile. Această disciplină — praguri explicite, tratarea opțiunilor de tip „Nu a fost cazul" ca valori lipsă, verificarea robusteții — este premisa oricărei calibrări corecte.
Estimarea parametrilor itemilor: dificultate și discriminare
Nucleul calibrării îl reprezintă doi parametri estimați pentru fiecare item.
Dificultatea
Dificultatea exprimă cât de solicitant este itemul — în teoria clasică, proporția celor care îl rezolvă corect (sau scorul mediu, pentru itemii politomici); în modelele IRT, poziția itemului pe scala de abilitate. Un item pe care aproape toți îl rezolvă, sau aproape nimeni, transportă puțină informație discriminativă și trebuie reconsiderat.
Discriminarea
Discriminarea exprimă cât de bine separă itemul elevii cu performanță ridicată de cei cu performanță scăzută — operaționalizată, de regulă, prin corelația item–scor total (punct-biserial) sau prin parametrul de discriminare din IRT. Un item cu discriminare joasă sau negativă nu măsoară același construct ca restul instrumentului și este semnalat automat pentru revizuire sau eliminare.
Analiza opțiunilor de răspuns
Pentru itemii cu alegere multiplă, fiecare distractor este examinat separat. Un distractor pe care nu îl alege nimeni este balast — ocupă spațiu fără să contribuie la măsurare. Un distractor care atrage sistematic elevii cu performanță ridicată semnalează, invers, o formulare ambiguă sau o cheie de răspuns greșită. Rafinarea itemului înseamnă rescrierea sau înlocuirea opțiunilor astfel încât fiecare să își îndeplinească funcția.
Fidelitate și precizie
La nivelul întregului instrument se estimează consistența internă (de exemplu, prin coeficienți de tip alpha/omega) și eroarea standard de măsurare. Aceste mărimi indică în ce măsură instrumentul măsoară stabil și cu ce precizie plasează un elev pe scala de performanță — informație esențială atunci când rezultatele sunt raportate pe niveluri.
Funcționarea diferențială a itemilor
Un item corect din punct de vedere statistic global poate, totuși, să se comporte diferit între subgrupuri de elevi cu aceeași abilitate — o problemă de echitate, nu de dificultate. Verificarea funcționării diferențiale (DIF) compară comportamentul itemului între grupuri relevante (de exemplu, mediu de proveniență sau disciplină) și semnalează itemii care avantajează sau dezavantajează sistematic un grup. Logica este aceeași cu cea aplicată în analiza de subgrup a pilotării: omogenitatea între medii (urban și rural, cvasi-identice în acest eșantion) confirmă absența unei diferențe sistematice, în timp ce variațiile pe anumite discipline constituie un semnal pentru inspecție aprofundată, nu un verdict automat.
Decizie și documentare
Pe baza acestor statistici, fiecare item primește o decizie: se păstrează, se revizuiește sau se retrage. Principiul de guvernare al procesului este că nicio modificare nu se operează în absența unei justificări întemeiate pe date — iar fiecare decizie, inclusiv decizia de a nu modifica un item, este documentată și motivată, alimentând un registru transparent al schimbărilor.
Limite și pași următori
Calibrarea derivată dintr-un eșantion auto-selectat, nereprezentativ statistic la nivel național, are caracter provizoriu: parametrii estimați aici orientează revizuirea, dar trebuie confirmați pe administrări ulterioare, mai largi și mai apropiate de structura reală a populației. Menținerea unor itemi-ancoră și a procedurilor de echivalare (equating) asigură comparabilitatea rezultatelor între forme și între generații succesive de elevi.
Capitolul 10: Analiza datelor și calibrarea itemilor