Për shkrimin e Artan Simeqit javën që shkoi, Fiktiviteti në maturën shtetërore vendosa të njoftoj ministren e Arsimit, z. Lindita Nikolla.
Më poshtë përgjigjja e drejtores së AKP, të përcjellë nga vetë z. Nikolla, të cilën dua ta falënderoj në publik për korrektesën, gatishmërinë dhe transparencën.
Pse grafiku i shpërndarjes së pikëve të fituara nga nxënësit në provimin me shkrim të lëndës së matematikës nuk është i retushuar?
Së pari, grafiku është ndërtuar duke u bazuar në të gjithë popullatën e krijuar nga pikët e fituara nga çdo nxënës që ka marrë pjesë në provimin me shkrim të matematikës. Pra, nëse në provim kanë marrë pjesë 42195 nxënës, ju do të gjeni në grafik rezultatet e 42195 nxënësve. Për këtë mjaftoni që të mblidhni përqindjet për të gjithë bars-et (drejtëkëndëshat e gjatë e të hollë). Për ndërtimin e grafikut është përdorur softi SPSS. I njejti grafik mund të ndërtohet lehtësisht edhe në MS Excel.
Kushdo mund të vijë e të shohë testin që ka plotësuar nxënësi, si dhe pikët përkatëse që ka fituar.
Së dyti, saktësia në vlerësimin e testeve: sqarojmë se vlerësimi i testeve realizohet në kushtet kur testet nuk dihet se kujt nxënësi i përkasin, pasi në to ka vetëm barkode dhe jo emra. Vlerësimi bëhet në bazë të një skeme vlerësimi për testin përkatës.
AKP ka përdorur metodën “double” ose dyshe të vlerësimit të testit. Kjo metodë konsiston në vlerësimin e një testi në dy kohë të ndryshme nga dy mësues të pavarur që nuk e njohin njeri-tjetrin. Secili prej dy mësuesve mban shënime individuale (pikët për çdo kërkesë/pyetje) në një fletë, e cila është e personalizuar për çdo nxënës. Pra për çdo nxënës kemi dy fleta të personalizuara për pikët e fituara në test për çdo kërkesë apo pyetje). Më pas bëhet kontrolli i vlerësimit të dhënë nga dy mësuesit në fletet e personalizuara. Ky proces realizohet nga një mësues i tretë, i pavaruar.
Kushdo mund të vijë e të shohë fletët e personalizuara të vlerësimit për testin që ka plotësuar.
Së fundi, cilët janë faktorët që kanë ndikuar në rezultatet e nxënësve (pikët që ata kanë fituar) në testim. Në raportin publik janë përmendur faktorët që kanë të bëjnë kryesisht me sistemin arsimor, ndërsa në vijim po ndalemi në një analizë teknikë që ka të bëjë me pyetjet/kërkesat e testit.
Testi është i ndërtuar në mënyrë të tillë që si nxënësi i dobët, nxënësi mesatar, dhe nxënësi i mirë të kenë mundësi që t’u përgjigjen të gjitha pyetjeve që kërkojnë njohuri respektivisht të nivelit të ulët, mesatar, apo të lartë të vështirësisë.
Në test ka mbi 16 kërkesa/pyetje, përgjigjet e sakta të të cilave kërkojnë zotërimin e njohurive apo koncepteve të thjeshta bazë të lëndës. Ç’ka do të thotë që minimalisht një nxënës me arritje të ulta vjetore, duhet të fitojë të paktën 13 pikë, (duke marrë parasysh edhe ndikimin e faktorëve të ndryshëm: emocionet, presioni psikologjik, koha në dispozicion, etj.). Nga grafiku rezulton se, kemi mbi 43% të nxënësve maturantë që kanë marrë më pak se 13 pikë. Kjo do të thotë se ata nuk kanë qenë të aftë të zgjidhin kërkesat/pyetjet më të lehta të testit. Pra 43% e nxënësve nuk kanë zotëruar të gjitha konceptet /njohuritë e thjeshta bazë të lëndës, gjë që i ka penguar ata të humbasin pikët e tjera që i përkasin pyetjeve të nivelit të mesëm dhe të lartë të vështirësisë. Vlera 43% është e lartë, normalisht duhet të kishim rreth 20%-25% të nxënësve në këtë nivel. Pra, kemi një zhvendosje të rreth 25% të nxënësve nga nxënës mesatar në nxënës të dobët.
Nëse do të kishim një popullatë “ideale” nxënësish ( kujtojmë se popullata “ideale” ekziston vetëm teorikisht) që do t’i ishin përgjigjur pyetjeve përkatëse të nivelit të vështirësive që u korespondon niveleve/notave 5-10 të vlerësimit gjatë procesit mësimor vjetor, atëherë përqindja e nxënësve që do të kishin marrë 25 pikë do të ishte më e madhe sesa çdo vlerë tjetër për pikët e fituara.
Konkretisht, rezultatet në grafikun tonë tregojnë se:
- vlera më e madhe e përqindjes së nxënësve (7%) rezulton të jetë për 10 pikë të fituara në test.
- 43% e nxënësve kanë marrë nën 13 pikë, ose 20% – 25% e nxënësve kanë fituar më pak pikë se sa pritej prej tyre. Kjo ka sjellë që përqindja maksimale e nxënësve (prej 7%) (që i korrespondon vlerës 10 të pikëve të fituara) të jetë spostuar me 12-15 pikë nga pozicioni i një shpërndarjeje normale të një popullate “ideale”.
[Shënim: pasi e kisha nxjerrë në blog përgjigjen e mësipërme, më erdhi një version tjetër i saj, sërish nga Ministria – po e përcjell edhe këtë më poshtë, meqë përmban informacione të reja në krahasim me sa më lart. 2Xh]
Pse grafiku i shpërndarjes së pikëve të fituara nga nxënësit në provimin me shkrim të lëndës së matematikës 2014 nuk është i retushuar?
Me të drejtë ju shkruani që shpërndarja e pikëve duhet të ndjekë shpërndarjen normale ose atë gausiane. Në shpërndarjen normale asimetria e grafikut ndaj pikëve/notës më të shpeshtë është e barabartë me 0. Në rastin e rezultateve të nxënësve, shpërndarja normale me asimetri 0 do të përftohej në rastin kur çdo nxënës do t’i ishte përgjigjur saktë atij grupi pyetjesh, shkalla e vështirësisë së tyre i korrespondon nivelit të njohurive që ai zotëron. Ligjshmëria e mësipërme nuk ndodh realisht për të gjithë popullatën e nxënësve. Ç’ka do të thotë që edhe pse nxënësi është vlerësuar me 10 në procesin mësimor vjetor, njohuritë e tij nuk i përgjigjen nivelit përkatës të përcaktuar (sipas kurrikulës) për të merituar notën 10.
Në rastin e maturës shtetërore, që është një vlerësim i jashtëm i njohurive që kanë fituar nxënësit në shkollë, është normale që në një provim ka nxënës që ruajnë notën e tyre, ashtu siç ka edhe nxënës që zbresin/ngrihen me nga 1 notë.
Në rastin e matematikës 2014, ka rezultuar se një pjesë e konsiderueshme e nxënësve (rreth 20-30%) kanë shfaqur se nuk zotërojnë njohuritë e mjaftueshme për të cilat janë vlerësuar gjatë procesit mësimor. Pra, për këtë kategori nxënësish, pyetjet, që i përkasin nivelit të njohurive për të cilat ata janë vlerësuar në procesin mësimor, rezultojnë të jenë të një niveli vështirësie më të lartë. Pra, për ta testi ka rezultuar i vështirë, gjë që është shoqëruar me praninë e më shumë pikëve të ulta, si dhe më pak pikëve të larta. Në një popullatë të tillë përftohet një shpërndarje pikësh, e cila është asimetrike (positive skew) ndaj pikëve/notës më të shpeshtë. Ky lloj grafiku është paraqitur në shkrim (colored bars). Pra grafiku nuk është i retushuar.
Referojuni literaturave të ndryshme mbi “matjet dhe vlerësimin në fushën e arsimit”. Një prej tyre është edhe: Educational and Psychological Measurement and Evaluation, 8/E – Kenneth Hopkins, / shih Pjesa I, kap 2.Communicating Information: Interpretation of Quantitative Data /Frequency Distributions, Central Tendency, and Skewness.
Në rastin e shpërndarjes asimetrike të ndërtuar e paraqitur në material (colored bars), rezulton që vlera më e shpeshtë ose moda është e barabartë me 5.
Në një shpërndarje asimetrike positive, mesatarja ka vlerë më të madhe se moda. Prandaj edhe pohimi se nota mesatare është 5 dhe jo 5.9 nuk qëndron.
Në maturën shtetërore vlerësimi i pyetjeve bëhet me pikë, të cilat janë numra të plotë. P.sh. pyetja 3 vlerësohet me 3 pikë. Kjo do të thotë që, në varësi të përgjigjeve të dhëna nga nxënësi, pikët e fituara për këtë pyetje mund të jenë 1 pikë; 2 pikë ose 3 pikë. Nuk ka vlerësim me 2.5 pikë për një pyetje. Rrjedhimisht, sasia e pikëve që fiton një nxënës në test është një numër i plotë. Duke ditur që testi ka në total 50 pikë, atëherë range /vargu i përftuar nga vlerësimet e testeve ështe nga 0 deri në 50 pikë. Pikët transformohen në nota të shkallëzuara. Transformimi bëhet sipas një skeme të përcaktuar që bën lidhjen e sasisë së pikëve të fituara me nivelin e njohurive të notës përkatëse që tregojnë këto pikë të fituara.
Nëse themi se, shuma e pikëve minimale që duhet të fitojë nxënësi për të kaluar është p.sh 20 pikë, atëherë nota e shkallëzuar që i përgjigjet këtyre pikëve është 4.5, e cila konvertohet në notë të plotë 5.
Tabela e mëposhtme tregon se për pikë të fituara nën 20 (psh.19 pikë), nota e shkallëzuar është 4.0
|
Pikët e fituara |
Nota e shkallëzuar |
Nota e plotë |
|
19 |
4.0 |
4 |
|
20 |
4.5 |
5 |
|
21 |
4.6 |
5 |
Ndërsa, nëse nxënësi ka fituar 21 pikë nota e tij e shkallëzuar është 4.6
Pra, kalimi nga 20 pikë në 21 pikë shoqërohet me një ndryshim prej 0.1 notë të shkallëzuar.
Ndërsa, kalimi nga 19 pikë në 20 pikë shoqërohet me një ndryshim prej 0.5 notë të shkallëzuar. Duket sikur mungojnë notat e shkallëzuara 4.1; 4.2; 4.3; 4.4, kur ndërkohë ato nuk ekzistojnë realisht. Kjo është arsyeja që në grafik ka mungesë të dhënash për vlerat 4.1; 4.2; 4.3; 4.4. Dhe kjo ka ardhur, sepse është nisur nga nota e shkallëzuar, dhe jo nga shuma e pikëve të fituara.
Falenderoj ministren dhe drejtoren e AKP per kete pergjigje. Shkrimi duket sikur i referohet nje grafiku te cilin me duket se nuk e kemi. Megjithate edhe pa grafikun pergjigja eshte shume informative. Nga kjo pergjigje mesojme se 43% e nxenesve kane marre nen 13 pike qe do te thote se 43% e nxenesve kane marre note reale nen 2.6 (Provimi kishte 50 pike gjithsej). Konkluzioni kryesor i shkrimit tim ishte qe nga nxenesit e gjimnazit duhet te kishin ngelur rreth 39% e tyre, jo 19% siç kane ngelur realisht. Fakti qe 43% e nexenesve kane marre nje note reale me te vogel se 2.6 me duket se verteton konkluzionin e shkrimit tim.
Nuk e kuptoj se pse pritet që notat duhet të kenë shpërndarje gausiane. Testi dhe notimi më duket që i përgjigjet Advanced Placement Exams, dhe për shumë vjet rezultatet e këtij provimi kanë shpërndarje jogausiane (shih http://en.wikipedia.org/wiki/AP_Calculus#Grade_distributions_for_AP_Calculus_AB ).
Ka gjasa që nuk di ta lexoj mirë termin “shpërndarje normale”. Ky është term teknik dhe aplikohet pas testmit (shih http://en.wikipedia.org/wiki/Grading_on_a_curve ). Në këtë lloj notimi, vlera absolute e pikëve të fituara nuk ta përcakton notën, por vetëm pozitën në popullatën që i nënshtrohet testit. Pra, edhe një student me vetëm 10 pikë mund të marrë 10, nëse 95% (apo sa caktohet pragu i notës) e studentëve tjerë kanë marrë më pak pikë. Meqë përgjigja e ministres thotë që pragu i kalimit ka qenë 13 pikë, nuk më duket se notimi është bërë me sistemin grading on a curve, rrjedhimisht nuk mund të pritet apriori shpërndarje normale (gausiane) të notave.
Do të doja të shihja nëse pragjet e notave kanë shpërndarje gausiane. Pra, nëse 13 pikë i korrespondojnë pragut të kalimit (notës 5), a do të thotë kjo se 37 pikë i korrespondojnë pragut të notës 10?
Ardian, thelbi i diskutimit ketu nuk me duket se jane modelet statistikore, por modelet tona arsimore. Ty te duket normale ajo shtylla e gjate mbi noten 5? Mua ajo shtylle me thote se ministria jone vazhdon me politikat tradicionale te masivizimit te shkolles, pra te sasise ne dem te cilesise.
Relapso, faleminderit per komentin tend qe e sjell diskutimin aty ku duhet te jete. Qellimi kryesor i shkrimit tim ishte te vija ne dukje qe megjithese pati ca zhurme ne vere sepse perqindja e te ngelurve ishte me e madhe se ne vitet e meparshme, situata eshte shume me e keqe se sa dukej ne leter.
Ministria me pergjigjen e saj na vertetoi se situata ishte edhe me e keqe sa sa me rezultoi mua me studimin tim statistik. Nga ana tjeter ministria duhet pershendetur sepse me pergjigjen e saj rriti nivelin e transparences. Te pranosh qe 43% e studenteve nuk marrin as 25% te pikeve ne nje test qe konsiderohet jo i veshtire nga testuesit nuk eshte e lehte. Por ky eshte vetem hapi i pare. Studime me te detajuara mund te behen duke krahasuar nxenesit brenda nje shkolle, duke krahasuar rezultatet e shkollave, duke krahasuar rezultatet e matematikes me rezultatet e letersise, duke krahasura rezultatet ne maturen shteterore me rezultatet ne lenden perkatese ne shkolle etj.
Vetem pasi te kemi studime te tilla, si nga eksperte te ministrise ashtu edhe nga eksperte te jashtem, duke shfrytezuar te dhena te plota publike, pra vetem pasi te jete krijuar besimi tek testuesit, mund te behen pyetjet e medha si p.sh. a duhet lehtesuar testi, a duhen testuar te gjitha ato pjese te matematikes qe testohen (aktualisht testohet çdo gje qe zhvillohet ne shkollen e mesme duke perfshire edhe analizen matematike) apo vetem nje pjese e tyre (p.sh. mund te testohet vetem algjebra dhe nje pjese e vogel e gjeometrise), dhe bile mund te shtrohet edhe pyetja se a duhet t’i ofrohen lende si analiza matematike dhe gjeometria analitike çdo nxenesi te shkolles se mesme apo keto lende te jene me zgjedhje.
Po mor po, arsimi në Shqipëri është në gjendje të mjerë. E gjitha që dua të kumtoj është se, për mua, ky diskutim, më tepër se çfarëdo analize, e dëshmon këtë.
per 2011 kjo eshte shperndarja per noten e matematikes [url=http://postimg.org/image/jhajqx6nn/][img]http://s29.postimg.org/jhajqx6nn/Graph01.jpg[/img][/url]
Meqe u perfshiva me pare ne kete teme, pergjigja e MA solli perseri ne vemendje edhe nje here disa te verteta te thjeshta rreth struktures dhe rezultateve te provimeve.
E solla edhe me pare ne vemendje, qe tendenca ashtu sic permend diku edhe Arjan Gojani eshte testimi, pergatitja e struktures se testit, qe ne rastin ideal te sjelle shperndarjen normale(gausiane), duke ndjekur/perputhur me ate qe quhet “grading on the curve”, standartizimin e testit nga pikpamja e struktures, shperndarjes se notave sipas nje demografie te priteshme performance.
Ai/ajo qe pergjigjet per MA, e permend kete fakt, dhe duket sikur bie dakord qe nje pritshmeri e tille ekziston. Pastaj sqarohet se kjo do te ishte vecse ne rastin ideal; nese parashikimet/pritshmeria do te perputhej me rezultatet. Shpjegimi mbi strukturen e testit eshte dhene i plote dhe besoj se eshte i qarte per cdo njeri. Megjithate, pa perseritur veten, gjithshka ka te beje me menyren se si e nderton testin, qe mund te kete krijuar pershtypjen/bindjen e gabuar qe patjeter duhet te jete/te sjelle nje shperndarje gausiane.
Sic kam komentuar edhe me pare, ne shkencat si fizika, kimia, etj, apo ne llojet e ndryshme te matematikes, per vete natyren, veshtirsine e tyre qofte konceptuale, qofte si prirje, talent natyral(nje paragjykim shume i perhapur: jo te gjithe ia shkrepin per matematike 🙂 ), eshte shume e veshtire te krijosh nje strukture te provimit qe te kanaqe pritshmerine per nje shperndarje gausiane. Shkurt, ne realitet, nuk ndodh. Eshte shume me ndryshe se ne shkencat sociale, etj.
Kur lexova komentin e Relapsos, vura buzen ne gaz, sepse percjell dicka nga e verteta pereniale, mbi rezultatet e provimeve ne matematike, ku nje pjese e mire e nxenesve shtyhen(i japin nje dore) te kaperxejne pragun e kalimit, pesen (threshold).
Kjo e vertete, si fakt i hasur, nuk eshte vetem shqiptare, por edhe per vendet e zhvilluara. Ka nje opinion te pergjithshem, jo pa baze, se aziatiket(Far East, India, etj) japin rezultate me te mire ne shkencat e matematikes. Per arsyet nuk ia vlen te diskutohet.
Sic del e qarte nga pergjigja e MA, pavarsisht arsyeve, rezultatet e studenteve, ishin me te ulta se pritshmeria e struktures se provimit.
Si shpjegohen mosperputhjet/diskrepancat ne grafet e sjella?
Artan Simeqi: “Menjëherë në këtë grafik vërejmë një dukuri të çuditshme. Asnjë nxënës nuk ka marrë 4.1, 4.2, 4.3 ose 4.4 pikë. Është e qartë që dikush ka vënë dorë në rezultatet e provimit pasi provimi është korrigjuar.”
Me te drejte vihet re dicka e cuditeshme, qe nuk shkon. Arsye e boshllekut ne kete intervale(midis 4-res dhe 5-ses), ka te beje me nderhyrjen e dores “dashamirese” njerezore, por jo pas korigjimit.
I njejti fenomen vihet re edhe ne provimet e shtetit(regents), ne rrethana te caktuara, ne shkollat ne US. Per cfare rrethanash behet fjale?
Arsyeja eshte e thjeshte; kjo ndodh ne rastet kur provimet korigjohen ne shkolla, nga stafi i vete mesuesve qe i kane mesuar lendet ne fjale pergjate vitit klasave ne shkollat perkatese. Mesuesit jane te interesuar(sepse nga rezultatet varet edhe vleresimi i tyre ne fund te vitit) qe kalueshmeria e nxenesve te tyre te jete mbi nje prag te caktuar perqindjeje. Keshtu, kur shohin se rezultatet jane midis/afer 4 dhe 5(rrotullohen ne kete interval), i japin nje shtyse vete per te kapercyer pragun(threshold), duke krijuar nje boshllek te pajustifikueshem ne decimalet e permendura midis 4 dhe 5.
Grafe te tilla me boshlleqe/vakum(cutoffs) notash ne intervale te caktuara, apo rritje te dukeshme te notes 5-se si prag i kalueshmerise te nxenesve qe marrin noten kaluese 5 jane prova te nevojes se ndryshimit te procedurave ne korigjimin e provimeve.
Mesa jam ne dijeni ne shtete si NY ta zeme, provimet(letrat,) e distrikteve te ndryshme arsimore grumbullohen ne qendra te vecanta dhe atje korigjohen nga mesuese te licensuar ne lenden perkatese, qe nuk jane pjese e stafit te distriktit, nuk i njohin nxenesit dhe mesuesit e tyre. Kjo eshte nje nga menyrat me efikase per te evituar situta si e mesipermja.
Duke qene se testet kane nje strukture, ku kombinohen forma te ndryshme problemash(multiple choice, constructed response, open question, short answer, etc.) ka komponente te provimit, ku korigjuesi luan nje rol te rendesishem me subjektivitetin e vet. Kjo mund te ndikoje ne notat dhe shperndarjen e tyre.
Megjithate nuk u morr vesh se cili model perfaqeson me realisht rezultatet: bell curve apo power law curve?
🙂