Kas atspoguļo testa priekšmetu sarežģītību. Testi matemātikas bloku mācīšanas tehnoloģijā vidusskolēniem

Tas ir rādītājs testa jautājuma (pateikuma) viegluma un sarežģītības mērīšanai, ņemot vērā VISAS testa izpildītāju sniegtās pareizās atbildes.

Grūtības indeksu Itr aprēķina šādi:

Itr = (H+ L)/n x 100

kur: N ir pareizo atbilžu skaits “spēcīgajā” grupā;

L- pareizo atbilžu skaits “vājā” grupā;

kopējais skaits mācību priekšmeti abās grupās (1/3+1/3).

Grūtības indekss 95% norāda, ka 95% priekšmetu atbilde uz šis tests nebija problēma. Tests ar zemiem grūtības pakāpes rādītājiem ir pārāk grūts vai nepareizi izstrādāts. Grūtības indeksa optimālā vērtība ir 50-60%, un pieļaujamās svārstības ir no 30 līdz 70%. Testi, kuru ITR vērtība ir zem 30% un lielāka par 70%, tiek izslēgti no testēšanas programmas (vai netiek ņemti vērā visu punktu galīgajā aprēķinā visai testa programmai).

Katra testa kvalitāti var raksturot, izmantojot diskriminācijas indekss (ID). Diskriminācijas indekss parāda, cik lielā mērā konkrētais tests var atšķirt (diskriminēt) vairāk apmācītus speciālistus no mazāk apmācītiem:

ID = 2 x (H - L)/n

(apzīmējumi ir tādi paši kā Itr aprēķināšanai).

Eksperimentāli tika noteikts:

ID vērtība 0,35 un lielāka ir lielisks tests.

0,25-0,34 ir labs tests

0,15-0,24 - strīdīgs tests

zem 0,15 - tests ir slikti izstrādāts un ir izslēgts no testu “bankas”.

Pēc sarežģītības un diskriminācijas indeksu aprēķināšanas testu programma tiek pārskatīta - no tās tiek izslēgti testi ar neapmierinošiem Itr un Id indeksiem un galvenokārt testi ar Itr vērtību, kas lielāka par 70% (vieglie testi) un Id mazāka par 0,25.

Testa uzticamība ko raksturo rezultātu reproducējamība, veicot atkārtotu vienas un tās pašas subjektu grupas testēšanu, un, tāpat kā grūtības, nosaka eksperimentāli.

Visi mācību mērķi nosacīti var iedalīt trīs veidos: objektīvajā, loģiskajā un psiholoģiskajā, kurus savukārt var iedalīt grupās, kas atšķiras pēc to izraisīto garīgo darbību mehānisma.

Priekšmeta problēmu veidi. Tos risinot, skolēnam ir jāorientējas noteiktā mācību priekšmeta laukā, kurā var “novietot” ne tikai objektus (lietas), bet arī cilvēkus, dzīvos organismus, kā arī to modeļus (zīmējumus, zīmējumus, diagrammas u.c.) Orientēšanās priekšmetā lauks ir garīgās darbības, kad cilvēks, pamatojoties uz noteiktām viņam zināmām pazīmēm, atrod tajā objektus, veic to mentālo klasifikāciju, lai operētu tikai ar nozīmīgiem objektiem, kas ļauj viņam atrisināt problēmu.

Loģiskie uzdevumu veidi . Tie ir uzdevumi, kuru risināšanai ir nepieciešama spriešana pēc loģikas likumiem, t.i. darbības prātā, nepaļaujoties uz materiāliem atsauces objektiem. Pamatojuma mērķis ir noteikt, kādi dati patiešām ir nepieciešami problēmu risināšanai, kādi dati ir jāizslēdz kā nevajadzīgi un kādi nepieciešamie dati trūkst problēmas formulējumā. Jums tas jājautā savam skolotājam vai jāatrod pašam.

Kāda veida loģiskā tipa uzdevumus var iekļaut garīgo darbību mācīšanas komplektā?

Kopumā ir četri veidi:

uzdevumi, kuros nav nevajadzīgu datu, bet arī daži nepieciešamie (A–B–), un, visbeidzot,

uzdevumi, kuros nevajadzīgu datu klātbūtnes dēļ nav pieejami visi nepieciešamie dati (A – B+).

Psiholoģiskie uzdevumu veidi.

Tie var izraisīt skolēna kļūdainu rīcību, jo būtiski punkti, kas ir tieši saistīti ar problēmas risināšanu, var paslēpties aiz nesvarīgiem. No subjekta tiek prasīta inteliģence un griba, lai nepakļautos kārdinājumam iet vieglāko ceļu, kā arī pārdomātība darbībās, apdomība, analizējot uzdevuma nosacījumus.

Psiholoģiskos uzdevumu veidus var atšķirt pēc šādām īpašībām: a) problēmā uzrādītās parādības pazīmes līdzinās tām, kas raksturo vēlamo (vajadzīgo, ar šo darbību saistīto) parādību, bet patiesībā tas ir kaut kas cits (

līdzīgi, bet ne vienādi) b) novērotās pazīmes atgādina vēlamo parādību, un patiesībā tas tā ir

(un izskatās, ka abi); c) novērotās pazīmes, šķiet, nav skaidri saistītas ar meklējamo parādību, bet tomēr izrādās, ka tās ir tieši tās pazīmes ( Nav

šķiet, citādi); d) pēc tādas parādības vizuālajām pazīmēm, kas ne visai līdzinās mūsu meklētajam, varam secināt, ka tās viņam nepieder

(tā neizskatās un nav tas pats). pareiza izpilde aktivitāti, bet nepalaist garām to, kas ārēji atšķiras, bet iekšēji tai piemīt. Tāpēc praktisko izglītojošo uzdevumu komplektā obligāti jābūt datiem, kas ievilina skolēnu slazdā, provocē kļūdainu darbību un dod nepatiesus signālus. To zinot, skolēnam jābūt ārkārtīgi uzmanīgam, neiekrītot gudri slēptā trikā un stingri jāievēro pieņemtie situāciju vērtēšanas kritēriji.

Spēja risināt psiholoģiskā tipa problēmas liecina par to, ka skolēns ir pietiekami un vispusīgi apguvis darbību, visas viņa darbības ir jēgpilnas un ar augstu apziņas pakāpi.

Tematiskās nodarbības metodiskā izstrāde ietver šādus vienumus:

Tēmas nosaukums.

Nodarbības mērķi.

Kopējais nodarbības laiks.

Nodarbības aprīkojums (materiāli tehniskais (aprīkojums, ierīces), metodiskais, informācijas atbalsts(izglītojošo tabulu, stendu, mācību līdzekļu, zāļu, programmu u.c. saraksts).

Plāns (saskaņā ar diagrammu iepriekš).

Mācību un mācību materiāli.

Kontroles materiāli (uzdevumi asimilācijas sākuma un beigu kontrolei).

Grūtības rādītājs pārbaudes uzdevums kā svarīgākais mīklas veidošanas faktors.

Krašeņiņikova Gaļina Gennadievna

Ph.D. ped. Zinātnes, Krievijas Valsts humanitāro zinātņu universitātes Magadanas filiāle

Viena no galvenajām testa uzdevuma īpašībām ir tā sarežģītība. Uzdevuma grūtības pakāpe, kā arī pārbaudāmās personas sagatavotības līmenis ir latenti parametri, kurus nevar tieši novērot. Lai novērtētu šos parametrus, ir jāizmanto ar tiem cieši saistīti rādītāji. Pārbaudot skolēnu zināšanas, paši testa uzdevumi kalpo kā rādītājs. Rodas uzdevums: pārveidot indikatora vērtības latento parametru vērtībās. Šīs problēmas risināšanai ir dažādas pieejas. Klasiskā un mūsdienu teorija testēšana piedāvā savas metodes latento parametru novērtēšanai.

Tradicionālais priekšmetu grūtības mērs klasiskajā testa teorijā daudzus gadus atliek pareizo atbilžu skaita attiecība uz doto uzdevumu pret kopējo priekšmetu skaitu grupā. Jo vieglāks uzdevums, jo lielāks procents to izpildīja šo uzdevumu.

Tomēr šī definīcija ir semantiska neprecizitāte: pieaugums skaitliskā vērtība statistiskais rādītājs norāda uz uzdevuma grūtības pakāpes samazināšanos un otrādi. Tāpēc iekšā pēdējā laikā Tiek mēģināts ieviest jaunas grūtības vienības. Klasiskais grūtības mērs tiek aizstāts ar pretēju un atspoguļo nepareizo atbilžu īpatsvaru priekšmetu grupā, kas, mūsuprāt, precīzāk atspoguļo parametra “uzdevuma grūtības” nozīmi.

Mūsdienu testēšanas teorija – Item Response Theory (IRT) – balstās uz P. Lazarsfelda radīto latentās strukturālās analīzes (LSA) teoriju. IRT, atšķirībā no klasiskās teorijas, latentais parametrs tiek traktēts nevis kā konstanta vērtība, bet gan kā nepārtraukts mainīgais. IRT metodes var klasificēt pēc to izmantoto parametru skaita. Slavenākie ir G. Raša viena parametra modelis un A. Birnbauma divu un trīs parametru modeļi.

Georgs Rašs gan testa kārtotāja sagatavotības līmeni, gan uzdevuma grūtības pakāpi lika vienā skalā, ieviešot viņiem kopīgu mērvienību - logit. Viens uzdevuma sarežģītības logits ir vienāds ar naturālais logaritmsšī uzdevuma nepareizo atbilžu īpatsvara attiecība pret pareizo atbilžu īpatsvaru.

Neskatoties uz to, ka IRT nesen ir kļuvusi plaši izplatīta, tai tomēr ir daudz trūkumu. Jo īpaši, pārbaudot izglītības sasniegumus, tiek konstatētas būtiskas neatbilstības starp aprēķinātajām vērtībām un empīriskajiem datiem. Ir pierādīta arī augsta korelācija (apmēram 0,9) starp rezultātiem, kas iegūti, izmantojot Raša modeli, un rezultātiem, kas iegūti ar klasiskajām metodēm. Šis fakts ļauj, neapdraudot aprēķinu precizitāti, izmantot klasiskās testu teorijas metodes, lai raksturotu testa uzdevumu sarežģītību.

Lai gan klasiskā uzdevuma sarežģītības aprēķināšanas formula ir diezgan ērta izpildei un pēc tam iegūto rezultātu interpretācijai, mūsuprāt, tā nav bez zināmas subjektivitātes: uzdevuma grūtības pakāpe ir tieši atkarīga no testa kārtotāju izlases. Šajā sakarā apskatīsim citu skatījumu uz testa uzdevuma grūtības pakāpes novērtēšanu, kas, lai arī nav plaši izplatīts, mūs interesē.

Lai pietuvinātos latentā parametra “grūtības” būtībai, pievērsīsimies 2008. gadā pieņemtajai zināšanu apguves līmeņu klasifikācijai. pedagoģiskā literatūra. Katram nākamajam zināšanu apguves līmenim var pamanīt pilnīgi objektīvu asimilācijas grūtības pakāpes pieaugumu. Tādējādi varam secināt, ka pastāv tieša saistība starp meistarības līmeņiem un katram meistarības līmenim atbilstošu uzdevumu grūtības pakāpēm. Tas ļauj mums identificēt tādus jēdzienus kā “grūtības līmenis” un “meistarības līmenis” saistībā ar testa uzdevumiem. Par pamatu ņemot klasifikāciju V.P. Bespalko, mēs izšķiram četrus grūtības līmeņus: “studentu”, tipisko, heiristisko, radošo.

Šobrīd pedagoģijā plaši tiek izmantotas ekspertu metodes. Tāpēc kā vēl viens grūtības rādītāja novērtēšanas variants ir pelnījis ievērību pārbaudes uzdevumu sarežģītības pakāpes ekspertu novērtējumā. Piemēram, darbā A.P. Ivanovs sniedz aprakstu par šādu vērtējumu, kad pirms testa eksperimenta sākuma vairākiem ekspertiem tiek lūgts novērtēt visu testa variantu uzdevumu sarežģītību ballēs. Eksperta vērtējuma iegūšanai autore sniedz astoņu faktoru sarakstu ar atbilstošiem vērtēšanas kritērijiem no 1 līdz 5 ballēm par katru.

Labi izstrādātā testā vienuma grūtības nedrīkst ietekmēt ne testēšanas forma, ne organizācija. Grūtības rādītājs ir atkarīgs tikai no testa kārtotāju satura un sagatavotības līmeņa. Tiesa, pastāv uzskats, ka uzdevuma grūtības pakāpi ietekmē šī uzdevuma atrašanās vieta testa struktūrā. Šajā gadījumā ieteicams izmantot vairākas pārbaudes iespējas, kas atšķiras ar uzdevumu secību. V.S. Avanesovs uzskata, ka galvenais pedagoģisko kontroldarbu satura izstrādes princips ir kontroldarbu uzdevumu pieaugošā sarežģītība. Viņaprāt, tikai pēc grūtības pakāpes noteikšanas uzdevumam ir iespēja kļūt par pārbaudījumu. Līdz tam tas paliek tikai uzdevums testa formā.

Iekļaušana testā liels skaits vidējas grūtības pakāpes uzdevumi palielina tā uzticamību, bet noved pie tā satura derīguma samazināšanās. Pārbaudījums, kas sastāv no viegliem uzdevumiem, kas pārbauda minimālas zināšanas, nevar sniegt priekšstatu par faktisko zināšanu līmeni. Augstas grūtības pakāpes pārbaudes priekšmetu atlase var palīdzēt palielināt motivāciju mācībās, bet var arī ietekmēt otrā puse. Tādējādi testi, kas izgatavoti no sarežģītiem uzdevumiem, arī kropļo testu rezultātus. Turklāt testa saturam vajadzētu atšķirties atkarībā no skolēnu grupu sagatavotības līmeņa. Pārbaudes grūtības pakāpe vājiem skolēniem ievērojami atšķiras no pārbaudījuma grūtības pakāpes, kas tiek piedāvāta spēcīgiem skolēniem.

Kā norāda A. Anastass un S. Urbiņa, uzdevuma grūtības pakāpes izvēle ir atkarīga no testa mērķa un no tā, kā paredzēts izmantot testa rādītājus. Priekšmeta testiem uzdevumu grūtības pakāpei jābūt 0,8-0,9 līmenī. Nosakot tā informatīvumu pēc uzdevuma grūtības pakāpes, autori parāda, ka visinformatīvākais ir uzdevums ar vidējo grūtības pakāpi 0,50.

Tādējādi mēs varam secināt, ka uzdevumiem ar vidējo grūtības pakāpi ir vislielākā diferenciācijas spēja. Un, ja testēšanas mērķis ir atšķirt ieskaites kārtotājus un salīdzinoši novērtēt viņu zināšanu līmeni, tad vienkāršākos un grūtākos uzdevumus no testa ir jāizslēdz. Ja testa mērķis ir noteikt, vai students ir pietiekami apguvis noteiktu kompetenču kopumu, kas nepieciešams, lai pārietu uz nākamo apmācības posmu, tad tajā var būt gan vieglākie, gan grūtākie uzdevumi.

Bibliogrāfija

1. Avanesovs V.S. Uzdevumu izmantošana testa formā jaunos izglītības tehnoloģijas// Skolas tehnoloģijas. – 2007. – Nr.3. – 146.–163.lpp.

2. Anastasija A., Urbiņa S. Psiholoģiskā pārbaude. – Sanktpēterburga. : Pēteris, 2002. – 688 lpp.

3. Bespalko V.P. Sastāvdaļas izglītības tehnoloģija. – M.: Pedagoģija, 1989. – 192 lpp.

4. Ivanovs A.P. Zināšanu sistematizācija matemātikā specializētās nodarbībās, izmantojot testus. – M.: Fizmatkniga, 2004. – 416 lpp.

5. Ingenkamp K. Pedagoģiskā diagnostika. – M.: Pedagoģija, 1991. – 240 lpp.

6. Kims V.S. Testa rezultātu analīze Raša mērījumu procesā // Pedagoģiskie mērījumi. – 2005. – Nr.4. – 39.–45.lpp.

7. Rašs G. Varbūtības modeļi dažiem intelekta un sasniegumu pārbaudēm. – Čikāga un Londona, 1980. – 199 lpp.

Ja pedagoģiskais pārbaudījums īsumā tiek definēts kā vienmērīgi pieaugošas grūtības pakāpes uzdevumu sistēma, tad kļūs skaidrs, ka uzdevumu sarežģītība ir vissvarīgākais, teiksim, ieskaites veidojošais rādītājs. Daudzi skolu vadītāji uzskata, ka viņu skolotāji spēj “izdomāt” īss laiks viņi var veikt tik daudz “pārbaužu”, cik vēlas. Faktiski testa formā jūs varat izdomāt diezgan daudz uzdevumu. Un vispār ne kontroldarbi, bet tikai uzdevumi. Tos nevar iekļaut īsts pārbaudījums līdz kļūst zināms to grūtības mērs, kā arī citas īpašības. Grūtības mērs ir empīriski pārbaudīts. No šīs prasības kļūst skaidrs, ka katra uzdevuma iepriekšēja empīriskā pārbaude ir obligāta pirms testēšanas sākuma. Pārbaudes procesā daudzi uzdevumi neatbilst tiem izvirzītajām prasībām, un tāpēc tie nav iekļauti testā. Pirmā prasība testa uzdevumiem: testā uzdevumiem ir jāatšķiras pēc grūtības pakāpes, kas izriet no iepriekš dotās testa definīcijas un aplūkotā principa.

Vērīgais lasītājs, iespējams, jau ir uztvēris atšķirības trīs šeit ieviesto pedagoģisko mērījumu teorijas pamatjēdzienu – pedagoģiskā testa jēdziens, uzdevums kontroldarba formā un pārbaudes uzdevums – leksikā. Prasības pirmajai no tām jau ir apspriestas rakstā “Pedagoģiskā pārbaudījuma definīcija” (USh Nr. 30, 1999. gada augusts).

Labāk jau tagad ieviest prasības otrajam jēdzienam, vismaz īsi tās uzskaitot, lai nenovirzītos no raksta galvenās tēmas. Uz uzdevumiem pārbaudes veidlapā attiecas šādas prasības:

• īsums;
• izgatavojamība;
• pareiza forma;
• satura pareizība
• loģiskā paziņojuma forma;
• vienādi atbilžu vērtēšanas noteikumi;
• pieejamību konkrēta vieta par atbildēm;
• identiskas instrukcijas visiem priekšmetiem;
• pareiza uzdevuma elementu izvietojums;
• norādījumu atbilstība uzdevuma formai un saturam

Avanesovs V.S. Mērījumu pedagoģiskās teorijas pamati // Pedagoģiskie mērījumi, 1, 2004. 17. lpp.

Sīkāka šo prasību interpretācija sekos nākamajos rakstos, taču tagad vēlos vērst lasītāja uzmanību uz to, ka nav noteikta prasība pēc zināmas uzdevuma sarežģītības, kamēr šāda prasība tiek noteikta testam un pārbaudes uzdevums. Pārdomājot šo un iepriekš publicēto materiālu, var izdarīt divus secinājumus. Pirmais ir tas, ka testā nav vietas uzdevumiem ar nezināmu grūtības pakāpi. Un otrs ir tas, ka ne visi testa formā piedāvātie uzdevumi var kļūt par testa uzdevumiem: šis dažādi jēdzieni. Pirmajā koncepcijā būtiskākās prasības ir saturs un forma. Testa uzdevumiem, pirmkārt, ir zināmas grūtības pakāpes prasība, kas noteikti nav nepieciešama uzdevumiem testa formā. Var atkārtot, ka uzdevumiem ir iespēja kļūt par testiem tikai pēc to grūtības pakāpes empīriskas pārbaudes tipiskās priekšmetu grupās.

Pārbaudes un testa priekšmetu grūtības pakāpes rādītājs ir jēgpilns un vienlaikus formāls. Nozīmīgi, jo labs tests grūtības var būt atkarīgas tikai no uzdevumu satura sarežģītības un pašu mācību priekšmetu sagatavotības līmeņa. Savukārt sliktā testā rezultātus sāk manāmi ietekmēt uzdevumu forma (īpaši, ja tā nav adekvāta saturam), slikta testēšanas organizācija, ja pastāv krāpšanās un informācijas noplūdes iespējas. Šajā sakarā kaitīga prakse mērķtiecīgu apmācību studentiem vienā valsts eksāmens. Krievijas izglītības ministrs I. Tolstojs 1907. gadā skolotājus, kas bija iesaistīti šāda veida darbā, nosauca par "dresantiem". Bet vismazāk vainīgi ir skolotāji. Pie vainas ir nepareizā “olu likšanas” sistēma, kas veicina šādu kļūdainu praksi. Kāda ir kontrole, tāda ir arī izglītība.

Grūtības rādītāja formālā sastāvdaļa rodas, kad testēšana tiek uzskatīta par konfrontācijas procesu starp subjektu un viņam piedāvāto uzdevumu. Ir lietderīgi uzskatīt, ka rezultāts ir šādas konfrontācijas rezultāts. Vienkāršoti interpretējot katru uzdevuma izklāsta gadījumu, bieži, bet ne obligāti, tiek ņemti vērā divi rezultāti: subjekta uzvara ar pareizu uzdevuma atrisinājumu, par kuru viņš saņem vienu punktu, vai sakāve, par kuru viņš tiek saņemts. dota nulle punktu. Konfrontācijas rezultāta novērtējums ir atkarīgs no testa kārtotāja zināšanu līmeņa attiecības ar uzdevuma sarežģītības pakāpi, no izvēlētās zināšanu mērvienības un no iepriekš pieņemtā noteikuma (konvencijas) - kāda tiek uzskatīta par ieskaites kārtotāja “uzvaru”, un vai ir pieļaujams neizšķirts, ja runājam sporta valodā.

Grūtības palielināšanas princips tiek izmantots, prezentējot daudzu mācību grāmatu un rokasgrāmatu saturu, īpaši tajās akadēmiskajās disciplīnās, kuras ir veidotas uz kumulatīva principa, kas nozīmē: zināšanas par turpmākajiem kursa elementiem ir skaidri atkarīgas no zināšanām par iepriekšējiem izglītības elementiem. Šī struktūra ir raksturīga matemātikas, loģikas, svešvalodas, statistika, tehniskās un daudzas citas zinātnes. Tajos iepriekš pētītie jēdzieni tiek aktīvi izmantoti turpmākajās tēmās. Tāpēc šādas disciplīnas jāapgūst tikai no paša sākuma un bez nepilnībām.

Lielākā daļa autoru, īpaši ārzemju, neatšķir jēdzienus “grūtības” un “sarežģītība”. Daudzi testa izstrādātāji ir vienādi. Taču ir darbi, kuros šie jēdzieni definēti atšķirīgi. Piemēram, A. N. Zaharovs un A. M. Matjuškins atzīmē, ka mācību uzdevuma grūtības pakāpe nesakrīt ar tā sarežģītību. Grūtības pakāpe izglītojošs materiāls To raksturo izglītības uzdevuma reālā (objektīvā) intensitāte un tā pasniegšanas forma, un grūtības pakāpe vienmēr ir saistīta ar apgūstamā mācību materiāla korelāciju ar iepriekš apgūto mācību materiālu un skolēnu intelektuālajām spējām (1) .

L.N. Izglītojošā uzdevuma sarežģītību Landa skaidroja ar to, ka skolēni bieži vien nezina, kādas darbības jāveic, lai rastu risinājumu. Ja operāciju sistēmu noteiktas klases problēmu risināšanai sauc par risināšanas metodi, tad, viņaprāt, grūtības saistās ar metodes nezināšanu, ar nezināšanu, kā risināšanas procesā domāt, kā un kādā secībā. jārīkojas atbilstoši problēmas nosacījumiem (2). Grūtības, kas rodas, skaidrojamas ar to, ka skolotājs bieži cenšas dot zināšanas par apgūstamā saturu un daudz mazāk rūpējas par to, kā domāt un spriest (turpat). Šī interpretācija krustojas ar domu, ka uzdevuma sarežģītība ir saistīta ar operāciju skaitu, kas jāpabeidz, lai gūtu panākumus. Šīs grūtības un sarežģītības definīcijas lielākoties ir psiholoģiskas; tie ir noderīgi psiholoģiskā analīze pārbaudes uzdevumu saturs.

Daudzus gadus tradicionālais katra uzdevuma sarežģītības mērs bija pareizo atbilžu īpatsvars mācību priekšmetu grupā, ko apzīmē ar simbolu pj, kur apakšindekss j norāda interesējošā uzdevuma numuru (1, 2 utt.). ). Piemēram, ja mācību priekšmetu pareizās atbildes uz kontroldarba trešo uzdevumu novērtētas ar vienu punktu, bet nepareizās - ar nulli, tad p3 rādītāja vērtību var atrast no elementārās sakarības:

P3 = R3/N,
kur R3 nozīmē pareizo atbilžu skaitu uz doto uzdevumu, un N ir kopējais priekšmetu skaits grupā. Vispārējā formula jebkura uzdevuma pareizo atbilžu proporcijas aprēķināšanai (j) ir forma

Pj = Rj/N
Indikators pj. jau sen tiek izmantots kā grūtības mērs tā sauktajā klasiskajā testu teorijā (3). Vēlāk tajā ietvertā semantiskā neprecizitāte tika realizēta: galu galā pj vērtības pieaugums neliecina par grūtību pieaugumu, bet, gluži pretēji, par viegluma pieaugumu, ja šādu vārdu var lietot. Tāpēc iekšā pēdējos gados pretējo statistiku sāka saistīt ar uzdevuma grūtības rādītāju - nepareizo atbilžu īpatsvaru (qj). Šī proporcija tiek aprēķināta no nepareizo atbilžu skaita (Wj- no angļu vārda Wrong - nepareizi) attiecības pret priekšmetu skaitu (N):

Dabiski tiek pieņemts, ka pj + qj = 1. Klasiskajā testu teorijā daudzus gadus tika ņemti vērā tikai empīriskie grūtības rādītāji. Jaunajās psiholoģisko un pedagoģisko testu teoriju versijās lielāka uzmanība pievērsta skolēnu garīgās aktivitātes raksturam testa uzdevumu izpildes procesā. dažādas formas (4).

Pārbaudes saturs nevar būt tikai viegls, vidējs vai grūts. Šeit pilnībā izpaužas labi zināmā ideja par izmantotās metodes rezultātu atkarību. Vienkāršas pārbaudes lietas sniedz studentiem tikai zināšanu izskatu, jo tie pārbauda minimālas zināšanas. Šajā sakarā var atzīmēt, ka federālās izglītības pārvaldes struktūras fokuss uz minimālā zināšanu līmeņa pārbaudi nedod un nevar pat pēc definīcijas sniegt priekšstatu par patieso zināšanu līmeni, t.i. sniegt informāciju, kas sabiedrībai un valsts iestādēm jau sen ir bijusi vajadzīga. Tas izkropļo ieskaites rezultātus un acīmredzami sarežģītu uzdevumu atlasi, kā rezultātā lielākā daļa skolēnu iegūst zemus punktus. Koncentrēšanās uz sarežģītiem uzdevumiem bieži tiek uzskatīta par līdzekli, kas palielina motivāciju mācīties. Tomēr šim līdzeklim ir jaukta iedarbība. Sarežģīti uzdevumi var mudināt dažus cilvēkus mācīties, bet citi var viņus atstumt no tā. Šāda orientācija izkropļo rezultātus un galu galā samazina pedagoģiskā mērījuma kvalitāti. Ja tests ir veidots stingri no pieaugošas grūtības uzdevumiem, tad tas paver ceļu uz vienas no interesantākajām mērījumu skalām - L. Gūtmana skalu.

Definējot testu, jau tika atzīmēts, ka visi testa uzdevumi, vēlos uzsvērt, neatkarīgi no tēmu, sadaļu un akadēmiskās disciplīnas, ir sakārtoti pieaugošās grūtības secībā. Vēl nesen plaši izplatītais ieteikums testā iekļaut vairāk vidējas grūtības pakāpes uzdevumu ir pamatots no mērījumu ticamības noteikšanas, izmantojot tā sauktās formulas. klasiskā testa teorija. Šajā teorijā esošās testa ticamības novērtēšanas metodes rada ticamības samazināšanos, ja testā tiek iekļauti viegli un sarežģīti uzdevumi. Tajā pašā laikā tikai vidējas grūtības uzdevumi noved pie nopietnas testa satura deformācijas: pēdējais zaudē spēju normāli atspoguļot studējamās disciplīnas saturu, kurā vienmēr ir viegli un grūti. materiāls. Tādējādi, tiecoties pēc abstrakti teorētiski augstas ticamības, tiek zaudēta testa rezultātu pamatotība. Vēlme palielināt testa rezultātu derīgumu bieži vien ir saistīta ar to precizitātes samazināšanos. Šī parādība teorētiski ir pazīstama kā amerikāņu psihometrijas teorētiķa F. Lorda paradokss

Ja tiek pārbaudīta vāja skolēnu grupa, izrādās, ka sarežģītie pārbaudes darbi vienkārši nedarbojas, jo neviens skolēns nevar uz tiem pareizi atbildēt. Šādi uzdevumi tiek izņemti no turpmākās datu apstrādes. Tie netiek piedāvāti adaptīvajās vadības sistēmās. Pārbaudes saturs vājiem skolēniem ievērojami atšķirsies no kontroldarba satura stipriem skolēniem. Pēdējam, gluži pretēji, viegli uzdevumi neder, jo visi zinošie priekšmeti pareizi atbild uz viegliem uzdevumiem. Tādējādi tradicionālā kontroldarba saturs būtiski atšķiras atkarībā no to skolēnu grupu sagatavotības līmeņa, kuru zināšanu mērīšanai tests ir vērsts.

Mācību materiāla satura optimālai samērošanai nepieciešamās grūtības pakāpes testa uzdevumos nepieciešama iespēja izvēlēties atbilstošu formu. Pārbaudījuma saturs ir izteikts vienā no četrām galvenajām uzdevumu formām. Tie ir: 1) uzdevumi ar vienas vai vairāku pareizo atbilžu izvēli no piedāvātajiem; 2) atklātās formas uzdevumi, kur subjekts atbildi aizpilda pats, tam paredzētajā vietā; 3) uzdevumus noteikt atbilstību un 4) uzdevumus noteikt pareiza secība darbības.

Literatūra

1. Zaharovs A.I., Matjuškins A.M. Problēmas adaptīvās sistēmas apmācība // Kibernētika un apmācības problēmas. - M.: Progress, 1970.- 389 lpp.
2. Landa L.N. Algoritmizācija apmācībā. M., Izglītība, 1966. gads
3. Gulliksens H. Garīgo testu teorija. N - Y. Wiley. 1950 - 486 lpp. un daudz ko citu utt.
4. Tatsuoka, K.K. Vienumu konstrukcija un psihometriskie modeļi, kas piemēroti konstruētai reakcijai. Princeton, N-J, 1993. — 56 lpp.; Frederiksen, N., Mislevy R. J., Bejar I. J. (eds). Testu teorija jaunas paaudzes testiem. Lorenss Erlbaums Ass. Publ. 1993, Hillsdale, N-J, 404 lpp. utt.

Mēs definēsim testa uzdevumu sarežģītību un grūtības pakāpi, pamatojoties uz vārdu "sarežģīts" un "grūts" definīcijām no plkst. skaidrojošā vārdnīca Krievu valoda Ušakovs.

Tātad, "Komplekss - sastāv no vairākām daļām vai elementiem, kas izveidoti savienojuma, detaļu pievienošanas rezultātā." Acīmredzot no šīs definīcijas kļūst skaidrs, kā var noteikt testa uzdevuma sarežģītību. Lai to izdarītu, pietiek analizēt zināšanu elementu skaitu, kas aptver šo testa uzdevumu, kā arī noteikt, cik dziļi testa kārtotājam, atbildot, ir jāzina priekšmeta joma, lai pareizi atbildētu uz šo TK. Citiem vārdiem sakot, grūtības var būt saistītas ar garīgo operāciju skaitu, kas jāveic, lai iegūtu pareizo atbildi. Ja subjekts nezina dažas no šīm darbībām, tad uzdevums viņam būs grūts, ja viņš zinās, tas būs vieglāk.

"Grūti - prasa lielu garīgo piepūli, piepūli, grūti, viltīgi." Šī definīcija sniedz vienu no kritērijiem, lai novērtētu testa uzdevuma sarežģītību, proti, cik daudz laika testa kārtotājam būs nepieciešams, lai darbs, kas vērsts uz pareizās atbildes atrašanu, netiktu lieks. Grūtības jēdziens var būt balstīts uz statistiskiem aprēķiniem, piemēram, jo ​​mazāk pareizo atbilžu, jo grūtāks uzdevums.

Vispārīgā gadījumā sarežģītību un grūtības pakāpi nosaka specifikācijas izstrādātājs un norāda uz subjektīvo vērtību, cik grūti būs testa kārtotājam ar minimālu sagatavotības līmeni noteiktā laikā atrisināt doto testa uzdevumu.

Var atšķirt divus sarežģītības un grūtības veidus – teorētisko (a priori) un faktisko (a posteriori). Pirms testēšanas a priori sarežģītību un grūtības nosaka eksperti. Pārbaudot testa uzdevumu banku un veicot aprēķinus, izmantojot noteiktas metodes, tiek iegūta a posteriori sarežģītība un grūtības.

Jāņem vērā, ka, testēšanas laikā izmantojot testa priekšmetu banku, grūtības un sarežģītības pakāpe var tikt pielāgota atbilstoši auditorijai, t.i. iegūstot statistikas datus par atbildēm uz uzdevumiem, var noteikt, cik viegli uzdevumu uztver testa kārtotāji un kādi secinājumi par to tiek izdarīti. Saskaņā ar to tiek noteikta testa uzdevuma faktiskā (aizmugurējā) grūtība un sarežģītība.

Tehnisko specifikāciju sarežģītības un sarežģītības svarīgākais mērķis ir adaptīvo testēšanas algoritmu izmantošana. Tā kā nav informācijas par sarežģītību un grūtībām, testa uzdevumus nav iespējams pielāgot pašreizējam testa kārtotāja zināšanu līmenim. Turklāt, ja grūtības un sarežģītība ir norādīta nepareizi, adaptīvās testēšanas algoritmi nedarbosies pareizi, un rezultātā tiks sniegts izglītības sasniegumu līmeņa novērtējums ar lielu kļūdu.

Kā redzams no definīcijas, uzdevuma sarežģītību var aprēķināt, pamatojoties uz laiku, kas atvēlēts šī uzdevuma risināšanai testa kārtotājam ar vidējo zināšanu līmeni. Piemēram, 30 sekundes vai 1 minūte un 50 sekundes. Acīmredzot grūtības šajā gadījumā būs atkarīgas no sarežģītības, jo, jo sarežģītāks ir tehniskais uzdevums, jo vairāk laika tas prasīs tā atrisināšanai, jo grūtāk tas ir. No otras puses, jo grūtāks uzdevums, jo vairāk zināšanu ir nepieciešamas, lai atrastu atbildi, jo grūtāks kļūst uzdevums. Tādējādi grūtības un sarežģītība acīmredzami ir atkarīgas viena no otras. Tāpēc pedagoģisko mērījumu teorijā parasti tiek izmantots viens jēdziens - grūtības, attiecībā uz kuru mēs sīkāk apsvērsim, kā var noteikt testa uzdevuma grūtības pakāpi.

1. tehnisko specifikāciju risināšanai nepieciešamo koncepciju skaits;
2. domāšanas veids, uz kuru ir vērsta tehniskā specifikācija;
3. TK forma;
4. tehnisko specifikāciju izvietojuma dziļums specifikācijā;
5. traucētāju skaits un pareizie secinājumi;
6. nozīmes līmenis.

Jēdziens tālāk tiek saprasts kā noteikts secinājums (formula, noteikums, aksioma utt.), kas ļauj tuvināt pareizais lēmums TK. Jo vairāk darbību jāveic, lai iegūtu pareizo atbildi, jo augstākas grūtības, jo sarežģītāks ir tehniskais uzdevums. Grūtības, protams, jāvērtē saistībā ar jēdzienu skaitu, kas iesaistīti pareizā risinājuma atrašanā.

Sniegsim šādus piemērus:

Viegls testa uzdevums

Lai atrisinātu šādu uzdevumu, jums nav jāveic citas darbības, kā vien jāatceras slavenā krievu dzejnieka vārds, kuru visi zina skolas mācību programma. Vienkāršam (vienkāršam) testa uzdevumam ir viena koncepcija.

Vidējas grūtības uzdevums

Saknes kvadrātvienādojums formula" src="http://hi-edu.ru/e-books/xbook688/files/17-1.gif" border="0" align="absmiddle" alt="(Atbilde: 1 un -1).

Uzdevums ir grūts

Vienādojums, kurā viena no saknēm ir vienāda ar formulu" src="http://hi-edu.ru/e-books/xbook688/files/17-3.gif" border="0" align="absmiddle " alt="( !LANG:)

marķieris">

telpa un laiks;

maksimāli palielināt pozitīvo un samazināt negatīvo;

indukcija-dukcija;

cēloņsakarības (analītiskā, pozitīvā, deduktīvā) domāšana;

dialektiski-algoritmiskā (sintētiskā, negatīvā, deduktīvā) domāšana;

hologrāfiska jeb pilnībā aprakstoša domāšana;

virpulis vai sinerģisks.

Katram testa kārtotājam ir sava subjektīvā uztveres pasaule. Tas veidojas no tā, kam cilvēks visvairāk pievērš uzmanību. Līdz ar to, ja testa kārtotājs sākotnēji ir apņēmības pilns testēšanas procedūru uztvert kā kaut ko sarežģītu, nesasniedzamu un psiholoģiski traumējošu, tad pat visvienkāršāko testa uzdevumu viņš var uztvert kā ļoti sarežģītu uzdevumu. Ja sākotnēji subjekti tiek nostādīti tā, ka tā ir diezgan objektīva procedūra, lai pārbaudītu, ko viņi varēja iemācīt un pie kā vēl jāpiestrādā, un viņi paši būtu ieinteresēti uzzināt, ko viņi ir labi iemācījušies, tad attieksme pret pašu procedūru būs pozitīva, tāpēc , un uzdevuma sarežģītību pārbaudes veicējs uztvers objektīvāk.

Mēģināsim apzināt domāšanas veidus, saistībā ar kuriem veidojas testa uzdevumu grūtības pakāpe.

Vienkāršas grūtības pakāpes tehniskais uzdevums:

• kāda objekta “identifikācija” vai “zināšanu iepazīšanas” pārbaude;
• izvēloties vienu atbildes variantu no daudziem, izmantojot zināšanas tikai par vienu jēdzienu;
• vingrinājums atvērts veids, kuras mērķis ir apzināt zināšanas par vienzilbju pamattermina definīciju.

Vidējas grūtības pakāpes TK:

• ir vērsta uz iepriekš iegūto zināšanu pielietošanu tipiskās situācijās (t.i., situācijās, kuras subjektam ir pazīstamas) vai uz “zināšanu par kopiju reproducēšanu” pārbaudi. Šādas grūtības pakāpes TK jāiekļauj TK, kas vērsta uz domāšanu, kas saistīta ar konjunktīva vai disjunktīva tipa apgalvojumiem, vai TK ar vairākiem jēdzieniem pareizo opciju apakškopas atlasei no dotā secinājumu kopuma. Dažos gadījumos šāda sarežģītības līmeņa tehniskajās specifikācijās var būt iekļautas atbilstības un kārtības tehniskās specifikācijas.

Sarežģīti tehniski uzdevumi:

• ir vērsta uz iegūto zināšanu un prasmju pielietošanu nestandarta apstākļos (t.i., priekšmetam iepriekš nepazīstamos apstākļos) vai uz “prasmju un pielietojuma zināšanu” pārbaudi. Šādas grūtības pakāpes uzdevumi ietver uzdevumus, kas izraisa secinājumus, kas formulēti implicatīva tipa apgalvojumu veidā. Šādiem uzdevumiem ir jāizmanto argumentācija deduktīva, induktīva secinājuma un analoģijas veidā, un, lai iegūtu galīgo atbildi, ir nepieciešama zināma secību secība (vairāki jēdzieni).

Jāņem vērā arī tas, ka tehniskā uzdevuma sarežģītību var noteikt, ņemot vērā pārbaudes sprieduma formu. Šeit jāņem vērā jēdzienu skaits, jo ja uzdevuma pareizās atbildes izvēlei ir nepieciešamas kādas papildus zināšanas vai problēmas risināšana, tad uzdevuma sarežģītība pieaug. Vienkāršākā testa uzdevumu forma tiek uzskatīta par slēgtu, kad testa kārtotājam tiek lūgts izvēlēties pareizo(-os) no piedāvātajiem variantiem. Par visgrūtāko tiek uzskatīts atvērta forma, jo lai izdarītu pareizo secinājumu, jums ir jāsaprot testa sprieduma nozīme un jāizvēlas vēlamā definīcija no vairākām esošajām. Secības un korespondences formas visbiežāk attiecas uz uzdevumiem ar vidēju grūtības pakāpi.

Grūtības pakāpi var noteikt, pamatojoties uz to, vai tehniskā specifikācija pieder testa specifikācijas “dziļuma” līmenim. Ja tehniskajā specifikācijā tiks atklāts testa specifikācijas hierarhijas zemākais līmenis (piemēram, kāds “Koncepts”), tad šāds uzdevums būs viegls. Piederība testa specifikāciju hierarhijas vidējiem līmeņiem (piemēram, kādai “tēmai” vai “apakštēmai”) palielina grūtības. Šādus tehniskos uzdevumus var uzskatīt par tehniskiem uzdevumiem ar vidēju grūtību. Visbeidzot, TK, kas saistīta ar augstāko līmeni, hierarhijas koka sakni (piemēram, “Sadaļa”, “Nodaļa”), var uzskatīt par sarežģītu. Līdz ar to, apsverot grūtības, ņemot vērā testa priekšmetu bankas specifikāciju, pieņemsim, ka konkrētāka gadījuma izskatīšanas uzdevums ir mazāk grūts nekā uzdevums, kas aplūkots vispārīgākai tēmai.

Izklaidējošo faktoru un pareizu secinājumu skaita palielināšana ietekmē uzdevuma grūtības pakāpi. Kā lielāks skaits traucētāji un pareizi secinājumi, jo ilgāk domāšanas process prasa pareizu secinājumu. Atbildes laiks palielinās. Jo grūtāk tiek uzskatīts uzdevums.

Uzdevuma sarežģītību var noteikt, pamatojoties uz to, vai TK pieder pie galvenajiem un papildu materiāliem (TK nozīmīguma līmenis). Acīmredzot katrai disciplīnai ir noteikts pamatjēdzienu kopums, piemēram, tie, kas noteikti valsts izglītības standartā, un ir jēdzieni, kas saistīti ar papildu materiāls, tas ir, materiāls, kas tiek dots tikai veiksmīgākajām skolēnu grupām. Turklāt ir pieļaujams dot apmēram 10% no visa kursa materiāla pēc skolotāja ieskatiem. Līdz ar to, ja TK atklāj pamatjēdzienu, tad šādu uzdevumu var uzskatīt par vienkāršu, bet, ja TK pieder pie papildus materiāla (t.i., lai sniegtu pareizu slēdzienu, ir jābūt papildus zināšanām un jāoperē ar vairākiem jēdzieniem) tad to var uzskatīt par grūtu.

Nosakot testa materiālu grūtības pakāpi, svarīgi ir spēt salīdzināt dotos faktorus dažādiem gadījumiem un ņemt vērā visas priekšmeta jomas īpatnības.

Lai vienkāršotu uzdevumu izdarīt secinājumus par testa uzdevumu sarežģītību, noteiksim kvalitatīvo faktoru kvantitatīvos rādītājus.

Piemēram, ņemsim no bankas 2 uzdevumus, kuriem ir noteikti šādi grūtības līmeņi:

• uzdevums Nr.1 ​​teorētiski tiek interpretēts kā grūts;
• uzdevums Nr.2 - teorētiski interpretēts kā vidējas grūtības pakāpes.

Tiek ņemta vērā 10 priekšmetu grupu izlase, kuras tika pārbaudītas vienā un tajā pašā disciplīnā. Kā piemēru ņemsim vidējo punktu skaitu, kas iegūts, vienas grupas subjektiem pārbaudot divus piedāvātos uzdevumus.

Jauna lapa 1

Grupas	Punkti par 1. TOR	Punkti par 2. TK
№ 1	32,1	45
№ 2	20	65
№ 3	55	34
№ 4	70	58
№ 5	64,2	40
№ 6	45	36
№ 7	46,1	67
№ 8	80	54
№ 9	72,3	44
№ 10	46,7	53

Lai novērtētu testa uzdevuma sarežģītību, atlasiet dažādi svari. Ņemsim šādu skalu, kuru a priori (teorētiski) uzskatīsim par atsauces skalu. Ļaujiet W ir punktu skaits, ko subjekti testēšanas laikā ieguvuši i-tajā uzdevumā. Tad 5 ballu skala procentuālo daļu (pamatojoties uz 100%) un atzīmju sadalījumam var būt šāda:

formula" src="http://hi-edu.ru/e-books/xbook688/files/23.gif" border="0" align="absmiddle" alt=".gif" border="0" align="absmiddle" alt="

kur atzīme ">n ir vērtējuma koeficientu skaits izvēlētajā skalā (piemēram, "neapmierinoši", "apmierinoši", "labi", "teicami"). Tādējādi atšķirība starp vērtējumiem ir šajā piemērā vienāds ar 15%.

Šī parauga svari izskatītos šādi:

Pamatojoties uz aprēķinātajiem standartiem, mēs veiksim galīgo punktu aprēķinu, kā rezultātā iegūsim, ka:

• “viegli” – šis uzdevums bija 30% priekšmetu;
• “vidēja grūtības pakāpe” - 50% priekšmetu;
• “grūti” - 20% priekšmetu.

Aprēķināsim vidējo vērtību, kas iegūta no tehniskajām specifikācijām pa desmit grupām otrajam uzdevumam:

kas atbilst vidējai grūtības pakāpei atsauces (a priori) skalā.

Sākotnēji testa autors šo uzdevumu interpretēja kā vidējas grūtības pakāpes. Līdz ar to uzdevuma sarežģītības a priori vērtība šajā gadījumā sakritīs ar a posteriori vērtību, ko mēs uzskatīsim par patiesu šim paraugam. Varat arī aprēķināt otrā uzdevuma aizmugurējo skalu.