Il che riflette la difficoltà degli elementi del test. Test sulla tecnologia dell'insegnamento a blocchi della matematica agli studenti delle scuole superiori

Itr è un indicatore per misurare la facilità e la difficoltà di una domanda (dichiarazione) del test, tenendo conto di TUTTE le risposte corrette fornite dai partecipanti al test.

L’indice di difficoltà Itr è calcolato come segue:

Itr = (H+ l)/nx100

dove: N è il numero di risposte corrette nel gruppo “forte”;

l- numero di risposte corrette nel gruppo “debole”;

numero totale soggetti in entrambi i gruppi (1/3+1/3).

Un indice di difficoltà del 95% indica che per il 95% dei soggetti la risposta a questa prova non è stato un problema. Un test con un basso punteggio dell'indice di difficoltà è troppo difficile o progettato in modo errato. Il valore ottimale dell'indice di difficoltà è del 50-60% e le fluttuazioni accettabili vanno dal 30 al 70%. I test con un valore ITR inferiore al 30% e superiore al 70% sono esclusi dal programma di test (o non vengono presi in considerazione nel calcolo finale di tutti i punti per l'intero programma di test).

La qualità di ciascun test può essere caratterizzata utilizzando indice di discriminatività (ID). L’indice di discriminazione mostra quanto un determinato test può distinguere (discriminare) gli specialisti più formati da quelli meno formati:

ID = 2 x (H - l)/N

(le notazioni sono le stesse usate per il calcolo di Itr).

È stato stabilito sperimentalmente:

Un valore ID pari o superiore a 0,35 è un test eccellente.

0,25-0,34 è un buon test

0,15-0,24 - test controverso

inferiore a 0,15 - il test è mal progettato ed è soggetto ad esclusione dalla “banca” dei test.

Dopo aver calcolato gli indici di difficoltà e discriminazione, il programma delle prove viene rivisto: da esso vengono escluse le prove con indici Itr e Id insoddisfacenti e, soprattutto, le prove con valore Itr superiore al 70% (prove facili) e Id inferiore a 0,25.

Affidabilità del test caratterizzato dalla riproducibilità dei risultati quando vengono ripetuti test sullo stesso gruppo di soggetti e, come la difficoltà, viene determinata sperimentalmente.

Tutto obiettivi di apprendimento possono essere suddivisi condizionatamente in tre tipi: oggettivo, logico e psicologico, che a loro volta possono essere suddivisi in gruppi che differiscono nel meccanismo delle azioni mentali che causano.

Tipi di problemi soggettivi. Nel risolverli, lo studente deve navigare in un determinato campo tematico, che può "posizionare" non solo oggetti (cose), ma anche persone, organismi viventi, nonché i loro modelli (disegni, disegni, diagrammi, ecc.). Orientamento nel campo dell'oggetto ci sono le azioni mentali quando una persona, sulla base di certi segni a lui noti, trova in esso oggetti, ne fa una classificazione mentale per operare solo con oggetti significativi che gli consentono di risolvere un problema.

Tipi di attività logiche . Si tratta di compiti che richiedono un ragionamento secondo le leggi della logica per risolverli, ad es. azioni nella mente, senza alcuna dipendenza da oggetti di riferimento materiali. Il ragionamento è finalizzato a identificare quali dati sono realmente necessari per risolvere i problemi, quali dati dovrebbero essere eliminati in quanto non necessari e quali dati necessari mancano nella formulazione del problema. Devi chiedere al tuo insegnante o trovarli tu stesso.

Quali tipi di compiti di tipo logico possono essere inclusi in un set per insegnare azioni mentali?

Ci sono quattro tipi in totale:

compiti in cui non sono presenti dati non necessari, ma anche alcuni necessari (A–B–) e, infine,

compiti in cui, a causa della presenza di dati non necessari, non sono disponibili tutti i dati necessari (A – B+).

Tipi psicologici di compiti.

Possono provocare azioni errate da parte dello studente, perché i punti essenziali direttamente correlati alla risoluzione del problema possono essere nascosti dietro quelli non importanti. Al soggetto si richiedono intelligenza e volontà per non cedere alla tentazione di prendere la strada facile, ponderatezza nell'agire, prudenza nell'analizzare le condizioni del compito.

I tipi psicologici di compiti possono essere distinti dalle seguenti caratteristiche: a) i segni del fenomeno presentato nel problema assomigliano a quelli che caratterizzano il fenomeno desiderato (richiesto, relativo a questa attività), ma in realtà è qualcos'altro (

simili, ma non uguali) b) i segni osservati somigliano al fenomeno desiderato, ed in effetti è così

(e sembra entrambi); c) i segni osservati non sembrano riferirsi chiaramente al fenomeno ricercato, ma risulta tuttavia che questi sono proprio i suoi segni ( Non

sembra, altrimenti); d) dai segni visivi di un fenomeno che non somiglia del tutto a quello che stiamo cercando, possiamo concludere che non gli appartengono

(non sembra e non è la stessa cosa). corretta esecuzione attività, ma per non perdere ciò che è esternamente diverso, ma internamente inerente ad essa. Pertanto, una serie di compiti educativi pratici deve necessariamente contenere dati che attirino lo studente in una trappola, provochino un'azione errata e diano falsi segnali. Sapendo questo, lo studente deve essere estremamente attento, a non cadere in un trucco abilmente mascherato e seguire rigorosamente i criteri accettati per valutare le situazioni.

La capacità di risolvere problemi di tipo psicologico indica che lo studente ha padroneggiato in modo sufficiente e completo l'attività, tutte le sue azioni sono significative e hanno un alto grado di coscienza.

Sviluppo metodologico di una lezione tematica include i seguenti elementi:

Titolo dell'argomento.

Obiettivi della lezione.

Tempo totale di lezione.

Attrezzatura della lezione (materiale e tecnica (attrezzature, strumenti), metodologica, supporto informativo(elenco tavoli didattici, stand, sussidi didattici, farmaci, programmi, ecc.).

Piano (secondo lo schema sopra).

Materiali didattici e formativi.

Materiali di controllo (compiti per il controllo iniziale e finale dell'assimilazione).

Indicatore di difficoltà compito di prova come il fattore più importante per la formazione dell'impasto.

Krasheninnikova Galina Gennadievna

Dottorato di ricerca ped. Scienze, filiale di Magadan dell'Università statale russa di studi umanistici

Una delle caratteristiche principali di un compito di test è la sua difficoltà. Il livello di difficoltà del compito, così come il livello di preparazione della persona sottoposta al test, sono parametri latenti che non possono essere osservati direttamente. Per valutare questi parametri è necessario utilizzare indicatori ad essi strettamente correlati. Quando si testano le conoscenze degli studenti, i compiti del test stessi servono da indicatore. Sorge il compito: convertire i valori degli indicatori nei valori dei parametri latenti. Esistono vari approcci per risolvere questo problema. Classico e teoria moderna i test offrono i propri metodi per stimare i parametri latenti.

La misura tradizionale della difficoltà degli item nella teoria classica dei test per molti anni ciò che rimane è il rapporto tra il numero di risposte corrette a un dato compito e il numero totale di soggetti nel gruppo. Più facile è l'attività, maggiore è la percentuale di coloro che hanno completato l'attività.

Tuttavia questa definizione comporta un'inesattezza semantica: un aumento valore numerico l'indicatore statistico indica una diminuzione del livello di difficoltà del compito e viceversa. Pertanto dentro ultimamente Si stanno tentando di introdurre nuove unità di difficoltà. La classica misura di difficoltà è sostituita da quella opposta e rappresenta la proporzione di risposte errate nel gruppo di soggetti, che, a nostro avviso, riflette più accuratamente il significato del parametro “difficoltà del compito”.

La moderna teoria dei test – Item Response Theory (IRT) – si basa sulla teoria dell'analisi strutturale latente (LSA) creata da P. Lazarsfeld. Nella IRT, a differenza della teoria classica, il parametro latente viene trattato non come un valore costante, ma come una variabile continua. I metodi IRT possono essere classificati in base al numero di parametri che utilizzano. I più famosi sono il modello ad un parametro di G. Rasch ed i modelli a due e tre parametri di A. Birnbaum.

Georg Rasch ha posto sulla stessa scala sia il livello di preparazione del candidato che il livello di difficoltà del compito, introducendo per loro un'unità di misura comune: il logit. Un logit di difficoltà del compito è uguale a logaritmo naturale il rapporto tra la proporzione di risposte errate a questo compito e la proporzione di risposte corrette.

Nonostante il fatto che l'IRT si sia diffuso di recente, presenta tuttavia molti svantaggi. In particolare, quando si testano i risultati scolastici, si notano discrepanze significative tra i valori calcolati e i dati empirici. È stata inoltre dimostrata un'elevata correlazione (circa 0,9) tra i risultati ottenuti utilizzando il modello Rasch e i risultati ottenuti con i metodi classici. Questo fatto ci consente, senza compromettere l'accuratezza dei calcoli, di utilizzare i metodi della teoria classica dei test per caratterizzare la difficoltà dei compiti di test.

Sebbene la formula classica per il calcolo della difficoltà di un compito sia abbastanza comoda per l'esecuzione e la successiva interpretazione dei risultati ottenuti, a nostro avviso non è priva di una certa soggettività: la difficoltà del compito dipende direttamente dal campione di partecipanti al test. A questo proposito, consideriamo un altro punto di vista sulla valutazione del livello di difficoltà di un compito di prova, che, sebbene non diffuso, ci interessa un po'.

Per avvicinarci all’essenza del parametro latente “difficoltà”, rivolgiamoci alla classificazione dei livelli di acquisizione della conoscenza adottata in letteratura pedagogica. Si può notare un aumento del tutto oggettivo del grado di difficoltà di assimilazione per ogni successivo livello di acquisizione delle conoscenze. Pertanto, possiamo concludere che esiste una relazione diretta tra i livelli di padronanza e i livelli di difficoltà dei compiti corrispondenti a ciascun livello di padronanza. Ciò ci consente di identificare concetti come “livello di difficoltà” e “livello di padronanza” in relazione ai compiti di test. Prendendo come base la classificazione di V.P. Bespalko, distinguiamo quattro livelli di difficoltà: “studente”, tipico, euristico, creativo.

Attualmente, i metodi esperti sono ampiamente utilizzati in pedagogia. Pertanto, la valutazione da parte di esperti del livello di difficoltà dei compiti di prova merita attenzione come un'altra opzione per valutare l'indicatore di difficoltà. Ad esempio, nel lavoro di A.P. Ivanov fornisce una descrizione di tale valutazione quando, prima dell'inizio dell'esperimento, viene chiesto a diversi esperti di valutare in punti la difficoltà dei compiti di tutte le opzioni di test. Per ottenere una valutazione da parte di un esperto, l'autore fornisce un elenco di otto fattori con corrispondenti criteri di valutazione da 1 a 5 punti per ciascuno.

In un test ben progettato, la difficoltà dell’item non dovrebbe essere influenzata né dalla forma né dall’organizzazione del test. L'indicatore di difficoltà dipende solo dal contenuto e dal livello di preparazione dei partecipanti al test. È vero, si ritiene che il grado di difficoltà di un compito sia influenzato dalla posizione di questo compito nella struttura del test. In questo caso, si consiglia di utilizzare diverse opzioni di test che differiscono nella sequenza dei compiti. V.S. Avanesov ritiene che il principio principale per lo sviluppo del contenuto dei test pedagogici sia la crescente difficoltà dei compiti di test. Secondo lui, solo dopo aver determinato il grado di difficoltà il compito ha la possibilità di diventare una prova. Fino ad allora, rimane solo un compito in forma di prova.

Inclusione nel test gran numero i compiti di difficoltà media ne aumentano l'affidabilità, ma portano a una diminuzione della validità del contenuto. Un test composto da compiti facili che mettono alla prova conoscenze minime non può dare un’idea dell’effettivo livello di conoscenza. La selezione di prove con un elevato grado di difficoltà può aiutare ad aumentare la motivazione negli studi, ma può anche influenzare retro. Pertanto, anche i test relativi a compiti difficili distorcono i risultati dei test. Inoltre, il contenuto del test dovrebbe variare a seconda del livello di preparazione dei gruppi di studenti. La difficoltà del test per gli studenti deboli differisce notevolmente dal livello di difficoltà del test offerto agli studenti forti.

Secondo A. Anastasi e S. Urbina, la scelta del livello di difficoltà del compito dipende dallo scopo del test e da come si intendono utilizzare gli indicatori del test. Per i test orientati alla materia, la difficoltà dei compiti dovrebbe essere al livello di 0,8-0,9. Determinando il suo carattere informativo in base al livello di difficoltà di un compito, gli autori mostrano che il più informativo è un compito con un livello di difficoltà medio di 0,50.

Pertanto, possiamo concludere che i compiti con un livello medio di difficoltà hanno la maggiore capacità di differenziazione. E, se lo scopo del test è differenziare i partecipanti al test, valutare comparativamente il loro livello di conoscenza, allora i compiti più semplici e più difficili dovrebbero essere esclusi dal test. Se lo scopo del test è determinare se lo studente ha sufficientemente padroneggiato un determinato insieme di competenze necessarie per passare alla fase successiva della formazione, allora può contenere sia i compiti più facili che quelli più difficili.

Bibliografia

1. Avanesov V.S. Utilizzo delle attività in forma di test in quelle nuove tecnologie educative// Tecnologie scolastiche. – 2007. – N. 3. – P. 146–163.

2. Anastasi A., Urbina S. Test psicologici. – San Pietroburgo. : Pietro, 2002. – 688 pag.

3. Bespalko V.P. Componenti tecnologia educativa. – M.: Pedagogia, 1989. – 192 p.

4. Ivanov A.P. Sistematizzazione delle conoscenze in matematica in classi specializzate utilizzando test. – M.: Fizmatkniga, 2004. – 416 p.

5. Ingenkamp K. Diagnostica pedagogica. – M.: Pedagogia, 1991. – 240 p.

6. Kim V.S. Analisi dei risultati dei test nel processo di misurazione Rasch // Misurazioni pedagogiche. – 2005. – N. 4. – P. 39–45.

7. Rasch G. Modelli probabilistici per alcuni test di intelligenza e conseguimento. – Chicago e Londra, 1980. – 199 pag.

Se un test pedagogico viene brevemente definito come un sistema di compiti di difficoltà uniformemente crescente, allora diventerà chiaro che la difficoltà dei compiti è l'indicatore formativo più importante, diciamo, del test. Molti dirigenti scolastici credono che i loro insegnanti siano in grado di “inventare” breve tempo possono fare quanti “test” vogliono. In effetti, puoi elaborare molti compiti sotto forma di test. E non test, ma solo incarichi. Non possono essere inclusi vera prova finché non si conosce la misura della loro difficoltà, così come altre caratteristiche. La misura della difficoltà è testata empiricamente. Da questo requisito diventa chiaro che la verifica empirica preliminare di ciascuna attività è obbligatoria prima dell'inizio della sperimentazione. Durante il processo di verifica, molte attività non soddisfano i requisiti previsti e pertanto non vengono incluse nel test. Il primo requisito per i compiti di prova: nel test i compiti devono variare in livello di difficoltà, che deriva dalla definizione di test data in precedenza e dal principio in considerazione.

Il lettore attento ha probabilmente già colto, come “impercettibilmente”, le differenze nel vocabolario dei tre concetti fondamentali della teoria delle misurazioni pedagogiche qui introdotti: il concetto di test pedagogico, compito in forma di test e compito di test. I requisiti per il primo di essi sono già stati discussi nell'articolo "Definizione di un test pedagogico" (USh n. 30, agosto 1999).

È meglio introdurre ora i requisiti per il secondo concetto, elencandoli almeno brevemente, per non distrarsi dall'argomento principale dell'articolo. I seguenti requisiti si applicano alle attività nel modulo di prova:

• brevità;
• producibilità;
• forma corretta;
• correttezza dei contenuti
• forma logica dell'affermazione;
• le stesse regole per valutare le risposte;
• disponibilità luogo specifico per le risposte;
• istruzioni identiche per tutti i soggetti;
• corretta posizione degli elementi del compito;
• adeguatezza delle istruzioni alla forma e al contenuto del compito

Avanesov V.S. Fondamenti della teoria pedagogica delle misurazioni // Misurazioni pedagogiche, 1, 2004. Pag. 17.

Un'interpretazione dettagliata di questi requisiti seguirà negli articoli successivi, ma ora vorrei attirare l'attenzione del lettore sul fatto che non è richiesta una difficoltà nota del compito, mentre tale requisito è imposto al test e al compito di prova. Dalla riflessione su questo materiale e su quello precedentemente pubblicato si possono trarre due conclusioni. Il primo è che nel test non sono ammessi compiti con un grado di difficoltà sconosciuto. E la seconda è che non tutti i compiti proposti in forma di test possono diventare compiti di test: questo concetti diversi. Nel primo concetto, i requisiti più essenziali sono il contenuto e la forma. Per i compiti di test esiste innanzitutto il requisito della difficoltà nota, cosa che chiaramente non è richiesta per i compiti in forma di test. Si può ripetere che i compiti hanno la possibilità di diventare test solo dopo aver testato empiricamente la misura della loro difficoltà su gruppi tipici di soggetti.

L'indicatore della difficoltà del test e degli item del test è significativo e formale allo stesso tempo. Significativo perché buona prova la difficoltà può dipendere solo dalla difficoltà del contenuto dei compiti e dal livello di preparazione dei soggetti stessi. Mentre in un cattivo test i risultati cominciano ad essere notevolmente influenzati dalla forma dei compiti (soprattutto se non sono adeguati al contenuto), dalla scarsa organizzazione del test, dalla possibilità di imbrogliare e dalla fuga di informazioni. A questo proposito, la pratica dannosa della formazione mirata degli studenti in un unico esame di stato. Il ministro russo dell’Istruzione nel 1907, I. Tolstoj, chiamò gli insegnanti coinvolti in questo tipo di lavoro “formatori”. Ma la colpa è soprattutto degli insegnanti. La colpa è del difettoso sistema di “egging”, che incoraggia pratiche così errate. Come lo è il controllo, così lo è l’educazione.

La componente formale dell'indicatore di difficoltà emerge quando la prova è considerata come un processo di confronto tra il soggetto e il compito che gli viene offerto. È utile considerare l'esito risultante come il risultato di un tale confronto. Con un'interpretazione semplificata di ogni caso di presentazione di un compito, vengono spesso, ma non necessariamente, considerati due esiti: la vittoria del soggetto con la corretta soluzione del compito, per la quale riceve un punto, oppure la sconfitta, per la quale viene dato zero punti. La valutazione del risultato del confronto dipende dal rapporto tra il livello di conoscenza del candidato e il livello di difficoltà del compito, dall'unità di misura della conoscenza scelta e dalla regola pre-adottata (convenzione) - cosa è considerata una "vittoria" del candidato e se un pareggio è accettabile, se parliamo nel linguaggio dello sport.

Il principio della difficoltà crescente viene utilizzato quando si presenta il contenuto di molti libri di testo e manuali, soprattutto in quelle discipline accademiche che si basano su un principio cumulativo, il che significa: la conoscenza degli elementi successivi del corso dipende esplicitamente dalla conoscenza degli elementi educativi precedenti. Questa struttura è inerente ai libri di testo di matematica, logica, lingue straniere, statistica, scienza tecnica e molte altre. In essi, i concetti precedentemente studiati vengono utilizzati attivamente negli argomenti successivi. Pertanto, è necessario studiare tali discipline solo dall'inizio e senza lacune.

La maggior parte degli autori, soprattutto stranieri, non distinguono tra i concetti di “difficoltà” e “complessità”. Molti sviluppatori di test sono gli stessi. Tuttavia, ci sono lavori in cui questi concetti sono definiti diversamente. Ad esempio, A.N. Zakharov e A.M. Matyushkin notano che il grado di difficoltà di un compito di apprendimento non coincide con la sua complessità. Grado di difficoltà materiale didatticoè caratterizzato dall'intensità reale (oggettiva) del compito educativo e dalla forma della sua presentazione, e il grado di difficoltà implica sempre una correlazione del materiale didattico da padroneggiare con il materiale didattico precedentemente acquisito e le capacità intellettuali degli studenti (1) .

L.N. Landa ha spiegato la difficoltà del compito educativo con il fatto che gli studenti spesso non conoscono le operazioni da compiere per trovare una soluzione. Se un sistema di operazioni per risolvere una determinata classe di problemi è chiamato metodo di soluzione, allora, a suo avviso, la difficoltà è associata all'ignoranza del metodo, all'ignoranza di come pensare nel processo di soluzione, come e in quale sequenza si dovrebbe agire con le condizioni del problema (2). Le difficoltà che sorgono si spiegano con il fatto che l'insegnante spesso cerca di dare conoscenze sul contenuto di ciò che si sta studiando e si preoccupa molto meno di come pensare e ragionare (ibid.). Questa interpretazione si interseca con l’idea che la complessità di un compito è legata al numero di operazioni che devono essere completate per raggiungere il successo. Queste definizioni di difficoltà e complessità sono in gran parte psicologiche; sono utili per analisi psicologica contenuto dei compiti di prova.

Per molti anni, la misura tradizionale della difficoltà di ciascun compito è stata la proporzione di risposte corrette in un gruppo di argomenti, rappresentata dal simbolo pj, dove il pedice j indica il numero del compito di interesse (1, 2, ecc.). ). Ad esempio, se le risposte corrette dei soggetti al terzo compito del test sono valutate di un punto e quelle errate di zero, allora il valore dell'indicatore p3 può essere trovato dalla relazione elementare:

P3 = R3/N,
dove R3 indica il numero di risposte corrette a un determinato compito e N è il numero totale di soggetti nel gruppo. Formula generale calcolare la proporzione delle risposte corrette a qualsiasi compito (j) ha la forma

Pj = Rj/N
Indicatore p. è stato a lungo utilizzato come misura della difficoltà nella cosiddetta teoria classica dei test (3). Successivamente ci si è resi conto dell'inesattezza semantica in esso contenuta: dopotutto, un aumento del valore di pj non indica un aumento della difficoltà, ma, al contrario, un aumento della facilità, se si può usare una parola del genere. Pertanto dentro ultimi anni le statistiche opposte hanno iniziato ad essere associate all'indicatore della difficoltà del compito: la percentuale di risposte errate (qj). Questa proporzione è calcolata dal rapporto tra il numero di risposte errate (Wj- dalla parola inglese Wrong - errata) e il numero di soggetti (N):

Si assume naturalmente che pj + qj = 1. Nella teoria classica dei test, per molti anni sono stati considerati solo indicatori empirici di difficoltà. Nelle nuove versioni delle teorie psicologiche e pedagogiche dei test, è stata prestata maggiore attenzione alla natura dell'attività mentale degli studenti nel processo di esecuzione dei compiti di test varie forme (4).

Il contenuto del test non può essere solo facile, medio o difficile. Qui si manifesta pienamente la nota idea sulla dipendenza dei risultati del metodo utilizzato. Gli elementi di test facili danno agli studenti solo l'apparenza di conoscenza perché testano una conoscenza minima. A questo proposito si può notare che l’attenzione dell’organo federale di gestione dell’istruzione sulla verifica del livello minimo di conoscenza non può e non può, nemmeno per definizione, dare un’idea del livello reale di conoscenza, cioè del livello minimo di conoscenza. fornire le informazioni di cui la società e le autorità governative hanno bisogno da tempo. Distorce i risultati dei test e la selezione di compiti ovviamente difficili, per cui la maggior parte degli scolari finisce con punteggi bassi. Concentrarsi sui compiti difficili è spesso visto come un mezzo per aumentare la motivazione ad apprendere. Tuttavia, questo rimedio ha effetti contrastanti. I compiti difficili possono spingere alcune persone a studiare, mentre altre possono allontanarle. Un tale orientamento distorce i risultati e, in definitiva, riduce la qualità della misurazione pedagogica. Se il test è costruito rigorosamente da compiti di difficoltà crescente, ciò apre la strada alla creazione di una delle scale di misurazione più interessanti: la scala L. Gutman.

Nel definire il test, si è già notato che tutti i compiti del test, vorrei sottolinearlo, indipendentemente dal contenuto di argomenti, sezioni e discipline accademiche, sono disposti in ordine di difficoltà crescente. La raccomandazione diffusa, fino a poco tempo fa, di includere nel test più compiti di difficoltà media è giustificata dal punto di vista della determinazione dell'affidabilità della misurazione utilizzando le cosiddette formule. teoria classica dei test. I metodi di valutazione dell'affidabilità del test esistenti in questa teoria determinano una diminuzione dell'affidabilità quando nel test vengono inclusi compiti facili e difficili. Allo stesso tempo, lasciarsi trascinare da compiti di moderata difficoltà porta a una grave deformazione del contenuto della prova: quest'ultima perde la capacità di riflettere normalmente il contenuto della disciplina studiata, in cui c'è sempre facile e difficile materiale. Pertanto, nel perseguimento di un’affidabilità astratta teoricamente elevata, si perde la validità sostanziale dei risultati dei test. Il desiderio di aumentare la validità dei risultati dei test è spesso accompagnato da una diminuzione della loro accuratezza. Questo fenomeno è teoricamente noto come il paradosso del teorico americano della psicometria F. Lord

Se viene testato un gruppo debole di studenti, si scopre che gli elementi difficili del test semplicemente non funzionano perché nessuno studente può rispondere correttamente. Tali compiti vengono rimossi dall'ulteriore elaborazione dei dati. Non sono offerti nei sistemi di controllo adattivo. Il contenuto del test per gli studenti deboli differirà notevolmente dal contenuto del test per gli studenti forti. Per questi ultimi, al contrario, i compiti facili non funzionano, poiché tutti i soggetti informati rispondono correttamente ai compiti facili. Pertanto, il contenuto di un test tradizionale varia in modo significativo a seconda del livello di preparazione di quei gruppi di studenti di cui si intende misurare la conoscenza.

La mappatura ottimale del contenuto del materiale didattico in compiti di prova del livello di difficoltà richiesto richiede la possibilità di scegliere una forma appropriata. Il contenuto del test è espresso in una delle quattro forme principali di compiti. Si tratta di: 1) compiti con scelta di una o più risposte corrette tra quelle proposte; 2) compiti in forma aperta, in cui il soggetto completa lui stesso la risposta, nello spazio previsto a questo scopo; 3) compiti per stabilire la conformità e 4) compiti per stabilire sequenza corretta azioni.

Letteratura

1. Zakharov A.I., Matyushkin A.M. Problemi sistemi adattivi formazione // Cibernetica e problemi della formazione. - M.: Progresso, 1970.- 389 p.
2. Landa L.N. Algoritmizzazione nella formazione. M., Educazione, 1966
3. Gulliksen H. Teoria dei test mentali. N - Y. Wiley. 1950 - 486 pag. e molti altri ecc.
4. Tatsuoka, K.K. Costruzione dell'item e modelli psicometrici appropriati per la risposta costruita. Princeton, New Jersey, 1993. - 56 pp; Frederiksen, N., Mislevy R. J., Bejar I. J. (a cura di). Teoria dei test per una nuova generazione di test. Lawrence Erlbaum Ass. Publ. 1993, Hillsdale, New Jersey, 404 pagine. ecc.

Definiremo la complessità e la difficoltà dei compiti di test in base alle definizioni delle parole "complesso" e "difficile" da dizionario esplicativo Lingua russa Ushakov.

Quindi, "Complesso - costituito da più parti o elementi, formati attraverso la connessione, l'aggiunta di parti". Ovviamente da questa definizione diventa chiaro come si possa determinare la complessità di un compito di test. Per fare ciò, è sufficiente analizzare il numero di elementi di conoscenza che coprono questo compito del test e anche stabilire quanto profondamente il candidato deve conoscere l'argomento quando risponde per rispondere correttamente a questo TK. In altre parole, la difficoltà può essere messa in relazione al numero di operazioni mentali che devono essere eseguite per arrivare alla risposta corretta. Se il soggetto non conosce alcune di queste operazioni, il compito gli risulterà difficile; se le conosce, gli sarà più facile;

"Difficile: richiede molto sforzo mentale, sforzo, difficile, complicato." Questa definizione fornisce uno dei criteri per valutare la difficoltà di un compito di prova, vale a dire quanto tempo avrà bisogno il candidato affinché gli sforzi volti a trovare la risposta corretta non vengano sprecati. Il concetto di difficoltà può essere basato su stime statistiche, ad esempio, meno risposte corrette, più difficile sarà il compito.

Nel caso generale, la complessità e la difficoltà sono determinate dallo sviluppatore delle specifiche e indicano il valore soggettivo di quanto sarà difficile per un candidato con un livello minimo di formazione risolvere un dato compito di test in un certo tempo.

Possiamo distinguere due tipi di complessità e difficoltà: teorica (a priori) e effettiva (a posteriori). La complessità e la difficoltà a priori sono determinate dagli esperti prima dei test. Nel processo di test di una serie di compiti di test e di calcolo utilizzando determinati metodi, si ottengono complessità e difficoltà a posteriori.

Va tenuto presente che quando si utilizza una banca di prova per i test, la difficoltà e la complessità possono essere adattate in base al pubblico, ad es. ottenendo dati statistici sulle risposte ai compiti, è possibile determinare con quanta facilità il compito viene percepito dai partecipanti al test e quali conclusioni vengono fornite al riguardo. In base a ciò, vengono stabilite la difficoltà effettiva (posteriore) e la complessità del compito del test.

Lo scopo più importante della complessità e difficoltà delle specifiche tecniche è l'uso di algoritmi di test adattivi. In assenza di informazioni sulla complessità e difficoltà, è impossibile adattare i compiti del test all'attuale livello di conoscenza del candidato. Inoltre, se la difficoltà e la complessità vengono specificate in modo errato, gli algoritmi del test adattivo non funzioneranno correttamente e, di conseguenza, verrà fornita una valutazione del livello dei risultati scolastici che presenta un errore significativo.

Come si può vedere dalla definizione, la difficoltà di un compito può essere calcolata in base al tempo impiegato per risolverlo per un candidato con un livello medio di conoscenza. Ad esempio, 30 secondi o 1 minuto e 50 secondi. Ovviamente la difficoltà in questo caso dipenderà dalla complessità, poiché quanto più complesso è il compito tecnico, tanto più tempo ci vorrà per risolverlo, tanto più difficile sarà. D'altra parte, più il compito è difficile, maggiore è la conoscenza necessaria per trovare la risposta, più difficile diventa il compito. Pertanto, difficoltà e complessità dipendono ovviamente l'una dall'altra. Ecco perché nella teoria delle misurazioni pedagogiche, di regola, viene utilizzato un concetto: difficoltà, rispetto al quale considereremo più in dettaglio come può essere determinata la difficoltà di un compito di prova.

1. il numero di concetti necessari per risolvere le specifiche tecniche;
2. il modo di pensare a cui mira la specifica tecnica;
3. modulo TK;
4. profondità della posizione delle specifiche tecniche nella specifica;
5. numero di distrattori e conclusioni corrette;
6. livello di significatività.

Per concetto si intende inoltre una certa conclusione (formula, regola, assioma, ecc.) che ci consente di approssimare la decisione giusta TK. Più passaggi devi completare per ottenere la risposta corretta, maggiore è la difficoltà, più difficile sarà considerato il compito tecnico. La difficoltà va ovviamente valutata in relazione al numero di concetti coinvolti nella ricerca della giusta soluzione.

Diamo i seguenti esempi:

Compito di prova facile

Per risolvere un compito del genere, non è necessario eseguire alcuna azione se non ricordare il nome del famoso poeta russo, noto a tutti con curriculum scolastico. Un compito di test facile (semplice) ha un concetto.

Compito di media difficoltà

Radici equazione quadratica formula" src="http://hi-edu.ru/e-books/xbook688/files/17-1.gif" border="0" align="absmiddle" alt="(Risposta: 1 e -1).

Il compito è difficile

Un'equazione in cui una delle radici è uguale alla formula" src="http://hi-edu.ru/e-books/xbook688/files/17-3.gif" border="0" align="absmiddle " alt="( !LANG:)

marcatore">

spazio e tempo;

massimizzare il positivo e minimizzare il negativo;

induzione-detrazione;

pensiero causa-effetto (analitico, positivo, deduttivo);

pensiero dialettico-algoritmico (sintetico, negativo, deduttivo);

pensiero olografico o completamente descrittivo;

vorticoso o sinergico.

Ogni partecipante al test ha il proprio mondo soggettivo di percezione. È formato da ciò a cui una persona presta maggiormente attenzione. Di conseguenza, se il candidato è inizialmente determinato a percepire la procedura del test come qualcosa di difficile, irraggiungibile e psicologicamente traumatico, allora anche il compito del test più semplice può essere percepito da lui come un compito molto difficile. Se inizialmente i soggetti sono portati a credere che si tratta di un procedimento abbastanza obiettivo per verificare cosa hanno saputo insegnare e cosa c’è ancora da lavorare, e loro stessi sarebbero interessati a scoprire cosa hanno imparato bene, allora il l'atteggiamento nei confronti della procedura stessa sarà quindi positivo e la difficoltà del compito sarà percepita in modo più obiettivo dal candidato.

Proviamo a identificare i modi di pensare in relazione ai quali si forma la difficoltà dei compiti di test.

Compito tecnico di livello di difficoltà semplice:

• “identificazione” di qualche oggetto o verifica della “conoscenza-familiarità”;
• scegliere un'opzione di risposta tra molte utilizzando la conoscenza di un solo concetto;
• esercizio tipo aperto, volto a individuare la conoscenza della definizione di un termine base monosillabico.

TK di livello medio difficoltà:

• ha lo scopo di applicare le conoscenze precedentemente acquisite in situazioni tipiche (cioè in quelle situazioni con cui il soggetto ha familiarità) o di testare la “conoscenza della riproduzione di copie”. La TK di questo livello di difficoltà dovrebbe includere TK mirata a pensare associato ad affermazioni di tipo congiuntivo o disgiuntivo o TK con diversi concetti per selezionare un sottoinsieme di opzioni corrette da un dato insieme di conclusioni. In alcuni casi, le specifiche tecniche di questo livello di difficoltà possono includere specifiche tecniche di conformità e ordine.

Incarichi tecnici difficili:

• ha lo scopo di applicare le conoscenze e le abilità acquisite in condizioni non standard (cioè in condizioni precedentemente non familiari alla materia) o di testare la “conoscenza delle abilità e dell’applicazione”. I compiti di questo livello di difficoltà includono compiti che evocano conclusioni formulate sotto forma di affermazioni di tipo implicativo. Tali compiti richiedono l'uso del ragionamento sotto forma di inferenza deduttiva, induttiva e analogia, e per ottenere una risposta finale sono necessarie alcune sequenze di inferenze (diversi concetti).

Va inoltre tenuto presente che la difficoltà dell'incarico tecnico può essere determinata tenendo conto della forma del giudizio di prova. Qui è necessario tenere conto del numero di concetti, perché se per selezionare la risposta corretta a un compito è necessario avere qualche conoscenza aggiuntiva o risolvere il problema, allora la difficoltà del compito aumenta. La forma più semplice di attività di test è considerata chiusa, quando al candidato viene chiesto di scegliere l'opzione o le opzioni corrette tra quelle proposte. Il più difficile è considerato forma aperta, Perché per dare la conclusione corretta, è necessario comprendere il significato del giudizio del test e selezionare la definizione desiderata tra diverse esistenti. I moduli di sequenza e corrispondenza si riferiscono molto spesso a compiti con un livello medio di difficoltà.

La difficoltà può essere assegnata in base all'appartenenza della specifica tecnica al livello di “profondità” della specifica di prova. Se la specifica tecnica rivela il livello più basso della gerarchia delle specifiche di prova (ad esempio, qualche “Concetto”), allora tale compito sarà facile. Appartenere ai livelli intermedi della gerarchia delle specifiche di test (ad esempio, alcuni "Argomenti" o "Sottoargomenti") aumenta la difficoltà. Tali compiti tecnici possono essere considerati compiti tecnici di media difficoltà. Infine, il TK relativo al livello più alto, la radice dell'albero gerarchico (ad esempio, a “Sezione”, “Capitolo”) può essere considerato difficile. Di conseguenza, quando si considera la difficoltà tenendo conto della specificazione della banca degli elementi del test, assumeremo che il compito di considerare un caso più specifico abbia meno difficoltà rispetto al compito considerato per un argomento più generale.

Aumentare il numero di distrattori e le conclusioni corrette influisce sul livello di difficoltà del compito. Come numero maggiore distrattori e conclusioni corrette, più lungo è il processo di pensiero che richiede una conclusione corretta. Il tempo per rispondere aumenta. Più difficile è considerato il compito.

La difficoltà di un compito può essere determinata in base all'appartenenza del TK ai materiali principali e aggiuntivi (il livello di significatività del TK). Ovviamente, per ogni disciplina esiste un certo insieme di concetti di base, ad esempio quelli prescritti nello standard educativo statale, e ci sono concetti relativi a materiale aggiuntivo, cioè materiale che viene fornito solo ai gruppi di studenti di maggior successo. Inoltre, è accettabile fornire circa il 10% dell'intero materiale del corso, a discrezione dell'insegnante. Pertanto, se la TK rivela un concetto di base, allora tale compito può essere considerato semplice, ma se la TK appartiene a materiale aggiuntivo (cioè per dare una conclusione corretta è necessario avere conoscenze aggiuntive e operare con diversi concetti), allora può essere considerato difficile.

Nel determinare la difficoltà dei materiali di prova, è importante essere in grado di confrontare i fattori indicati per casi diversi e tenere conto di tutte le caratteristiche dell'area tematica.

Per semplificare il compito di trarre conclusioni sulla difficoltà dei compiti di prova, determineremo indicatori quantitativi di fattori qualitativi.

Prendiamo ad esempio 2 compiti della banca, per i quali sono definiti i seguenti livelli di difficoltà:

• il compito n. 1 è teoricamente interpretato come difficile;
• compito n. 2 - teoricamente interpretato come di media difficoltà.

Viene considerato un campione di 10 gruppi di soggetti testati nella stessa disciplina. Ad esempio, prendiamo il punteggio medio ottenuto come risultato del test dei soggetti di un gruppo sui due compiti proposti.

Nuova pagina 1

Gruppi	Punti per il 1° TOR	Punti per il 2° TK
№ 1	32,1	45
№ 2	20	65
№ 3	55	34
№ 4	70	58
№ 5	64,2	40
№ 6	45	36
№ 7	46,1	67
№ 8	80	54
№ 9	72,3	44
№ 10	46,7	53

Per valutare la difficoltà di un'attività di prova, selezionare varie scale. Prendiamo la scala seguente, che considereremo a priori (teoricamente) come scala di riferimento. Sia W il punteggio ottenuto dai soggetti nell'i-esimo compito durante il test. Quindi la scala a 5 punti per la distribuzione delle percentuali (basata sul 100%) e dei voti può essere la seguente:

formula" src="http://hi-edu.ru/e-books/xbook688/files/23.gif" border="0" align="absmiddle" alt=".gif" border="0" align="absmiddle" alt="

dove voto ">n è il numero di coefficienti di valutazione sulla scala selezionata (ad esempio, “insoddisfacente”, “soddisfacente”, “buono”, “eccellente”). Pertanto, la differenza tra i voti è in questo esempio pari al 15%.

Le scale per questo campione sarebbero simili a queste:

Sulla base degli standard calcolati, effettueremo un calcolo finale dei punti, a seguito del quale otterremo che:

• “facile”: questo compito spettava al 30% dei soggetti;
• “media difficoltà” - per il 50% dei soggetti;
• “difficile” - per il 20% dei soggetti.

Calcoliamo il valore medio ottenuto dalle specifiche tecniche da dieci gruppi per il secondo compito:

che corrisponde alla difficoltà media sulla scala di riferimento (a priori).

Inizialmente, questo compito è stato interpretato da chi scrive il test come di media difficoltà. Di conseguenza, il valore a priori della difficoltà del compito in questo caso coinciderà con il valore a posteriori, che considereremo vero per questo campione. Puoi anche calcolare la scala a posteriori per la seconda attività.