Alcune definizioni La valutazione degli interventi formativi



Scaricare 0.67 Mb.
12.11.2018
Dimensione del file0.67 Mb.


L’individuazione di un sistema d’indicatori per la valutazione di un progetto didattico Franco Salsa

  • Alcune definizioni

  • La valutazione degli interventi formativi

  • L’operazionalizzazione

  • Dalla domanda valutativa agli indicatori

  • Caratteristiche e selezione degli indicatori

  • Gli strumenti


Una definizione di VALUTAZIONE

  • “La valutazione é un’attivitá cognitiva rivolta a fornire UN GIUDIZIO

  • su un’azione intenzionalmente svolta o che si intende svolgere, destinata a produrre effetti esterni,

  • che si fonda su attivitá di ricerca delle scienze sociali

  • e che segue procedure rigorose e codificabili”

          • M. Palumbo


La valutazione é dunque finalizzata ad esprimere giudizi sull’oggetto di cui si occupa allo scopo di supportare gli attori nelle loro scelte. Cosa rende affidabili i giudizi prodotti?

  • I giudizi prodotti devono essere la conseguenza di PROCEDURE DI RACCOLTA ED ANALISI DELLE INFORMAZIONI che utilizzino metodologie e strumenti validati a livello scientifico

  • Le informazioni necessarie devono essere prima SELEZIONATE attraverso un processo razionale che permetta di mettere in relazione l’OGGETTO da valutare con le DOMANDE VALUTATIVE formulate dai diversi attori coinvolti



QUALE PUO’ ESSERE LA DIMENSIONE DELL’OGGETTO CHE SI DESIDERA VALUTARE?

  • la scala è molto ampia: si va dal “micro” (la qualità dell’insegnamento/apprendimento in una classe) al “macro” (il funzionamento di un sistema scolastico regionale o nazionale)

  • la dimensione dell’oggetto comporta anche delle possibili opzioni di carattere metodologico





La valutazione di azioni/progetti/programmi educativi o formativi



Come stabilire se le scelte effettuate sono state delle buone scelte?

  • A orientare le scelte in campo educativo non è la capacità di applicare regole, procedure e tecniche codificate (sapere tecnico), ma è un’azione riflessiva concepita sul campo e supportata da un sapere che si viene modulando attraverso l’esperienza (sapere pratico)



Per essere un buon pratico, quindi, occorre essere in grado di costruire sapere a partire dall’esperienza

  • Per essere un buon pratico, quindi, occorre essere in grado di costruire sapere a partire dall’esperienza

  • Ma del sapere pratico non c’è tradizione scritta, come invece per il sapere tecnico e per quello scientifico

  • Spesso infatti i pratici svalutano la loro competenza acquisita sul campo, a volte la trasmettono oralmente in reti informali, a volte la documentano sotto forma di buona pratica

  • Documentare una buona pratica = costruire sapere esperienziale



“La riflessione è l’impresa di riconquistare esplicitamente tutto ciò che noi siamo e facciamo implicitamente” M. Merleau-Ponty



La valutazione come azione riflessiva e come strumento per il miglioramento

  • Non è contraddittorio pensare la valutazione sia come strumento per il miglioramento che come percorso di costruzione del sapere a partire dall’esperienza, finalizzato ad attribuire significato all’agire pratico

  • Limitarsi all’aspetto utilitaristico porta però a possibili distorsioni tecnicistiche: la riflessione connaturata alla pratica valutativa si limita a pensare le tecniche e le procedure (ciò che è già stato pensato) senza mettere in discussione i fini che orientano l’agire

  • “Noi siamo esseri trasformativi e non destinati ad accomodarci all’esistente”

  • P. Freire



Valutare progetti in una prospettiva riflessiva

  • L’analisi dell’esperienza deve essere ampia ed approfondita

  • deve poter affrontare tutte le dimensioni del progetto (la dimensione organizzativa, quella più strettamente educativa/formativa, la dimensione culturale e professionale) e i suoi aspetti problematici

  • Deve saper definire e utilizzare criteri, procedure e strumenti che facilitino una (ri)costruzione condivisa del senso e delle finalità del progetto



Un DISPOSITIVO DI VALUTAZIONE é un oggetto in continua evoluzione

  • Deve essere definito a partire dalla domanda formativa emersa durante l’analisi dei bisogni e del contesto

  • Deve essere implementato insieme al progetto e tenere conto degli obiettivi e dei risultati attesi

  • Deve poter prendere in considerazione i mutamenti che il progetto subisce in fase di attuazione

  • Retroagisce quindi su tutte le fasi del processo formativo e agisce sulla riprogettazione





Qualunque sia la dimensione dell’oggetto o l’approccio scelto, nessuna ricerca valutativa può fare a meno dell’individuazione e della selezione di un set di indicatori di qualità che permettano un’efficace e razionale raccolta di dati e informazioni

  • Chi si deve occupare dell’individuazione e della selezione degli indicatori?

  • A quali condizioni è conveniente costruire un vero e proprio dispositivo di valutazione basato su indicatori?

  • Esistono metodologie che permettono di razionalizzare questo processo?

  • Cercheremo di rispondere a tutte queste domande a partire da un oggetto ben definito: la valutazione di un progetto formativo



Chi si deve fare carico dell’ operazione di individuazione e selezione degli indicatori?

  • un gruppo di lavoro al cui interno siano rappresentati:

  • - il committente della valutazione

  • - esperti dell’ambito che sarà oggetto di valutazione

  • - un esperto di valutazione che tuteli la razionalità del processo



A quali condizioni è conveniente costruire un vero e proprio dispositivo di valutazione basato su indicatori?

  • Il progetto, oggetto di valutazione, introduce elementi di innovazione sul piano didattico e/o organizzativo e/o culturale che siano significativi per l’Istituzione Scolastica, o comunque necessita di essere riprogettato

  • La valutazione del progetto viene ritenuta elemento rilevante per la maggior parte dei soggetti interessati ai suoi esiti (committenti, attori istituzionali, professionisti, destinatari…)

  • Ci sono sufficienti risorse per progettare e realizzare il dispositivo di valutazione

  • La valutazione del progetto viene considerata come il presupposto necessario per la sua riprogettazione



Esistono metodologie che permettono di razionalizzare questo processo?

  • Qualsiasi metodologia si utilizzi, non si può prescindere dalle competenze di coloro che hanno ideato ed attuato il progetto

  • Nell’individuazione degli indicatori occorre tenere in considerazione che dati e informazioni non devono essere troppo onerosi da raccogliere ed elaborare

  • Maggiore sarà il grado di condivisione nell’individuazione degli indicatori, più semplice sarà la fase di valutazione dei dati e delle informazioni raccolte

  • L’operazionalizzazione costituisce un esempio di metodologia utilizzabile per la costruzione di un dispositivo di valutazione





Quando l’oggetto da valutare é un intervento formativo

  • le DOMANDE VALUTATIVE devono emergere dall’analisi

    • dei BISOGNI FORMATIVI
    • degli OBIETTIVI e dei RISULTATI ATTESI definiti durante la progettazione
    • di CIO’ CHE AVVIENE durante la fase di attuazione
  • devono inoltre essere in grado di prendere in considerazione anche i possibili RISULTATI INATTESI e gli IMPATTI (sull’organizzazione, sugli attori, sui destinatari)









Una volta definita la domanda valutativa e ben delimitato l’ambito (o gli ambiti) a cui applicare tale domanda, si tratta di iniziare il lavoro vero e proprio:

  • Una volta definita la domanda valutativa e ben delimitato l’ambito (o gli ambiti) a cui applicare tale domanda, si tratta di iniziare il lavoro vero e proprio:

  • Si tratta cioè di andare a costruire il sistema di indicatori e variabili operative…

  • Organizzare le variabili in strumenti per la raccolta dei dati e informazioni…

  • Elaborare i risultati!

  • Ma… cosa sono esattamente indicatori e variabili? Come si identificano e selezionano?



una definizione di indicatore…

  • gli indicatori sono concetti semplici, specifici, osservabili

  • permettono di passare dal livello astratto-teorico a quello empirico-osservabile

  • solitamente si ricorre ad una pluralità di indicatori per rendere conto di un singolo concetto



…e una definizione di variabile operativa

  • le variabili costituiscono la traduzione operativa degli indicatori

  • sono l’esito finale del processo di definizione operativa od operazionalizzazione

  • permettono di rilevare (osservare, quantificare, misurare) le proprietà e gli attributi che si presentano in quantità variabile nell’unità di analisi

  • Fraccaroli-Vergani, 2004



…per fare un esempio pratico:

  • Se volessimo misurare il grado di benessere della nostra abitazione…

  • una domanda potrebbe essere: “quanto il clima dentro casa è confortevole, in ogni stagione?”

  • un buon indicatore (ma non il solo!) sarebbe la misura del calore all’interno dell’abitazione

  • la variabile operativa è la misura della temperatura nel tempo

  • lo strumento opportuno è il termometro (corredato da indicazioni su quando e per quanto tempo effettuare le misure, e dove registrarle)

  • Per valutare i dati ottenuti dobbiamo decidere se ci accontentiamo di un valore medio, se vogliamo raffrontarlo con uno standard (ad esempio quello che per noi è il range di temperatura ottimale) o se ci interessa anche sapere come varia la temperatura interna a confronto con quella esterna (il che complica, ma non di molto, le cose: è sufficiente recuperare dal giornale i dati delle temperature medie giornaliere)









Alcuni esempi di CRITERI:

  • Efficacia

  • Rilevanza

  • Efficienza

  • Funzionalitá

  • Significativitá

  • Equitá



E’ possibile prevedere un utilizzo selettivo dei criteri, a seconda degli ambiti individuati; per l’ambito didattico formativo i criteri più specifici sono:

  • Efficacia

  • Rilevanza

  • Significatività

  • Equità



Per l’ambito organizzativo i criteri più specifici sono:

  • Rilevanza

  • Efficienza

  • Funzionalità



Per l’ambito culturale/professionale i criteri più specifici sono:

  • Rilevanza

  • Significatività

  • Funzionalità



I criteri permettono di precisare e specificare la domanda valutativa: attraverso i criteri la singola domanda valutativa si articola quindi in dimensioni (o fattori di qualitá, o indicatori generali)…

  • I fattori di qualità costituiscono quindi le dimensioni concettuali in cui si articola la domanda valutativa e rappresentano quei requisiti che caratterizzano e distinguono, secondo una determinata modellizzazione e determinate scelte di valore, la qualità di un certo programma

  • Ogni fattore così specificato puó essere piú facilmente correlato ad un certo numero di indicatori.



Proviamo quindi ad applicare alla domanda valutativa La scuola sa progettare interventi di recupero davvero utili ad affronta-re i problemi didattici e cognitivi degli studenti e coerenti coi loro bisogni formativi?” i criteri di equitá e di significativitá

  • Capacitá di progettare e realizzare interventi di recupero che tengano conto delle esigenze e dei ritmi di apprendimento della classe e valorizzino (o almeno non penalizzino) gli studenti eccellenti





Ad ogni dimensione/fattore di qualitá corrispondono uno o (in genere) piú INDICATORI…



Indicatori: le differenti tipologie

  • Si possono classificare in:

  • Nominali

  • Metrici

  • Ordinali



Indicatori nominali: indicano se una struttura, una funzione, un organismo, una risorsa, un obiettivo… sono presenti o meno nel programma, sono stati presi in considerazione nel progetto o no, sono operativi o no…

  • Indicatori nominali: indicano se una struttura, una funzione, un organismo, una risorsa, un obiettivo… sono presenti o meno nel programma, sono stati presi in considerazione nel progetto o no, sono operativi o no…

  • Indicatori metrici: rilevano quantitá, tempi, spazi, numeri, percentuali… controllabili all’interno del programma, dell’organizzazione, dell’azione formativa…

  • Indicatori ordinali: rilevano gradi diversi (diverse intensitá) di un fenomeno cosí come esso é percepito, vissuto, gradito dai differenti attori; chiamano in causa un giudizio qualitativo, presuppongono una dimensione soggettiva, la loro riduzione al quantitativo presenta margini di arbitrarietá





Indicatori: criteri per la selezione Individuati gli indicatori, si possono selezionare applicando i seguenti criteri:

  • Sensibilitá: quanto un indicatore (e la relativa variabile) é in grado di misurare le variazioni della situazione o del processo indagato;

  • Specificitá: quanto é correlabile univocamente ad un fattore di qualitá, senza essere influenzato da altri fattori;

  • Riproducibilitá: quanto é in grado di misurare gli stessi elementi in situazioni e circostanze diverse, con soggetti diversi, ma con la stessa intensitá di risposta;

  • Praticabilitá: quanto é facile da rilevare, misurare e/o trasformarne la rilevazione in misura quantitativa.



Una volta definiti e selezionati gli indicatori e ipotizzate le variabili operative, si tratta di raccogliere le variabili tra loro omogenee in strumenti facilmente utilizzabili

  • Tipologia degli strumenti:

  • Indicazioni per la raccolta dei dati numerici (n. assoluti, %, frequenze, medie…): si deve indicare come, quando e dove reperire il dato e in quale modulo/file/foglio excel inserirlo

  • Griglie di osservazione (frequenza di comportamenti, di eventi…)

  • Analisi documentale (a partire dall’esame di verbali, documenti ufficiali della scuola e dei gruppi di lavoro, progetti… esplicitazione di indicazioni, frequenza del tema nei documenti, n° decisioni e grado di condivisione, esplicitazione procedure…)



Questionari a risposte chiuse (grado di accordo/disaccordo con una serie di affermazioni, anche a campione)

  • Questionari a risposte chiuse (grado di accordo/disaccordo con una serie di affermazioni, anche a campione)

  • Q sort (questionari in cui si gerarchizzano una serie di affermazioni/scelte)

  • Interviste strutturate (la griglia delle domande deve essere ben definita, l’intervistatore deve poter prendere nota sia di dati/risposte sintetiche predefinite, sia di sintetizzare risposte a domande aperte)

  • Focus group (interviste di gruppo, strutturate, con griglie e indicazioni per verbalizzare gli incontri e per strutturare un report)

  • Strumenti specifici per i più piccoli (questionari e attività con immagini, scale di gradimento delle attività, strumenti sociometrici, circle time…)



Esempi di strumenti











Alcune considerazioni sugli strumenti di valutazione

  • La scelta degli strumenti é collegata alla selezione degli indicatori e alla definizione delle variabili

  • A volte scegliere solo strumenti semplici (rinunciando a informazioni qualitative) semplifica il lavoro ma banalizza la rilevazione

  • E’ importante tenere presente che gli strumenti non garantiscono di per sé la scientificitá della valutazione, né la garantisce un sofisticato sistema di trattamento dei dati statistici



Sintesi di un percorso di valutazione di un progetto formativo

  • 1. Formazione e legittimazione del gruppo di lavoro

  • 2. Ipotesi di domanda valutativa in relazione al progetto

  • 3. Verifica della domanda a partire dai bisogni dei soggetti interessati

  • 4. Delimitazione della dimensione valutativa (ambito organizzativo, didattico, culturale/professionale) e ridefinizione della domanda

  • 5. Scelta dei criteri in coerenza con la dimensione

  • 6. Definizione condivisa di alcuni fattori di qualità

  • 7. Individuazione di almeno un indicatore per ogni fattore

  • 8. Selezione indicatori e definizione delle variabili anche in funzione dei dati già in possesso o più facilmente ottenibili

  • 9. Produzione degli strumenti per raccogliere dati/informazioni mancanti

  • 10. Somministrazione strumenti, raccolta dati e informazioni

  • 11. Elaborazione statistica: report dati e informazioni, ipotesi di lettura in relazione alla domanda valutativa e ai fattori di qualità

  • 12. Discussione, integrazione e condivisione del report coi soggetti interessati

  • 13. Pubblicazione dei risultati



Alcune (provvisorie) conclusioni…



Riferimenti bibliografici

  • Questa relazione é stata costruita a partire dai seguenti testi:

  • C. Albanesi, I focus group, Carocci, Roma, 2004

  • P. Bosio, V. Fabricatore (a cura di), Valutazioni, Autoanalisi di Istituto e valutazione di sistema: pratiche e approfondimenti, Franco Angeli, 2004

  • M. Castoldi (a cura di), Scuola sotto esame, La Scuola, Brescia, 2000

  • F. Fraccaroli, A. Vergani, Valutare gli interventi formativi, Carocci, Roma, 2004

  • M. Lichtner, La qualitá delle azioni formative, FrancoAngeli, Milano, 1999

  • Manchester inclusion standard

  • L. Mortari, Apprendere dall’esperienza. Il pensare riflessivo nella formazione, Carocci, Roma, 2003

  • M. Palumbo (con un saggio di N. Stame), Il processo di valutazione, Franco Angeli, Milano, 2000

  • G.P. Quaglino, G.P. Carozzi, Il processo di formazione, Franco Angeli, Milano, 1996





Condividi con i tuoi amici:


©astratto.info 2019
invia messaggio

    Pagina principale