Estratto da D. T. Campbell, J. C, Stanley, Disegni sperimentali e quasi-sperimentali per la ricerca La nozione di validità interna


DISEGNI SPERIMENTALI VERI E PROPRI



Scaricare 102.5 Kb.
Pagina2/4
04.01.2018
Dimensione del file102.5 Kb.
1   2   3   4

3 DISEGNI SPERIMENTALI VERI E PROPRI

I tre disegni di base di cui ci occuperemo in questa sezione sono quelli che, di norma, vengono raccomandati dalla letteratura metodologica. Il più utilizzato fra questi è il Disegno 4; perciò ci soffermeremo ampiamente su di esso, con un’analisi che diventerà occasione di discussioni di natura più generale. Tutti e tre i disegni vengono presentati nella forma classica di una comparazione basata sulla presenza/assenza di una singola variabile sperimentale X. I disegni che prevedono un numero maggiore di trattamenti sperimentali rappresentano importanti rielaborazioni che toccano soltanto in modo tangenziale la discussione svolta nel presente studio; essi verranno analizzati nella parte conclusiva del capitolo, successivamente alla trattazione del Disegno 6 (v. oltre). Nondimeno, in questo stadio della nostra analisi, una prospettiva di questo tipo può essere utile per rammentarci che la comparazione fra ciò che accade in presenza di X e ciò che accade in assenza di X rappresenta una semplificazione. In realtà, la comparazione riguarda le specifiche attività che caratterizzano il gruppo di controllo nella fase in cui il gruppo sperimentale è sottoposto all’azione di X. La comparazione potrebbe quindi essere attuata fra X1 ed Xc o fra X1 ed X0 o, ancora, fra X1 ed X2. Il fatto che le attività riguardanti il gruppo di controllo siano spesso imprecisate apporta un’indesiderata ambiguità all’interpretazione del contributo della variabile sperimentale X. Tenendo presenti queste osservazioni, ricorreremo qui, ancora una volta, alla convenzione grafica consistente nella presentazione di gruppi di controllo non sottoposti all’azione della variabile sperimentale X.


4. Il disegno con pre-test e post-test ed un gruppo di controllo

I controlli riguardanti la validità interna


Fra il 1900 ed il 1920, considerazioni di natura simile a quelle svolte nelle pagine precedenti spinsero gli studiosi che si occupavano di ricerca psicologica o didattico-pedagogica ad integrare il Disegno 2 con l’aggiunta del gruppo di controllo, dando luogo così a quello che oggi è il disegno classico con gruppo di controllo. McCall (1923), Solomon (1949) e Boring (1954) hanno dato conto in parte di questo passaggio, e l’esame del Teachers College Record di quel periodo ci dice ancor di più: sin dal 1912, infatti, si fa riferimento ai gruppi di controllo senza ritenere necessaria alcuna giustificazione (ad esempio, Pearson, 1912). Nel presente lavoro, i disegni con gruppo di controllo così introdotti sono suddivisi in due tipologie: il Disegno sperimentale 4, che prevede l’impiego di gruppi equivalenti ottenuti attraverso l’assegnazione casuale (indicata dal simbolo R), ed il Disegno quasi-sperimentale 10, che si avvale invece di gruppi di comparazione già esistenti, la cui composizione non viene alterata e la cui equivalenza non è affatto certa. Il Disegno 4 assume la seguente forma:


R




O1




X




O2

R




O3










O4

Poiché questo disegno controlla in modo così netto tutte le sette ipotesi rivali fin qui discusse, gli analisti non esplicitano, di norma, le esigenze di controllo che esso soddisfa. Nella tradizione della ricerca sull’apprendimento, gli effetti di acquisizione di una pratica indotti dal fattore testing sembrano fornire un primo riconoscimento della necessità di ricorrere a un gruppo di controllo. Il fattore maturazione ha spesso rappresentato uno dei principali interessi critici tanto nell’ambito delle ricerche sperimentali in campo didattico-pedagogico, quanto nel settore degli studi sull’età evolutiva … . Nel caso delle ricerche sul mutamento degli atteggiamenti … è possibile che sia il fattore storia a porsi come l’elemento che necessita di maggiore attenzione. In ogni caso, sembra a questo punto necessario discutere brevemente il modo in cui, o le condizioni nelle quali, tali fattori vengono controllati.

Il fattore storia è controllato nella misura in cui gli accadimenti storici di natura generale che potrebbero aver determinato la differenza osservata fra O1 ed O2 causino anche la differenza osservata fra O3 ed O4.

I fattori maturazione e testing sono controllati in quanto dovrebbero toccare nella stessa misura sia il gruppo sperimentale sia il gruppo di controllo. Il fattore strumentazione viene facilmente controllato nel caso in cui vengano soddisfatte le condizioni che consentono di controllare la storia di sessione, in particolare nel caso in cui l’osservazione O si ottenga attraverso le risposte degli studenti ad uno strumento stabile quale un questionario prestampato. Nel caso in cui vengano utilizzati osservatori o intervistatori, tuttavia, il problema assume proporzioni maggiori. Se il numero dei rilevatori è talmente limitato da impedire di assegnarli casualmente a una singola sessione, non soltanto ognuno di essi dovrebbe essere impiegato tanto nella sessione sperimentale quanto in quella di controllo, ma, per evitare distorsioni nelle valutazioni e nei protocolli prodotti, essi dovrebbero, inoltre, essere tenuti all’oscuro di quali soggetti siano sottoposti a quale trattamento. L’uso di resoconti concernenti l’interazione di gruppo – di modo che sia possibile giudicare una serie randomizzata di tali trascrizioni, relative al pre-test, al post-test, al gruppo sperimentale e al gruppo di controllo – contribuisce a controllare il fattore strumentazione nelle ricerche sul comportamento in classe e sull’interazione di gruppo.

Per quanto riguarda le differenze fra le medie, il fattore regressione è controllato se tanto i soggetti che compongono il gruppo sperimentale quanto quelli appartenenti al gruppo di controllo sono scelti con procedimento casuale fra coloro che hanno ottenuto i risultati più estremi nel pre-test, a prescindere da quanto estremi siano i punteggi che ciascuno dei due gruppi ha conseguito. In questo caso, il gruppo di controllo regredisce tanto quanto il gruppo sperimentale. Tuttavia, anche nelle condizioni previste dal Disegno 4, sono spesso possibili errori di interpretazione dovuti a effetti della regressione. Un ricercatore potrebbe servirsi del gruppo di controllo per confermare gli effetti di X sulla media del gruppo, lasciandolo poi da parte quando decide di esaminare quali fra i sottogruppi del gruppo sperimentale caratterizzati da una omogeneità di punteggio nel pre-test siano stati maggiormente influenzati a seguito del trattamento. Se la media generale del gruppo si innalza, il ricercatore perviene alla stimolante conclusione che i soggetti inizialmente caratterizzati da un punteggio basso fanno molti progressi, mentre, con tutta probabilità, quelli già in origine contraddistinti da un punteggio elevato non miglioreranno affatto. Un esito di questo tipo è pressoché certo perché, nel caso in cui si registri un innalzamento della media generale del gruppo, l’effetto della regressione integrerà i punteggi che nel pre-test erano al di sotto della media, mentre tenderà ad annullare l’incremento relativo ai punteggi inizialmente più alti. (Se, invece, non si registra alcun innalzamento della media del gruppo, è possibile che il ricercatore «scopra», sbagliando, che ciò è determinato da due effetti che si annullano reciprocamente, ossia un innalzamento per i punteggi più bassi ed una diminuzione per quelli più elevati). Per ovviare a questi errori di interpretazione, occorre analizzare parallelamente i soggetti del gruppo di controllo che nel pre-test avevano ottenuto i punteggi più estremi, valutando quindi i differenti incrementi sulla base di comparazioni effettuate con i punteggi ottenuti nel post-test dai corrispondenti sottogruppi del pre-test, tanto per il gruppo sperimentale quanto per il gruppo di controllo.

Il fattore selezione non interviene nella spiegazione della differenza osservata nella misura in cui la randomizzazione consente di costituire gruppi equivalenti nel momento R. Tale margine di sicurezza è dato dalle statistiche per campione: la probabilità di ottenere gruppi equivalenti sarà, quindi, maggiore se le assegnazioni casuali sono numerose. Nella misura indicata dal margine di errore per l’ipotesi secondo cui non si avrà alcuna differenza, questo assunto è, in alcuni casi, errato. Nel caso del Disegno 4, ciò significa che, in alcuni casi, si osserverà una differenza in apparenza «significativa» fra i risultati del pre-test. Di conseguenza, se, da una parte, la randomizzazione semplice o stratificata consente di effettuare un’assegnazione priva di distorsioni, dall’altra, essa è una pratica tutt’altro che perfetta ai fini dell’equivalenza iniziale dei gruppi. La randomizzazione rimane, nondimeno, l’unico sistema, ed il più importante, per far ciò. La natura dogmatica della nostra affermazione scaturisce dal fatto che, nel corso degli ultimi trent’anni, la ricerca in ambito didattico-pedagogico ha ampiamente ed erroneamente preferito perseguire l’equivalenza dei gruppi attraverso il matching. McCall (1923) e Peters e Van Voorhis (1940) hanno contribuito a perpetuare questo equivoco. Come chiariremo più avanti discutendo il Disegno 10 e l’analisi ex post facto, il matching non si dimostra di alcuna utilità se viene utilizzato per superare le differenze iniziali fra i gruppi. Con ciò non si vuole dichiarare l’inammissibilità del matching in subordine alla randomizzazione, come nel caso in cui si ottiene una maggiore precisione statistica creando coppie di studenti attraverso l’applicazione di tale procedura ed assegnando quindi in modo casuale una unità di ciascuna coppia al gruppo sperimentale e l’altra al gruppo di controllo. Nella letteratura statistica, questo procedimento è conosciuto come «assegnazione casuale stratificata». A tal proposito, si vedano, in particolare, Cox (1957), Feldt (1958) e Lindquist (1953). Tuttavia, considerare il matching come un sostituto della randomizzazione costituisce un tabù anche per i disegni quasi-sperimentali che utilizzano due soli gruppi naturali puri, uno sperimentale e l’altro di controllo: anche nell’ambito di questa forma debole di «esperimento», infatti, è possibile ricorrere a procedimenti più efficaci del matching per correggere le differenze iniziali osservate nelle medie dei due campioni.

I dati acquisiti mediante l’applicazione del Disegno 4 consentono di dire se il fattore mortalità offra una spiegazione plausibile per l’incremento osservato fra O1 ed O2. La mortalità, la perdita di alcune unità di analisi, e la presenza all’interno dei gruppi di casi rispetto ai quali si hanno a disposizione soltanto dati parziali rappresentano aspetti particolarmente problematici e vengono solitamente nascosti sotto il tappeto. Di norma, gli esperimenti riguardanti i metodi di insegnamento vengono condotti nell’arco di giorni, settimane o mesi. Se i pre-test ed i post-test vengono effettuati nella stessa classe da cui si estraggono il gruppo sperimentale ed il gruppo di controllo e se la condizione sperimentale richiede che i soggetti coinvolti si sottopongano ad alcune sessioni non previste dalla condizione di controllo, il differente livello di partecipazione degli studenti nelle tre differenti occasioni sperimentali (pre-test, trattamento e post-test) produrrà una «mortalità» che può generare piccole distorsioni di campionamento.

Se si scartano i componenti del gruppo sperimentale che non partecipano alle sessioni previste dall’esperimento, si sottoporrà tale gruppo ad una riduzione selettiva che non toccherà, invece, il gruppo di controllo. In questo modo, il gruppo sperimentale subirà una distorsione in direzione dei soggetti più disponibili e coscienziosi. Il procedimento più corretto – sebbene, di solito, poco applicato – consiste nell’utilizzare tutti gli studenti del gruppo sperimentale e del gruppo di controllo che hanno completato tanto il pre-test quanto il post-test, inclusi gli studenti del gruppo sperimentale assenti nella fase di attuazione della sessione sperimentale, in cui viene introdotta la variabile X. Naturalmente, questa procedura attenua gli effetti apparenti di X, ma consente di evitare distorsioni di campionamento. Essa si basa sull’assunto che non vi siano distorsioni più elementari determinate dalla mortalità: un assunto che può essere, in parte, verificato prendendo in considerazione tanto il numero dei soggetti presenti al pre-test ma non al post-test, quanto i punteggi da essi ottenuti. È possibile infatti che, invece di determinare una variazione dei punteggi individuali, alcune X influiscano sulla percentuale di dispersione. Naturalmente, anche quando tali percentuali siano le stesse, rimane la possibilità che interazioni complesse rendano differente la natura delle defezioni dal gruppo sperimentale e dal gruppo di controllo.



Il problema della mortalità si presenta in forma parossistica nelle ricerche riguardanti i corsi di recupero a partecipazione sollecitata. In questo caso, ad esempio, un campione di studenti di una scuola superiore che presentano particolari difficoltà nella lettura viene invitato a prender parte ad un corso di recupero volontario, mentre a un gruppo equivalente non viene rivolto lo stesso invito. Tra i soggetti appartenenti al primo gruppo, la quota di coloro che seguiranno effettivamente i corsi sarà, probabilmente, pari all’incirca al 30%. Per ricavare i punteggi del pre-test e del post-test, si somministrano a tutti gli studenti della stessa classe dei test standard di abilità di lettura. In questo caso, non sarebbe corretto comparare le prestazioni ottenute dal 30% di studenti che si sottopone volontariamente al corso di recupero con i risultati conseguiti dalla totalità degli studenti appartenenti al gruppo di controllo: i primi, infatti, saranno i soggetti rimasti maggiormente impressionati dai punteggi ottenuti nel pre-test, quelli maggiormente suscettibili di miglioramenti significativi, e così via. Tuttavia, è impossibile individuare le loro esatte controparti nel gruppo di controllo. Se, da una parte, può sembrare ugualmente scorretto ai fini del controllo dell’ipotesi relativa all’efficacia del trattamento, comparare l’intero gruppo dei soggetti invitati a sottoporsi all’intervento di recupero con il totale dei soggetti non sollecitati in tal senso, dall’altra, tale soluzione è certamente accettabile, sebbene tesa alla conservazione. Nondimeno, è possibile che sia l’invito stesso, piuttosto che l’intervento, a determinare l’effetto osservato. In generale, così come accade per il gruppo sperimentale, anche il gruppo di controllo – che non viene invitato a frequentare il corso di recupero – dovrebbe essere messo a conoscenza dei risultati ottenuti nel pre-test. In alternativa, si può proporre l’intervento di recupero a tutti gli studenti che ne hanno bisogno, suddividendo poi coloro che accettano in due gruppi, uno dei quali sarà sottoposto al trattamento effettivo, l’altro ad un placebo. Ma, allo stato attuale dell’arte, qualsiasi placebo che possa plausibilmente apparire come un sostegno agli studenti può rivelarsi anche una terapia valida quanto il trattamento che si sta sperimentando. Si noti, a ogni modo, come sia di gran lunga più semplice valutare i test sperimentali tendenti a determinare l’efficacia relativa di due diverse procedure terapeutiche piuttosto che quelli che puntano a determinare l’efficacia assoluta di ciascuna di esse.




Condividi con i tuoi amici:
1   2   3   4


©astratto.info 2019
invia messaggio

    Pagina principale