Estratto da D. T. Campbell, J. C, Stanley, Disegni sperimentali e quasi-sperimentali per la ricerca La nozione di validità interna



Scaricare 102.5 Kb.
Pagina3/4
04.01.2018
Dimensione del file102.5 Kb.
1   2   3   4

I fattori di invalidità esterna


I fattori di invalidità interna descritti nelle pagine precedenti esercitano un’influenza diretta sui punteggi rilevati mediante le osservazioni O. Detti fattori, infatti, sono in grado di produrre autonomamente variazioni che il ricercatore potrebbe interpretare come conseguenze della variabile sperimentale X. Detto altrimenti, nel caso di un esperimento con gruppo di controllo, gli effetti da essi indotti si manifesterebbero in quanto tali nel gruppo di controllo, sovrapponendosi invece, nel gruppo sperimentale, agli effetti generati da X. Nei termini dell’analisi della varianza, la storia, la maturazione, il testing e così via sono stati considerati effetti principali e, in quanto tali, sono stati controllati nell’ambito del Disegno 4, conferendo a quest’ultimo validità interna. Viceversa, i fattori di invalidità esterna possono essere definiti effetti di interazione che coinvolgono la variabile sperimentale X congiuntamente ad altre variabili. Essi rappresentano quindi una potenziale specificità degli effetti della variabile sperimentale X, data una serie, purtroppo limitata, di condizioni. Ossia, per quanto ci consta, è possibile che nel Disegno 4 gli effetti osservati di X riguardino segnatamente i gruppi precedentemente sottoposti al pre-test. Non è quindi logicamente possibile generalizzare tali effetti all’intero universo non sottoposto al pre-test, del quale, pure, vorremmo poter discutere.

Analizzeremo in questo paragrafo numerosi fattori di ostacolo alla generalizzazione, nonché alcune procedure per superarli. Poiché esistono validi disegni privi di pre-test e poiché in molti contesti (ma non necessariamente nell’ambito delle ricerche sull’insegnamento) si intende generalizzare i risultati ottenuti a gruppi non sottoposti a pre-test, tali disegni vengono preferiti sulla base di considerazioni legate alla validità esterna o alla generalizzabilità. Nel settore di ricerca didattico-pedagogica, i dubbi frequentemente espressi in merito alla possibilità di applicare nella pratica comune i risultati ottenuti nel corso di esperimenti estremamente artificiali rappresentano nient’altro che giudizi sulla validità esterna. L’introduzione di considerazioni di questa natura all’interno di una discussione che si propone di stabilire quali siano i migliori disegni sperimentali colpirà quindi positivamente il professionista che ritenga, a giusto titolo, che esse siano state indebitamente trascurate nei trattati convenzionali di metodologia sperimentale. Nelle pagine che seguono, sosterremo questo punto di vista ed evidenzieremo diverse procedure che consentono di accrescere la validità esterna degli esperimenti, cosicché possano costituire una base più adeguata di generalizzazioni concernenti i metodi di insegnamento, senza che, tuttavia, ne risulti pregiudicata la validità interna.



L’interazione fra il fattore testing e la variabile sperimentale X. Con riferimento a questo tipo di disegno, la possibilità che il pre-test potesse compromettere la validità esterna dell’esperimento fu evidenziata per la prima volta da Solomon (1949), sebbene considerazioni dello stesso ordine avessero spinto in precedenza alcuni ricercatori a ricorrere al Disegno 6 (v. oltre), che omette il pre-test. In particolare, negli studi sulle variazioni degli atteggiamenti – nei quali il test stesso presenta in forma accentuata posizioni anomale (ad esempio, raramente la stampa contiene tante espressioni a forte contenuto di intolleranza come quelle che figurano nei normali test sul pregiudizio razziale) – è molto probabile che il pre-test determini dei cambiamenti in relazione agli atteggiamenti individuali e alla predisposizione del soggetto alla persuasione. … L’effetto che il pre-test esercita su X, riducendo la validità esterna dell’esperimento, è, naturalmente, una funzione del grado in cui le misurazioni ripetute sono prerogative dell’universo al quale si intende estendere la generalizzazione. Nel campo delle comunicazioni di massa, l’intervista da parte del ricercatore e le procedure convenzionali di rilevazione degli atteggiamenti sono piuttosto atipiche. Viceversa, nell’ambito delle ricerche riguardanti l’insegnamento, la generalizzazione cercata riguarda un contesto in cui testare gli individui rappresenta un fatto del tutto normale. Se, in particolare, l’esperimento può utilizzare, come osservazioni O, i compiti in classe regolarmente svolti nel corso dell’anno scolastico – ma, probabilmente, perfino quando le osservazioni sperimentali siano simili a quelle di norma effettuate – non sarà presente alcuna sgradita interazione fra il testing ed X. Nel caso in cui si scelgano procedure particolarmente desuete o quando la procedura adottata implichi simulazioni, ristrutturazioni percettive o cognitive, sorpresa, stress, e così via, i disegni che prevedono gruppi non sottoposti a pre-test sono certamente preferibili, se non indispensabili.

L’interazione fra il fattore selezione e la variabile sperimentale X. Sebbene il Disegno 4 controlli gli effetti della selezione con riferimento alla spiegazione delle differenze osservabili fra il gruppo sperimentale ed il gruppo di controllo, rimane tuttavia aperta la possibilità che gli effetti validamente confermati valgano soltanto per la specifica popolazione da cui i due gruppi sono stati estratti. Questa eventualità diventa ancora più probabile nel caso in cui sia particolarmente difficoltoso mettere insieme i soggetti da sottoporre all’esperimento. Si consideri, ad esempio, il caso di un ricercatore che intenda effettuare un esperimento sui metodi di insegnamento e che venga respinto da nove scuole diverse per essere, infine, accolto da una decima. Quest’ultima presenterà certamente differenze specifiche rispetto alle precedenti scuole e all’universo cui il ricercatore desidera estendere la generalizzazione; di conseguenza, essa non è rappresentativa. Infatti, quasi certamente, rispetto alla media delle altre scuole, il suo corpo docente sarà caratterizzato da un atteggiamento più fiducioso, da minor timore nei confronti dell’indagine, da maggiore volontà di migliorarsi. Pertanto, pur rispettando i requisiti della validità interna, gli effetti osservati per via sperimentale possono essere specificamente legati a quel particolare tipo di scuola. Per consentire al lettore di giudicare su questioni di tale natura, sarebbe bene che nei rapporti di ricerca fosse specificato il numero ed il tipo di istituti scolastici cui il ricercatore si è rivolto e che hanno opposto un rifiuto all’esperimento, così da poter valutare l’ampiezza delle possibili distorsioni legate alla selezione. In generale, più alto è il livello di cooperazione richiesto e più l’esperimento interferisce con la routine, più elevato risulterà il numero dei rifiuti e maggiori saranno le opportunità che si verifichi un effetto legato alla specificità dei soggetti testati.

Ci sia consentito, a questo punto, di specificare ulteriormente il significato dell’espressione «interazione fra il fattore selezione e la variabile sperimentale X». Nel caso in cui dovessimo effettuare una ricerca nell’ambito di una singola scuola che si sottopone volontariamente al nostro esperimento ed assegnassimo i soggetti al gruppo sperimentale ed al gruppo di controllo secondo un procedimento casuale, non ci preoccuperemmo affatto di quale sia l’«effetto principale» della scuola stessa. Se tale effetto producesse un identico innalzamento delle medie nei due gruppi, l’esperimento non risulterebbe in alcun modo compromesso. Diversamente, se, in virtù di alcune caratteristiche peculiari della scuola sotto indagine, il trattamento si rivelasse qui più efficace di quanto non sarebbe nella popolazione totale delle scuole, ciò potrebbe rivelarsi particolarmente significativo. Il ricercatore vorrebbe poter affermare con certezza che l’interazione fra le caratteristiche distintive della scuola sotto indagine (probabilmente legate al fatto che essa si è sottoposta volontariamente all’esperimento) ed i trattamenti sperimentali è trascurabile. Alcune variabili sperimentali potrebbero risultare molto sensibili alle (interagire con le) caratteristiche della scuola, mentre è possibile che altre non lo siano. … .

Si hanno, spesso, notevoli distorsioni di campionamento a causa della negligenza di ricercatori che non danno l’opportunità ad una selezione più rappresentativa di scuole di rifiutare di partecipare all’esperimento. Di conseguenza, la maggior parte delle ricerche viene condotta nelle scuole in cui la percentuale di studenti figli di professori universitari è più elevata. Malgrado sia impossibile ottenere un campione perfettamente rappresentativo e malgrado tale problema sia ignorato del tutto nell’ambito di molte scienze (ad esempio, nella maggior parte degli studi pubblicati sul Journal of Experimental Psychology), esso può e deve essere posto in evidenza come un desideratum della ricerca didattico-pedagogica. Un modo per ottenere una maggiore rappresentatività consiste nel ridurre il numero di studenti o di classi appartenenti ad una data scuola o ad un dato anno di corso, aumentando nello stesso tempo il numero di scuole e di anni di corso con riferimento ai quali viene condotto l’esperimento. Naturalmente, non si avranno mai esperimenti effettuati su campioni estratti in modo rappresentativo da tutte le classi scolastiche degli Stati Uniti o del mondo. Fino a che punto è possibile generalizzare una scoperta ottenuta in adempimento ai requisiti della validità interna lo si apprende solo in modo graduale, attraverso prove ed errori. Ma questi tentativi di generalizzazione sono destinati ad un maggiore successo se nel corso dell’esperimento iniziale il risultato è stato ottenuto in presenza di un’ampia varietà di condizioni.

Nel campo degli atteggiamenti sociali, il Disegno 4 richiede un livello tale di collaborazione da parte dei rispondenti o dei soggetti studiati che si finisce per condurre le ricerche soltanto su coloro che non possono rifiutare di partecipare agli esperimenti, piuttosto che sull’uomo comune, di cui ogni ricercatore vorrebbe essere in grado di parlare. In tale ambito, attribuiremmo al Disegno 4 un segno negativo (-) per la selezione degli intervistati. Pure, per quanto riguarda le ricerche sull’insegnamento, l’universo di interesse è costituito da una popolazione che non può sottrarsi alla sperimentazione e per la quale è possibile realizzare numerose e diverse applicazioni del Disegno 4, tutte caratterizzate da un’elevata rappresentatività.



Condizioni sperimentali reattive. Nell’esperimento psicologico standard, se non nella ricerca in ambito didattico-pedagogico, una delle principali cause di non rappresentatività risiede nel carattere manifestamente artificiale del contesto sperimentale nonché nella consapevolezza da parte degli studenti di sottoporsi a un esperimento. Nel caso in cui i soggetti testati siano esseri umani, essi si trovano a dover svolgere un’attività di problem-solving più complessa; in questo caso, infatti, gli individui reagiscono alle procedure ed al trattamento sperimentale non solo in quanto fonti di stimolo, ma anche in quanto chiavi per risalire all’intento del ricercatore. La circostanza che i soggetti possano recitare un ruolo, che tentino di cogliere le intenzioni del ricercatore, che assumano pose del tipo «sono pronto per l’ispezione» o «sono una cavia» e simili, rimanda all’assunzione di atteggiamenti non rappresentativi del contesto scolastico e tali da configurarsi quali elementi qualificatori dell’effetto esercitato da X, ostacolando seriamente qualsiasi generalizzazione. Quando tali condizioni sperimentali reattive non possono essere evitate, occorrerà in tutti i modi garantire lo svolgimento di esperimenti che soddisfino i requisiti della validità interna; resta tuttavia inteso che è preferibile, ove possibile, procedere secondo disegni sperimentali non reattivi. Tale riflessione ci riconduce, per certi aspetti, alle critiche che di solito vengono mosse contro la realizzazione di esperimenti nelle scuole o nelle facoltà di Pedagogia, avvalorando l’obiezione più frequente, secondo la quale «tutte queste ricerche» sarebbero inutili. Tuttavia, la nostra conclusione, più moderata, rifiuta l’idea che, per questi motivi, si debbano abbandonare le ricerche, e sostiene il principio che, per questi stessi motivi, sia necessario migliorarle. Le pagine che seguono contengono alcuni suggerimenti in proposito.

Qualsiasi aspetto della procedura sperimentale utilizzata può produrre tale effetto di reazione. Il pre-test stesso, a prescindere dal suo contenuto, può determinare l’effetto di reazione, così come l’interazione fra il pre-test e la variabile X può, in parte, essere di questa natura, per quanto, ai fini del controllo della validità esterna, i maggiori sospetti ricadano sulle caratteristiche di contenuto del processo di testing. Il processo di randomizzazione e di assegnazione dei soggetti ai trattamenti può ugualmente produrre una reazione: si consideri l’effetto che potrebbe esercitare su una classe lo spostamento in un’altra aula della metà degli studenti, scelti con procedimento casuale (come in Solomon, 1949). Tale iniziativa, insieme con la presenza di questi strani «insegnanti», creerà certamente aspettative di qualcosa di insolito e spingerà i ragazzi a chiedersi quale ne sia lo scopo. Lo stesso annuncio del trattamento sperimentale X, nel caso in cui esso sia rappresentato da un evento non ordinario, potrebbe provocare un effetto reattivo. Anche nelle procedure sperimentali che, come il Disegno 6 (v. oltre), prevedono soltanto il post-test, e dunque un’unica rilevazione, è prevedibile che possano prodursi atteggiamenti di questo tipo. Più ovvio è il legame fra il trattamento sperimentale ed il contenuto del post-test, maggiori probabilità sussistono che tale effetto si verifichi.

Nel campo della ricerca sui cambiamenti dell’opinione pubblica, il tentativo di evitare condizioni sperimentali reattive può rivelarsi estremamente arduo. Per contro, nella maggior parte degli studi in ambito didattico-pedagogico non è necessario comunicare agli studenti che si sta effettuando un esperimento. … Vari aspetti dell’esperimento stesso possono essere funzionali allo scopo. Se, ad esempio, si scelgono come X delle varianti degli avvenimenti che caratterizzano la normale vita di classe in determinati momenti del calendario scolastico, e se i trattamenti sperimentali non vengono preceduti da particolari annunci, un terzo della battaglia è vinta. Allo stesso modo, possiamo soddisfare anche la seconda esigenza, facendo passare le osservazioni O per normali compiti in classe. Se i trattamenti X vengono somministrati sotto forma di comunicazioni indirizzate a singoli studenti, la randomizzazione potrà essere ottenuta senza spostare fisicamente in due aule diverse i campioni equivalenti ottenuti mediante procedimento casuale, e così via.

A seguito di tali considerazioni – ed a seguito delle osservazioni personali di ricercatori che hanno pubblicato i loro dati malgrado fossero a tal punto insignificanti da condurre a risultati estremamente fuorvianti – gli autori del presente lavoro vanno vieppiù convincendosi che la sperimentazione nelle scuole deve essere condotta, quando è possibile, dallo stesso corpo docente, in particolare nel caso in cui si intenda generalizzare i risultati ad altre classi.



Sebbene non rientri tra le finalità del presente lavoro individuare, nell’ambito della letteratura disponibile, i buoni o i cattivi esempi di ricerca, vale la pena di citare, come caso concreto di ricerca ottimale, un recente lavoro di Page (1958), in cui i parametri qui descritti sono adottati in modo eccellente (si evitano condizioni sperimentali reattive, si ottengono campioni rappresentativi e non si danno interazioni fra il fattore testing ed X). Lo studio di Page mostra come brevi commenti trascritti sui compiti in classe già svolti migliorino i risultati che gli studenti conseguono nei compiti successivi. Questa scoperta è stata ottenuta lavorando su un campione di 74 insegnanti, 12 scuole, 6 anni di corso (dalla 7a alla 12a classe), 5 differenti votazioni (A, B, C, D, E) e su una grande varietà di materie scolastiche, senza riscontrare quasi alcun effetto di interazione. Gli insegnanti e le classi sono stati selezionati con procedimento casuale ed il primo compito realizzato in ciascuna classe è stato utilizzato come pre-test. L’insegnante assegnava gli studenti ai gruppi di trattamento attraverso il lancio di uno speciale dado e, a seconda dell’esito del lancio, registrava o meno per iscritto dei commenti sul foglio dell’elaborato svolto. Il successivo compito in classe, già previsto nell’ambito delle normali attività didattiche, aveva la funzione di post-test. Per quanto a nostra conoscenza, nessuno dei 2.139 studenti coinvolti sapeva di essere sottoposto ad un esperimento. Poche procedure di istruzione riguardanti le varie fasi del procedimento si prestano ad una randomizzazione nascosta di questo tipo, dal momento che, di norma, le comunicazioni orali necessarie sono rivolte all’intera classe e non a singoli individui. (Le comunicazioni scritte consentono un’assegnazione randomizzata ai trattamenti, ma è possibile che gli studenti si rendano conto dell’esistenza di trattamenti differenziati). Tuttavia, tenendo presenti questi obiettivi ideali, i ricercatori possono rendere gli esperimenti non reattivi adottando un numero di procedure di gran lunga superiore rispetto ad oggi.

La soluzione sempre valida per questo problema consiste nello spostare la randomizzazione al livello dell’intera classe considerata come unità e nel costruire il gruppo sperimentale ed il gruppo di controllo assegnando numerose classi all’uno o all’altro con procedimento casuale (si vedano Lindquist, 1940 e 1953). Di norma, ma non necessariamente, le classi vengono suddivise, ai fini dell’analisi, sulla base di fattori quali la scuola, l’insegnante (nel caso in cui ciascun insegnante eserciti in più classi), la materia di studio, l’orario, il livello medio di intelligenza, e così via; a partire da tale suddivisione, i gruppi da destinare al trattamento sperimentale saranno determinati mediante assegnazione casuale. Le ricerche che ricalcano questo schema generale realizzate fino a questo momento rappresentano un’eccezione, ma dovrebbero presto diventare la regola. Si noti come il test di significatività appropriato non consisterebbe, in questo caso, nel riunificare tutti gli studenti in un solo gruppo, come se essi fossero stati assegnati con procedimento casuale. Questa procedura sarà analizzata più approfonditamente nel paragrafo successivo.
5. Il disegno di solomon a quattro gruppi

Malgrado il Disegno 4 sia il più utilizzato, il Disegno 5, ovvero il disegno di Solomon (1949) a quattro gruppi, gode, a giusto titolo, di maggiore prestigio e rappresenta il primo esempio di disegno sperimentale che tiene conto esplicitamente dei fattori da cui dipende la validità esterna. Il disegno di Solomon è così strutturato:




R




O1




X




O2

R




O3










O4

R










X




O5

R
















O6



Condividi con i tuoi amici:
1   2   3   4


©astratto.info 2019
invia messaggio

    Pagina principale