Estratto da D. T. Campbell, J. C, Stanley, Disegni sperimentali e quasi-sperimentali per la ricerca La nozione di validità interna



Scaricare 102.5 Kb.
Pagina1/4
04.01.2018
Dimensione del file102.5 Kb.
  1   2   3   4

Estratto da D.T. Campbell, J.C, Stanley, Disegni sperimentali e quasi-sperimentali per la ricerca
La nozione di validità interna

La validità interna è il requisito minimo necessario, senza il quale l’esperimento non può essere interpretato. Essa pertiene al controllo dell’esistenza di un’effettiva connessione tra il trattamento sperimentale e un dato effetto empiricamente rilevabile. La nozione di validità interna è introdotta dalla domanda: in questo caso specifico, il trattamento sperimentale ha effettivamente determinato una differenza? In altre parole, la differenza osservata tra lo stato di un dato oggetto al tempo t0 e lo stato dello stesso oggetto al tempo t2 è effettivamente imputabile allo specifico trattamento sperimentale al quale l’oggetto in questione è stato sottoposto al tempo t1, o tale differenza avrebbe comunque avuto luogo anche in assenza del trattamento sperimentale la cui efficacia si intende valutare?


La nozione di validità esterna

La validità esterna riguarda la possibilità di generalizzare i risultati sperimentali: a quali popolazioni, contesti, variabili di trattamento e variabili di misurazione questo effetto può essere generalizzato? Detto altrimenti, i risultati ottenuti mediante un dato esperimento, e dotati di validità interna, possono essere generalizzati?



Ovviamente, entrambi i requisiti sono importanti, anche se spesso entrano in contrapposizione, nel senso che gli elementi che soddisfano l’uno possono mettere a repentaglio l’altro. Se, da una parte, la validità interna è la conditio sine qua non, e la questione relativa alla validità esterna, così come quella relativa all’inferenza induttiva, non è mai interamente risolvibile, dall’altra, l’individuazione di disegni capaci di fornire delle garanzie con riferimento tanto al primo quanto al secondo tipo di validità rappresenta, naturalmente, il nostro ideale.

I fattori della validità/invalidità interna ed esterna


Possono essere considerati 8 differenti classi di fattori esterni, rilevanti ai fini della validità interna, i quali, se non controllati nell’ambito del disegno sperimentale, potrebbero produrre effetti tali da potersi confondere con l’effetto dello stimolo sperimentale. I fattori in questione sono i seguenti:

  1. il fattore storia, ossia l’insieme degli eventi specifici che intervengono fra la prima e la seconda misurazione in aggiunta alla variabile sperimentale;

  2. il fattore maturazione, ossia i processi di maturazione interna dei soggetti che si sottopongono all’esperimento, che operano come funzione del semplice trascorrere del tempo (non specificatamente legati a eventi particolari) e che comprendono, per esempio, l’invecchiamento, l’aumento dell’appetito, l’aumento della stanchezza e simili;

  3. il fattore testing, ossia le conseguenze prodotte da un test sui risultati ottenuti in occasione di un test successivo;

  4. il fattore strumentazione, che rimanda alle situazioni in cui le variazioni dovute alle alterazioni dello strumento di misurazione o i mutamenti riguardanti gli osservatori o i rilevatori impiegati possono produrre differenze nelle misurazioni ottenute;

  5. il fattore regressione statistica, che opera nel caso in cui i gruppi vengano selezionati sulla base dei punteggi estremi;

  6. il fattore selezione, che rinvia alle distorsioni risultanti dall’attribuzione differenziale dei soggetti ai gruppi di comparazione;

  7. il fattore mortalità sperimentale, ossia la perdita differenziale dei soggetti facenti parte dei gruppi di comparazione;

  8. il fattore interazione selezione-maturazione, etc., che, in alcuni disegni quasi-sperimentali viene confusa con (ossia, può essere scambiata per) l’effetto della variabile sperimentale.

I fattori che mettono a rischio la validità esterna o la rappresentatività sono i seguenti:

  1. il fattore effetto reattivo o interattivo del testing, in base al quale il pre-test potrebbe acuire o ridurre la sensibilità o la reattività alla variabile sperimentale, rendendo così i risultati ottenuti per la popolazione sottoposta al pre-test non rappresentativi degli effetti che la variabile sperimentale potrebbe indurre sull’universo non sottoposto a pre-test, da cui vengono estratti i soggetti sui quali viene condotto l’esperimento;

  2. il fattore effetto interattivo fra le distorsioni legate al fattore selezione (di cui al precedente punto 6) e la variabile sperimentale;

  3. il fattore legato agli effetti reattivi delle condizioni sperimentali, che renderebbero impossibile generalizzare gli effetti della variabile sperimentale ai soggetti esposti ad essa in contesti non sperimentali;

  4. il fattore interferenza dovuta ai trattamenti multipli, probabile quando gli stessi soggetti vengono sottoposti a trattamenti multipli, in quanto, di norma, non è possibile cancellare gli effetti dei trattamenti precedenti.

3 DISEGNI PRE-SPERIMENTALI, 3 DISEGNI SPERIMENTALI VERI E PROPRI, 10 DISEGNI QUASI-SPERIMENTALI




3 DISEGNI PRE-SPERIMENTALI




  1. Il disegno “one shot”

Il disegno sperimentale “one shot” prevede una sola osservazione di un singolo gruppo, effettuata successivamente all’intervento di un agente o di un trattamento che si suppone abbia prodotto un mutamento. Questi studi possono essere rappresentati graficamente come segue:

X O

In questo tipo di studi l’assenza di controllo è tale che essi sono pressoché privi di valore scientifico.

Nei case studies basati sul Disegno 1, un singolo caso accuratamente studiato viene implicitamente comparato con altri eventi casualmente osservati di cui si ha memoria. Le inferenze si fondano su aspettative generiche relative a quali dati si sarebbero riscontrati in assenza di X. Molto spesso, questo tipo di studi richiede attività estremamente noiose, quali la raccolta di dettagli specifici, l’effettuazione di osservazioni accurate, la realizzazione di test e simili, comportando, in questi casi, l’errore della precisione malposta. Di fatto, queste ricerche sarebbero molto più preziose se si dimezzassero le osservazioni e si dedicassero le energie così risparmiate allo studio parimenti analitico di un caso di comparazione appositamente scelto. In generale, è preferibile distribuire lo sforzo descrittivo, dedicandolo in egual misura a due soli elementi, che possano costituire i termini di una comparazione interessante.

Il Disegno 1, se considerato congiuntamente alle comparazioni implicite di «senso comune», presenta gran parte dei difetti che caratterizzano i disegni successivi. Per questa ragione, l’analisi di tali difetti è rimandata a questi contesti più specifici.




  1. Il disegno con pre-test e post-test senza gruppo di controllo

Esso viene introdotto come «cattivo esempio», per illustrare il ruolo giocato da molte delle variabili estranee i cui effetti tendono a confondersi con quelli della variabile sperimentale e che possono essere causa di invalidità interna. Queste variabili offrono ipotesi plausibili per spiegare la differenza O1–O2, che si contrappongono all’ipotesi secondo cui tale differenza è causata da X:
O1 X O2
La prima di queste ipotesi rivali non controllate è legata al fattore storia. Oltre alla variabile sperimentale X considerata dal ricercatore, infatti, è possibile che fra O1 ed O2 siano interventi molti altri eventi capaci di determinare una variazione. Se il pre-test (O1) ed il post-test (O2) vengono effettuati in giorni diversi, è possibile che la differenza osservata fra l’uno e l’altro sia dovuta agli avvenimenti occorsi nel frattempo. Affinché un evento si configuri nei termini di un’ipotesi rivale plausibile, è necessario che esso riguardi la maggior parte dei soggetti che costituiscono il gruppo sotto indagine; ad esempio, nel caso di un gruppo formato da studenti, l’evento dovrebbe aver luogo in differenti ore di lezione oppure dovrebbe manifestarsi attraverso una notizia di cronaca di grande risonanza. Nella ricerca di Collier sugli studenti di una classe (realizzata nel 1940 e pubblicata nel 1944), mentre gli studenti leggevano materiale di propaganda nazista la Francia si arrese alla Germania: le variazioni osservate negli atteggiamenti degli studenti sembravano imputabili più all’evento storico verificatosi nel frattempo che alla lettura del materiale propagandistico in sé. La plausibilità del fattore storia come principio di spiegazione rivale della variazione osservata aumenta a mano a mano che il periodo di tempo che intercorre fra O1 ed O2 si estende, mentre può essere considerata un problema secondario negli esperimenti che vengono completati nell’arco di una o due ore. Tuttavia, anche in quest’ultimo caso è necessario tenere conto delle altre possibili cause di variazione, esterne rispetto alla variabile sperimentale, quali una risata, un evento che distrae, e così via. Importante ai fini del controllo del fattore storia è l’isolamento sperimentale, che i fisici riescono a realizzare in modo quasi perfetto nei loro laboratori. Per questo motivo il Disegno 2 può essere applicato nella maggior parte delle ricerche di questo tipo. Classificheremo come fattore storia l’insieme dei possibili effetti determinati dalle variazioni stagionali o dalle scadenze istituzionali, sebbene essi possano essere ricondotti altresì al fattore maturazione. Così, ad esempio, l’ottimismo può variare a seconda della stagione e l’ansia a causa della maggiore o minore prossimità dell’esame di fine semestre. Questi effetti possono produrre una variazione fra O1 ed O2 facilmente confondibile con l’effetto determinato dalla variabile sperimentale X.

Una seconda variabile, o classe di variabili, rivale rispetto ad X rimanda al fattore maturazione. Questo termine è utilizzato in questa sede per indicare tutti quei processi biologici o psicologici che variano sistematicamente con il trascorrere del tempo, indipendentemente dagli specifici eventi esterni. Così, fra O1 ed O2 gli studenti oggetto di indagine aumentano di età, hanno più appetito, sono più stanchi, più annoiati, e così via. Di conseguenza, le differenze rilevate per via sperimentale potrebbero rappresentare un riflesso di detti processi piuttosto che della variabile X. Nel caso dei corsi di recupero per bambini con disturbi dell’apprendimento, che si focalizzano sugli studenti particolarmente svantaggiati, è possibile che un processo di «recupero spontaneo», analogo alla guarigione di una ferita, venga scambiato per un effetto specifico dell’intervento di recupero X. (Ovviamente, questo recupero non è «spontaneo» in senso casuale, ma rappresenta piuttosto la somma fra gli effetti dei processi di apprendimento e gli effetti delle pressioni esercitate dall’esperienza quotidiana del mondo circostante, che agirebbero anche nel caso in cui non si introducesse alcuna variabile X).

Una terza spiegazione rivale rispetto alla spiegazione che chiama in causa la variabile sperimentale rinvia all’azione del fattore testing, ossia l’effetto del pre-test stesso. Nei test di intelligenza e di abilità, gli studenti che si sottopongono al test per la seconda volta o a cui viene somministrata una forma diversa dello stesso test, e così via, ottengono, di norma, risultati migliori rispetto a coloro che affrontano la prova per la prima volta. Questi effetti – come, ad esempio, un Q.I. superiore di 3-5 punti rispetto alla media raggiunta nel primo test – si evidenziano anche nel caso in cui non si indichino ai soggetti coinvolti né i punteggi ottenuti né le risposte errate nel corso del primo test. Naturalmente, la garanzia dell’anonimato, l’accresciuta consapevolezza in merito alle risposte socialmente desiderabili, e così via, sono tutti fattori che influenzano i risultati. Nel caso di un test anonimo riguardante i pregiudizi, l’adattamento determinato dalle asserzioni informate ad un atteggiamento di ostilità può far slittare verso una maggiore intolleranza le aspettative degli studenti riguardo ai tipi di atteggiamento socialmente accettabili. Nel caso, invece, di un test della personalità o dell’adattamento, controfirmato dal soggetto, la somministrazione iniziale ha a che fare con una sorta di attività di problem-solving, in cui gli studenti si sforzano di scoprire le finalità nascoste del test stesso. Dopodiché (o dopo aver discusso con gli amici le risposte date ad alcune domande particolarmente bizzarre), l’intervistato è in grado di presentarsi sotto una luce migliore in occasione del secondo test.

Gli effetti reattivi sono molto probabili quando il test stesso funziona come stimolo al cambiamento piuttosto che come una registrazione passiva del comportamento. Ad esempio, in un esperimento riguardante le terapie dimagranti, il fatto che il peso dei soggetti sia rilevato prima di intraprendere la cura potrebbe, esso stesso, rappresentare uno stimolo a perdere peso, anche in assenza di qualsiasi trattamento terapeutico. Analogamente, la presenza in classe di osservatori esterni incaricati di valutare, preliminarmente ad un apposito corso di formazione, le capacità degli insegnanti nei rapporti con gli studenti, può influenzare le modalità adottate dagli stessi insegnanti per mantenere la disciplina, così come un microfono posto sulla cattedra può far cambiare il modello di interazione del gruppo, e così via. In generale, più lo strumento utilizzato è innovativo e stimolante, più esso sarà reattivo.

Con l’espressione strumentazione o «alterazione strumentale» si indica una quarta ipotesi rivale non controllata, ossia i cambiamenti autonomi dello strumento di misurazione che potrebbero spiegare la differenza osservata fra O1 ed O2. Tali variazioni sono simili, ad esempio, alla deformazione o all’affaticamento delle molle di una bilancia o alla formazione di condensa all’interno di una camera a nebbia, e così via. Se le rilevazioni O1 ed O2 vengono effettuate da esseri umani, è possibile che le differenze osservate dipendano dai processi di apprendimento, di affaticamento e simili che riguardano gli osservatori stessi. Se si decide di classificare le rilevazioni effettuate, i modelli di riferimento possono oscillare fra O1 ed O2 (suggerendo la tecnica di controllo consistente nello scompigliare le rilevazioni O1 ed O2, classificandole quindi senza sapere quale delle due sia stata effettuata per prima). Nel caso in cui il fenomeno oggetto di studio sia la partecipazione alla vita di classe, è possibile che, in occasione della seconda rilevazione, gli osservatori siano più abili o più disincantati. Nel caso siano coinvolti i genitori degli studenti, è possibile che la dimestichezza dell’intervistatore con il questionario proposto e la confidenza con i genitori possa provocare variazioni. Infine, se gli osservatori che effettuano le due rilevazioni non sono gli stessi, si possono determinare delle differenze fra O1 ed O2.

In alcune applicazioni del Disegno 2, un quinto fattore i cui effetti vengono spesso confusi con gli effetti di X è rappresentato dalla regressione statistica. Se, ad esempio, in un esperimento sui corsi di recupero per bambini con disturbi dell’apprendimento, gli studenti sottoposti ad un particolare trattamento sperimentale vengono selezionati sulla base degli scarsi risultati ottenuti in un test di abilità (che diventano per loro O1), i punteggi (O2) che essi otterranno quando, in un secondo momento, verrà loro somministrato lo stesso test o una forma alternativa di esso saranno, in media, quasi certamente migliori rispetto a quelli ottenuti nel corso della prima rilevazione. Questo risultato certo non è dovuto ad un effetto della variabile sperimentale X né dipende dalla procedura test-retest, ma rappresenta, piuttosto, un aspetto di natura tautologica dell’imperfetta correlazione esistente fra O1 ed O2.


3. La comparazione fra gruppi statici

Il terzo disegno pre-sperimentale, utile ai fini della nostra analisi dei fattori invalidanti, è rappresentato dalla comparazione fra gruppi statici. In questo tipo di disegno, un gruppo sottoposto ad X viene confrontato con un gruppo non sottoposto ad X, allo scopo di stabilire l’effetto della variabile sperimentale.




X
















O1



















O2

Rientrano in questa categoria, ad esempio: la comparazione fra sistemi scolastici che richiedono il possesso della laurea (X) da parte degli insegnanti e quelli che non lo richiedono; il raffronto fra gli studenti che hanno frequentato un corso per la lettura veloce e quelli che non lo hanno frequentato; il confronto fra gli individui che hanno seguito un determinato programma televisivo e quelli che non lo hanno seguito, e così via. A differenza di quanto accade per l’esperimento «vero e proprio» – definito, più oltre, Disegno 6 – nel Disegno 3 non è possibile in alcun modo affermare esplicitamente che, se non fosse per l’esperienza X, i gruppi sarebbero equivalenti. Questa lacuna, rappresentata nel diagramma su riportato con la linea tratteggiata che divide i due gruppi, indica quale sia il fattore immediatamente successivo da controllare, ossia la selezione. Se O1 ed O2 presentano delle differenze, è possibile che esse dipendano dai diversi criteri adottati per scegliere i soggetti che costituiscono i due gruppi su cui sono state condotte le osservazioni (O1 ed O2): i due gruppi, infatti, avrebbero potuto essere comunque diversi l’uno dall’altro, anche in assenza di X. Come si dirà in seguito discutendo l’analisi ex post facto, il matching basato su caratteristiche di fondo dei soggetti diverse da quelle sottoposte all’osservazione O si rivela, di norma, poco efficace e fuorviante, in particolare nei casi in cui i soggetti del «gruppo sperimentale» si siano autoselezionati, richiedendo esplicitamente di sottoporsi all’esperimento.

Un ultimo fattore i cui effetti vengono spesso confusi con quelli della variabile X può essere definito in termini di mortalità sperimentale: in questo caso, le differenze fra O1 ed O2 rilevabili nei gruppi sono dovute a differenze nella perdita di unità di analisi da parte dei gruppi stessi. Così, anche se, inizialmente, i due gruppi impiegati per il Disegno 3 risultavano equiparabili, è possibile che, successivamente, essi mostrino delle differenze, ascrivibili non già a un cambiamento verificatosi nei soggetti che li compongono, bensì alla perdita di alcune unità di analisi da parte di uno dei gruppi. Per quanto riguarda la ricerca in ambito didattico-pedagogico, questo problema si riscontra con maggiore frequenza negli studi che si propongono di accertare gli effetti dell’istruzione universitaria comparando le misurazioni effettuate sulle matricole (non ancora sottoposte ad X) con quelle effettuate sugli studenti dei corsi superiori (già sottoposti ad X). Nel caso in cui si evidenzi che le ragazze del primo anno sono più belle delle studentesse che frequentano i corsi superiori, lo studioso si guarderà bene dal concludere che l’effetto dei duri corsi universitari sia quello di imbruttire; piuttosto, egli sottolineerà che il fatto che una bella ragazza concluda gli studi prima di sposarsi è estremamente improbabile. Questo tipo di effetto viene classificato come mortalità sperimentale. (Naturalmente, se consideriamo le stesse ragazze sia come matricole sia, tempo dopo, come studentesse dei corsi superiori questo problema scompare e si ritorna al Disegno 2).




Condividi con i tuoi amici:
  1   2   3   4


©astratto.info 2019
invia messaggio

    Pagina principale