16 suggerimenti per costruire un questionario (2)


Questo post è la seconda parte del precedente “16 suggerimenti per costruire un questionario (1)“, al quale si rimanda per le considerazioni introduttive e per la spiegazione dei primi 4 consigli citati.

Prima di esaminare nel dettaglio i suggerimenti dal n° 5 al n° 10 si ripropone l’elenco completo dei 16 consigli.

Elenco dei suggerimenti:

  1. NON ECCEDERE IN LUNGHEZZA
  2. INSERIRE ISTRUZIONI DI COMPILAZIONE E/O NOTE
  3. TONO CORTESE E RINGRAZIAMENTI
  4. SEGUIRE UN ORDINE DI DIFFICOLTA’ A CAMPANA
  5. EVITARE TERMINI OSCURI E FORMULAZIONI GENERICHE
  6. USARE TERMINI DAL SIGNIFICATO UNIVOCAMENTE COMPRENSIBILE
  7. FARE DOMANDE CHE POSSONO AVERE UNA RISPOSTA
  8. NON CHIEDERE UNO SFORZO DI MEMORIA ECCESSIVO
  9. NON CHIEDERE CALCOLI COMPLESSI O DI USARE SCALE NON POPOLARI
  10. OTTIMIZZARE E/O RANDOMIZZARE L’ORDINE DELLE RISPOSTE
  11. EVITARE DOMANDE “ORIENTATE”
  12. EVITARE DOMANDE CHE POSSONO METTERE IN DIFFICOLTA’ PSICOLOGICA
  13. EVITARE DI METTERE IN GIOCO IL PRESTIGIO, L’ORGOGLIO O L’AUTOVALUTAZIONE DELL’INTERVISTATO
  14. DOMANDE SU UN SOLO ASPETTO ALLA VOLTA
  15. LIMITARE O ELIMINARE LE OPZIONI DI GIUDIZIO INTERMEDIE O NEUTRALI
  16. LIMITARE LE RISPOSTE “NON SO” O SIMILI.

Suggerimento n° 5: EVITARE TERMINI OSCURI E FORMULAZIONI GENERICHE

Ogni questionario ha la sua audience. L’audience a sua volta corrisponde al target dell’indagine, che avremo diligentemente individuato in dettaglio nella fase di pianificazione della ricerca. Non è la stessa cosa strutturare un questionario per studenti universitari piuttosto che per piccoli imprenditori edili o per famiglie con bambini in età pediatrica. Esempi presi a caso, ma situazioni sufficientemente distanti da far considerare in modo attento il linguaggio utilizzato. Troppo spesso chi formula il questionario usa il proprio linguaggio piuttosto che quello dei destinatari. O ancora più spesso, il linguaggio tecnico-manageriale dell’azienda committente.

La regola è semplice: essere comprensibili e chiari. Niente più di questo. Essere comprensibili per tutti i destinatari significa quindi parlare il loro stesso linguaggio. Al bando i tecnicismi, i termini di letteratura o propri del marketing, ma anche formulazioni generiche o ambigue. Si rischia infatti di ottenere risposte a diverse “domande percepite”, pur in presenza della stessa domanda.

Supponiamo ad esempio di voler svolgere una indagine sulla percezione della capacità di un dirigente da parte dei suoi dipendenti. Pensiamo di porre ai dipendenti la domanda “pensi che il Tuo dirigente abbia le capacità per svolgere un compito così complesso e di responsabilità?”. E’ chiaro che questa formulazione è eccessivamente generica. Che intendiamo per capacità? E soprattutto cosa intende per capacità ognuno dei dipendenti intervistati? Qualcuno di loro farà riferimento soprattutto alle competenze tecniche, altri magari alla leadership, altri ancora alla capacità di comunicare e così via. L’uso di termini generici mette infatti in campo una pluralità di interpretazioni e sfumature che squalificano l’intento stesso dell’indagine, ovvero il voler raccogliere un numero di giudizi/opinioni statisticamente significativo su una serie di argomenti di interesse.

Suggerimento n° 6: USARE TERMINI DAL SIGNIFICATO UNIVOCAMENTE COMPRENSIBILE

Stiamo ora parlando di un concetto molto simile a quello esposto al punto 5. Ma con una sfumatura diversa. Nell’esempio della capacità del dirigente il problema maggiore è la sua genericità, che si porta dietro la possibilità di prestarsi a una moltitudine di interpretazioni. Ma lo stesso problema può verificarsi anche per termini che generici non sono. Vediamo…

Stiamo svolgendo un’indagine sull’alimentazione e inseriamo nel questionario una domanda apparentemente banale e ben formulata come “Con quale frequenza Ti concedi una merenda, all’interno di una settimana tipo?” . Tuttavia, questa formulazione nasconde molte insidie, la maggiore delle quali è: che intendiamo per “merenda”? 

Se cerchiamo una definizione di “merenda” in uno dei dizionari della lingua italiana più in voga, possiamo leggere “Breve e leggero pasto che si fa tra il pranzo e la cena, generalmente con cibi non cucinati, soprattutto da parte di ragazzi, e talvolta, in gite e scampagnate, anche di adulti“. Tuttavia, secondo Wikipedia… “(…) Con questo termine viene talvolta indicato anche lo spuntino mattutino, specialmente da parte degli alunni delle scuole“. Ciò implica che se sto somministrando il questionario a studenti una parte di loro includerà nel computo anche lo snack o il panino consumato durante la pausa tra una lezione e un’altra. Una parte potrebbe invece riferirsi alla sola merenda pomeridiana, con il risultato di aver minato alla base la possibilità di ottenere un risultato statisticamente affidabile, giacché siamo in presenza di due gruppi di intervistati che stanno rispondendo secondo due concetti diversi. In un caso come questo occorrerà formulare piuttosto in questo modo: “Con quale frequenza Ti concedi una merenda pomeridiana, all’interno di una settimana tipo?“. Oppure “Premesso che ai fini di questa ricerca intendiamo per merenda ‘un pasto breve e leggero consumato tra il pranzo e la cena’, con quale frequenza Ti concedi una merenda, all’interno di una settimana tipo? “.  

Nella cultura anglosassone e del nord Europa questo concetto viene espresso con il suggerimento: “Operationalize!”. La cosiddetta Operationalization è il processo di definizione della misurazione di un fenomeno che non è direttamente misurabile, sebbene la sua esistenza sia indicata da altri fenomeni. In soldoni, rispetto al nostro esempio: costruire a priori una definizione di merenda utile e congruente rispetto ai nostri scopi, descriverlo in base a concetti concreti e se possibile misurabili, poi usarlo per costruire la domanda in modo assolutamente inequivocabile. Lo stesso approccio si può applicare ai termini generici. Ecco allora che la “capacità del dirigente” di cui al punto 5 dovrà anzitutto essere attentamente definita, individuando le sue componenti misurabili. Solo poi si potrà passare alla domanda, o magari a più domande che coprano per intero il concetto di “capacità”.

Suggerimento n° 7: FARE DOMANDE CHE POSSONO AVERE UNA RISPOSTA

Quante volte ci siamo sentiti bloccati rispetto a una domanda alla quale non sappiamo rispondere? Tante, probabilmente. Nessun problema, al massimo avremo fatto una brutta figura o provato imbarazzo. Ebbene, questo può capitare anche compilando un questionario o rispondendo a una domanda nel corso di un’intervista telefonica. Qua entrano però in gioco altre considerazioni, la prima delle quali è: la risposta è obbligatoria ? Posso NON rispondere? Posso dichiararmi incapace di rispondere?

In un questionario autocompilato spesso omettere la risposta non è possibile, dato che quasi sempre le risposte sono obbligatorie. In mancanza della risposta il software non ci permette di procedere. Quindi se un’opzione tipo “non so” o “nessuna risposta” non è disponibile avremo due strade davanti: 1) interrompere la compilazione; 2) dare una risposta a caso. E questo è proprio ciò che accade, con conseguenze nefaste sia sul tasso di risposta  che sulla veridicità dei dati. Nel caso di un’intervista telefonica molti intervistati temono di veder leso il proprio prestigio nel dichiararsi non in grado di rispondere, quindi daranno una risposta a caso. Oppure termineranno l’intervista seccati.

La raccomandazione è quindi chiara: NON formulare domande che non rientrano nella cultura degli intervistati. Non si tratta sempre e solo di chiedere agli intervistati di essere competenti rispetto a temi o termini scientifici di nicchia, per esempio chiedendo a un campione casuale di famiglie di esprimere un’opinione sul digital cocooning, ma anche di indagare temi che possono essere al di fuori degli interessi sociali di una persona. Per esempio la domanda: “quale è la sua squadra di calcio preferita?” non può avere una risposta da chi non è appassionato di calcio e quindi deve essere preceduta da una apposita domanda-filtro: “Lei è appassionato di calcio?”, o magari anche “Ha una “sua” squadra preferita militante nel campionato di serie A?”.

Suggerimento n° 8: NON CHIEDERE UNO SFORZO DI MEMORIA ECCESSIVO

Per quanto concerne la memoria, occorre evitare in particolare i problemi connessi alla dimenticanza e quelli connessi al cosiddetto effetto telescopico, ossia la tendenza a collocare i fatti in un orizzonte temporale diverso da quello contemporaneo.

Talvolta nei questionari si chiede all’intervistato di fornire dati a un livello di dettaglio difficile da soddisfare. Ciò avviene per lo più in indagini connesse ai consumi e alla frequenza d’uso di beni e/o servizi. Diverse indagini Istat richiedono la quantificazione di dettaglio di varie voci di consumo. Chiaro che l’autorevolezza dell’Istat in qualche modo “obbliga” l’intervistato a ricostruire con sufficiente precisione una serie di fatti e comportamenti del recente passato (p.e. la settimana precedente l’indagine o un giorno specifico). Altre volte, se l’organizzazione che propone l’intervista non è altrettanto accreditata, lo sforzo di memoria incontra anche una resistenza psicologica.

Nell’indagare su fatti accaduti nel passato occorre poi porre dei limiti ben definiti e non eccessivamente ambiziosi alla volontà retrospettiva. Tutto ciò in stretta relazione alla rilevanza che ha l’argomento per l’intervistato. Difficile pensare, per esempio, di ottenere risposte affidabili sugli spostamenti effettuati in un determinato giorno di due mesi fa. Diversamente, un’indagine sulla composizione del menù del proprio banchetto matrimoniale potrà avere successo anche a distanza di diversi anni. In ogni caso occorre tener presente le peculiarità dell’effetto telescopico, in base al quale l’intervistato può inconsciamente collocare determinati fatti in epoche inesatte. L’effetto telescopico si presenta in due forme: a ritroso, quando l’intervistato colloca un determinato avvenimento più vicino nel tempo di quanto effettivamente sia, proiettivo quando invece l’avvenimento è percepito più lontano nel tempo di quanto non sia realmente.

Suggerimento n° 9: NON CHIEDERE CALCOLI COMPLESSI O USARE SCALE NON POPOLARI

Mi sono imbattuto più volte in quesiti tipo: “Fatto 100 il totale, quanto spesso Lei vede un film…”, seguito da una lista di 10-15 tipologie di film. Un vero e proprio delirio matematico, in un Paese dove fare di conto è ormai una capacità accessoria. Ma quale che sia la nostra capacità di calcolare addizioni e sottrazioni, una delle norme basilari del manuale del buon redattore di questionari è quella di non richiedere l’effettuazione di calcoli che siano appena più che basilari.

Il suggerimento 9 mette insieme due aspetti operativi che possono sembrare distinti, ma in realtà sono intimamente legati tra loro. Se chiediamo all’intervistato di esprimere un voto da 1 a 8, infatti, gli stiamo in realtà chiedendo di effettuare dei calcoli. Eh, sì, proprio dei calcoli…

Il fatto è che ogni persona è più o meno abituata a usare determinate scale di giudizio. Se numeriche, esse sono spesso connesse al sistema di votazione in uso nelle scuole frequentate, per esempio i voti da 0 a 10. Quindi se chiedo a una persona che ha frequentato la scuola elementare in Italia negli anni settanta di darmi un voto da 1 a 8 (otto…) lo sto costringendo a trasformare il suo 9 (su 10) in qualcosa che vada bene nella scala, (alquanto astrusa direi), da 1 a 8. Se avesse una calcolatrice potrebbe calcolare il risultato della proporzione 8:10=x:8, ottenendo 6,4, quindi 6 sarebbe il voto più vicino al risultato. Ma è plausibile pensare di ottenere risposte congrue in questa situazione ?

Meglio quindi utilizzare scale di uso popolare, tra le quali, oltre alla scala 0-10, le più comuni scale a 5 o 7 termini, magari del tipo “a differenziale semantico”.  L’argomento “scale” merita comunque ben altro grado di approfondimento, quel che conta ai fini di questo post è che memorizziate la raccomandazione di non utilizzare scale non in uso nella cultura logico-matematica del Vs target di riferimento. 4f6a8c124e425b15ece50838ce737b40

Suggerimento n° 10: OTTIMIZZARE E/O RANDOMIZZARE L’ORDINE DELLE RISPOSTE

Mind the order! – Attenzione all’ordine!
E’ bene essere consci del fatto che eventuali indizi forniti all’inizio del questionario possono influenzare le risposte alle domande che seguono, oppure che le prime affermazioni proposte a un rispondente possono influenzare la scelta del rispondente di un’opzione di risposta successiva. Questo è ciò che gli psicologi chiamano innesco, un effetto della memoria a breve termine sul nostro processo decisionale. Pertanto occorre prestare la massima attenzione all’ordine delle domande e delle eventuali spiegazioni o affermazioni proposte all’intervistato nel corso del questionario. In merito alle risposte delle domande chiuse, se possibile, è bene randomizzare l’ordine di elencazione, specialmente se sono molte. Io ho l’abitudine di randomizzare le risposte ogni qual volta siano più di 8, se il questionario è autocompilato, o più di 5 se è somministrato telefonicamente o in un’intervista face to face. A meno che non vi siano vincoli o ordinamenti naturali da rispettare, naturalmente. Questo a causa della tendenza di alcuni intervistati a concentrare l’attenzione o il ricordo sulle prime opzioni di risposta, oppure sulle ultime. La randomizzazione restituisce pari opportunità alle diverse risposte, non certamente in una singola intervista, ma sicuramente nell’ambito dell’intero campione.

(puntata 2 di 3 – segue)

 

Annunci

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione /  Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione /  Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione /  Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione /  Modifica )

Connessione a %s...

Annunci

Crea un sito o un blog gratuitamente presso WordPress.com.

Su ↑

%d blogger hanno fatto clic su Mi Piace per questo: