Questo è un tema di attualità. Quante volte ci troviamo a dover gestire questionari troppo lunghi nelle indagini quantitative ? Alzi la mano chi non si è mai trovato in questa situazione. Beninteso, se siamo noi a redarre il questionario non possiamo che prendercela con noi stessi. Anche se… 

Anche se è difficile arginare le richieste del Committente, che spesso vuole utilizzare una sola ricerca per una pluralità di scopi, piuttosto che realizzarne più di una, ciascuna delle quali con finalità e obiettivi specifici.

Anche se, a volte, ci troviamo a subentrare in situazioni ormai cristallizzate (indagini ripetute a cadenza semestrale o annuale, ecc.) con la necessità di assicurare la confrontabilità dei risultati.

Che poi a voler “stagliuzzare” il questionario ci si rimette spesso in immagine. Il Committente pensa infatti che si voglia risparmiare nei costi di field, se non addirittura nell’analisi dati e nel reporting.

Naturalmente il problema vero è il deperimento della qualità delle risposte, dovuto a due fenomeni concomitanti:

  1. l’aumento dei rifiuti o delle interruzioni delle interviste, e quindi la diminuzione complessiva del tasso di risposta, cosa che oltre che rendere più costoso il field introduce le classiche distorsioni da “autoselezione”. Non potremo in sostanza avere nel campione la rappresentanza di coloro che hanno fretta, poco tempo a disposizione, o sono semplicemente intolleranti verso interviste troppo lunghe o tediose. In molte situazioni tale fenomeno costituisce una grave alterazione della capacità di raccogliere dati veramente rappresentativi dello stato dei fatti (pensiamo a una indagine sui trasporti che ad esempio non rappresenti adeguatamente le persone che si spostano per andare al lavoro nella fascia oraria 7-9). Soprattutto nelle indagini telefoniche, ma anche in quelle face to face “stradali”
  2. il calo di attenzione, la noia, la saturazione che porta il rispondente a rispondere “a caso”, ovvero, nel caso tipico delle domande multi-item con scale di giudizio a posizionarsi su modalità di risposta “rifugio”, come “abbastanza” nel caso delle scale semantiche o 6-7 nel caso delle scale quantitative 0-10, ecc., con sporadiche deviazioni in più o in meno. Quest’ultimo fenomeno può essere facilmente verificato a posteriori attraverso l’applicazione di test statistici.

Tutto ciò significa che solo a causa della eccessiva lunghezza del questionario si può compromettere la qualità complessiva dell’informazione rilevata, il cui valore diventa così molto più basso rispetto alle aspettative.

Cosa possiamo fare di fronte a questo scenario ? Informare correttamente il Committente è un must, ma a volte saremo costretti a gestire al meglio una situazione non ottimale.

Di seguito riassumo alcuni correttivi possibili:

  • randomizzazione di parti del questionario: è una soluzione interessante che sto sperimentando proprio in questi giorni in alcune indagini di customer satisfaction. In sostanza ci saranno alcune parti del questionario che saranno somministrate non all’intero campione bensì a un a parte di esso. Nella situazione più semplice avremo due versioni del questionario, che chiameremo versione A e versione B, le quali conterranno entrambe le sole domande chiave e le domande anagrafiche, mentre invece si differenzieranno tra loro per la presenza di una sezione aggiuntiva diversa, ossia costituita da domande diverse. Nell’ipotesi di somministrare la versione A e la versione B  al 50% del campione (ma possiamo anche fare scelte diverse se le riteniamo opportune), mentre tutti i rispondenti saranno interrogati sulla questioni chave, solo la metà di essi risponderà alla sezione aggiuntiva “A”, mentre l’altra metà risponderà alla sezione aggiuntiva “B”. Tale soluzione può essere però adottata solo se i sub-campioni A e B assicurano una significatività statistica accettabile per le due sezioni aggiuntive, altrimenti corriamo il rischio di raccogliere dati instabili e poco affidabili. Inoltre occorre assicurarsi che i due subcampioni A e B abbiano le medesime caratteristiche. In generale, è bene casualizzare la scelta della versione di questionario da somministrare a un intervistato, o almeno applicare a ciascun sub-campione le medesime quote di campionamento. Naturalmente possiamo, in condizioni ideali, strutturare anche tre o più versioni diverse.
  • Un uso più incisivo dei filtri: filtrando in modo più severo determinate domande possiamo limitare la lunghezza effettiva dell’intervista anche in assenza di una bipartizione del questionario. Ciò implica stabilire che a determinate domande debbano rispondere solo gli intervistati in possesso di determinate caratteristiche. Nel far questo non esistono regole generali e qualunque scelta può essere opinabile. Resta il fatto che è sempre opportuno domandarsi se è utile che tutti rispondano a una certa domanda o se non si debba piuttosto introdurre un filtro. A volte tale necessità è lampante, per esempio: che senso ha domandare cosa pensano del servizio di help desk a utenti che non l’hanno mai utilizzato ? Spingendo più in alto l’asticella potremmo però restringere l’ambito dei rispondenti escludendo gli utenti che l’hanno utilizzato una sola volta, o quelli che l’hanno utilizzato l’ultima volta più di tre mesi fa, ecc.
  • eliminazione di item a bassa frequenza di risposta. Capita a volte di strutturare domande multi-item dove un certo numero di item sono destinati a ottenere un basso numero di risposte. Per esempio, se stiamo chiedendo al rispondente di darci un suo personale giudizio sulla vivibilità delle città italiane non sarà certamente utile costruire un elenco di 50 città o giù di lì. Se su 1000 rispondenti, solo 15 avranno dato il loro giudizio su, per esempio, Cuneo, cosa vorrete mai fare di questi dati ? (…)
  • rispondere da soli a determinate domande: quando i rispondenti sono campionati sulla base di una lista anagrafica dovremmo evitare di porre domande che possono trovare risposta nel database a disposizione. Certo, a volte il Committente ci dirà: “ma così aggiorniamo l’anagrafica (…)” … resistere…, resistere, resistere…
  • evitare il ricorso a domande di controllo o a modi diversi di raccogliere informazioni su determinati aspetti chiave.  E’ vero che spesso sono accorgimenti utili, che migliorano la qualità (teorica) dell’informazione rilevata, ecc., ma quando la lunghezza supera la soglia consigliabile (10′ per una telefonica, 7-8′ per una stradale, ecc. con oscillazioni di 5′ da valutare caso per caso) bè, se ne può fare a meno
  • Evitare introduzioni tediose alle domande e termini tecnici o eccessivamente formali. Quando la durata dell’intervista è eccessiva la tollerabilità di introduzioni o formulazioni delle domande lunghe, piene zeppe di termini tecnici o con linguaggio pomposo, indispongono l’intervistato oltremisura.

 

___________________

Questionario FAO diffuso ai membri delle Nazioni Unite: nel questionario è presente la seguente domanda: “Esprimete onestamente la vostra opinione sulla scarsità di alimenti nel resto del mondo”. Gli europei non avevano idea di cosa fosse la “scarsità”. Gli africani non conoscevano gli “alimenti”. Gli americani non sapevano cosa volesse dire “resto del mondo”. I cinesi chiesero maggiori delucidazioni sulla parola “opinione”. I politici stanno ancora discutendo sul significato di “onestamente”. (Anonimo da www.pensieriparole.it liberamente adattato al contesto del blog …)