Gli strumenti di misurazione devono rispondere a due criteri: l’attendibilità, che si riferisce al potere del test di ottenere risposte coerenti, cioè rilevazioni il più possibile libere da errori di misura; la validità si riferisce al grado con cui uno strumento misura effettivamente ciò che si propone di misurare. La verifica dell’attendibilità non include quella della validità, ciò sta a significare che se un test è attendibile e standardizzato, ciò non significa che sia anche valido.
La difficoltà di stabilire l’attendibilità e la validità delle scale di soddisfazione nascono dai problemi generici legati alla misura degli atteggiamenti, a cui se ne aggiungono altri specifici.
Innanzitutto scale differenti non sono necessariamente confrontabili. Alcuni questionari sulla soddisfazione propongono di indagare sia l’aspetto cognitivo che quello emotivo dell’atteggiamento, per cui contengono items sia su ciò che la persona sente sia su ciò che pensa del suo lavoro. Se sia assume che ci sia coerenza nella componente di un atteggiamento, questo tipo di questionari dovrebbe essere utile, se invece le componenti dell’atteggiamento non sono coerenti, ci sarà incoerenza nella misura.
Il secondo problema che si pone e che costituisce una consistente difficoltà nello sviluppo di un questionario, è che probabilmente non tutti i soggetti interpretano gli items nello stesso modo, per cui i risultati non sarebbero attendibili. Non solo. L’atto del domandare stesso può influenzare la risposta delle persone (Feldman e Lynch, 1988). Può succedere anche che qualcuno non si sia ancora formato un opinione sulla soddisfazione per il suo lavoro e ci pensi per la prima volta nel momento in cui gli viene richiesto. E può avvenire anche che si formino un’opinione quando stanno finendo di compilare il questionario. Secondo la teoria dei processi oppositivi, infatti, la soddisfazione lavorativa cambia nel tempo, se ne deduce che il test-retest, un metodo che determina l’attendibilità attraverso due somministrazioni del questionario successive, non è appropriato, in quanto potrebbe consegnarci punteggi differenti.
Per quanto riguarda la validità, gli studi Hawthorne sono l’esempio lampante dell’errore in cui possono cadere i ricercatori: come si fa a sapere se ciò che stiamo misurando è effettivamente ciò che concettualmente abbiamo definito e intendiamo misurare?
Locke (1976) ha proposto il metodo della validazione logica. In relazione alla validazione del contenuto, tale metodo, tramite interviste, permette di integrare tutte le informazioni disponibili sulla soddisfazione del soggetto, analizzando le discrepanze sulle risposte e cercandone il significato.