Table des matières
- Présentation
- Déterminer les objectifs du projet
- Les supports
- L'enchaînement
- Les questions
- Inviter les enquêtés à participer
- Éditer le questionnaire
- Pré-test du questionnaire
- Pour aller plus loin
Pas le temps de tout lire ?
Présentation
Le présent guide s’attache à décrire les principes et autres bonnes pratiques qui régissent aussi bien la conception que la mise en œuvre d’un projet de consultation, d’enquêtes et autres sondages.
L’enquête par questionnaire a pour objet la collecte d’informations sur un sujet défini en amont, auprès d’un sous-ensemble d’individus représentatif de la population ciblée. Il s’agit d’entrer en relation via un système de questions-réponses auprès de chacun de ces individus.
Il faut s’assurer que les réponses d’un individu sont effectivement indépendantes des réponses produites par les autres enquêtés, car on recherche les opinions/attitudes/comportements individuels et non des faits objectifs réels et admis de tous.
Ce dialogue sous forme de questions-réponses est un moyen de communication destiné à produire de la connaissance. Cette connaissance résulte aussi de notre capacité à traiter et à exploiter ces données collectées, sujet qui sera abordé dans un prochain guide (à paraître).
Déterminer les objectifs du projet
La préparation s’apparente à un processus itératif plutôt qu’à un enchaînement de tâches à cocher. Il faut au préalable déterminer les objectifs de votre enquête ou de votre questionnaire en répondant simplement à la question :
Quel est l’objectif de ma collecte de données ?
Un protocole de questions peut servir de nombreux objectifs tels que :
Comprendre
Comprendre les besoins, les attentes, les opinions, les attitudes et l’engagement des enquêtés. Par exemple :
- Satisfaction client aussi bien appliquée à un service qu’à un produit
- Recueillir les usages et les besoins des utilisateurs en vue de hiérarchiser les futures spécifications aussi bien pour la conception que l’amélioration d’un système
- Amélioration de l’expérience client directement à partir du dire des clients
- Cartographie des parcours client
- Évolution des métiers et des compétences
- Baromètre social
- Moments clefs des collaborateurs
- Qualité de Vie au Travail (démarche QVT)
- Consultation citoyenne
- Autres...
Coconstruire
Engagez et impliquez les participants dans un processus d’élaboration de :
- L’actualisation de la stratégie de l’entreprise
- Un plan d’action, son déploiement et son suivi
- L’identité de marque
- La raison d’être
- La marque employeur.
Expliquer-Ancrer
Déployez un message, une démarche, une stratégie, de façon homogène sur l’ensemble d’une population. Collectez les remontées d’information pour en évaluer l’ancrage et relever les éventuelles cristallisations ou résistances afin de piloter en temps réel et de façon optimale le déploiement de votre stratégie.
Expérimenter-Partager
Recensez et partagez entre pairs des bonnes pratiques, des initiatives innovantes et des retours d’expérience. Par exemple, mettre en place rapidement une marketplace des bonnes pratiques accessibles par tous.
Il vous faut distinguer ce que vous devez savoir de ce que vous aimeriez savoir. La règle de base pouvant s’énoncer ainsi :
Si vous n’allez pas agir sur ce sujet, ne posez pas la question.
Pensez vos objectifs en termes d’innovation et de changement, et pas seulement en termes de pourcentages et de mesures.
Intégrez dans la définition de l’objectif le résultat final à partager auprès des parties prenantes qui appréhendent plus facilement les actions les plus susceptibles d’entraîner des améliorations ou des changements, plutôt qu’un ensemble figé de graphiques et de tableaux de nombres, sources d’autant d’avis personnels et divergents.
Communiquer avec des mots et pas avec des nombres.
Construire votre enquête ou votre questionnaire en adéquation avec vos objectifs.
Surtout, n’oubliez pas que vous concevez ce protocole de questions à destination de personnes physiques. Les protocoles longs et ennuyeux ne marchent pas. Gardez à l’esprit que plus vous empilez de questions, moins l’enquêté va passer de temps sur chacune d’entre elles. Il risque de ne pas terminer l’enquête, voire pire, de la bâcler en négligeant les dernières questions. Une série de plus de 12 questions fermées lassera les participants, il faut redynamiser le questionnaire en alternant les contenus et les types de questions.
La durée idéale d’une enquête en ligne dépend du public adressé, mais généralement elle se situe entre 10 et 20 minutes. Pour les enquêtes de plus de 30 minutes, il est préférable d’interroger en plusieurs phases.
Les séquences de la plateforme talk4 sont conçues en ce sens.
Les supports
Imaginez des supports intégrés au protocole et à destination des enquêtés sous forme de vidéos, présentations, animations, illustrations. Ils doivent présenter les raisons et les objectifs du projet aux participants. Ces supports doivent finalement inciter le plus grand nombre à s’engager et à « donner le meilleur » en répondant aux questions posées.
Il est toutefois nécessaire de se prémunir de l’utilisation intempestive de graphiques fantaisistes, ils peuvent parfois distraire, voire induire un biais dans les réponses produites par l’enquêté.
Restez transparents vis-à-vis des enquêtés : expliquez ce qui est demandé et pourquoi vous en avez besoin. Prévoyez aussi de faire un retour sur les informations collectées.
Créez de la confiance en garantissant une collecte anonyme des contributions (à l’exception notable de projets de coconstruction).
Stimulez l’innovation et la coopération : toutes les idées sont bonnes même si tous les messages ne véhiculent pas que des bonnes nouvelles.
Insistez sur vos pratiques d’écoute active en partageant les feedbacks. Les participants peuvent ainsi mesurer l’impact du partage d’idées.
L'enchaînement
Décrivez l’enchaînement des contenus et des questions afin de susciter/retenir l'attention du participant tout au long du protocole.
La première question est cruciale, car elle détermine l’appétence des enquêtés à poursuivre ou non le questionnaire. Elle doit être facile à comprendre. Le participant peut y répondre aisément (par exemple : une question factuelle comprenant un nombre limité de possibilités). Elle doit aussi être intéressante et pertinente afin de susciter l’intérêt et l’envie de commencer le questionnaire.
Surtout, évitez les questions qui peuvent mettre en porte-à-faux le répondant. Enfin, cette première question doit être ostensiblement reliée à l’objectif du questionnaire tel qu'énoncé dans le message d’invitation.
Regroupez les questions qui traitent du même sujet. Cet ensemble logique doit être clairement nommé et identifié auprès des participants.
Les séquences de la plateforme talk4 intègrent directement cette organisation logique.
Rassemblez les questions d’un groupe logique qui partagent le même format de réponse (question à échelle de valeurs, question oui/non, etc.). L’objectif est d’alléger la charge cognitive des enquêtés en regard des modalités de réponse aux questions.
Regroupez les questions “délicates” à la fin du questionnaire. Il n’est pas toujours facile d’identifier ce type de question, car le niveau de gêne ressenti est étroitement lié à la population enquêtée.
Par exemple, les questions portant sur les revenus n’ont pas le même ressenti de part et d’autre de l’Atlantique. Dans ce cas, il est souhaitable de proposer des tranches de revenus (0-20 000 € ; 20 001-50 000 €...) plutôt que de poser la question brute :
“Quel est le montant de vos revenus ?”.
Rappelez-vous que la garantie de l’anonymat est un moyen efficace pour collecter des données de qualité.
Positionnez en fin de questionnaire les questions de segmentation autres que les questions filtres (âge, niveau d’étude, position hiérarchique, localisation géographique, etc.). Pour rappel, une question de segmentation est une question factuelle, fermée, permettant de catégoriser les répondants. Si ces questions sont pertinentes en vue de l’analyse croisée des résultats, elles ne le sont pas pour le répondant dans le contexte de l’enquête tel qu’énoncé dans l’invitation.
Voici les meilleures pratiques d’enquête :
- L’approche en entonnoir : le questionnaire commence avec les questions ouvertes et fermées les plus générales, faciles à répondre et ne posant pas de problèmes aux répondants. Les questions deviennent de plus en plus spécifiques au fur et à mesure du questionnaire.
Par exemple :Que pensez-vous de la nouvelle version de la plateforme talk⁴ ?
(question fermée)Estimez-vous avoir été suffisamment accompagné pour appréhender cette nouvelle version ?
(question fermée)Quelles sont les nouvelles fonctions que vous utilisez ?
(question ouverte)Pour la prochaine version, quelles sont les fonctionnalités que vous aimeriez avoir ?
Cette approche est à privilégier lorsque les sujets évoqués sont délicats pour les participants. Attention, l’approche peut échouer si les premières questions sont trop difficiles ou trop spécifiques.
(question ouverte) - L'approche pyramidale s’apparente au raisonnement inductif : le questionnaire commence par des questions spécifiques, généralement de type “questions fermées”, pour terminer par des questions ouvertes plus génériques. Les questions spécifiques du début incitent le participant à réfléchir aux sujets abordés. Elles le préparent à répondre à des questions plus générales.
- La dernière approche consiste à ordonner les questions suivant un ordre logique. Il peut s’agir de suivre aussi bien une séquence opérationnelle qu’un ordre chronologique (par exemple, interroger les collaborateurs en retraçant leur parcours d'intégration au sein de l’entreprise).
Les questions
Un questionnaire peut inclure tout ou partie des quatre types de questions suivant leurs portées :
- Être : questions factuelles
- “Quelle est votre date de naissance ?”
- Faire : questions de comportements
- “Utilisez-vous un service de cloud gaming pour jouer aux jeux vidéo ?”
- Savoir : questions de connaissances
- “Que connaissez-vous de la nouvelle version du jeu vidéo… dont la sortie est prévue en fin d’année ?”
- Penser : questions d’attitude (croyances, motivations, opinions)
- “Quel est votre jeu vidéo préféré ?”
Les formats de questions
On identifie deux formats de questions : les questions ouvertes et les questions fermées.
La question ouverte doit laisser toutes les alternatives de réponses possibles au participant. On considère aussi dans cette même catégorie les questions à compléter. L’enquêté complète librement une phrase, par exemple :
“Mes craintes face à cette nouvelle réglementation sont… ”.
À l'inverse, la question fermée limite le libre-arbitre du répondant en lui proposant de choisir parmi un ensemble prédéfini de catégories de réponses. Le choix peut aussi bien être unique, multiple, voire ordonné. Le niveau de relation entre ces catégories de réponses détermine les outils statistiques disponibles au moment de la phase d’analyse. Les quatre types de relation entre les catégories de réponses énoncées dans l’ordre du moins contraignant au plus contraignant : nominal, ordinal, intervalle et ratio.
Au regard de l'objectif initial, le choix Question Ouverte ou Question Fermée dépend aussi des outils à disposition en phase d’analyse.
Les caractéristiques de ces deux types de question :
Rédiger des questions efficaces
Il faut rédiger des questions efficaces qui :
Pour ce faire, jouer sur les trois leviers :
- La construction linguistique :
- La portée de la question :
- Êtes-vous satisfait de votre séjour ?
- Votre séjour est plaisant si…
- Le plaisir de voyager c’est…
- Le plaisir, c'est ...
- Les hypothèses explicites ou implicites de la question
- Que pouvons-nous faire pour améliorer votre séjour ?
- Que doit faire la France pour augmenter le nombre de touristes ?
- En quoi la mise en place d’indicateurs de performance affecterait le comportement des professionnels du tourisme ?
- Comment le développement du tourisme peut servir le rayonnement de la France dans le monde ?
Encore une fois, il est important de garder à l’esprit que la formulation d’une question, ainsi que ces labels des choix dans le cas d’une question fermée ; ne sont pas neutres. Dans une publication de 1941¹, qui a depuis fait autorité, Donald Rugg rend compte de l'écart des réponses obtenues auprès de deux échantillons de population équivalents suivant l’utilisation des verbes interdire ou autoriser.
La première formulation était :
“Pensez-vous que les États-Unis devraient autoriser les discours publics contre la démocratie ?”;
tandis que la formulation alternative était :
“Pensez-vous que les États-Unis devraient interdire les discours publics contre la démocratie ?”.
Pour la première formulation "autoriser", 21 % des participants ont opté pour l’autorisation des discours contre la démocratie tandis que 62 % l’ont refusé.
À contrario, dans le cas de la formulation 'interdire', 39 % des répondants étaient en faveur de l’autorisation tandis que 46 % des répondants étaient en faveur de l’interdiction.
Le tableau suivant résume les résultats de l’expérimentation :
L’écart entre 46 % et 62 % pour une même réponse logique a fait de cette expérimentation l’une des plus citées.
L’expérience a été depuis répliquée à de nombreuses reprises démontrant une certaine stabilité des résultats à travers le temps et l’espace (indépendance du contexte national et de la langue). Au-delà du constat, il faut s’interroger sur les causes : l’effet constaté est-il le résultat de la différence de formulation ? Ou, est-il plutôt dû aux alternatives de réponses qui ne sont pas explicitement énoncées ? Les travaux de recherche menés sur l’impact de la formulation des questions ont conforté la nécessité d’objectiver les questions posées.
Une reformulation de la question intégrerait explicitement les deux possibilités :
“Pensez-vous que les États-Unis devraient autoriser ou interdire les discours publics contre la démocratie ?”.
Dans ce cas, les labels des choix alternatifs reprennent respectivement les terminologies “Autoriser” et “Interdire”.
Il est généralement admis qu’il existe une forte corrélation entre le niveau d’étude et l’impact du vocabulaire employé sur les réponses des participants.
Pour éviter les écueils inhérents à la rédaction d’une question :
- Utilisez un vocabulaire simple, commun et compréhensible par tous les enquêtés. Il faut connaître les participants afin d’éviter les termes trop techniques, les abréviations et les acronymes qui ne leur seraient pas familiers
- Le texte de la question doit être clair, concis. Privilégiez une formulation courte
- Ne dévoyez pas la syntaxe de la question pour l’adapter à tous les cas possibles
Quelle(s) difficulté(s) majeure(s) avez-vous rencontrée(s) ?
Préférez :
Quelles difficultés majeures avez-vous rencontrées ? (1 ou plusieurs réponses possibles) - Éludez les questions à double volet (deux points d’interrogation, une conjonction de coordination sont des bons indicateurs pour les détecter)
Avez-vous de nouvelles attentes ou d’autres sujets que vous souhaitez aborder ? - Bannissez les questions à double négation
La PAC, n’est-elle pas ressentie aujourd’hui comme inefficace pour les petits exploitants ? - Évitez les biais qui affectent plus ou moins subtilement la réponse des participants.
- L'effet de primauté : les psychologues ont noté une tendance des enquêtés à choisir un des premiers choix affichés d’une liste non-ordonnée (pour une question fermée).
- Dans ce cas, la plateforme talk⁴ permet de présenter de façon aléatoire le choix des possibles à chacun des participants
- La tendance à l’acquiescement : les participants disent plus facilement “oui” que “non” pour faire plaisir, éviter de se justifier... Solutions possibles : éviter les questions binaires, formuler de façon positive/négative
- La tendance centrale : les participants ont tendance à éviter les choix extrêmes “En désaccord total” et “Tout à fait en désaccord”. Il faut veiller à ce que les libellés des choix conservent un vocabulaire homogène et que les valeurs restent équilibrées (éviter “Très bien”, “Bien”, “Assez bien”, “Hors sujet”)
- L’effet de contagion : les réponses initiales de l’enquêté conditionnent ses prochaines réponses.
Par exemple, l’item de Likert est une assertion couplée à une échelle ordinale qui permet une graduation rapide et facile des perceptions/sentiments de l’enquêté. Le score cumulé sur plusieurs questions se comporte généralement comme une variable pseudo-continue (condition nécessaire à la mise en œuvre d’analyses statistiques paramétriques). Dans ces conditions, il est nécessaire de formuler de façon inversée une ou deux assertions, par exemple :
- Je fais confiance au gouvernement pour gérer la crise de la covid-19 ?
- _… D’accord, Tout à fait d’accord
- Je m’inquiète de la capacité du gouvernement à gérer la crise de la covid-19 ?
- _… D’accord, Tout à fait d’accord
Il faut toutefois s’assurer que l’enquêté a bien lu et compris la question sinon on risque de faire face à un nouveau biais. - Les questions suggestives : aussi bien la formulation de la question que le vocabulaire employé influencent le répondant à choisir la réponse attendue ou souhaitée au détriment de sa propre opinion ou analyse.
- Donald Trump est-il complètement idiot en matière de politique étrangère ? Préférez :
- Pourriez-vous décrire la position de Donald Trump en matière de politique étrangère ?
Itérer suivant les étapes
- Rédiger différentes versions en jouant sur les trois leviers
- Notez-les suivant leur niveau d’efficacité
- Prévoir toute interprétation ambiguë de la question
- Si nécessaire, penser à séquencer dans le temps les différentes questions
- Envisager des réponses possibles
L'expertise talk⁴ vous accompagne lors la conception de votre protocole.
Aide-mémoire pour accroître le taux de réponses
- Poser les questions dans la langue native du participant
- Les questions sont intéressantes pour les enquêtés
- Le vocabulaire est bienveillant et considère les enquêtés
- Il y a une forme de satisfaction et plaisir à répondre aux questions
- Toutes les questions sont pertinentes
- Le sondage regroupe seulement des questions importantes ayant uniquement un rapport avec l’objectif
- Les questions sensibles ne doivent pas froisser les enquêtés
- Les enquêtés peuvent modifier facilement leurs réponses
- Le questionnaire est facilement disponible
- En préambule du questionnaire, il y a une déclaration claire et sans équivoque sur la protection de la vie privée
- De même, il y a une explication claire sur l’utilisation des données collectées
- Le commanditaire de l’enquête est clairement identifié
- Pour renforcer la confiance des répondants, il est souhaitable de faire signer l’invitation ou le mot d’introduction par une personne de haut rang
- Il est possible de contacter le commanditaire de l’enquête pour poser toute question, par exemple, sur la légitimité de l’enquête
- Le questionnaire se termine avec une phrase de remerciement.
“Merci d’avoir pris le temps de répondre à notre enquête. Passez une bonne journée !”
“Merci de nous aider, vous êtes incroyables !”
Inviter les enquêtés à participer
Sélectionnez votre mode d’invitation
L’enquête est accessible via :
- Un lien personnalisé pouvant embarquer la segmentation du participant.
- Un lien unique partagé par tous.
- Un lien court destiné aux envois par SMS, s’apparentant indifféremment à un lien personnalisé ou à un lien unique.
- Un QR code à scanner avec un téléphone mobile, s’apparentant à un lien unique.
L’accès à la plateforme est non intrusif pour le participant. Il ne nécessite aucune installation ou configuration sur le poste de l’enquêté. Il s’agit d’une simple application web.
Canal d’invitation :
- Courriel
- Site web
- Réseaux sociaux
- Affiche lors d’événement off-line
La plateforme talk⁴ permet de diffuser votre questionnaire sur tous vos canaux de distribution. Vous optimisez votre temps tout en maximisant vos résultats.
Message d'invitation
Rédiger un message d’invitation qui a pour objectif d’inciter les enquêtés à remplir le questionnaire.
Le message doit inclure :
- Un objet incitatif, voire accrocheur. Seuls 30 % des individus décident de lire un message à la seule lecture de son objet. Une question en objet du message suscitera l’intérêt du destinataire : “Est-ce qu’Apple vous a déjà déçu ?”. Bannir les mots : questionnaire, enquête, sondage.
- Les dates de début de fin de l’enquête.
- Le thème du questionnaire.
- Le but poursuivi pour cette enquête ainsi que le bénéfice pour l’enquêté (en regard des résultats obtenus). Formulez une invitation axée sur l’utilisateur plutôt que sur le commanditaire de l’enquête.
- Une estimation de la durée de l’enquête.
- Un seul bouton redirigeant vers le questionnaire. Le label du bouton doit inciter le lecteur à cliquer : “Je participe”, “Je veux donner mon avis”.
- Un contact personnel avec un e-mail ou un numéro de téléphone.
- En cas d’envoi à partir d’une liste de publipostage, ajouter un lien de désabonnement.
Considérez le meilleur moment pour envoyer les invitations suivant les contraintes opérationnelles et celles liées au calendrier.
Si vous souhaitez gérer vous-même vos envois d’invitation, sachez que les envois massifs de courriels sont parfois détectés comme du pourriel par les Fournisseurs d’Accès à Internet. Il est souhaitable dans ce cas :
- soit d’échelonner vos envois,
- soit de profiter directement des fonctionnalités d’invitation de la plateforme talk⁴.
Prévoir un plan de relance en amont à activer aux moments les plus opportuns en regard de l’évolution de la participation visualisée en temps réel sur la plateforme talk⁴. Il s’agit d’augmenter sensiblement le nombre de réponses collectées en sollicitant plusieurs fois les non-répondants. À chaque relance, enrichissez le courriel d’invitation d’informations complémentaires utiles pour le lecteur.
La plateforme talk⁴ vous permet de relancer uniquement les non-répondants tout en préservant la confidentialité des répondants.
Éditer le questionnaire sur la plateforme
La prochaine étape a pour objectif l’édition du questionnaire sur la plateforme en vue de le tester en “condition réelle“. Il vous faut toujours tester le questionnaire auprès de plusieurs personnes et intégrer les modifications à la suite des différents retours.
Identité de marque
La collecte en nombre des “bonnes données” reste l’objectif premier. Pour ce faire, il est possible de renforcer la légitimité du questionnaire vis-à-vis des enquêtés en s’appuyant sur l’identité visuelle de votre marque.
L’affichage de la plateforme talk⁴ est paramétré par votre logo et la couleur principale de votre charte graphique.
Message d’accueil
Si le questionnaire est transmis par internet, il est de bon ton de commencer par un message d’accueil qui reprend les éléments :
- Le rappel de l’identité du projet, par exemple, le nom du projet si un nom lui a été attribué.
- Une description du contexte du projet.
- Un exposé de l’objectif du projet en une ou deux phrases.
- Si nécessaire rassurer les participants en garantissant la confidentialité de leurs réponses.
- Projeter les participants sur la suite envisagée au terme de la consultation.
- Le temps moyen nécessaire pour répondre (le temps estimé doit être le plus juste possible afin de préserver la confiance des enquêtés).
- L’identité visuelle du projet, par exemple, le logo de l’institution qui pilote le projet.
- Une date de clôture pour cette consultation.
- Un point de contact avec les personnes en charge du projet telle qu’une adresse mail.
La plateforme talk4 propose directement à partir de l’atelier un message d’accueil type à compléter des éléments contextuels du projet.
Pré-test du questionnaire
Le pré-test du questionnaire est une étape essentielle et trop souvent sacrifiée sur l'autel du “pas le temps”, mais également et surtout par l’absence d’une méthodologie clairement établie. Pourtant, c’est bien le seul moyen d’évaluer en amont si un questionnaire pose des problèmes aux répondants... ou par la suite, aux enquêteurs lors de la phase d’analyse.
Il est à noter que les rapports d’enquête, fruits de l’analyse, ne fournissent que trop rarement des informations sur la phase de pré-test si elle a été effective.
Dans le cas d’une enquête par internet, il faut s’assurer en plus que les problèmes d’interface, telles que, par exemple, les éventuelles difficultés pour passer d’une question à l’autre, peuvent se traduire par des réponses incomplètes et un taux d’abandon important. L’enquête par internet permet aussi de mesurer des nouveaux indicateurs tels que le temps de réponse qui permet d’identifier des questions qui peuvent poser problème pour l’enquêté.
Le pré-test permet de s’assurer que les données collectées sont en adéquation avec les objectifs initialement assignés aux projets. Il peut aider à identifier les points forts et les points faibles du protocole, que ce soit aussi bien le format ou la formulation de la question, que l’ordonnancement des questions.
Il faut s’assurer que :
- Le participant rencontre-t-il des difficultés à comprendre la question ?
Le participant est-il suffisamment au fait des sujets abordés par la question ? - Est-ce-que le participant éprouve des réticences à répondre à la question ? (la question aborde un sujet sensible pour le participant).
- Est-ce-que la compréhension du participant pour chacune des questions correspond à la signification voulue ?
- Est-ce-que le participant éprouve un sentiment de lassitude, voire de fatigue au fur et à mesure qu’il répond aux questions ?
- Les répondants pensent-ils que certaines questions sont redondantes ?
- Les questions précédentes influencent-elles les réponses de certaines questions ?
(l’ordre des questions induit un biais auprès des participants). - Pour les questions à échelle de valeurs : est-ce-que l’ensemble des valeurs est utilisé ?
- Est-ce-que la durée moyenne mesurée pour compléter le questionnaire correspond au temps figurant dans le message d’introduction de l’enquête ?
- Le taux de complétion est-il satisfaisant ? La distribution des réponses est-elle équivalente pour chacune des questions ?
Il ne s’agit pas seulement de relire le questionnaire à “tête reposée”, mais aussi, et surtout, de se projeter, de se mettre en situation. Un nombre important de recherches, sous l’impulsion de la recherche médicale et biologique, ont été menées en ce sens pour élaborer les meilleurs protocoles de pré-test empiriques. Il en résulte un éventail très diversifié de méthodes d’évaluation de questionnaire.
Focus Group
Dans une première phase, vous pouvez réunir un focus group (comprenant 5 à 10 personnes) et un modérateur pour valider ou améliorer le questionnaire. Il s’agit souvent de personnes qui sont “proches” des concepteurs du questionnaire. Les réponses collectées lors du focus group ne sont pas conservées.
Il est essentiel que les membres du focus group répondent en situation au questionnaire afin de mieux en apprécier le fonctionnement. Il ne peut en aucune manière s’agir d’une simple relecture des questions sous forme d’un document au format Word ou Excel. La mise en situation est la seule manière d’appréhender aussi bien la forme et le vocabulaire des questions que l’enchaînement des questions.
Le mode draft de la plateforme talk⁴ permet de facilement diffuser et tester le questionnaire auprès d’un sous-ensemble de participants sans pour autant “polluer” les vraies données qui seront collectées par la suite.
Le dire d’experts (QAS-99)
Avec le dire d’expert, vous sollicitez les avis :
- des experts du domaine pour valider que les questions satisfont bien aux objectifs premiers du projet,
- des spécialistes des méthodes d’enquête pour vous assurer que le questionnaire répond bien aux principes généraux d’une bonne conception des questionnaires.
Ces appréciations d’experts contribuent à façonner le contenu et la forme du questionnaire. Elles se traduisent par une amélioration des données collectées et des informations plus pertinentes.
L’expertise des questions doit suivre le même schéma qui s’inspire, par exemple, du “Question Appraisal System” (QAS-99) et ses différents dérivés. Pour chacune des questions, l’expert répond par oui ou par non en ajoutant un commentaire ou une nouvelle formulation s’il a répondu négativement.
- Recherchez les problèmes liés aux instructions et explications du point de vue du participant.
- Explications/instructions inexactes ou contradictoires
- Explications/instructions complexes
- Identifiez les problèmes liés à la communication de l’intention ou du sens de la question au participant.
- La question est trop longue
- La question est embarrassante
- La question présente une syntaxe compliquée
- Le vocabulaire de la question comprend des termes techniques inconnus, peu explicites ou trop complexes pour la population cible
- La question est ambiguë
- Les périodes de référence ne sont pas clairement définies ou en conflit (pour les questions se référant au passé, les réponses sont plus précises lorsqu’elles sont liées à une période bien définie)
- Déterminez les problèmes portant sur les hypothèses qui sous-tendent la question ou la logique sous-jacente.
- Des hypothèses erronées portant sur la situation du répondant
- La question suppose par erreur, un comportement constant ou des situations qui ne varient pas dans le temps
- Les questions à double volet
- Les répondants peuvent ne pas connaître les informations demandées, ou bien éprouver des difficultés à se les remémorer.
- Le participant ne connaît probablement pas la réponse à une question factuelle (parfois liée à une demande impliquant un niveau de détail excessif)
- Exemple :
- Combien de messages textes avez-vous reçus cette semaine ?
- La question aborde un sujet pour lequel le participant n’est pas en mesure de formuler une opinion tranchée ou même d’y avoir réfléchi
- Exemple :
- Êtes-vous satisfait de l’action de votre sénateur ?
- Remarque : Il est fort probable que nombre de répondants ne connaissent même pas le nom de leur sénateur.
- La question implique une projection ou une situation hypothétique difficile à appréhender pour le participant
- Exemple :
- Comment évaluez-vous le risque de contracter un cancer des poumons dans les années à venir ?
- Une partie non négligeable des participants ne se rappelleront pas du sujet de la question.
- Validez la formulation, le caractère sensible ou le parti pris de la question.
Dans le cas présent, il s’agit pour l’essentiel de jugements de valeur qui doivent être appréciés en regard de la culture et de la sociologie des enquêtés. - La question est embarrassante pour le participant, par exemple, elle porte sur des comportements illégaux ou elle se réfère à des sujets délicats, trop personnels, voire intimes.
- Exemple :
- Avez-vous déjà conduit en état d'ébriété ?
- Le sujet abordé étant sensible, la formulation de la question doit être retravaillée afin d’atténuer, dans la mesure du possible, la charge émotionnelle de certains mots. La question comprend-elle des termes offensants ?
- Une réponse plus acceptable sur le plan social est implicite dans la question
- Exemple :
- En moyenne, combien de temps par jour passez-vous sur les réseaux sociaux ?
- _ moins d’une heure
- _ entre 1 et 2 heures
- _ entre 2 et 4 heures
- _ plus de quatre heures
- Différentes expérimentations ont confirmé l’assertion. La distribution des réponses à une question fermée portant sur la fréquence d’un comportement est biaisée par le choix des plages de fréquences lorsque certaines de ces plages peuvent être perçues comme plus souhaitables que d’autres. Il est à noter que la question ouverte est une bonne alternative pour résoudre ce type de biais.
- Évaluez la gamme de réponses prédéfinies
- Question ouverte inadaptée ou difficile à comprendre pour l’enquêté.
- Mauvaise correspondance entre la question et les catégories de réponse.
- Exemple 1 :
- Est-ce que vous avez déjà changé de conseiller ?
- _ Oui
- _ Non
- _ Sans opinion
- _ Je ne sais pas
- Il ne s’agit pas d’une question d’opinion, mais plutôt d’une question factuelle. Soit le participant a effectivement changé de conseiller, soit il n’a pas changé de conseiller, soit il ne se rappelle plus s’il a effectivement déjà changé de conseiller. Il faut dans ce cas, remplacer le label Sans Opinion par Je ne sais pas.
- Exemple 2 :
- À l’avenir, envisagez-vous de partir en vacances à l'étranger ?
- _ Oui dans les 6 prochains mois
- _ Oui dans les 12 prochains mois
- _ Non
- C’est une question oui/non à laquelle on a artificiellement greffé la notion du “Quand”. De toute évidence, la date estimée doit figurer dans une question conditionnelle supplémentaire :
- Est-ce qu’à l’avenir vous envisagez de partir en vacances à l'étranger ?
- _ Oui
- _ Non
- SI _ Oui
- Quand envisagez-vous de partir en vacances à l’étranger ?
- _ dans les 6 prochains mois
- _ dans un délai compris entre 6 et 12 mois
- _ dans plus d’un an
- Les réponses possibles sont peu précises.
- Exemple :
- Combien de fois par mois allez-vous au cinéma ?
- _ Jamais
- _ Parfois
- _ De temps en temps
- _ Fréquemment
- L’interprétation de Parfois et De temps en temps varie suivant les personnes.
- Les catégories de réponses se recoupent
- Exemple :
- “2001, l'Odyssée de l’espace” est le meilleur film de science-fiction de l’histoire du cinéma ?
-
- Lorsqu'une personne est tout à fait d’accord, elle est aussi d’accord. Il est préférable dans ce cas d’ajouter un plutôt au deuxième et troisième labels afin de lever toute ambiguïté pour l’enquêté.
- Les catégories de réponses sont incomplètes.
- Exemple :
- “Portez-vous un casque lorsque vous vous déplacez à vélo ?”
-
- Un cycliste qui porte un casque de temps en temps aura du mal à choisir une réponse qui lui corresponde. Attention, dans ce cas Rarement est peu précis (voir ci-dessus).
- L’ordre d’affichage des catégories de réponses n’est pas logique
- Exemple :
- “Combien de films avez-vous vus au cinéma ces 3 derniers mois ?”
-
- Les catégories de réponse sont affichées dans l’ordre croissant, il n’est donc pas logique de voir figurer le libellé Aucun en queue de liste. Il est conseillé, dans ces conditions, de repositionner le label Aucun en tête de liste.
- Si vous êtes en mesure d’anticiper que la plupart des enquêtés apporteront la même réponse à une question, les données ainsi collectées n’auront aucune valeur au moment de la phase d'analyse. Cette question doit être retirée du questionnaire.
- Si les données collectées sont destinées à calculer un ratio, assurez-vous que les questions du numérateur et du dénominateur portent sur la même période de référence.
- Les catégories de données collectées doivent être en adéquation avec l’objectif, les types d’analyses envisagés, et donc les transformations de données requises par ces analyses.
- Basculer de l’identification et la résolution des problèmes manifestes rencontrés par les enquêtés à l’amélioration de la qualité des données collectées de sorte que les indicateurs et autres mesures relevées en phase d’analyse répondent mieux aux objectifs fixés en amont du projet.
- Développer de nouvelles méthodes de pré-test ou adapter des méthodes issues d’autres usages.
En appliquant la liste de vérification du QAS-99, vous traitez la plupart des problèmes rencontrés lors de l’évaluation du questionnaire.
Il incombe au concepteur du questionnaire de toujours garder à l’esprit que les questions permettent bien de collecter les données nécessaires pour satisfaire les objectifs du projet. Il est nécessaire, dans ces conditions, de vérifier en sus :
Attention, le QAS-99 considère les questions individuellement. Il faut encore s’assurer que l'enchaînement des questions marche, d’où la nécessité de mixer les autres méthodes de validation du questionnaire.
Le debriefing des répondants
Vous demandez à un petit sous-ensemble représentatif d’enquêtés, entre 10 et 200, leurs retours d’expérience après avoir répondu au questionnaire. Pour se prémunir de tout biais, les répondants ne sont pas informés que l'enquête est un prétest.
Cette collecte d’information se traduit généralement par l’ajout de nouvelles questions ouvertes et fermées à la fin du questionnaire. Ces questions d’évaluation portent sur la compréhension, l’interprétation des questions, l’intérêt ressenti par le répondant. Le débriefing peut aussi être réalisé sous forme d’entretien oral.
Le debriefing a pour objectif de valider la pertinence de l’ensemble du processus de consultation. Cela permet d’identifier en amont d’éventuels problèmes techniques (firewall, spam, etc.), d’avoir une première approximation de la distribution des réponses et d’évaluer empiriquement le temps moyen nécessaire pour répondre au questionnaire.
Toutefois, le debriefing des répondants est une méthode passive dans laquelle l'enquêteur se contente d’observer la personne interrogée sans sonder activement sa compréhension des questions au moment où il répond à la question. Il faut garder à l’esprit qu’avec le debriefing, on identifie les difficultés rencontrées par les enquêtés à répondre à une question, soit à partir du décompte des réponses (“ne sait pas”, absence de réponses), soit par le retour direct de ces mêmes enquêtés qui signalent les problèmes rencontrés. Les répondants peuvent très bien interpréter à contre-sens une question sans en avoir conscience.
Les problèmes rencontrés lors de la phase de pré-test ont amené les experts du domaine à en repenser les objectifs suivant les deux dimensions :
L’entretien cognitif
Il s’agit de demander au testeur de “décrire ce qui lui passe par la tête” entre le moment où il découvre la question et le moment où il formule sa réponse. Le testeur est mis en situation, il répond soit à haute voix, soit en interagissant directement avec l’interface de la plateforme.
Le pré-test cognitif rend compte de façon empirique des processus cognitifs qui se mettent en place lorsque le participant répond à une question. Ce type de démarche est particulièrement adapté pour comprendre comment le participant interprète, analyse puis répond à une question. Elle permet alors d’identifier des pistes d’amélioration possibles en regard des problèmes identifiés.
La pertinence de l’entretien cognitif est étroitement liée à l’expérience du modérateur qui est amené à interroger le panel d’enquêtés.