Ces chiffres sortis de nulle part
Par Edward Cage | Le 08/05/2018
Que ce soit en tant que lecteur curieux ou citoyen remplissant son devoir d'information, ou encore en tant que membre d'une entreprise, d'une association ou d'une administration publique, il vous est déjà souvent arrivé de chercher à mieux comprendre un fait social ou un groupe plus ou moins large de personnes. Mieux comprendre vos concitoyens, évaluer les envies de vos consommateurs ou l'efficacité d'une mesure sur une population, décrypter une culture inconnue, chercher des conseils pour optimiser les process de votre entreprise ou un avis sur le potentiel d'un projet ou d'un produit : tout cela nécessite des informations, une description de ce que font ou pensent certains groupes, certaines populations et les sous-populations qui les composent. Et pour cela, vous lisez des études ou des articles qui en font mention, vous écoutez des discours de personnalités politiques ou de représentants d'entreprises, voire vous envisagez de faire appel à un prestataire si vous êtes une entreprise, une association ou un organisme public.
Voilà une démarche très saine que de chercher à s'informer pour mieux comprendre l'être humain ou la population sur laquelle vous travaillez. Mais pour cela, encore faut-il que les informations auxquelles vous avez accès soient complètes et fiables.
Et c'est sur ce point que je souhaite vous interpeller, car à moins d'être un professionnel de ce secteur, vous aurez sans doute quelques difficultés à déterminer si les affirmations auxquelles vous avez accès sont fiables ou non (ou si la prestation que vous avez commandée en tant qu'organisation vaut l'argent que vous y avez investi). Et il est malheureusement fort probable que vous tombiez sans le savoir sur les résultats peu utilisables ou à l'intérêt anecdotique d'un des nombreux instituts d'études peu regardant sur la véracité des données qu'ils fournissent.
Même les plus grands groupes, leaders du marché international depuis plusieurs décennies et jouissant d'une immense renommée, fournissent souvent des travaux du plus grand amateurisme et regroupent des chargés d'études ne disposant pas des compétences techniques nécessaires. Tous font débourser à leurs clients plusieurs milliers d'euros pour des études au mieux superficielles et bien souvent biaisées voire, dans certains cas, délibérément mensongères.
J'ai ressenti le besoin d'écrire cet avertissement en réaction à de nombreuses situations révoltantes auxquelles j'ai été confronté depuis plusieurs années.
- En tant qu'étudiant, j'ai vu des amis revenir de stages dans certains instituts en me décrivant leur travail comme une masse de projets exécutés à la va-vite, sans la moindre implication et donnant des résultats d'une qualité suffisamment médiocre pour que la plupart aient sérieusement hésité à l'idée d'inscrire cette expérience sur leurs CV.
- En tant que chercheur d'emploi, je me suis présenté à des entretiens pour des postes que j'ai fini par refuser et durant lesquels on m'a expliqué que "On souhaiterait faire des enquêtes plus approfondies, mais nos clients veulent qu'on réponde à leurs questions dans les deux jours", ou encore que "On le sait que nos résultats ne sont pas rigoureux, mais bon ... c'est pas grave".
- En tant qu'amateur de jeux vidéo et ancien rédacteur de brèves sur l'actualité vidéo-ludique, j'ai lu des études prétendant décrire l'usage de ce média chez la population française, et proposant une vision simpliste et exagérée des joueurs, qui seront parfois décrits de telle ou telle manière dans l'objectif explicite de servir les intérêts politiques des éditeurs.
- En tant que sociologue, j'ai observé des politiciens réutilisant aveuglément des mesures dénuées d'explication et de contexte et n'hésitant pas pourtant à les présenter comme des faits indéniables, car "avoir les chiffres sous les yeux" semble suffire.
Et j'ai surtout vu de nombreuses personnes de tous horizons croire des affirmations infondées, sans se poser de question. C'est donc pour tout cela que j'écris ce petit texte dénonçant ces trop nombreuses études dénuées d'éthique et de fondement scientifique : pour que vous, entreprises, grand public, ou décideurs politiques, puissiez avoir quelques indices à repérer pour, si nécessaire, prendre un peu de recul sur ce qui vous est dit. C'est donc ce type d'études que je vous propose ici d'apprendre à reconnaître, à l'aide d'un petit ensemble de caractéristiques facilement repérables et formant un portrait-type correspondant à la plupart des études superficielles qu'on lit un peu partout.
Note
Il est important que le lecteur prenne en compte le fait qu'il ne s'agisse ici que d'une sorte de portrait-type des études socio-économiques/marketing/d'opinion non-scientifiques, un ensemble purement indicatif de caractéristiques décrivant ce type d'études telles qu'on les rencontre le plus souvent. Cela suppose les deux limites :
- D'une part, cette liste n'est pas exhaustive : une étude peut tout-à-fait être superficielle et mensongère sans toutefois correspondre à la description qui est faite ici. D'autres choses peuvent être prises en compte pour juger de la qualité d'une étude : seules les caractéristiques les plus courantes sont indiquées.
- D'autre part, le fait de retrouver une ou deux de ces caractéristiques n'est pas en soi un indicateur suffisant de la faible qualité d'une étude. C'est plus l'accumulation de ces éléments qui doit vous inciter à vous poser des questions.
Une fois encore, comprenez bien que les points suivants ne tentent que de dresser le profil-type des études bâclées les plus courantes : une description qui correspond à la majorité de ces travaux, un ensemble d'indices devant vous faire douter de ce que vous êtes en train de lire.
L'étude se base uniquement sur un questionnaire
L'utilisation d'un questionnaire (de même que l'utilisation de bases de données et les démarches quantitatives en général) est une méthode d'enquête très largement utilisée du fait de sa simplicité et d'une certaine précision de mesure. Il s'agit de l'une des techniques de base qui est utilisée par une très grande part de professionnels décrivant les populations. La mise en place et l'exploitation d'un questionnaire est une méthode fiable, parfaitement utilisable tant pour la recherche fondamentale que pour la recherche appliquée.
Mais dans ce cas, où l'utilisation d'un questionnaire peut-il poser un problème ? Lorsqu'un chargé d'étude est prêt à mettre de côté la rigueur indispensable à une enquête, le questionnaire a la particularité d'être extrêmement simple et rapide à mettre en place, par rapport aux autres méthodologies envisageables. Si l'on choisit de laisser de côté le travail de réflexion normalement nécessaire, un questionnaire peut se créer facilement, rapidement et en réduisant coûts et efforts : l'ensemble du travail pouvant alors représenter à peine une demi-journée. Contrairement à la réalisation d'entretiens, par exemple, qui nécessite quoi qu'il arrive une certaine organisation et l'investissement d'un temps précieux, un mauvais questionnaire se montre très efficace et donc particulièrement attractif pour les instituts peu regardant sur la qualité de leurs productions.
Les résultats se constituent d'une série de tris à plat (c'est-à-dire des données sous forme de pourcentage)
Là encore, la recherche de rentabilité en termes de temps et d'argent ont leur mot à dire. Lorsqu'on réalise un questionnaire très peu fourni, qu'on ne prend pas la peine de chercher un nombre suffisamment élevé de répondants, ou simplement lorsqu'on ne souhaite pas prendre le temps d'analyser correctement les données, les tris à plats sont tout indiqués. Très simples à réaliser, ils permettent d'obtenir quelques informations à présenter, en un minimum de temps. Le souci, c'est que les tris à plat ne permettent généralement d'obtenir qu'une simple description de population ou de comportement global.
Aucune chance, dans une étude bâclée, de trouver des méthodes d'analyse plus poussées, telles que des tris croisés (répartition des répondants entre les réponses de deux questions, permettant, entre autres, une description bien plus fine et une mise en relation de différentes variables), des régressions logistiques (méthode statistique permettant de déterminer d'éventuels liens entre plusieurs variables et la force de chacun), ou encore des verbatims d'entretiens (extraits de discours d'enquêtés, permettant d'étayer des informations par un témoignage, de faire apparaître des représentations, ou encore d'étudier des récits et des relations de cause à effet entre différents événements).
Le questionnaire contient des questions subjectives
La difficulté à laquelle on peut être confronté dans le cas d'un questionnaire auto-administré (c'est-à-dire rempli par le répondant lui-même) est que les informations données ne correspondent pas toujours à la réalité factuelle, tout particulièrement lorsque la question porte sur une notion, un concept, même si celui-ci peut sembler à première vue précis et consensuel.
Sans aller jusqu'à prétendre que les répondants mentent, il est en revanche certain que leurs réponses dépendent de leur propre manière d'appréhender ce dont on parle, de leurs propres représentations, de leur propre façon de se positionner par rapport à un sujet. D'une personne à l'autre, une même question peut ainsi mesurer deux choses différentes, selon ce que chaque répondant comprend de celle-ci. C'est pourquoi, lors de la réalisation d'un questionnaire et mises à part les questions destinées à mesurer des représentations ou à réaliser une analyse lexicale, il est indispensable de poser des questions se basant sur des éléments très concrets et facilement mesurables.
Prenons un exemple tiré d'une véritable étude portant sur l'éducation et la professionnalisation. Cette étude se basait sur un questionnaire proposant une liste d'affirmations, parmi lesquelles "Es-tu d'accord avec les affirmations suivantes : - Je connais mes goûts". Il s'agit-là d'une question qui fut utilisée à tort pour mesurer les connaissances qu'ont les répondants de leurs préférences entre les différents domaines professionnels existant ; il s'agit en quelque sorte de savoir si le répondant se connaît lui-même. Pourtant, cette question ne peut en aucun cas mesurer cette variable : elle ne mesure que l'idée que se font les répondants de leurs propres connaissances (et non les connaissances elles-mêmes), d'une part, et les connaissances portant sur ce qu'il identifieront sous le concept de goût, d'autre part. Malgré son utilisation comme donnée fiable et précise, cette question mesure des choses différentes d'un répondant à l'autre, en plus de mesurer totalement autre chose que ce qui était initialement recherché.
L'enquête est basée sur un échantillon de 1000 et quelques personnes ...
Si le nombre de 1000 répondants est effectivement une limite symbolique, elle demeure symbolique. Le nombre minimum à rechercher dépend surtout du sujet d'étude auquel on s'intéresse et du nombre de profils de personnes susceptibles de répondre. Ainsi, un questionnaire peut tout à fait être correct avec 600 répondants et il arrive fréquemment que l'on en obtienne plusieurs milliers. Ce nombre de 1000 -et plus couramment 1002, 1009, 1032, ...- est souvent recherché pour coller à ce palier symbolique et se donner un aspect de travail sérieux. Mais il ne s'agit que d'apparence et atteindre tout juste le millier de répondants n'est pas nécessaire et encore moins garant de la qualité d'une étude.
... ou sur un échantillon dont le nombre de répondants n'est précisé nulle part
L'autre aspect que l'on observe régulièrement avec le nombre de répondants, tout en étant le pendant des résultats présentés sous forme de tris à plat. Ne pas préciser le nombre d'individus ayant répondu au questionnaire est parfois une manière de cacher le fait que ce nombre soit extrêmement faible. Si quelques centaines de répondants peuvent parfois être suffisants pour avancer des résultats sérieux, on observe régulièrement des instituts travaillant sur des panels ne regroupant pas même 20 personnes.
La tendance à tout présenter sous forme de pourcentages pose ici un sérieux problème. Affirmer que 80 % des répondants d'un panel de cinq personnes ont tel avis n'est certes pas faux d'un point de vue strictement mathématique. Mais, en plus du fait qu'on ne puisse tirer aucune conclusion de l'étude d'un aussi petit nombre de répondants (puisque l'impact du hasard sur les variables étudiées est alors central), la manière dont il est présenté induit le lecteur en erreur en le laissant croire qu'il s'agit d'un phénomène général.
L'enquête est faite par un institut recrutant des chargés d'études formés au marketing
Les formations en marketing intègrent généralement des cours liés à la réalisation de questionnaires et de sondages. Mais il ne s'agit souvent que de cours secondaires : de la même manière qu'une formation en management peut aborder des notions de psychologie, ces formations ne sont la plupart du temps pas centrées sur ce type de réalisation. Autrement dit, en vous intéressant aux offres d'emploi d'un institut d'études, si vous remarquez que la formation demandée est un Master voire une simple Licence en marketing/communication, il y a des chances que les personnes réalisant ces études ne soient tout simplement pas formées à le faire.
De même, si vous remarquez dans les offres d'emploi une demande importante et presque centrale de la maîtrise d'Excel et surtout de Powerpoint, il est possible que le recruteur cherche en priorité des personnes capables de bien présenter leurs résultats plutôt que des personnes capables de simplement obtenir des résultats rigoureux.
L'auteur insiste sur la représentativité de son échantillon
La représentativité n'est utile que dans certaines circonstances : tout particulièrement si l'on cherche à décrire certaines variables d'une population dont on connaît déjà les caractéristiques ou pour décrire une sous-population par rapport à une population principale. La représentativité n'est pas toujours utile et est parfois même une chose à éviter, notamment dans le cas de l'étude d'impact d'une variable sur une autre.
Lorsque l'on souhaite tester une relation entre deux variables, dans le cadre d'une éventuelle relation de cause à effet par exemple, ce sont les variables plus que la population qui nous intéressent. D'autre part, quand on étudie statistiquement le lien entre deux variables, le plus important est d'avoir un nombre de répondants suffisamment élevé et similaire pour chacune des réponses aux questions. Ainsi, lors de ce type de test, les grandes différences d'effectifs que l'on observe parfois entre les différentes modalités, en conséquence de la représentativité des effectifs, réduit la significativité du tri. La représentativité n'est en aucun cas un garant du sérieux d'une étude et ne devrait jamais être un automatisme appliqué partout par défaut.
L'étude est réalisée en quelques jours
Quand on sait qu'un à deux mois de travail à temps plein par une équipe de plusieurs personnes est le strict minimum pour réaliser une enquête qui ne fera malgré tout qu'effleurer un sujet, voir des enquêtes réalisées en moins d'une semaine a de quoi faire sourire.
Et pourtant, cela existe. Alors comment est-il possible que des résultats puissent être publiés ou fournis à un client en aussi peu de temps ? Il n'y a pas de secret pour ça : la seule façon de faire une étude aussi rapidement suppose tout d'abord de ne pas prendre de recul ni d'avoir d'approche réflexive sur son sujet et simplement poser quelques questions ou obtenir quelques données sans se demander ce qu'elles mesurent réellement.
Ensuite, il n'est pas possible d'être aussi rapide si l'on doit faire la démarche de rechercher des enquêtés. Donc à moins d'inventer des données ou de réaliser une étude sur un nombre extrêmement réduit de personnes, la seule méthode est de disposer d'un panel de répondants déjà prêt. Or, l'utilisation de cette dernière méthode induit un immense biais dans l'enquête : d'une part parce que les panels tout prêts sont généralement constitués de personnes rémunérées pour répondre à ce type d'enquête ou ayant un intérêt à y répondre, et d'autre part parce qu'il y a là une sélection des répondants qui n'est pas faite en fonction de la problématique de l'enquête.
Une telle étude se base donc sur des individus non-neutres et qui sont sélectionnés sans prendre en compte la démarche réflexive qui n'a de toute manière pas eu lieu. En fait, il n'est simplement pas possible pour une enquête de donner un aperçu de la réalité sans se baser sur un panel d'enquêtés créé sur-mesure.
Les résultats sont présentés sous la forme d'une infographie
Des données chiffrées indiquées en gros, avec des couleurs et beaucoup d'éléments graphiques : présenter des résultats d'une manière lisible, percutante et facilement compréhensible est toujours une qualité, c'est indéniable. Mais il faut aussi avouer que cette qualité est systématique dans les études cherchant à masquer le manque d'informations fournies. Dans ce cas, il s'agit avant tout de faire de jolis diagrammes et camemberts, afin de remplir l'espace qui autrement aurait été laissé vide par des résultats ne représentant que quelques lignes.
Les limites ne sont pas clairement indiquées
En pratique, aucune enquête n'est capable de faire le tour d'un sujet, d'en apporter une vision exhaustive. Dans l'étude des personnes, comme dans n'importe quelle autre science, les réponses apportent systématiquement de nouvelles questions. Il n'est toujours possible d'étudier qu'une population limitée, dans une période limitée ou alors dans un contexte bien précis.
Dans n'importe quelle étude assumant ces limites humaines, en plus des résultats, il sera toujours fait mention de ce qui n'a pas pu être étudié, des nouvelles questions que cette étude soulève, des biais possibles, ou alors du fait qu'il s'agisse d'une enquête exploratoire ou que la publication ne fait qu'avancer une théorie.
Mais lorsqu'un auteur n'assume pas les limites de son enquête et ne les indique pas (ou alors en petit, avec une astérisque), c'est peut-être soit parce qu'il n'a pas conscience de tout ce qui n'est pas étudié (suggérant un manque flagrant de réflexion sur son sujet d'étude), soit parce qu'il en a conscience mais cherche à le dissimuler (afin de ne pas perdre en crédibilité, voire de manipuler les données à l'avantage de son client).
En observant le portrait-type qui est présenté ici, vous ressentirez sans doute une impression de déjà-vu. Toutes ces caractéristiques sont peut-être celles que vous avez l'habitude de voir, dans toutes les études de population que vous avez lues ou dont vous avez entendu parler dans des magazines, des journaux télévisés ou dans la bouche de personnalités politiques.
Et pour cause : c'est bien la très large majorité d'entre elles qui correspondent à ce que j'identifie comme des études de mauvaise qualité, c'est-à-dire des études superficielles, bâclées, biaisées et plus généralement toutes les études ne donnant aucune information pertinente et/ou obtenue de manière non-rigoureuse. L'essentiel des études dont vous entendrez parler de-dehors du milieu de la recherche fondamentale avancent des affirmations qui, bien souvent, sont partielles voire purement et simplement fausses. Des enquêtes qui sont réalisées rapidement, sans recul, sans démarche scientifique et parfois dans l'objectif de satisfaire un client qui préfère des résultats qui l'arrangent plutôt que des résultats correspondant à la réalité.
Mais alors pourquoi des études aussi bâclées sont-elles à ce point courantes ? Eh bien, pas seulement par incompétence de leurs auteurs (même si cela entre malgré tout régulièrement en compte) : leur omniprésence existe aussi parce que c'est ce dont vous avez l'habitude, ce que vous vous attendez à lire, voire ce que vous demandez.
Les instituts d'étude sont avant tout des entreprises, soumises à des exigences de rentabilité et donc à un besoin de répondre aux exigences du marché. Même si on peut leur reprocher leur absence d'éthique et d'amour du travail bien fait, il reste assez peu surprenant de voir qu'ils tentent avant tout de répondre aux demandes de leurs clients et aux attentes du public.
Changer les choses et obtenir des informations fiables nécessite toujours une vraie volonté de s'informer, à la fois de la part du grand public (en ne se contentant pas d'un chiffre lancé à la volée par un politicien ou par le représentant d'une entreprise) et de la part des entreprises et administrations publiques (en acceptant d'investir un peu plus de temps pour cette démarche -mais pas forcément plus d'argent, puisque les grands instituts demandent déjà des fortunes-).
S'informer nécessite donc de chercher au-delà de ces études faites rapidement par les gros instituts qui inondent le marché. Il ne s'agit pas nécessairement de rechercher soi-même les informations dont on a besoin, mais plutôt de rechercher des personnes réellement capables de les fournir. Mais cela en vaut la peine : un sociologue expérimenté peut fournir une description très précise d'une population ou sous-population et des mécaniques qui la régissent, il pourra décrire ce que font et pensent les individus et les liens entre différentes variables de comportement. Et tous ces résultats ne seront pas de possibles pistes à explorer, mais bien des données scientifiques fiables décrivant avec exactitude ce qui se passe au sein de la population que vous souhaitez comprendre, ses évolutions, et les résultats que donneront tel ou tel projet.