The blog of blog of blogs

Les aventures d'un ethnologue dans le grand monde

Du test utilisateurs avec 5 personnes 24 janvier 2018


Un fameux article publié par Jakob Nielsen en 2000 affirmait que 5 utilisateurs sont suffisants pour identifier en quantitatif la majorité des problèmes d’utilisabilité sur un objet particulier, réel ou virtuel.
Au-delà de cinq, il n’y a plus besoin d’ajouter des utilisateurs-testeurs encore et encore, « parce que vous retrouverez les mêmes problèmes encore et encore ». L’article explique clairement que lorsque 12 personnes sont impliquées dans un test, vous parviendrez à trouver presque 100% des problèmes d’utilisabilité.

Mais l’objectif des tests utilisateurs n’est pas nécessairement de couvrir 100% des problèmes. Il est aussi possible (et préférable) de limiter le périmètre à tester et se concentrer sur un élément précis, par exemple le processus d’achat en ligne, ou celui de la résiliation ou encore plus concrètement l’utilisation d’un nouveau type d’extincteur, ou la procédure de fixation d’un siège enfant dans une voiture.
Il s’ensuit qu’au lieu d’en recruter 12, on peut se limiter à 5 utilisateurs au minimum dans la mesure où, si ces 5 personnes sont toutes confrontées au même problème, on peut en déduire avec 90% de certitude que c’est un problème qui touche au moins 71% de la population en prenant, en termes statistiques, la limite inférieure de l’intervalle de confiance binominale.
.

Ces chiffres sont valables quelle que soit la taille de la population totale considérée.
Vous pouvez par exemple tester votre process d’achat en demandant à 5 utilisateurs d’aller sur votre site web et d’acheter un nouveau tee-shirt (avec de l’argent que vous leur aurez donné). En termes de proportions et de représentativité de ces cinq personnes, les résultats seront valables aussi bien si vous avez 20 millions de visiteurs mensuels (Amazon France) ou 150 (le-club-de foot-du-quartier).

.

Dans un article non moins fameux publié 12 ans après, Nielsen poursuit son argumentation en s’appuyant notamment sur 83 cas d’études menés par son entreprise où effectivement 5 utilisateurs-tests suffisent en moyenne pour atteindre le meilleur ratio coûts/bénéfices.

Mais… les critiques ne manquent pas… d’abord parce que :

Vous ne savez pas si vous avez identifié au moins 71% de tous les problèmes, ou juste 71% des problèmes les plus évidents (pas forcément les plus graves).

.

La littérature spécialisée a également beaucoup étudié la question et les réponses ne se sont jamais très éloignées des « 5 utilisateurs de Nielsen » comme le standard minimal de l’UI (User Interface).
Jakob Nielsen n’a jamais dit autre chose d’ailleurs, ni jamais affirmé qu’il ne fallait pas recruter 6 ou 12 ou 15 utilisateurs selon le contexte et l’objectif visé par l’étude.
Une chose intéressante à noter est que, souvent, le client qui mandate une campagne de tests, s’il est assez riche pour payer un nombre important d’utilisateurs-tests, ne le fait pas pour augmenter la fiabilité des résultats…mais pour se rassurer. Un peu comme les gens qui achètent un couteau suisse à 18 lames tout en sachant qu’ils en payent 16 de trop puisqu’ils n’en ont réellement besoin que de deux.

.

Au-delà du seuil minimum d’utilisateurs-tests, la vraie question qui émerge du débat critique est : avez-vous un processus itératif qui vous permette de vous améliorer en permanence ?

Alors effectivement, l’hypothèse de départ et l’affirmation de Nielsen peuvent être reformulées : 5 utilisateurs sont un nombre suffisant pour mettre en place un processus de tests pertinent sur la longue durée. A ce stade en effet, il est beaucoup plus efficace de mettre en place une phase de tests régulière avec cinq utilisateurs, plutôt qu’une unique campagne de tests avec quinze personnes (ou 30, ou 50).

.

Mais bien sûr, n’oubliez pas que vous n’êtes en train de faire « que » du test quantitatif. Ça ne vous apportera donc que des réponses liées à l’objet testé et non à l’expérience vécue (UX : User eXperience).
Si vous demandez à 5 utilisateurs d’acheter un ticket de RER pour aller de la gare Massy-TGV à Paris, vous aurez un test qui porte sur l’interface des bornes d’achat qui, techniquement et ergonomiquement fonctionnent très bien.

Vous allez donc rater le problème majeur (en date du début d’année 2018), qui est que 2 uniques bornes RATP sont disponibles en gare, pour accueillir les 1.200 voyageurs qui débarquent d’un TGV Ouigo et qui mettront plus de temps à attendre leur tour dans la file devant la borne qu’à faire leur trajet tout entier. A ce stade ils haïront tous votre interface, vos tarifs, votre marque, vos employés et vos produits mais pas à cause de l’interface, à cause du nombre de bornes…

Et ça les copains, il n’y a que le qualitatif qui pourra vous l’expliquer.

.

.

 

 

Votre commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l’aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google

Vous commentez à l’aide de votre compte Google. Déconnexion /  Changer )

Image Twitter

Vous commentez à l’aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l’aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur la façon dont les données de vos commentaires sont traitées.