Mesurer la facilité d’utilisation avec le questionnaire SUS

« Les utilisateurs trouvent l’application plutôt facile. » En réunion, cette phrase ne pèse rien : facile pour qui, comparée à quoi ? « Notre score SUS est passé de 58 à 74 entre les deux versions » se discute, se compare et se suit dans le temps.

Le System Usability Scale (SUS) est un questionnaire de dix affirmations, créé en 1986 par John Brooke chez Digital Equipment Corporation. Quarante ans plus tard, il sert toujours à mesurer la facilité d’utilisation perçue de produits très variés : logiciels, sites, applications mobiles, appareils. Dès 2011, Jeff Sauro en relevait des références dans plus de 600 publications.

À la fin de cet article, vous saurez l’administrer sans biais, calculer un score sans erreur, le situer grâce aux repères publiés et, surtout, le croiser avec ce que vous observez.

D’où vient le SUS, et que mesure-t-il vraiment ?

Brooke cherchait un outil « rapide et sommaire » (quick and dirty, selon sa propre expression). Les participants sortaient de séances de 20 minutes à une heure, souvent frustrés, et un questionnaire de plus de 25 questions risquait fort de rester incomplet. D’où ce format court : dix affirmations, cinq niveaux de réponse.

Le SUS a été publié en 1996, dans un chapitre de l’ouvrage collectif Usability Evaluation in Industry. Il est libre d’utilisation : la seule condition posée par son auteur est de citer la source dans tout rapport publié.

Deux particularités le rendent à la fois robuste et piégeux. Les affirmations alternent : les impaires sont positives, les paires négatives, pour obliger le répondant à lire chacune au lieu de cocher la même colonne. Et le résultat est un score global de 0 à 100 ; Brooke précise que les affirmations, prises isolément, n’ont pas de sens.

Les 10 affirmations du SUS, en anglais et en français

Le participant indique son degré d’accord avec chaque affirmation, de 1 (« pas du tout d’accord ») à 5 (« tout à fait d’accord »). Voici les affirmations originales de Brooke et une traduction française fidèle, proposée ici pour la compréhension.

Comment administrer le questionnaire sans fausser les réponses

• Au bon moment : après l’utilisation, mais avant toute discussion ou débriefing, comme le demande Brooke. Sinon, vos commentaires influencent la note.
• Toutes les affirmations, en réponses spontanées : le participant répond vite, sans trop réfléchir. S’il ne sait pas répondre à une affirmation, il coche le milieu de l’échelle (3).
• Sans modifier le texte : le Nielsen Norman Group rappelle qu’il faut garder la formulation pour pouvoir comparer les scores. Si le mot « système » déroute, expliquez à l’oral qu’il désigne l’application testée.
• Seul : le participant remplit le questionnaire sans que l’animateur regarde par-dessus son épaule.
• Sur mobile : cinq boutons larges par ligne, toujours dans le même sens (1 à gauche, 5 à droite), et aucune réponse cochée d’avance.

Combien de participants ? Un score se calcule dès le premier répondant, mais la moyenne de cinq personnes reste très imprécise. Le Nielsen Norman Group conseille de ne pas accorder trop d’importance à la moyenne d’une petite étude, et de prévoir 20 à 30 participants ou plus pour des chiffres exploitables. Avec un petit échantillon, traitez le SUS comme un indicateur, pas comme un verdict, et calculez un intervalle de confiance avant de comparer deux versions.

Calculer le score SUS pas à pas

Le calcul tient en quatre étapes :

1. Pour chaque affirmation impaire (1, 3, 5, 7, 9) : réponse − 1.
2. Pour chaque affirmation paire (2, 4, 6, 8, 10) : 5 − réponse.
3. Additionnez les dix contributions : le total va de 0 à 40.
4. Multipliez ce total par 2,5 : le score va de 0 à 100.

Prenons Awa, qui vient de tester une application de paiement de factures d’électricité. Le tableau suit ses réponses et le calcul ligne par ligne.

Score SUS d’Awa : 31 × 2,5 = 77,5.

Le score d’une étude est la moyenne des scores individuels. Avec cinq participants à 77,5, 70, 62,5, 85 et 55, la moyenne vaut (77,5 + 70 + 62,5 + 85 + 55) / 5 = 350 / 5 = 70.

Pour automatiser, placez les dix réponses d’un participant dans les cellules B2 à K2 d’un tableur (affirmation 1 en B2, affirmation 10 en K2), puis cette formule en L2. Dans un tableur réglé en français, écrivez 2,5 au lieu de 2.5.

=((B2-1)+(5-C2)+(D2-1)+(5-E2)+(F2-1)+(5-G2)+(H2-1)+(5-I2)+(J2-1)+(5-K2))*2.5

Comment interpréter un score SUS

Premier réflexe à perdre : 70 sur 100 ne veut pas dire « 70 % de satisfaits ». Le SUS n’est pas un pourcentage. Pour situer un score, il faut le comparer à ceux d’autres produits.

Le repère le plus cité vient de Jeff Sauro (MeasuringU) : sur environ 500 études et plus de 5 000 utilisateurs, le score moyen est de 68. Sauro et James Lewis proposent aussi une échelle de notes « sur la courbe », qui situe chaque score par rapport à cette base de comparaison.

D’autres repères existent. Aaron Bangor, Philip Kortum et James Miller considèrent un produit comme « acceptable » au-dessus de 70 environ, « marginal » entre 50 et 70, « inacceptable » en dessous de 50. Ils ont aussi associé les scores à des adjectifs, à partir d’environ 1 000 questionnaires : « excellent » au-delà de 85 environ, « bon » autour de 71, « OK » autour de 51. Les auteurs eux-mêmes mettent en garde contre ce dernier mot, qui suggère un produit acceptable : sur l’échelle de Sauro et Lewis, 51 obtient un F.

Revenons à l’étude de l’exemple : une moyenne de 70, c’est un C, légèrement au-dessus de la moyenne de 68 et juste au seuil « acceptable ». Correct, sans plus : il reste du travail.

Les limites du SUS

• Il ne dit pas pourquoi. Jeff Sauro le rappelle : le SUS n’a pas été conçu pour diagnostiquer les problèmes. Un 55 vous dit qu’il y a un souci, pas lequel.
• Il mesure une perception. Un participant peut échouer à une tâche et donner une bonne note, par politesse ou parce qu’il se croit fautif. L’inverse existe aussi.
• Il dépend des tâches choisies. Des tâches faciles produisent un meilleur score : ne comparez que des études construites de la même façon.
• Il est sensible à la langue, d’où l’intérêt d’une version validée.
• Les petits échantillons sont imprécis. Un écart de quelques points entre deux versions testées sur cinq personnes ne prouve rien.
• Il contient deux dimensions. Selon les travaux résumés par Sauro, les affirmations 4 et 10 mesurent plutôt la facilité de prise en main (learnability), les huit autres l’utilisabilité. C’est utile pour une application destinée à des débutants.

Combiner le SUS avec ce que vous observez

Le SUS prend la température ; l’observation pose le diagnostic. Associez-le toujours à des mesures de performance et à des questions ouvertes :

• Le taux de réussite de chaque tâche, et les erreurs commises.
• Le temps passé sur les tâches clés.
• Une question après chaque tâche : la Single Ease Question (SEQ) fait noter la difficulté de la tâche sur une échelle en 7 points. Elle montre où se trouve la difficulté, ce que le SUS ne fait pas.
• « Pourquoi cette note ? » : posée après le questionnaire, cette question transforme un chiffre en explication.

Le tableau suivant aide à lire les combinaisons les plus fréquentes entre le score et ce que vous avez vu.

Vous pouvez commencer dès aujourd’hui : copiez les dix affirmations dans un formulaire, ajoutez-le à la fin de votre prochain test utilisateur et calculez votre premier score. Vous tenez un point de départ ; chaque version suivante vous dira si vous progressez. Pour mesurer l’effet d’un nouveau parcours d’accueil, comparez le score avant et après, en suivant notre méthode pour tester la première impression. Si vous manquez de participants, des testeurs GeekTest peuvent réaliser vos tâches et remplir le SUS sur leurs propres téléphones : il suffit de commander un test.

Pour aller plus loin

• SUS : A quick and dirty usability scale (nouvel onglet) — John Brooke (1996), chapitre de Usability Evaluation in Industry. Le texte original : l’origine du questionnaire, les dix affirmations, la consigne et le calcul du score.
• Measuring Usability with the System Usability Scale (SUS) (nouvel onglet) — Jeff Sauro, MeasuringU (2011). La moyenne de 68, les deux dimensions et les limites du questionnaire.
• 5 Ways to Interpret a SUS Score (nouvel onglet) — Jeff Sauro, MeasuringU (2018). L’échelle de notes, les centiles, les adjectifs et les seuils d’acceptabilité de Bangor et al.
• Psychometric Evaluation of the F-SUS (nouvel onglet) — Guillaume Gronier et Alexandre Baudet, International Journal of Human–Computer Interaction (2021). La création et la validation de la version française du SUS.
• Beyond NPS : SUS, NASA-TLX, and the Single Ease Question (nouvel onglet) — Page Laubheimer, NN/g (2018). Quand utiliser le SUS ou la SEQ, et combien de participants prévoir.
• Are both positive and negative items necessary in questionnaires ? (nouvel onglet) — Jeff Sauro, MeasuringU (2011). Les erreurs de codage du SUS et la version entièrement positive.