Net Promoter Score (NPS), l'indicateur volatile

Net Promoter Score

Nous avons récemment publié une tribune qui met l'accent sur une série de problèmes liés au Net Promoter Score (NPS). Il ne mesure pas le bouche à oreille (étant donné qu'on ne mesure pas la recommandation effectivement réalisée), on n'a jamais démontré son impact sur la fidélité réelle des clients (seulement sur leur "intention de fidélité" - déclarée), et à un même NPS peut correspondre des situations très variables, etc... Si l'intention de recommandation est un indicateur utile, elle ne saurait être l'indicateur ultime. Ici nous allons mettre l'accent sur un point particulier : la grande volatilité du NPS.


Feriez-vous confiance à un médecin qui vous dirait pouvoir diagnostiquer votre état de santé général avec un seul et unique indicateur ?


Un rapide retour sur le NPS. 
Le NPS est calculé à partir d'une question d'intention de recommandation, administrée sur une échelle en 11 positions, de 0 à 10. Les notes de 0 à 6 rassemblent les individus dits "détracteurs", les notes de 7 à 8 rassemblent les individus dits "passifs", et les notes de 9 à 10, les "promoteurs". Le NPS est en fait le solde des pourcentages de promoteurs - détracteurs. Plus le NPS est haut plus la posture de l'entreprise est favorable, et vice-versa. 
Sur le fond, nous n'avons rien à objecter à l'utilisation d'une question de recommandation, elle a de tout temps été utilisée  pour offrir une vue (parmi d'autres) sur l'état d'esprit du client. Nous contestons son caractère prédictif de lactivité économique de lentreprise et surtout sa capacité à devenir « The Ultimate Question » comme son promoteur Fred Reichheld laffirme. Voir nos remarques précédentes ici.
 
Dans la pratique, un vrai problème de volatilité
Alors que la question dorigine sur laquelle le NPS est calculé (cest-à-dire lintention de recommandation notée sur 10) peut être relativement stable dun segment de clientèle à lautre ou dune vague denquête à lautre, le NPS qui lui correspond peut lui en revanche afficher une très grande volatilité. 
Sur un plan purement mathématique, cela pose bien évidemment un problème car si la seule composante de ce NPS est stable (lintention de recommandation), il nest pas justifiable que le NPS lui-même puisse être instable. Il a donc plutôt tendance à perturber le diagnostic quà léclairer. 
Sur un plan managérial, et cest là lessentiel, il oblige lhomme détudes à relativiser ces variations, en revenant à la métrique dorigine (la question de recommandation) pour expliquer les éventuelles variations surprenantes du NPS. On peut donc au fond se demander à quoi sert le NPS.

Voici une illustration de cette variation. Nous avons travaillé à partir dun jeu de données de 4600 interviews réelles portant sur lintention de recommandation dune enseigne de grande distribution. La question est administrée sur une échelle de 11 points dont voici, au global de léchantillon la distribution :
Problèmes NPS


Nous avons ici graphé les 23 moyennes de ces sous-groupes et leurs 23 NPS associés.

Afin détudier la stabilité du NPS, nous avons effectué un tirage aléatoire sans remise permettant daffecter chaque interview à 23 groupes différents comportant chacun 200 interviews (23 x 200 = 4600 interviews). Cela permet de simuler lexistence de 23 « segments » de clientèle ou 23 « vagues » denquête.

Problèmes NPS
Nous pouvons demblée observer le caractère instable du NPS autour de la droite dajustement. Si par exemple nous observons les deux points marqués en rouge de moyenne respectivement (6,87 pour le premier et 6,90 pour le second) nous pouvons calculer (écarts types respectivement 2,05 et 2,34) que leur différence nest pas significative. 

En dautres termes, si ces deux moyennes correspondaient à deux vagues denquêtes successives lintention de recommandation devrait être considérée comme stable. Or le NPS passe de -8% à -14%. Comment donc interpréter cet indicateur qui se veut simple, didactique et intuitif, étant donné son instabilité et son imprévisibilité ? Sans parler du sens de variation qui est visiblement incorrect. 
Le NPS est une métrique qui peut enregistrer une grande volatilité, sans qu'elle reflète une évolution significative de l'intention de recommandation. C'est nous pensons un sérieux point à considérer avant de communiquer sur le NPS. 


Nous renouvelons nos recommandations :
  • Communiquer sur la note moyenne ou les pourcentages de recommandation d'origine,
  • Receuillir la recommandation effective au cours des x derniers mois, plutôt que l'intention de recommandation,
  • Construire son diagnostic de santé de la relation client avec plusieurs indicateurs associés, satisfaction, intention de fidélité, ancienneté du client. Pourrait-on imaginer un diagnostic de santé (sur un plan médical) avec un seul et unique indicateur ? Non. Pas davantage pour un diagnostic de l'état de la relation client...