[25 novembre: Voir jusqu’en bas dans les commentaires; le Professeur Sénécal offre un lien vers la méthodologie venant d’être publiée]
Hier, j’ai assisté au lancement de l’indice imarkscore lors du Webcom Montréal. En fait, je n’allais au Webcom que pour cet événement, ayant été très intrigué par les premières annonces de son lancement. Tout ce qui touche la mesure Web m’intéresse, alors imaginez la naissance d’un indice dont les ambitions seront sûrement de s’imposer sur le marché comme la référence de qualité des prestations numériques des entreprises canadiennes!
Cette prétention, disons-le, n’est pas rien. Mes 15 ans de consulting en marketing digital m’ont enseigné que sous peu, disons un an ou deux, tous les vice-présidents marketing du Québec voudront apparaître sur l’indice ou améliorer leur rang. Alors que nous avions passé les dix dernières années à les convaincre d’arrêter d’obséder sur avoir un « beau site » pour focaliser leur attention sur la profitabilité de leurs investissments numériques, voilà qu’un nouveau « bidule » (je sais, ce n’est pas gentil) va de nouveau les distraire des vrais objectifs. J’imagine déjà les discussions sur les cours de golf ou dans les vestiaires de gym…
Pour en apprendre plus sur l’indice, oubliez l’article très moyen du journal Les Affaires (qui ne fait qu’une énième apologie des médias sociaux pleine d’affirmations non fondées) et allez directement sur le site de l’imarkscore.
Disons tout de suite que je ne remets pas en question les compétences irréfutables des chercheurs des HEC impliqués dans ce projet et de la rigueur méthodologique qu’ils ont voulu appliquer comme me l’a fermement rappelé Sylvain Amoros, alors sur le panel de présentation. Qu’ils aient été méthodiques et rigoureux va de soi; ce qui m’intéresse plus précisément, ce sont les variables utilisées et les pondérations exercées. J’imagine bien ne pas pouvoir compter sur la publication de ces dernières, constituant vraisemblablement la « sauce secrète » (je ne connaissais pas du tout WebPerform et malheureusement le lien vers le PDF était brisé au moment de ma visite).
Par contre, je trouve que l’on peut soulever une foule d’objections, ou du moins de questions, avec ce qui nous en est révélé. Cela serait vraiment trop long de toutes les exposer ici, et peut-être que de futures discussions/débats avec les auteurs permettront d’en couvrir un peu plus.
Examinons-en tout de même quelques-unes.
Dans les dimensions évaluées par le grand public (près de 6 000 répondants, ce qui nul doute ajoute une dimension très intéressante que l’indice Secor-Commerce n’avait pas), on réagira tout de suite à celle de l’esthétisme. Bon, si 800 personnes sur 1 000 disent que X est laid, on peut probablement conclure que X l’est. Euh, non. On ne peut qu’affirmer que la majorité des gens trouve cela laid; l’histoire de l’art et du design nous enseigne que ce jugement collectif n’en est pas un définitif sur les qualités intrinsèques de l’objet en question. Mais bon, l’important ici est ce que le groupe (donc les consommateurs) pense du site. Évidemment, personne ne veut un site laid; tant qu’à construire un site efficace, aussi bien prendre soin de ses éléments esthétiques. Mais je n’ai jamais vu une démonstration probante qui établierait un lien entre la beauté d’un site et son efficacité d’affaires; en deux mots, en quoi cette beauté serait prédictive des revenus? Si la prochaine version de mon site est plus laide, mes revenus baisseront-ils?
Rien à dire sur la dimension de la navigation. La facilité d’utilisation d’un site, ou plutôt son absence, demeure encore, après plus de 15 ans de Web, la raison principale d’insatisfaction des utilisateurs. Les chercheurs ont demandé aux répondants d’effectuer une tâche et d’évaluer leur expérience (pas vu de détails sur les variables examinées). Étrangement, on leur demandait de commencer cette tâche à partir d’un moteur de recherche. Par exemple, à la directive « Aller voir le prix de l’article X sur le site de Canadian Tire », ils devaient passer par un moteur de recherche pour s’y rendre (la majorité d’entre eux l’auraient fait de toute façon), sans qu’on leur dise quelle expression utiliser; le nom de l’entreprise, celui d’un produit (m’étonnerait). Il faut croire que plusieurs arrivent à ne pas sortir sous leur propre nom! Par contre, j’ai des doutes sur l’efficacité d’une telle procédure pour tirer des conclusions sur l’efficacité de l’utlisation des moteurs de recherche par une entreprise (variable cotée).
J’aurais aimé que l’on demande aux répondants s’ils étaient clients ou non des sites évalués. On imagine bien l’impact sur la perception de la navigation d’un site (j’ai acheté des centaines de fois sur Amazon Canada; je peux le faire les yeux fermés!), mais on peut supposer l’impact encore plus important sur l’intention de revisite et de recommandation. Ce qui amène au choix des répondants, fort probablement effectué avec rigueur sur des bases aléatoires; nous aurions tout de même aimé que le facteur client/non-client ait été pris en compte.
La dimension médias sociaux soulève également un paquet de questions. D’entrée de jeu, pourquoi avoir une présence sur les médias sociaux (terme générique qui veut dire en fait Facebook, Twitter et YouTube) est-il une condition sine qua non de la qualité de la présence Web, voire de l’efficacité de l’utilisation du numérique dans ses affaires? N’y a-t-il donc personne pour dénoncer le caractère de buzz flagrant de tout ça? C’est une chose de dire que ce phénomène est important, c’en est une autre de déclarer que si vous n’y êtes pas, vous fermerez probablement un jour (les vieux du Web se rappelleront nos hallucinations des années 1996 – 2000). Vous n’utilisez pas les médias sociaux (peut-être pour des raisons parfaitement valables), ah bien, pas de chance, vous scorez zéro. Les chercheurs nous disent avoir évalué la qualité de cette présence sur ces réseaux par le niveau d’interaction. Nous aimerions plus de détails sur cette évaluation.
Quant à l’évaluation de l’utilisation du « mobile », voir le paragraphe précédent.
Par souci de garder ce billet à une longueur raisonnable, je dois m’arrêter. Mais j’espère que la discussion ne se terminera pas ici. J’ai de sérieux doutes sur l’utilité de l’imarkscore. Il sera prédictif de quoi? Il sera utile pour quoi, à part les concours au plus gros score? Est-ce qu’obtenir une meilleure note sera un facteur déterminant d’amélioration de vos affaires en ligne (revenus, économies, satisfaction client)?
Je ne dis pas qu’on ne peut pas me convaincre, qu’un jour je n’achèterai pas un t-shirt avec la mention « imarkscore bitch ». Mais d’ici là, les créateurs de l’indice ont le devoir de mieux nous l’expliquer et de nous persuader de son utilité.
Pourquoi le « devoir »? Parce que vouloir devenir la référence de comparaison, la marque de l’excellence sur le marché est quelque chose de très sérieux.
Un article avec un sens critique aigu que j’apprécie – plusieurs de tes arguments sont tout à fait valables et je suis généralement en accord. Là où j’ai un petit malaise c’est la tendance à rejeter d’emblée ce nouvel indice (outil?). Regardons du côté du Net Promotor Score ou du iPSI index, qui ont tous les deux étés conçu à l’origine dans des universités et qui sont devenus, au fil du temps, des éléments pertinents pour les gestionnaires. Concours de popularité? Questionnables dans leur méthodologie? Peut-être, mais je pense que le iMarkScore est pertinent si la personne qui le regarde va plus loin que le ranking, regarde les sous éléments qui composent l’indice et utilise aussi d’autres sources d’information. Tout comme le gestionnaire ne devrait pas se laisser leurrer simplement parce que le stock-price de son concurrent est plus haut (pour les néophytes : il faudrait regarder la tendance, le market-cap, la profitabilité, les stratégies, etc.)
Non, je ne rejète pas d’emblée l’indice; je dis vers la fin du billet que je suis le premier à être convaincu. Je crois cependant qu’avant de tous l’adopter comme si de rien n’était, nous avons l’obligation de le bien comprendre, de le critiquer, de se faire les avocats du Diable, quoi!
Je sais bien qu’il y a beaucoup de gestionnaires qui vont le prendre pour ce que c’est: une façon de conaître ce que les autres pensent de ce que l’on fait. Il y en aura aussi beaucoup qui y verront un indicateur essentiel. Mais il n’y a pas de place pour une multitude d’index dans la psyché du marché (québécois du moins) et avant de donner cette place à l’imarkscore, nous nous devons de faire en sorte qu’il la mérite.
Même réaction que Jacques Warren, côté approche de conception.
Je comprends la nécessité de mesurer le rendement de l’investissement de la présence numérique d’une entreprise.
Mais les indicateurs de mesure passent un message qui est à l’opposé de la complexification des projets numériques.
« Travaillez sur chacun des éléments et vous aurez une bonne note. »
Imarkscore risque-il de devenir le Klout des entreprises ?
J’aime la comparaison avec Klout. Nous nous évertuons tous à l’augmenter alors que personne ne sait vraiment ce qu’il veut dire, hormis que le mien à 44 est plus petit que tel collègue à 56.
Je te le dis, si l’imarkscore lève, cela va prendre beaucoup d’énergie pour ramener les gestionnaires à focaliser sur ce qui a vraiment de l’importance…
Je ne sais pas si imarkscore deviendra une référence (et je m’en fous un peu) mais à en juger par le peu de réactions que son lancement a généré sur le net, on peut se poser des questions. Mais bon, laissons le temps ouvrer et on verra.
Pour ma part, avec ma vision de concepteur, une seule chose m’intéresse en mesure: sur quel éléments précis de l’expérience dois-je travailler, et dans quel sens, pour améliorer un résultat qui sera mesurable ultérieurement selon les même critères. Si imarkscore me fournissait une liste de points précis qui, par leur mauvais fonctionnement, empêchent mon service web de performer comme il le devrait (i.e. atteindre les objectifs réalistes fixés au préalable), je suis acheteur. Sinon, je n’ai pas de temps à perdre. J’opterai pour des méthodes plus rentables.
Par contre si j’opte pour une vision marketing où la perception de qualité est quasi-aussi importante que la qualité réelle de mon service, alors là, on ne parle plus de la même chose. On sait tous qu’il se vend des tonnes de produits de mauvaise qualité à gros prix à cause d’une perception positive de la marque. Même si le produit fonctionne mal, est peu fiable, est très coûteux ou même inutile, les gens en redemandent. C’est dur à comprendre pour un rationnel comme moi, mais je l’observe quotidiennement. Dans cette optique, le imarkscore peut être intéressant dès aujourd’hui. Mais ce n’est pas ma tasse de thé comme disent les Chinois.
jf.
Et attention! La perception comme tu l’entends ici ne joue que pour la catégorie évaluée par le public, nommément le site; le reste, médias sociaux, mobile, etc le sont par des experts dont, techniquement, la perception ne devrait pas avoir de conséquence sur la réception généralisée de la marque.
En fait, ton commentaire et mon post soulève la question de l’*utilité* réelle d’un el indice.
Lu sur le site de imarkscore à propos de leur méthode :
« Ce modèle souligne que les perceptions des attributs spécifiques d’un site Web sont fortement corrélées à l’évaluation que le consommateur se fait du site dans son ensemble. »
Oui, il y a la partie « expert », mais à la base, le modèle stipule que si tu es capable de mesurer une variable globale (« perceptions des attributs ») tu pourras en déduire une autre (« évaluation du site dans son ensemble »). C’est un « leap of faith » méthodologique comme il s’en fait souvent dans la construction d’indices, et c’est valable quand 1) on est en mode comparatif et 2) qu’on traite avec la loi des grands nombres. Comme le dit plus haut Stéphane Hamel, d’autres outils de mesure devront entrer en jeu pour aller chercher un niveau de résolution nécessaire à une optimisation d’éléments précis.
Ceci dit, j’aimerais bien que l’équipe HEC soit plus transparente quant à la recette de l’indice. Peut-être publieront-ils un papier scientifique là-dessus bientôt?
Discussion très intéressante! Afin de répondre aux questions soulevées, la Chaire RBC vient tout juste de mettre en ligne une explication détaillée de la méthodologie imarkscore: http://www.chairerbc.com/fr/afficher.aspx?page=496&langue=fr
Merci de votre suivi et de cette référence importante! Je planifie une autre série de commentaires qui focaliseront plus en profondeur sur plusieurs des points que vous détaillez dans votre méthodologie.