Tests A/B Amazon : la règle des 1 000 vues n'est pas la leur
R
RenéFreelance Amazon Editor
|
11 min read
Demandez pourquoi votre ASIN n'apparaît pas dans Manage Your Experiments et on vous répondra qu'il lui faut 1 000 vues de la fiche produit sur les 30 derniers jours. Ce chiffre est partout, les vendeurs en débattent sur les forums d'Amazon eux-mêmes, et il ne figure nulle part dans la documentation d'Amazon. Ce qu'Amazon publie est une autre mesure dans une autre unité, et cet écart explique l'essentiel de la confusion autour d'un outil qui reste par ailleurs le seul retour honnête dont bénéficie une fiche produit.
Manage Your Experiments est l'outil de test A/B intégré d'Amazon, réservé aux vendeurs inscrits à Brand Registry. Il répartit les acheteurs en deux groupes, montre à chaque groupe une version différente du titre, des images, des puces, de la description, du contenu A plus ou de la Brand Story, puis indique laquelle a le mieux fonctionné. Amazon ne publie pas de seuil de vues. Il indique qu'une ASIN a besoin de suffisamment de trafic ces dernières semaines, ce qui, dans la plupart des catégories, correspond à plusieurs dizaines de commandes par semaine ou davantage.
D'où sort le chiffre de 1 000 ?
D'un vendeur, dans une discussion de forum, décrivant ce qu'il croyait être la règle. La discussion s'ouvre ainsi : "Right now, Amazon requires an ASIN to have at least 1,000 detail page views in the last 30 days before you can run an experiment." C'est une critique légitime, bien argumentée, et elle nomme trois symptômes réels que reconnaîtra quiconque utilise l'outil.
"The weekly refresh makes eligibility inconsistent, so an ASIN might qualify one week and drop below the next."
"Page view numbers don't match between Manage Your Experiments and Business Reports, which makes it hard to know what to rely on."
"Newer or niche products are effectively locked out of using one of Amazon's most valuable optimization tools."
Un membre du personnel d'Amazon a répondu, et cette réponse dit surtout ce qu'elle tait. Indy_Amazon concède les symptômes en entier : "You're spot on about the challenges. The requirement exists to ensure experiments have enough statistical power to give meaningful results, but I hear you on the inconsistency with weekly refreshes and the discrepancies between different reporting tools." Amazon confirme donc l'irrégularité et l'écart entre les rapports. Le seuil, lui, n'est ni confirmé ni corrigé.
Que publie réellement Amazon ?
Un critère de trafic exprimé en commandes, avec l'aveu explicite qu'il varie. La page d'aide de Manage Your Experiments indique : "An ASIN is eligible if it belongs to your brand and has received enough traffic in recent weeks to be eligible for experimentation. We only let you experiment with high-traffic ASINs to increase the likelihood that you can confidently determine a winner at the end of the experiment. Depending on the category, high-traffic ASINs may get several dozen orders per week, or more."
Ce que disent les vendeurs
Ce que dit la page d'Amazon
Pourquoi cela compte
1 000 vues de la fiche produit
"enough traffic in recent weeks"
Aucun chiffre n'est publié
Des vues
"several dozen orders per week, or more"
Une ASIN qui convertit bien se qualifie avec bien moins de trafic
Un seuil unique
"Depending on the category"
Le seuil se déplace selon la catégorie
Mon ASIN est non éligible
"ASINs with very low traffic may not appear at all"
L'absence est un statut, pas un bug
Pourquoi le changement d'unité compte plus que le chiffre
Un seuil en vues et un seuil en commandes se comportent très différemment pour un même produit. Une ASIN qui convertit à huit pour cent a besoin d'une fraction du trafic d'une ASIN qui convertit à un pour cent pour atteindre le même nombre de commandes : deux fiches aux vues identiques peuvent donc se trouver de part et d'autre de la ligne. C'est aussi une explication cohérente du clignotement hebdomadaire décrit par les vendeurs, puisqu'une expérience a besoin d'assez de conversions pour séparer deux versions, et les conversions bougent davantage que les vues. L'objectif affiché d'Amazon est que vous puissiez "confidently determine a winner", et un gagnant se détermine en achats.
La correction est plus étroite qu'il n'y paraît et elle ne rend pas la critique infondée. La réponse d'Amazon reconnaît elle-même que l'éligibilité fluctue et que ses chiffres contredisent les Business Reports, et sur un point elle contredit cet article, ce qu'il faut dire franchement : Indy_Amazon conseille des campagnes Sponsored Products "to increase visibility and get those page views up to the threshold". Le personnel du forum parle donc en vues et traite un seuil comme réel, tandis que la documentation d'Amazon parle en commandes et ne publie aucun chiffre. Ni l'un ni l'autre ne confirme les 1 000. Ce qui change, c'est le diagnostic : une ASIN qui convertit bien peut franchir la ligne avec bien moins de trafic que prévu, si bien qu'acheter des vues est une tentative raisonnable et un mauvais appui.
Que peut-on tester, et comment la répartition fonctionne-t-elle ?
Six types de contenu, dans treize boutiques, une expérience par ASIN à la fois. Amazon énumère "product images, product titles, product bullet points, product description and A+ Content and Brand Story", et le type Multi-Attribute permet d'en combiner plusieurs dans une seule expérience. L'outil est disponible "in the US, Canada, Mexico, the UK, Germany, France, Spain, Italy, the Netherlands, Poland, Sweden, India, and Japan for selling partners who are registered brand owners enrolled in Amazon Brand registry".
Le mécanisme mérite d'être précisé, car le modèle mental courant du test A/B est faux ici. Amazon n'alterne pas votre contenu dans le temps : "customers that view your product's content are randomly split into two groups. One group sees Version A of content, while the other sees Version B, for the entire experiment. This means that experiments are not rotating content over time." La version testée suit le client partout, si bien qu'un titre expérimental "will show in search results, on the product detail page, and in cart/checkout". Et une précaution qu'Amazon laisse entre parenthèses : "(Note: Experiments do not impact search rankings)".
Les idées de test d'Amazon contredisent le conseil habituel sur les titres
Sa page de conseils suggère de "Reducing product title length to under 100 characters to reduce noise and encourage more customers to visit your detail page". C'est un chiffre différent des limites de caractères appliquées à la publication, et il est présenté comme une hypothèse à tester plutôt que comme une règle à suivre, ce qui est exactement le bon cadrage. Si vous rogniez vos titres jusqu'à la limite imposée par Amazon, l'expérience intéressante consiste à voir si aller plus court aide encore. Notre guide des règles de titres d'Amazon indique où se situent réellement les limites strictes.
Combien de temps dure un test ?
Huit à dix semaines par défaut, ou quatre si vous laissez Amazon décider. La documentation est directe : "The duration of the experiment is typically 8-10 weeks. This allows us time to collect as much data as possible." L'autre option consiste à courir jusqu'à la significativité plutôt que jusqu'à une date, ce qu'Amazon prend en charge "for title, image, and bullet point experiments" et qui se combine avec la publication automatique : "Combine Experiment to Significance with Auto-Publish to automatically publish your winning content as soon as your experiment reaches statistical-relevance in as little as 4 weeks."
L'impatience a un coût, et Amazon l'écrit au lieu de le sous-entendre. "Every time you 'peek' at the results before an experiment ends, you increase the chance of making a decision based on unrepresentative results, which reduces the validity of your experiment." La page de conseils le répète : arrêter tôt "increases the chance of overestimating the impact of your experiment or even selecting the wrong version". C'est un effet statistique réel et non une préférence de politique, et c'est la manière la plus courante dont un vendeur transforme un bon test en mauvaise décision. Les deux pages d'Amazon se contredisent d'ailleurs sur la fréquence à laquelle vous verriez quoi que ce soit : la page de résultats indique "Experiment results are updated once a week until the experiment ends", tandis que la FAQ indique "We calculate experiment results every week or two". Aucune des deux ne tranche, ce qui est déjà un argument pour ne pas regarder.
Comment lire le résultat ?
Avec précaution, car deux des chiffres les plus visibles signifient moins qu'il n'y paraît. La probabilité n'est pas un niveau de confiance au sens courant. Amazon la définit : "if we say there is a 75% probability that Version A is better, that means that 75% of the possible impacts that we calculated show a likely positive units/sales lift from publishing Version A." C'est la part des scénarios modélisés qui tombe d'un côté, ce qui est utile, et ce n'est pas la même chose qu'une chance de soixante-quinze pour cent que vos ventes augmentent.
La projection à un an tient en une multiplication
Amazon se montre ici inhabituellement transparent : "To project one-year impact, we calculate the average daily sales increase of the winning content and multiply by 365. This is an estimate which doesn't take into account seasonality, price changes, or other factors that would affect your business in the real world." Un test qui a traversé un pic saisonnier projettera ce pic sur douze mois. La formulation d'Amazon, étiquette bancale comprise : "The Likely column shows the median (the 50th percentile) of the range of possible outcomes we calculated. The Best Case and Worse Case columns show the 95% confidence interval of those outcomes." Lisez l'intervalle plutôt que le chiffre mis en avant, et notez l'avertissement d'Amazon selon lequel, pour un gagnant peu net, "the 'worst case' impact may be negative".
Amazon énumère quatre causes, et la première est celle que les vendeurs se créent eux-mêmes : "The change you made to your content was too small to significantly change customer behavior". Les autres sont un trafic insuffisant, deux versions "similarly effective in driving sales" et un changement qui "isn't something that most customers care about when making a purchase decision".
Comment mener une expérience qui vous apprend quelque chose
Vérifiez que l'ASIN est là avant de planifier quoi que ce soit - L'éligibilité est décidée par Amazon et se rafraîchit chaque semaine, et les ASIN à faible trafic peuvent ne pas être listées du tout. Ouvrez d'abord le sélecteur. Si l'ASIN est absente plutôt que marquée non éligible, c'est le cas du faible trafic, et attendre qu'un compteur de vues progresse n'y changera rien.
Choisissez un changement assez grand pour être détecté - Deux versions qui diffèrent d'un mot donneront un résultat non concluant au bout de dix semaines. Amazon demande des versions "very different from each other", par exemple un titre nettement plus court, une image principale réellement différente ou un contenu A+ avec d'autres modules dans un autre ordre.
Choisissez délibérément entre durée et significativité - Un test à durée fixe dure généralement huit à dix semaines. Experiment to Significance, disponible pour les tests de titre, d'image et de puces, s'arrête quand les données permettent de trancher et, avec Auto-Publish, peut se conclure en quatre semaines seulement. Décidez à la création, pas en cours de route.
Pour A plus et Brand Story, alignez exactement les jeux d'ASIN - Amazon refuse de lancer une expérience où les deux versions sont appliquées à des ASIN différentes : "we require that both versions of content have the exact same ASINs applied before you can submit your experiment". Cela se corrige dans l'A+ Content manager, pas dans l'écran de l'expérience.
Et ensuite, n'y touchez plus - Les résultats se mettent à jour à peu près chaque semaine, et les consulter est documenté comme nuisible à la validité de votre propre test. Si vous ne pouvez pas résister, utilisez Auto-Publish pour que la décision dépende des données et non de la semaine où vous avez regardé.
Publiez le gagnant volontairement - Sans Auto-Publish, rien ne se produit tout seul. Pour conserver le contenu existant, ne faites rien. Pour publier la version expérimentale, utilisez les outils de fiche habituels, ou l'A+ Content manager pour A plus et Brand Story.
Que faire des ASIN qui ne se qualifieront jamais
La plupart des catalogues comptent une poignée d'ASIN éligibles et une longue traîne qui ne le sera pas. La suggestion d'Amazon pour la traîne consiste à tester manuellement en surveillant les Business Reports, une méthode qu'Amazon reconnaît moins propre qu'une expérience contrôlée, "is not as clean as a controlled experiment", mais qui donne des "directional insights". Le meilleur usage des ASIN éligibles est de les traiter comme un budget de recherche pour toutes les autres : ce qui gagne sur votre fiche la plus vendue est en général le même type de changement qui gagne sur les vingt qu'on ne peut pas tester. Un enseignement vérifié sur vos images ou la structure de vos titres, appliqué à toute une catégorie, vaut mieux qu'un créneau de test dépensé sur une variante que personne ne voit.
Tester ne paie que si vous voyez ensuite ce qu'il est advenu de la marge, car un titre qui augmente les unités et déplace le mix vers une variante moins rentable n'est pas une victoire. Garder unités, commissions et marge par ASIN au même endroit est ce qui transforme un résultat de test en décision d'entreprise, et un tableau de bord d'analyse pour vendeurs qui suit le profit par ASIN vous donne le chiffre que l'expérience ne fournit pas. Notre guide du contenu A+ traite de ce qu'il faut mettre dans les versions que vous testez.
Faut-il 1 000 vues pour qu'une ASIN soit éligible ?
Amazon n'a jamais publié ce chiffre. Sa page indique qu'une ASIN a besoin de suffisamment de trafic ces dernières semaines et que les ASIN à fort trafic "may get several dozen orders per week, or more", selon la catégorie.
Pourquoi ne puis-je pas trouver mon ASIN dans l'outil ?
Amazon affiche le statut d'éligibilité de la plupart des ASIN candidates mais précise que "ASINs with very low traffic may not appear at all". Une ASIN absente est donc un signal de trafic et non un dysfonctionnement.
Les expériences nuisent-elles à mon classement ?
Non. Amazon indique dans sa présentation que les expériences n'affectent pas le classement dans la recherche, même si le contenu testé apparaît dans les résultats pour le groupe concerné.
Combien de temps une expérience doit-elle durer ?
Généralement huit à dix semaines en durée fixe. Experiment to Significance s'arrête quand les résultats sont statistiquement pertinents et, combiné à Auto-Publish, peut se conclure en quatre semaines seulement.
Que signifie vraiment une probabilité de 75 % ?
Que 75 % des impacts modélisés par Amazon montrent une hausse probable des unités ou des ventes pour cette version. C'est une part de scénarios modélisés, pas une promesse sur votre prochain trimestre.
Dans quelles places de marché Manage Your Experiments existe-t-il ?
Aux États-Unis, au Canada, au Mexique, au Royaume-Uni, en Allemagne, en France, en Espagne, en Italie, aux Pays-Bas, en Pologne, en Suède, en Inde et au Japon, pour les titulaires de marque inscrits et responsables de la vente de la marque.
Stop Juggling Tools. SellerMagnet Combines Everything You Need.