Mesurer l'adoption et l'engagement d'une intégration

L'intégration a été livrée, quelques centaines de personnes l'ont installée, et la diapositive de lancement disait que le chiffre était un succès. Six mois plus tard, personne ne peut dire si l'intégration fait réellement quelque chose, parce que le seul chiffre que quelqu'un ait jamais suivi est celui des installations, et les installations sont l'indicateur qui vous flatte le plus tout en vous disant le moins. Une installation est un moment d'intention. C'est quelqu'un qui clique sur connecter, souvent pour essayer, parfois par accident, fréquemment pour ne jamais revenir. Compter les installations et appeler cela de l'adoption, c'est comme compter les gens qui sont entrés dans un magasin et appeler cela du chiffre d'affaires. Le magasin a besoin de savoir qui a acheté, qui est revenu, et qui a continué à venir. Une intégration a besoin de la même chose : non pas combien se sont connectés une fois, mais combien l'utilisent activement et l'utilisent encore plus tard.

Ceci est un guide indépendant pour mesurer l'adoption et l'engagement d'une intégration, écrit pour une startup qui a livré une intégration et a maintenant besoin de savoir si elle fonctionne. Les bons indicateurs dépendent de ce que fait l'intégration, une intégration de synchronisation quotidienne et un outil de migration ponctuel sont sains à des rythmes d'usage très différents, alors traitez les seuils spécifiques ici comme quelque chose à fixer pour votre propre produit plutôt que comme des chiffres universels. Ce qui ne change pas, c'est la structure d'une mesure honnête de l'intégration : distinguer l'installation de la connexion active de l'utilisateur retenu, instrumenter chacune pour pouvoir les voir séparément, les lire comme un entonnoir plutôt que comme un titre unique, et utiliser le résultat pour distinguer une intégration saine d'une intégration en panne. C'est cette forme que ce guide couvre.

Il complète notre guide des indicateurs de partenariat qui comptent, notre guide pipeline influencé vs sourcé pour relier l'usage au revenu, et notre guide du QBR partenaire, où l'adoption de l'intégration est l'un des rares chiffres qui valent la peine d'être revus avec le partenaire chaque trimestre.

L'essentiel en 60 secondes

• Les installations sont un indicateur de vanité en soi. Une installation est une intention, pas une adoption. Compter les installations et s'arrêter là vous dit combien de personnes ont cliqué sur connecter, pas combien ont obtenu de la valeur.
• Distinguez trois choses. L'installation (quelqu'un s'est connecté une fois), la connexion active (elle déplace réellement des données ou fait son travail), et l'utilisateur retenu (toujours actif des semaines plus tard). Ce sont des chiffres différents qui racontent des histoires différentes.
• La connexion active est le vrai indicateur d'adoption. Une intégration installée mais inerte n'est pas adoptée. Le chiffre qui compte est le nombre de connexions qui font réellement le travail pour lequel l'intégration existe.
• La rétention est le révélateur de vérité. N'importe qui peut installer. Rester actif des semaines plus tard est ce qui sépare une intégration dont les gens ont besoin d'une qu'ils ont essayée puis abandonnée.
• Instrumentez avant de lancer, pas après. Vous ne pouvez pas mesurer une rétention que vous n'avez pas commencé à suivre dès le premier jour. Décidez des événements dont vous avez besoin et émettez-les dès le départ.
• Lisez-la comme un entonnoir. Installé, activé, retenu, avec la déperdition entre chaque étape visible, pour pouvoir voir où les utilisateurs décrochent et corriger la bonne étape.
• Fixez des seuils pour votre intégration. Ce qui compte comme actif et sain dépend de ce que fait l'intégration. Définissez-le délibérément plutôt que d'emprunter les chiffres de quelqu'un d'autre.

Pourquoi les installations mentent et ce qu'il faut mesurer à la place

Le nombre d'installations est séduisant parce qu'il monte vers la droite et ne demande aucune instrumentation au-delà de ce que la place de marché vous donne déjà. C'est aussi le chiffre le moins lié au fait que l'intégration fonctionne. Une installation capture un seul moment d'intention, le clic qui connecte deux produits, et l'intention est bon marché. Les gens installent pour évaluer, pour satisfaire leur curiosité, pour répondre à la suggestion d'un collègue, et une grande partie ne fait jamais rien de l'intégration ensuite. Un nombre d'installations en titre peut grimper régulièrement pendant que l'intégration n'apporte de la valeur à presque personne, et une équipe qui ne surveille que ce chiffre croira que l'intégration réussit jusqu'au moment où quelqu'un demandera combien de personnes l'utilisent réellement.

Ce que les installations cachent, c'est la déperdition qui survient immédiatement après le clic. Certaines connexions installées ne terminent jamais la configuration. Certaines terminent la configuration et n'envoient jamais le moindre enregistrement. Certaines envoient des enregistrements pendant une semaine puis se taisent. Chacune de ces situations est un échec différent, et le nombre d'installations les fond toutes en un seul chiffre réjouissant. Le travail de la mesure de l'intégration est de séparer ces étapes pour que vous puissiez les voir, car la différence entre une intégration installée et une utilisée est la différence entre un chiffre qui paraît bon et un produit qui fonctionne.

Le principe qui corrige cela est le même que celui qui corrige les indicateurs de vanité partout : mesurez le comportement qui représente la valeur, pas l'action qui représente l'intention. Les références sur les indicateurs d'utilisabilité et de produit font le constat général qu'un indicateur n'est utile que s'il correspond à quelque chose qu'un utilisateur a réellement accompli. Pour une intégration, la chose accomplie n'est pas de se connecter, c'est d'utiliser, et le reste de ce guide porte sur la mesure de l'usage, en trois couches, instrumentées délibérément et lues comme un entonnoir. Nous défendons l'argument plus large d'abandonner les chiffres flatteurs au profit des chiffres honnêtes dans notre guide des indicateurs de partenariat.

Étape 1 : distinguez installation, connexion active et usage retenu

Le fondement d'une mesure honnête de l'intégration est le refus de fondre trois choses différentes en une seule. Une installation, une connexion active et un utilisateur retenu sont des étapes distinctes, chacune répondant à une question différente, et l'erreur la plus courante est de ne suivre que la première et de supposer qu'elle représente les deux autres. Ce n'est pas le cas. Nommer les trois et les mesurer séparément est ce qui transforme un titre unique et trompeur en une image sur laquelle vous pouvez agir.

Les trois couches, et ce que chacune vous dit réellement :

La couche du milieu, la connexion active, est celle qui mérite le plus votre attention, car c'est la mesure la plus vraie de l'adoption. Une intégration installée mais qui ne déplace jamais un enregistrement n'est adoptée dans aucun sens significatif, peu importe ce que dit le nombre d'installations. Définissez « active » concrètement pour votre intégration, une connexion qui a synchronisé des données au cours des sept derniers jours, envoyé au moins un événement cette semaine, effectué l'action pour laquelle elle existe dans une fenêtre récente, et comptez-les. L'écart entre votre nombre d'installations et votre nombre de connexions actives est la première et souvent la plus grande fuite, et la voir est le début de sa correction.

La troisième couche, la rétention, est ce qui sépare une intégration vraiment utile d'une intégration bien commercialisée. Beaucoup d'intégrations sont installées et même brièvement actives pendant une évaluation, puis s'estompent à mesure que la nouveauté passe ou que le cas d'usage se révèle mince. L'usage retenu, une connexion toujours active un mois ou un trimestre après sa mise en service, est le verdict honnête sur le fait que l'intégration a gagné une place dans le flux de travail de l'utilisateur. Il est plus difficile à truquer et plus difficile à falsifier que tout chiffre d'installation ou d'activité de première semaine, ce qui est exactement pourquoi c'est l'indicateur auquel se fier le plus.

Étape 2 : instrumentez ce que vous voulez mesurer

Vous ne pouvez pas mesurer un comportement que vous n'avez pas instrumenté, et la version douloureuse de cette leçon est de découvrir après le lancement que vous n'avez aucun moyen de savoir si les installations du mois dernier sont toujours actives, parce que vous n'avez jamais émis les événements qui vous le diraient. L'instrumentation est une décision d'avant-lancement, pas d'après coup, et la discipline est de raisonner à rebours, depuis les indicateurs que vous voulez vers les événements que vous devez émettre pour les calculer.

Partez des trois couches et demandez quel signal chacune exige :

• Événements d'installation. L'établissement de la connexion, avec assez de contexte, quels deux comptes, quand, pour relier une installation à l'activité ultérieure. La place de marché peut vous en donner une partie, mais posséder votre propre événement d'installation vous permet de le joindre à l'usage.
• Événements d'activation. La première fois qu'une connexion fait réellement son travail, la première synchronisation réussie, le premier enregistrement envoyé, la première action accomplie, pour mesurer combien d'installations sont devenues actives et combien de temps cela a pris.
• Événements d'usage continu. Un signal chaque fois que l'intégration accomplit un travail significatif, émis en continu, pour savoir quelles connexions sont actives cette semaine, ce mois, et lesquelles se sont tues.
• Événements d'échec et d'erreur. Quand une synchronisation échoue ou qu'une connexion se rompt, car une connexion qui cesse silencieusement de fonctionner ressemble à de l'attrition mais est en fait un problème réparable, et vous ne pouvez faire la différence que si vous avez instrumenté l'échec.

Quelques pratiques gardent l'instrumentation utile plutôt qu'un tas d'événements jamais lus. Émettez des événements qui correspondent directement aux indicateurs que vous avez décidé de suivre, plutôt que de tout journaliser en espérant y voir clair plus tard, car un flux d'analyse que personne n'a conçu est un flux que personne ne peut lire. Donnez à chaque événement assez d'identité, quelle connexion, quels comptes, pour suivre une seule connexion tout au long de sa vie, de l'installation à l'activité à la rétention ou à l'attrition, ce qui est ce qui rend possible un vrai entonnoir. Et capturez les échecs distinctement de l'inactivité, puisqu'une connexion qui s'est rompue et une connexion que l'utilisateur a abandonnée appellent des réponses complètement différentes, et un indicateur qui les regroupe cache les deux. Les conseils généraux sur l'analyse et la mesure font le même constat large : la valeur est dans le fait de décider quoi mesurer exprès, pas dans la collecte indiscriminée de données.

Étape 3 : lisez l'adoption comme un entonnoir

Une fois les trois couches instrumentées, la manière de les lire est sous forme d'entonnoir, car la valeur n'est pas dans un chiffre unique mais dans la déperdition entre les étapes. Un entonnoir rend les fuites visibles : combien des personnes qui ont installé sont jamais devenues actives, et combien de celles devenues actives étaient encore actives un mois plus tard. La forme de cet entonnoir vous dit non seulement si l'intégration fonctionne mais exactement où elle échoue, ce qui vous permet de corriger la bonne chose au lieu de deviner.

Un entonnoir simple d'adoption d'intégration :

La déperdition entre les étapes est le diagnostic. Un grand écart entre installé et activé signifie que les gens se connectent mais n'atteignent jamais la valeur, généralement un problème de configuration, d'accueil ou de première exécution : l'intégration est difficile à configurer, ou le bénéfice n'est pas assez évident pour pousser quelqu'un à travers la configuration. Un grand écart entre activé et retenu signifie que les gens obtiennent de la valeur une fois mais pas durablement, signe que le cas d'usage est plus mince qu'il n'y paraissait ou que l'intégration répond à un besoin ponctuel plutôt que continu. Chaque écart pointe vers un correctif différent, et vous ne pouvez voir aucun des deux écarts si vous n'avez jamais compté que les installations.

Cette pensée en entonnoir est standard dans l'analyse produit, où lire les étapes qu'un utilisateur traverse, plutôt qu'un seul comptage en titre, est la manière dont les équipes trouvent où s'améliorer. La même logique qui sous-tend un entonnoir de conversion s'applique directement à une intégration : chaque étape est une chance de perdre l'utilisateur, et l'étape avec la déperdition la plus forte est là où votre prochain effort rapporte le plus. Lire l'entonnoir dans le temps compte aussi : un instantané unique vous dit la forme actuelle, mais la tendance à travers les cohortes d'installations vous dit si les changements que vous avez faits améliorent réellement la conversion de l'installation à l'activité à la rétention.

Étape 4 : distinguez une intégration saine d'une intégration en panne

Les chiffres n'aident que si vous savez à quoi ressemble le bon, et pour une intégration cela signifie fixer des seuils délibérément plutôt que de les emprunter. Ce qui compte comme un taux d'activité sain et une courbe de rétention saine dépend entièrement de ce que fait l'intégration. Une synchronisation opérationnelle quotidienne devrait avoir la plupart de ses connexions actives utilisées chaque semaine et une courbe de rétention qui reste élevée, car si elle est utile les gens en dépendent constamment. Une intégration périodique ou situationnelle est saine à une fréquence bien plus basse, car son travail est d'être là quand on en a besoin, pas tous les jours. Juger la seconde au standard de la première condamnerait une intégration parfaitement bonne, donc les seuils doivent correspondre au but réel de l'intégration.

Signaux qu'une intégration est saine :

• Un taux élevé d'installation-vers-active. La plupart des gens qui se connectent atteignent réellement la valeur, ce qui indique que l'accueil fonctionne et que le bénéfice est assez clair pour faire passer les utilisateurs à travers la configuration.
• Une courbe de rétention qui se stabilise plutôt que de tomber à zéro. Une certaine déperdition précoce est normale, mais une courbe qui se nivelle signifie qu'un noyau d'utilisateurs a trouvé une valeur durable et est resté, ce qui est le signal d'un vrai besoin satisfait.
• Des connexions actives utilisées au rythme que l'intégration vise. Une intégration de synchronisation quotidienne utilisée quotidiennement, un outil hebdomadaire utilisé chaque semaine. Un usage qui correspond au but de l'intégration est le signe qu'elle fait son travail.
• De faibles taux d'échec silencieux. Des connexions qui continuent de fonctionner plutôt que de se rompre discrètement, car un taux élevé d'échec silencieux ressemble à de l'attrition et érode la confiance même quand la valeur sous-jacente est réelle.

Signaux qu'une intégration est en panne :

• Un large écart entre installé et actif. Beaucoup d'installations, peu d'entre elles jamais actives, ce qui signifie que l'intention est là mais que l'intégration ne livre pas, généralement un problème de configuration ou de première valeur.
• Une rétention qui tombe vers zéro. Les utilisateurs l'essaient et partent, signe que le cas d'usage est plus mince que le nombre d'installations le suggérait ou que la valeur ne se reproduit pas.
• Des connexions actives utilisées bien en dessous du rythme visé. Des connexions techniquement actives mais à peine utilisées, ce qui signifie souvent que l'intégration est un agrément plutôt que quelque chose de tissé dans le flux de travail.

C'est aussi le chiffre à apporter à une conversation avec un partenaire. L'adoption d'une intégration est l'un des rares indicateurs qui valent la peine d'être revus dans un QBR partenaire, car un entonnoir en panne est souvent quelque chose que les deux entreprises peuvent corriger ensemble, un effort d'accueil conjoint pour réduire l'écart installation-vers-active, ou une campagne auprès des clients communs existants pour relever l'activation. Relier l'adoption au revenu, via l'angle pipeline influencé vs sourcé, transforme aussi un graphique d'usage en dossier d'affaires : une intégration bien adoptée qui génère ou protège du revenu justifie l'effort de construire la suivante.

Erreurs fréquentes, et comment les corriger

Rapporter les installations comme de l'adoption. Le correctif : suivez la connexion active, pas l'installation, comme indicateur d'adoption. Une installation est une intention et l'intention est bon marché, tandis qu'une connexion active est l'intégration qui fait réellement son travail, la seule chose qui représente la valeur.

Ne jamais mesurer la rétention. Le correctif : instrumentez l'usage continu dès le premier jour et surveillez la courbe de rétention, pas seulement le chiffre d'activité de première semaine. La rétention est le verdict honnête sur le fait que l'intégration a gagné une place dans le flux de travail, et c'est l'indicateur le plus difficile à falsifier.

Instrumenter après le lancement. Le correctif : décidez des événements dont vous avez besoin avant de livrer et émettez-les dès le départ. Vous ne pouvez pas mesurer la rétention d'une cohorte que vous n'avez jamais commencé à suivre, et ajouter l'instrumentation plus tard laisse un angle mort permanent dans vos données les plus précoces et les plus instructives.

Confondre connexions rompues et attrition. Le correctif : capturez les événements d'échec et d'erreur distinctement de l'inactivité. Une connexion qui s'est silencieusement rompue est un problème réparable qui paraît identique à l'abandon à moins que vous n'ayez instrumenté l'échec, et traiter les deux de la même manière les cache toutes les deux.

Lire un chiffre au lieu d'un entonnoir. Le correctif : lisez installé, activé et retenu comme des étapes et regardez la déperdition entre elles. L'écart entre installé et activé et l'écart entre activé et retenu pointent vers des correctifs différents, et un chiffre unique en titre cache les deux fuites.

Emprunter les seuils de quelqu'un d'autre. Le correctif : fixez ce qui compte comme actif et sain en fonction de ce que votre intégration fait réellement. Une synchronisation quotidienne et un outil situationnel sont sains à des rythmes complètement différents, et juger l'un au standard de l'autre fait passer une intégration qui fonctionne pour une qui échoue.

FAQ

Quelle est la différence entre les installations et l'adoption d'une intégration ? Une installation est un seul moment d'intention, quelqu'un qui clique pour connecter deux produits, tandis que l'adoption est un usage soutenu et de valeur de l'intégration ensuite. Les deux divergent fortement : une grande part des installations ne devient jamais active, donc un nombre d'installations peut grimper alors que presque personne n'utilise réellement l'intégration. L'indicateur d'adoption honnête est la connexion active, une qui déplace réellement des données ou fait le travail pour lequel l'intégration existe, et la mesure de long terme la plus vraie est l'usage retenu, les connexions toujours actives des semaines ou des mois plus tard.

Que dois-je compter comme connexion active ? Définissez « active » concrètement pour ce que fait votre intégration, puis comptez les connexions qui y répondent. Pour une intégration de synchronisation quotidienne, active pourrait signifier une connexion qui a synchronisé au cours des sept derniers jours. Pour un outil situationnel, cela pourrait signifier une qui a effectué son action dans une fenêtre récente plus longue. Le but est de choisir une définition qui correspond à l'intégration livrant réellement de la valeur, de la documenter et de l'appliquer systématiquement, pour que le chiffre actif signifie la même chose chaque fois que vous le rapportez.

Comment mesurer la rétention d'une intégration ? Suivez si une connexion est toujours active une durée donnée après sa mise en service, un mois et un trimestre sont des fenêtres courantes, et surveillez la courbe à travers les cohortes d'installations plutôt qu'une moyenne unique. Une courbe de rétention qui tombe vers zéro signifie que les utilisateurs essaient l'intégration et partent, tandis qu'une qui se stabilise signifie qu'un noyau d'utilisateurs a trouvé une valeur durable. Mesurer cela exige d'émettre des événements d'usage continu dès le lancement, car vous ne pouvez pas reconstruire la rétention pour des connexions que vous n'avez jamais instrumentées.

Quelle instrumentation me faut-il pour mesurer l'adoption d'une intégration ? Au minimum, des événements d'installation, des événements d'activation pour la première fois qu'une connexion fait son travail, des événements d'usage continu émis chaque fois qu'elle accomplit un travail significatif, et des événements d'échec distincts de l'inactivité. Chaque événement a besoin d'assez d'identité, quelle connexion et quels comptes, pour suivre une seule connexion de l'installation à l'activité à la rétention ou à l'attrition. Décidez-les avant de lancer et raisonnez à rebours depuis les indicateurs que vous voulez, car une instrumentation ajoutée après coup laisse un trou permanent dans vos données les plus précoces.

Comment savoir si l'adoption de mon intégration est saine ? Fixez des seuils qui correspondent à ce que fait l'intégration plutôt que de les emprunter. En gros, une intégration saine montre un taux élevé d'installation-vers-active, une courbe de rétention qui se stabilise au lieu de tomber à zéro, des connexions actives utilisées au rythme que l'intégration vise, et de faibles taux d'échec silencieux. Une en panne montre un large écart entre installé et actif, une rétention tendant vers zéro, ou des connexions actives utilisées bien en dessous de la fréquence visée. Le diagnostic est dans quelle étape de l'entonnoir fuit, car chaque fuite pointe vers un correctif différent.

Comment l'adoption d'une intégration se relie-t-elle au revenu ? Une intégration bien adoptée tend à protéger et à faire croître le revenu, car les clients qui tissent une intégration dans leur flux de travail sont plus fidèles et plus difficiles à déloger, et un taux élevé d'actif et de retenu parmi les clients communs est un signe que le partenariat livre. Vous pouvez relier l'adoption au revenu via l'angle du sourcé et de l'influencé, en traitant une intégration solide comme quelque chose qui influence la rétention et l'expansion. Ce lien est ce qui transforme un entonnoir d'adoption d'un graphique d'ingénierie en dossier d'affaires pour construire la prochaine intégration, et c'est pourquoi l'adoption a sa place dans un QBR partenaire.

Pour aller plus loin

• Les indicateurs de partenariat qui comptent pour l'argument plus large de suivre des chiffres honnêtes plutôt que flatteurs.
• Pipeline influencé vs sourcé pour relier l'adoption d'une intégration au revenu.
• Comment mener un QBR partenaire pour revoir l'adoption avec le partenaire et corriger un entonnoir en panne ensemble.
• Entonnoir de conversion pour la pensée en entonnoir qui sous-tend la lecture de l'adoption comme des étapes avec déperdition.
• Analyse de cohortes pour mesurer la rétention à travers des groupes d'installations dans le temps.
• Rétention client pour comprendre pourquoi l'usage durable, et non le premier contact, est la mesure honnête de la valeur.
• Nielsen Norman Group sur les indicateurs d'utilisabilité pour comprendre pourquoi un indicateur n'est utile que s'il correspond à quelque chose qu'un utilisateur a réellement accompli.
• La collection de la Harvard Business Review sur l'analyse et la science des données pour la discipline de mesurer ce qui compte exprès plutôt que de collecter des données de manière indiscriminée.

En bref

Mesurer l'adoption d'une intégration commence par refuser de traiter les installations comme un succès. Une installation est un moment d'intention et l'intention est bon marché, donc un nombre d'installations qui grimpe peut masquer une intégration que presque personne n'utilise. Distinguez trois couches : l'installation, la connexion active qui fait réellement le travail de l'intégration, et l'utilisateur retenu toujours actif des semaines plus tard. La connexion active est le vrai indicateur d'adoption et la rétention est le verdict honnête sur le fait que l'intégration a gagné une place dans le flux de travail. Instrumentez les trois avant de lancer, car vous ne pouvez pas mesurer la rétention d'une cohorte que vous n'avez jamais suivie, et capturez les échecs distinctement de l'inactivité pour qu'une connexion rompue ne ressemble pas à de l'attrition. Lisez les trois couches comme un entonnoir et étudiez la déperdition, car l'écart entre installé et activé est un problème de première valeur et l'écart entre activé et retenu est un problème de durabilité, et chacun pointe vers un correctif différent. Fixez des seuils qui correspondent à ce que votre intégration fait réellement, puis apportez l'entonnoir à vos revues de partenaires, où une étape en panne est souvent quelque chose que les deux entreprises peuvent corriger ensemble.

Si vous voulez de l'aide pour instrumenter et lire l'adoption de votre intégration, un Audit Partenaires examine comment vos intégrations sont mesurées, où l'entonnoir fuit, et comment l'adoption se relie au revenu, puis vous remet un plan concret de ce qu'il faut suivre et corriger en premier.