Méthodes d’analyse de la rétroaction: Conception de Canada.ca
Sur cette page
- Qui devrait lire et analyser la rétroaction?
- Niveau de rétroaction requis
- Les questions de recherche façonnent l’analyse
- Méthodes d’analyse manuelle
- Analyse des commentaires assistée par l’IA
- Intégrer d’autres sources de données complémentaires
Qui devrait lire et analyser la rétroaction?
Cela devrait être fait par des gens qui connaissent très bien le sujet.
Les gens devraient être habiles à repérer les régularités et les thèmes dans les données.
Il est préférable d’avoir quelqu’un qui soit bilingue.
Si plus d’une personne est chargée de lire les commentaires, il est très important d’avoir une compréhension commune des problèmes (et du modèle de classification).
Il est bon de prendre l’habitude d’examiner régulièrement la rétroaction des utilisateurs afin de déterminer tout problème émergent ou persistant qui nuit à la réussite de la tâche.
Niveau de rétroaction requis
Il n’y a pas de chiffre magique pour le nombre de commentaires dont vous avez besoin.
Avec la rétroaction, vous cherchez suffisamment de commentaires pour décrire suffisamment un problème ou répondre à une question de recherche. Il y a un point de rendement décroissant où le fait de collecter plus de rétroaction ne donne pas plus de perspectives. C’est ce qu’on appelle la « saturation ».
Si la rétroaction montre que quelque chose ne fonctionne pas, vous n’avez pas besoin de centaines de commentaires pour déterminer si vous devrez intervenir.
Lors de la détermination des problèmes, ne vous fiez pas uniquement au volume de commentaires pour hiérarchiser les améliorations. Les commentaires soumis peuvent provenir de personnes confrontées à des obstacles culturels, linguistiques, géographiques, de handicap, technologiques, socio-économiques ou autres.
Vous pouvez chercher à confirmer les idées de rétroaction en utilisant d’autres sources de données comme les analyses Web, le volume d’appels, les tendances des médias sociaux et les résultats du sondage sur la réussite des tâches du GC.
Les questions de recherche façonnent l’analyse
Commencez par réfléchir aux questions de recherche et aux personnes avec lesquelles vous allez partager vos résultats. Cette réflexion à l’avance peut aider à clarifier la façon de regrouper la rétroaction lors de l’analyse manuelle.
Questions de recherche courantes :
- Quelles pages reçoivent le plus de rétroaction?
- Quels sont les principaux problèmes signalés? Combien?
- Quels sont les problèmes signalés sur une page spécifique?
- La rétroaction a-t-elle augmenté ou diminué après une mise à jour de la page?
- Quels types de problèmes étaient les plus courants (capacité de recherche, compréhension, technique)?
Analyse des commentaires assistée par l’IA
Les outils d’intelligence artificielle approuvés, comme Microsoft Copilot, peuvent aider à repérer des tendances, regrouper les commentaires par thèmes, résumer les constats et appuyer l’analyse qualitative des commentaires recueillis au moyen de l’Outil de rétroaction sur les pages Web du GC et du Sondage sur la réussite des tâches.
L’analyse assistée par l’IA peut réduire le temps nécessaire pour examiner de grands volumes de commentaires. Toutefois, les outils d’IA ne remplacent pas le jugement humain. Les analystes demeurent responsables de valider les résultats, d’examiner les regroupements thématiques, de vérifier les dénombrements et de s’assurer que les constats sont appropriés avant leur diffusion.
Utilisez les outils d’IA comme aide à l’analyse et non comme décideurs faisant autorité.
Prompts réutilisables et conseils
Consultez les conseils sur l’analyse des commentaires assistée par l’IA pour obtenir :
- des prompts approuvés pour les tâches courantes d’analyse des commentaires;
- des considérations relatives à la protection des renseignements personnels et à la sécurité;
- des pratiques exemplaires pour la rédaction de prompts;
- des exigences en matière de révision humaine;
- les limites de l’analyse assistée par l’IA.
Conseils sur l’analyse des commentaires assistée par l’IA
Méthodes d’analyse manuelle
L’analyse manuelle consiste à examiner directement les commentaires et à regrouper les problèmes similaires à l’aide d’étiquettes ou de thèmes. Cette approche convient aussi bien aux petits qu’aux grands ensembles de données et demeure une méthode efficace pour comprendre les commentaires des utilisateurs.
L’analyse manuelle peut être utilisée seule ou en complément de l’analyse assistée par l’IA.
Dans le cas d’un petit ensemble de données, un petit nombre d’étiquettes peut suffire pour éclairer la rétroaction. Un ensemble de données volumineux peut nécessiter des étiquettes à deux niveaux pour mettre en lumière des problèmes de contenu spécifiques.
- Analyse manuelle
- Petits ensembles de données, examen détaillé et validation des constats.
- Analyse assistée par l’IA
- Grands ensembles de données, repérage rapide des thèmes et rédaction de résumés.
- Approche combinée
- La plupart des cas d’utilisation opérationnels; l’IA appuie l’analyse tandis que les humains valident les constats.
Pratiques exemplaires pour choisir des étiquettes
Familiarisez-vous avec vos données
Lisez d’abord un échantillon de données de rétroaction et essayez de repérer des régularités. Notez-les pour avoir une vue d’ensemble des tâches, sujets ou questions dont les gens parlent.
Pas tous les commentaires seront utiles. Parfois ils ne seront pas suffisamment clairs, vous rencontrerez parfois des pourriels, une entrée double, ou des commentaires portant sur un autre sujet complètement.
Envisagez des étiquettes en fonction d’une tâche ou d’un problème
Les étiquettes basées sur des tâches sont recommandées lors de l’analyse de la rétroaction pour un groupe de pages où les tâches concernent plusieurs utilisateurs.
Pour identifier les tâches, demandez-vous pourquoi l’utilisateur est venu sur le site. Qu’essaie-t-il de faire ou à quelle question essayait-il de répondre?
Les étiquettes basées sur des problèmes peuvent être une meilleure stratégie pour recueillir de la rétroaction sur une seule page, un seul sujet, ou une seule tâche.
Pour les grands ensembles de données, il se peut qu’un deuxième niveau d’étiquettes soit nécessaire pour ajouter de la précision. Vous pouvez faire cela en même temps que vous étiquetez la rétroaction OU lorsque vous êtes prêt à analyser un plus petit ensemble de commentaires.
Exemple d’étiquettes utilisées pour la rétroaction sur les pages consacrées aux vaccins
| Étiquette | Tâche ou problème de l’utilisateur | Sujets |
|---|---|---|
| Innocuité des vaccins | Le vaccin est-il sûr pour moi? | Conditions préexistantes, ingrédients/allergies, effets secondaires |
| Se faire vacciner | Comment puis-je me faire vacciner? | Admissibilité, quand, où et comment s’inscrire |
| Preuve de vaccination | Comment puis-je obtenir une copie de mon dossier de vaccination? | Dossiers de vaccination, applications provinciales, preuve de vaccination fédérale |
Réduire le nombre d’étiquettes
Commencez par des étiquettes larges et n’incluez que celles pour lesquelles vous avez plusieurs exemples. Votre objectif étant d’identifier les améliorations, il est plus utile d’étiqueter des sujets et des problèmes récurrents que de créer des étiquettes uniques et ponctuelles.
Visez à garder votre ensemble d’étiquettes à moins de 15 pour la page ou l’ensemble de pages. Limiter le nombre d’étiquettes aidera à afficher les tâches qui en ont le plus besoin.
« Autre » est aussi une étiquette! Étiquetez les commentaires uniques ou peu fréquents comme « Autres » jusqu’à ce qu’il y en ait suffisamment pour qu’ils aient leur propre étiquette.
Évitez d’utiliser des étiquettes ambiguës ou qui se chevauchent
Assurez-vous que chaque étiquette se différencie clairement des autres. Votre objectif est de réduire les doutes au sujet de l’étiquette devant être attribuée à un commentaire.
Soyez prêt à ajuster votre choix d’étiquettes
Passez en revue vos choix initiaux. Sont-ils clairs et sans ambiguïté? Est-ce qu’une seule étiquette couvre la majorité des commentaires? Avez-vous besoin de les diviser en deux étiquettes?
Il n’y a pas de stratégie universelle. À mesure que vous recueillez des commentaires ou que vous ajoutez l’outil de rétroaction à plus de pages, vous aurez besoin d’ajuster votre choix d’étiquettes.
Documenter et tester votre stratégie d’étiquetage
Documentez votre choix d’étiquettes avec des exemples. Cela est particulièrement utile si plus d’une personne partage la responsabilité d’examiner la rétroaction.
Demandez à d’autres personnes de revoir vos choix d’étiquettes pour s’assurer qu’elles sont claires pour les autres personnes. Cela est particulièrement important si plus d’une personne aide à analyser la rétroaction. En convenant d’un ensemble commun d’étiquettes au début (et lors de l’ajustement des étiquettes), on évite que la rétroaction soit mal étiquetée d’une personne à une autre.
Exemple d’étiquettes utilisées pour la rétroaction sur les pages consacrées aux vaccins
| Étiquette | Tâche ou problème de l’utilisateur | Sujets |
|---|---|---|
| Innocuité des vaccins | Le vaccin est-il sûr pour moi? | Conditions préexistantes, ingrédients/allergies, effets secondaires |
| Se faire vacciner | Comment puis-je me faire vacciner? | Admissibilité, quand, où et comment s’inscrire |
| Preuve de vaccination | Comment puis-je obtenir une copie de mon dossier de vaccination? | Dossiers de vaccination, applications provinciales, preuve de vaccination fédérale |
Choses à éviter lors de l’étiquetage des commentaires
Mélange les types d’étiquettes
Si vous voulez ajouter d’autres façons d’analyser votre ensemble de données, il est préférable de créer de nouvelles colonnes dans votre feuille de calcul pour noter différents aspects. Par exemple, il peut s’agir de l’ajout d’un statut ou de la spécification d’une sous-question particulière.
Essayer d’être trop précis
Le but de l’étiquetage est de vous aider à trouver des façons d’améliorer votre contenu Web. L’étiquetage doit être suffisant à cette fin. Une approche « assez bonne » de la définition et de l’assignation des étiquettes permettra de le faire.
Si vos pages recueillent plus de commentaires que vous ne pouvez examiner, classer et analyser, ajustez votre stratégie : concentrez-vous sur une tâche, limitez le nombre de pages sur lesquelles l’outil est déployé ou limitez la période de collecte de données.
Intégrer d’autres sources de données complémentaires
Intégrez d’autres sources de données dans vos rapports afin de dresser un tableau plus complet, de confirmer vos idées ou d’ajouter une urgence à partir de sources comme les suivantes :
- Résultats du sondage sur la réussite des tâches du GC et rétroaction
- Analytique
- Volumes des centres d’appels
- Tendances de recherche
- Résultats de l’étude sur la convivialité
- Questions reçues par les médias sociaux
Détails de la page
- Date de modification :