Conception itérative pour les applications d'aide à l'IA: Conception de Canada.ca

L’apprentissage et la rétroaction sont essentiels à la réussite du développement de services agiles. Le rythme de développement de l’IA générative est rapide, il vous faut donc expérimenter et apprendre rapidement. Les essais doivent être une activité permanente qui couvre l’ensemble du cycle de vie de la conception des services. Il ne s’agit pas seulement de vérifier les fonctionnalités, mais aussi un large éventail de facteurs, tels que l’expérience de l’utilisateur, les caractéristiques de l’outil, l’accessibilité, le respect des langues officielles, l’inclusivité, les biais involontaires, etc.

Sur cette page

• Surveiller et itérer
• Mesurer les résultats à l’aide de mécanismes de rétroaction et d’une enquête après utilisation
• Sondage sur la réussite de tâches

Un aspect essentiel de cette approche de conception itérative est l’identification et la résolution des problèmes qui entravent l’accès aux services des utilisateurs. Les programmes devraient se concentrer en particulier sur les domaines où la charge administrative est élevée, par exemple lorsque les utilisateurs sont confrontés à des coûts importants en matière d’apprentissage, de psychologie ou de conformité. Cela signifie qu’il faut comprendre les complexités entourant l’admissibilité aux services, les étapes nécessaires pour y accéder et l’expérience générale de l’utilisateur.

Nous proposons des phases d’expérimentation qui incluent la recherche et les essais des utilisateurs tout au long du cycle de vie. La recherche sur la facilité d’utilisation permet de s’assurer qu’au moment du lancement public complet, la conception de l’application répond aux attentes des utilisateurs et aux résultats souhaités. L’évaluation continue de l’exactitude, de la sécurité et de la facilité d’utilisation doit également être intégrée dans le processus de conception, y compris les essais avec des évaluateurs, des spécialistes de l’accessibilité et des utilisateurs réels pour s’assurer que l’application répond toujours aux attentes.

L’identification active des problèmes rencontrés par les utilisateurs peut également permettre d’apporter des améliorations itératives et de simplifier l’accès aux services, afin de créer une expérience mieux centrée sur le client. Les normes relatives au numérique du GC contient des renseignements sur la conception avec les utilisateurs et ce que cela signifie d’itérer et d’améliorer fréquemment.

Surveiller et itérer

• Recherche auprès des utilisateurs dans la phase de conception
• Utiliser les ensembles de données des évaluations
• Phase d’essai initial
• Séances d’essais itératifs de convivialité

Recherche auprès des utilisateurs dans la phase de conception

Mobilisez très tôt les chercheurs en expérience utilisateur (EU) afin qu’ils puissent commencer les essais de prototypes de conception avec les possibles utilisateurs finaux. Appliquez les meilleures pratiques pour les institutions fédérales déployant un outil d’IA générative du Secrétariat du Conseil du Trésor du Canada :

• Guide sur l’utilisation de l’intelligence artificielle générative

Utiliser les ensembles de données d’évaluation provenant de la rétroaction sur Canada.ca

Chaque jour de semaine, les utilisateurs laissent jusqu’à 4 000 commentaires sur le site, souvent sous forme de questions. Consultez votre équipe Web ou le Bureau de l’expérience Canada.ca (Service numérique canadien) pour générer un ensemble de données d’évaluation à partir des commentaires des utilisateurs. Avant d’utiliser l’ensemble de données, assurez-vous de supprimer tous les commentaires contenant des renseignements personnels caviardés (commentaires comprenant le caractère #).

Pour en connaître davantage sur l’utilisation de la rétroaction, consultez

• Comment accéder aux résultats et aux rapports du sondage
• Guide d’extraction de données à partir de la base de Rétroaction (lien GCéchange, accessible uniquement sur le réseau du Gouvernement du Canada)

Phase d’essai initial

Fournissez les premières versions de l’application aux membres de l’équipe du centre d’appel ou à d’autres intervenants. De leur côté, ils pourront vous remettre de la rétroaction ainsi que noter et évaluer les résultats.

Séances d’essais itératifs de convivialité

Au fur et à mesure que le processus de conception se poursuit, les chercheurs en EU doivent continuer à tester divers aspects et itérations de la conception avec les utilisateurs finaux afin de s’assurer qu’elle correspond à leurs besoins et à leurs attentes. Les logiciels de vidéo non modérés fonctionnent bien à cet effet.

Effectuez autant d’itérations que nécessaire pour affiner le produit afin de répondre aux normes axées sur le client.

La Ligne directrice sur les services et le numérique présente des renseignements supplémentaires sur la conception et la fourniture de services axés sur le client :

• Conception et prestation de services axés sur le client

Mesurer les résultats à l’aide de mécanismes de rétroaction et d’une enquête après utilisation

L’IA générative modifie rapidement les attentes et les modèles sous-jacents peuvent également évoluer. Il est essentiel que les applications de clavardage alimentées par l’IA fournissent des réponses qui répondent aux besoins et aux attentes des utilisateurs. Vous devez continuellement gérer et améliorer l’exactitude et la fiabilité de ces applications sur Canada.ca. Les mécanismes de rétroaction peuvent fournir des données quantitatives et qualitatives permettant une amélioration itérative et mettre rapidement en évidence les problèmes qui requièrent une attention immédiate.

Sur la base des recherches menées par gov.uk, nous recommandons d’inclure une ligne sous la réponse qui indique « Comment était cette réponse ? Bonne ou À améliorer. » Cette formulation correspond mieux aux normes axées sur le client et invite les utilisateurs à fournir une rétroaction pertinente.

Si un utilisateur sélectionne « À améliorer », des questions supplémentaires peuvent lui être posées afin de clarifier son expérience, par exemple :

• « La réponse n’était pas claire »;
• « La réponse ne répondait pas à ma question »;
• « La réponse était incomplète »;
• « La réponse n’était pas exacte ».

La Ligne directrice sur les services et le numérique présente des renseignements supplémentaires sur la rétroaction :

• Rétroaction et satisfaction des clients

Sondage sur la réussite de tâches

Sur Canada.ca, nous invitons au hasard les visiteurs à répondre au Sondage sur la réussite des tâches (SRT). Nous utilisons les résultats pour évaluer et améliorer la réussite par catégorie.

Nous vous recommandons d’ajouter une version spéciale du SRT à votre application d’IA. Pour comparer le succès des visiteurs qui utilisent votre application d’IA à ceux qui n’utilisent que les pages web, vous pouvez afficher l’invitation au SRT à une sélection aléatoire d’utilisateurs d’IA. De plus, vous pouvez toujours avoir le lien du SRT accessible au bas de la page de l’application.

Le Bureau de l’expérience Canada.ca a créé et testé la convivialité d’une version du SRT pour les applications d’IA. Vous pouvez accéder au sondage ici : https://cdssnc.qualtrics.com/jfe/form/SV_4N2YTcAHkcBEGfs

Les équipes doivent utiliser les données du sondage et les évaluations des interactions par clavardage pour éclairer leurs décisions et évaluer l’efficacité de l’application d’aide dans la prestation des résultats souhaités en matière de services. Le succès ne se mesure pas au nombre de personnes qui utilisent l’application, mais au nombre de personnes qui déclarent que l’application a résolu leur problème et à la précision des réponses qu’elles ont reçues.

Pour de plus amples renseignements, consulter les directives sur l’utilisation du Sondage sur la réussite des tâches du gouvernement du Canada