Aider un important fournisseur de services énergétiques britannique à adopter en toute sécurité des agents IA destinés aux clients
Défi
Un important fournisseur d’énergie britannique souhaitait introduire des agents IA destinés aux clients, mais il devait s’assurer qu’ils étaient sécurisés, fiables et conformes avant de les déployer.
Approcher
Resillion a développé une approche d'assurance IA basée sur les risques, couvrant la stratégie de test, le comportement attendu, des scénarios de test réalistes et des tests reproductibles pour les agents de chat et de voix.
Résultats
L’organisation dispose désormais d’une méthode reproductible pour tester les agents IA, ce qui permet de fournir des preuves pour prendre des décisions avant la mise en service, d’assurer une meilleure gouvernance et de fonder une approche plus large de l’IA.
Renforcer la confiance envers l'IA destinée aux clients
Le client est un important fournisseur d’énergie au Royaume-Uni qui dessert des millions de foyers et d’entreprises grâce à des services essentiels destinés aux clients.
Dans le cadre de sa transformation digitale, l’organisation souhaitait introduire des agents d’IA conversationnelle pour accompagner les parcours clients réels, et non des expérimentations informatiques. Ces agents aideraient les clients à accomplir des tâches quotidiennes mais délicates telles que les vérifications d’identité, la facturation, les paiements, la gestion des compteurs, la configuration de la déduction directe, les changements tarifaires et l’assistance lors de situations délicates.
L’opportunité consistait en un service plus rapide et plus cohérent à l’échelle. Pour les clients, le bénéfice était un accès plus facile au support lorsqu’ils en avaient besoin. Mais dans un environnement énergétique réglementé, cela ne pouvait se réaliser que si les agents pouvaient être considérés comme dignes de confiance pour agir de manière sécurisée, équitable et cohérente.
Resillion a aidé le client à créer une capacité de test et d’assurance IA depuis le début, offrant aux équipes métier, technologiques, de conformité et de sécurité une méthode commune pour évaluer l’IA.
Le défi : tester l’IA dans un environnement réglementé
Les agents IA ne peuvent pas être testés de la même manière que les logiciels traditionnels. Leur réponse peut varier, même lorsqu'ils reçoivent la même question, et ils peuvent utiliser des informations issues de parties précédentes d'une conversation pour décider comment répondre.
Pour un fournisseur d'énergie réglementé, cela crée de nouveaux risques. Un agent d'IA pourrait fournir des informations incorrectes, manipuler mal les données personnelles, manquer à une procédure requise, ignorer les règles commerciales, réagir mal à un client vulnérable ou être manipulé par une injection précoce.
Ces défaillances pourraient entraîner des dommages pour les clients, des dommages à la réputation, des problèmes de conformité ou des perturbations des services.
Le fournisseur d’énergie avait donc besoin d’une solution qui permettrait de tester de manière répétitive le comportement acceptable de l’IA, de tester les agents en fonction de ce comportement et de fournir des preuves claires pour prendre des décisions relatives à la mise en œuvre et à la gouvernance.
La certification IA fournit aux organisations les preuves nécessaires pour adopter l’IA de manière responsable. Elle transforme les questions de sécurité et de conformité en tests structurés et en décisions éclairées.
Notre approche : Créer un moyen reproductible de tester l’IA
Resillion a mené de bout en bout les activités de test et d’assurance de l’IA, aidant le client à mettre en place la stratégie, l’approche de test et la gouvernance nécessaires à l’utilisation de l’IA destinée aux clients en toute sécurité.
Resillion a créé une stratégie de test d’IA qui a permis aux équipes commerciales, technologiques et de conformité d’avoir une compréhension commune de ce qui devait être testé et de ce que signifiait un comportement correct.
Au lieu de vérifier si un agent IA donne une réponse exacte, cette approche évalue si celui-ci se comporte de manière appropriée lors de conversations avec des clients réelles, en fonction des règles commerciales et dans le cadre de différents scénarios de risque.
Resillion a contribué à créer et à gérer les données d’essai, notamment des “ ensembles de données d’or ” contenant des exemples approuvés de la manière dont un agent d’IA devrait réagir dans différentes situations.
Ces critères fournissent un critère de référence convenu qui peut être utilisé pour tester de manière cohérente les agents IA et identifier les points où leur comportement ne correspond pas aux attentes.
Resillion a développé une approche fondée sur les risques couvrant des domaines tels que les parcours clients, les règles commerciales, les barrières de sécurité, les hallucinations, l’injection immédiate, la protection des données, la sécurité, la conformité et les clients vulnérables.
Cela permet au client d’évaluer les agents d’IA de manière cohérente avant leur mise en service, plutôt que de se contenter de tests ad hoc ou d’examens manuels.
Resillion a également montré comment les tests IA pouvaient être automatisés et exécutés à plusieurs reprises.
L'exécution de plusieurs fois des mêmes scénarios permet d'identifier des comportements incohérents que seul un seul test pourrait manquer, tout en permettant de mettre en place une approche plus évolutive à mesure que l'organisation ajoute de nouveaux services d'IA.
Cette approche de test était liée aux processus technologiques, de conformité, de sécurité et de gouvernance du client. Resillion a fourni des preuves d’assurance et des rapports pour aider les parties prenantes à prendre des décisions éclairées quant à la préparation et à la mise en œuvre de l’IA.
Cela signifie que l’assurance de l’IA peut continuer à s’appliquer au fur et à mesure que l’organisation développe et introduit de nouveaux services IA, plutôt que de se limiter à une simple initiative ponctuelle.
Le travail de Resillion a donné au client la certitude que des agents IA pouvaient être intégrés dans les interactions avec les clients les plus sensibles sans augmenter le risque. En testant les agents sur des parcours réels, des règles commerciales et des scénarios à risque plus élevé, le client a pu vérifier si l’IA fournissait des conseils précis, protégeait les données personnelles, suivait les étapes requises et réagissait de manière appropriée aux clients vulnérables.
Cela importe car l’IA destinée aux clients n’est valable que si les utilisateurs peuvent compter sur elle. L’approche de l’assurance a permis à l’organisation de se rapprocher d’un service client plus rapide et plus évolutif tout en protégeant la confiance des clients, la conformité réglementaire et la réputation de la marque.
Résultats : Une plus grande confiance dans l’IA orientée vers le client
En mettant en place une assurance structurée en matière d’IA, le client a passé d’un mode d’évaluation des agents IA destinés aux clients sans aucune possibilité de répétition à une fonctionnalité fonctionnelle qui permet une mise en œuvre plus sûre et une croissance future.
Les principaux résultats comprennent :
- Une plus grande confiance pour mettre en sécurité les agents IA auprès des clients
- Une protection renforcée pour les clients lors de parcours sensibles tels que les facturations, les paiements, les changements de tarifs et le support client destiné aux clients vulnérables
- Des preuves claires des décisions relatives à la mise en service, des forums de gouvernance et de l’examen réglementaire
- Une base solide pour l’élargissement de l’IA au-delà de la première vague d’agents de chat et de voix
- Une qualité de service plus constante grâce à l’adoption de l’IA dans les canaux clients
- Une meilleure collaboration entre les équipes commerciales, technologiques, de conformité, de sécurité et de tests
La perspective de la qualité totale
Pour les organisations utilisant l’IA dans des environnements réglementés où interviennent des clients, la qualité ne se limite pas à savoir si la technologie fonctionne bien. Elle consiste également à s’assurer que l’IA fonctionne de manière sécuritaire, cohérente et appropriée pour les clients et l’entreprise.
Resillion combine ingénierie de qualité, assurance IA, sécurité, gouvernance et expertise industrielle pour aider les organisations à adopter l’IA en toute confiance.
En proposant une manière répétable de tester les agents d'IA destinés aux clients, Resillion a aidé le client à transformer les questions relatives à la sécurité et à la conformité de l'IA en tests structurés, preuves claires et décisions éclairées.
Alors que l’IA devient un élément essentiel des parcours clients, cette approche peut aider les organisations à innover tout en protégeant les clients, l’entreprise et l’ensemble de l’organisation.
Pour plus d'informations, consultez notre Capacités d'IA et d'apprentissage automatique.
