Étude de cas 8 : Présentation d'un fournisseur d'outil d'IA
Scénario
Une démo de fournisseur prétend que sa plateforme d’IA humanitaire va :
- « Prédire les déplacements 30 jours à l’avance avec 95 % de précision »
- « Approuver automatiquement l’aide en espèces pour les cas à faible risque »
- « S’entraîner sur vos données pour améliorer les modèles pour le secteur »
- « Se conformer à toutes les lois sur la vie privée dans le monde »
Votre organisation ne dispose pas encore de cadre d’achat d’IA.
Votre tâche (12 minutes)
- Listez les affirmations qui nécessitent des preuves.
- Quelles affirmations soulèvent des signaux d’alerte pour l’usage humanitaire?
- Quelles questions poseriez-vous au fournisseur?
- Recommandez : adopter maintenant, pilote limité ou refuser. Qui décide?
Réponse modèle
Preuves nécessaires : Méthodologie d’étude de précision, taux de faux positifs/négatifs par sous-groupe, carte de conformité juridique (quelles lois?), rétention des données et utilisation pour l’entraînement, annulation humaine pour les décisions d’aide en espèces.
Signaux d’alerte :
- Approbation automatique de l’aide (responsabilité, droits d’appel)
- Entraînement sectoriel sur vos données sans consentement
- Affirmation vague de conformité à « toutes les lois »
Questions au fournisseur :
- Où sont traitées les données? Sous-traitants?
- Pouvons-nous auditer les décisions du modèle touchant des individus?
- Quel est le processus de réponse aux incidents?
- Qui est responsable d’un refus d’aide injustifié?
Recommandation : Ambre au mieux : pilote limité seulement après cadre de gouvernance, AIPD et pas d’approbation automatique des prestations. Rouge pour adoption immédiate.
Décideur : Direction avec contribution de la vie privée, de la protection et des programmes.
Erreurs courantes
- Acheter sur le marketing de précision sans tests par sous-groupe
- Piloter sur des données réelles de bénéficiaires sans protections
- Aucun plan de sortie si le fournisseur change les conditions ou les prix
Principe enseigné
Diligence raisonnable des fournisseurs : Les contextes humanitaires exigent des preuves, pas des slogans. La gouvernance précède les achats.