rapport Conseil d'Etat sur l'intelligence artificielle

[raphhart]

Le Conseil d'état vient de sortir une étude sur les usages de l'IA réalisée à la demande du premier ministre.
Etude à la demande du PM - IA et action publique.pdf
Je n'ai pas encore tout lu, le rapport est assez volumineux et recoupe un certain nombre d'usages de système d'intelligence artificielle, en matière de sécurité mais pas uniquement.
On peut constater un certain engouement des auteurs, y compris en matière sécuritaire :

"En dépit des controverses qu’ils suscitent, les usages « sécuritaires » et de contrôle
des SIA méritent d’être encouragés, pour autant qu’ils soient assortis de très solides
garde-fous."

[Selim]

Merci du partage @raphhart. Oui tonalité très enthousiaste, et croyance presque mystique dans l'efficacité des garde-fous (c'est désormais la stratégie préférée des juges pour faire l'autruche face à toute critique politique de l'automatisation de l'État -- ça me fait notamment penser à la jurisprudence sur le fichier TAJ et la reco faciale).

[LDH Nice]

@raphhart
c'est toujours un peu le même discours : "oui, mais il y aura des contre-pouvoirs pour équilibrer tout ça" On a vu ce que ça a donné les "contre-pouvoirs" en matière de vidéosurveillance de la voie publique !

Inutile de lire les 360 pages de ce vaste et panoramique rapport ! Pour ce qui nous occupe, on peut se contenter du chapitre "3. Définir et mettre en œuvre les principes et méthodes de l’IA publique de confiance" (pages 93 à 155).
https://www.conseil-etat.fr/actualites/s-engager-dans-l-intelligence-artificielle-pour-un-meilleur-service-public

Quelques extraits :

"Loin des fantasmes sur la prise du contrôle du social par une intelligence artificielle, qui refuserait que, demain, l’aide personnalisée au logement soit allouée en quelques jours plutôt qu’en quelques semaines" (page 73) technique de l’appât sur l’hameçon.

"les citoyens, les associations et les entreprises disposeront d’outils puissants de comparaison, recourant eux-mêmes à des SIA, leur permettant de déchirer le voile d’ignorance actuel. Qu’il s’agisse de l’attribution de places de crèches, des décisions de la Cour nationale du droit d’asile ou de la doctrine des Caisses d’allocations familiales en matière de RSA, les autorités publiques, confrontées les unes aux autres, seront davantage invitées à se justifier ou à s’aligner" (page 74) A mon avis, c'est pas demain la veille ! Argument fallacieux d'une sorte de contre-pouvoir qui viendrait équilibrer le dispositif. En matière de vidéosurveillance, où est le contre-pouvoir ?

"Le recours au SIA peut aussi être un élément de réponse à la crise de la complexité publique" (page 75)

"Ensuite, les ressources humaines libérées des tâches automatisées peuvent être redéployées " (page 78) Pour le moment, ça ne s'est jamais passé comme ça, suppressions de postes

"Au-delà de ce tableau général, on constate surtout une très grande hétérogénéité dans la maturité des administrations, le degré d’avancement des réflexions et des projets et l’ampleur des investissements qui y sont consacrés. Alors que les activités de contrôle, d’enquête et de sanction, dans lesquelles le « retour sur investissement » est bien identifié, sont assez dynamiques, le déploiement de SIA innovants est plus balbutiant dans les activités de service à l’usager, et embryonnaire pour ce qui concerne les fonctions support, notamment dans le domaine des ressources humaines. (page 81) "assez dynamiques" 😁

"Le risque juridique est le plus partagé, ce que deux facteurs tout à fait liés peuvent expliquer. En premier lieu, la conformité au RGPD est anticipée comme une difficulté majeure, annihilatrice des enthousiasmes initiaux, ce qui traduit plus largement une méconnaissance du cadre juridique applicable depuis son entrée en vigueur" (page 83)

"Sans doute la pression citoyenne à la performance publique et les contraintes croissantes de ressources du secteur public l’amèneront-ils naturellement à se tourner plus massivement, tôt ou tard, vers cet ensemble de solutions innovantes." (page 84)

"L’approche volontariste peut rapidement entraîner une dérive solutionniste, qui verrait dans la technologie numérique la solution à tous les problèmes" (page 87)

"jamais un SIA ne transformera le plomb d’une mauvaise politique publique en or socio-économique. S’ils peuvent y contribuer, ces systèmes ne désendetteront pas la France, n’éradiqueront pas la pauvreté et n’assureront pas la cohésion sociale et nationale, pas plus qu’ils ne mettront fin à la criminalité et à la délinquance" (page 88) En parler à Estrosi

"D’autre part, il importe de veiller à un déploiement équilibré des usages au regard de leur perception sociale par le public – schématiquement, entre les systèmes dédiés au « service », vus comme des usages « positifs » (allocation d’aides, fourniture d’informations, accélération de l’instruction des dossiers, amélioration de la prise en charge thérapeutique…), et ceux qui le sont au « contrôle », perçus comme des usages « négatifs » (surveillance par les forces de l’ordre, ciblage des contrôles fiscaux et sociaux…)112 . Les effets des indispensables efforts de pédagogie, rappelés en première partie, peuvent être anéantis par le sentiment que les SIA sont d’abord et avant tout des instruments de coercition ou, qu’à tout le moins, c’est ainsi que les pouvoirs publics les conçoivent." (page 90) On n'attire pas les mouches avec du vinaigre

"les SIA de contrôle se prêtaient particulièrement bien à l’utilisation de l’apprentissage automatique, ce qui, avec la perspective d’un « retour sur investissement » à court ou moyen terme, explique qu’ils figurent parmi les projets les plus aboutis." (page 91)

" il convient de veiller à ne pas déployer prématurément des systèmes à finalité répressive dont l’acceptabilité par les parties prenantes – usagers comme agents – n’est pas suffisamment garantie, quand bien même servent-ils l’intérêt général et collectif bien compris. Mais pour ne pas freiner à l’excès ce déploiement, il est tout aussi crucial d’investir dans des projets utilisant l’IA à des fins d’assistance et de secours, d’amélioration du service des prestations, d’accessibilité du service public ou d’inclusion sociale et dans leur valorisation" (page 91) Fable de la grenouille dans le chaudron

"Le défi prioritaire de l’acceptabilité sociétale des systèmes d’IA ne peut toutefois être relevé sans une identification assumée des risques et limites qu’ils présentent, notamment au regard des droits fondamentaux et des libertés publiques. Il existe à cet égard, sous l’appellation générique et quelque peu galvaudée d’« éthique de l’IA », une intense réflexion scientifique et doctrinale, ainsi qu’une très abondante littérature, qu’il est vain de recenser, qui documente ces multiples inconvénients. Certains travaux s’en prévalent, illustrations pittoresques114 ou glaçantes115 à l’appui, pour disqualifier par principe le recours à ces outils : ils n’ont d’intérêt que diagnostique. D’autres, plus constructifs, explorent les voies et moyens d’une maîtrise de ces risques à travers des solutions de nature politique, organisationnelle, technique ou encore juridique. Tel est l’enjeu de l’IA digne de confiance (« trustworthy AI ») 116, concept-pivot des institutions européennes qui a donné lieu à plusieurs productions117, lesquelles ont inspiré en partie les obligations juridiques que comporte la proposition de règlement européen sur les systèmes d’IA : définir les garanties propres à assurer que les systèmes d’IA accroissent le bien-être collectif et fonctionnent au bénéfice du plus grand nombre et à rassurer les parties prenantes à cet égard" (page 93)

"Parce qu’elle véhicule aussi un imaginaire angoissant voire apocalyptique, dont il a déjà été question, l’intelligence artificielle s’expose, plus encore que bien d’autres instruments de l’action publique, à des contestations et des remises en cause potentiellement irrationnelles voire violentes, et donne prise à des thèses complotistes sur le thème de la surveillance et de la manipulation généralisées." (page 94) thèses complotistes !

" D’une certaine manière, la construction du droit des traitements de données à caractère personnel en France à partir de 1978, dans le sillage de l’affaire Safari119, s’inscrit dans ce biais cognitif qui explique, encore aujourd’hui, la connotation péjorative des termes « fichiers » et, plus encore, « fichage » et la vision des traitements comme un « mal nécessaire » plutôt que comme un simple besoin à encadrer" (page 95) aimons le fichage ...

"Les autres exigences constituent des repères d’ordre déontologique, dont les administrations doivent s’efforcer de tenir compte pour renforcer l’acceptabilité sociale des systèmes, de façon proportionnée à l’ampleur des risques et en arbitrant les contradictions qui peuvent surgir entre elles. (page 97) Bon, si c'est le Conseil d'Etat qui juge la proportionnalité 😬

"Cette exigence n’est respectée que si le SIA public répond à une finalité d’intérêt général avérée et que l’ingérence dans les droits et libertés fondamentaux qui résulte de sa mise en service n’est pas disproportionnée au regard des bénéfices qui en sont attendus. Encore faut-il déterminer le champ de ce qui est socialement acceptable" (page 98)

"De manière générale, il convient d’accueillir avec prudence l’idée d’interdictions propres aux SIA, au regard de l’objectif de neutralité technologique, de la préoccupation de ne pas « diaboliser » ces systèmes et de la nécessité de ménager l’avenir. Il ne faut pas perdre de vue, en outre, que les règles de droit commun permettent déjà d’interdire des usages socialement inadmissibles des SIA" (page 99)

" Quant à la reconnaissance biométrique en temps réel dans les lieux publics, il est sûr qu’elle appelle un encadrement des plus stricts, national ou européen ; mais il est plus douteux qu’il faille faire de leur interdiction la règle, et de leur déploiement l’exception, et, en tous les cas, il apparaît inopportun, au regard des enjeux d’intérêt général (retrouver un enfant enlevé ou perdu, identifier un terroriste notoire dans la foule d’un grand évènement…), de les interdire purement et simplement, comme le suggère le comité européen et le contrôleur européen de la protection des données" (page 99) C'est de l'Estrosi dans le texte

"Au-delà des interdictions de principe que le règlement pourra comporter, c’est au cas par cas qu’il appartiendra à l’administration, sous le contrôle du juge, d’apprécier si les atteintes portées aux droits et libertés sont justifiées et proportionnées" (page 100)

"Un SIA ne saurait aboutir à un résultat inéquitable et, en particulier, à un résultat qui introduirait une discrimination injustifiée" (page 113)

"La non-discrimination constitue une exigence centrale du principe d’équité. Elle implique d’identifier, de prévenir et d’éliminer les biais discriminatoires prohibés qui peuvent survenir de façon subreptice lors de la conception et la mise en service d’un SIA" (page 114)

" Contrairement à d’autres actes de droit dérivé connexes, comme la directive dite e-privacy178 ou le RGPD et la directive dite « police-justice », la proposition de la Commission n’exclut pas de son champ d’application l’ensemble des matières classiquement exclues du champ du droit de l’Union, à savoir la sécurité nationale (y compris le renseignement), la défense et la politique étrangère. La seule exclusion porte sur les SIA « développés ou utilisés exclusivement à des fins militaires » – terminologie dont il n’est pas certain qu’elle recouvre l’ensemble du champ de la défense. Le « texte de compromis » en cours de discussion prévoit d’y ajouter l’exception de sécurité nationale. " (page 135)

"d’autre part, la simple inclusion du système dans le champ d’application du règlement, fût-ce au titre de la soumission à un code de conduite, emporte l’inclusion dans le champ du droit de l’Union, ce qui entraîne l’application du droit primaire, notamment de la Charte des droits fondamentaux de l’Union européenne, dont on sait à quel point, telle que l’interprète la Cour de justice de l’Union européenne, elle peut être exigeante à l’égard des autorités publiques, en particulier pour celles qui sont en charge de missions touchant à la sécurité. Cet effet doit être sérieusement pris en compte par les pouvoirs publics pour appréhender la portée réelle du texte, au-delà des prescriptions précises qu’il fixe, et apprécier s’il y a lieu de circonscrire le champ d’application du règlement aux SIA des trois catégories pour lesquelles des obligations précises sont fixées." (voir l'ensemble pages 135-136)

"La construction d’une IA digne de confiance suppose d’afficher clairement et d’assumer que tout dommage causé en raison de l’utilisation d’un tel système n’appellera pas le prononcé de sanctions pénales. Il n’y a pas lieu, à cet égard, de « sur-pénaliser » cette activité en raison des risques qu’elle présente, au risque de compromettre la nécessaire innovation." (page 155) ???