Cet article est écrit par Martin Hackl, directeur du numérique du ministère fédéral autrichien de la Justice.

Partout dans le monde, nous assistons à un mouvement grandissant pour une «justice ouverte» et la transparence.

Comme d'autres mouvements «ouverts», les partisans de la justice ouverte soutiennent que les citoyens devraient avoir le droit d'accéder aux documents judiciaires et que la transparence améliorera la responsabilité et l'efficacité du système judiciaire.

Mais rendre ces verdicts judiciaires librement accessibles crée un défi: comment garantir que la vie privée des citoyens ne soit pas violée?

Actuellement, dans la plupart des pays européens, les verdicts des tribunaux sont rendus anonymes à la main, ce qui prend évidemment beaucoup de temps et de ressources humaines, limitant ainsi le nombre de documents pouvant être mis à la disposition du public. Cependant, cette tâche répétitive suit des modèles clairs, ce qui signifie qu'elle est parfaitement positionnée pour être résolue en utilisant des algorithmes d'apprentissage automatique / d'apprentissage en profondeur. Ces algorithmes permettent de répondre aux écarts par rapport aux modèles existants ainsi que de prendre des «décisions» liées au contexte (par exemple, comment traiter certains passages de texte), ce qui les rend supérieurs aux approches basées uniquement sur des règles.

Dans le système judiciaire autrichien, nous avons développé un algorithme d'apprentissage automatique pour anonymiser ces informations. Nous testons toujours l'algorithme pour nous assurer qu'il est à la hauteur des contrôles de qualité rigoureux, mais il y a plusieurs leçons clés que nous pouvons tirer pour les fonctionnaires d'autres pays et domaines qui expérimentent l'apprentissage automatique.

Contrairement aux projets logiciels classiques, le développement de projets avec l' IA nécessite une approche adaptée puisque le développement est axé sur la formation de modèles avec des données de haute qualité plutôt que sur le codage des règles métier. Par conséquent, notre processus de développement d'un système d'apprentissage automatique peut être divisé en trois étapes; en commençant par la collecte de données existantes de qualité garantie, jusqu'à la génération d'un modèle d'apprentissage automatique et l'itération de ses performances. Voici quelques conseils clés à garder à l'esprit à chaque étape.

1) Commencez par collecter vos données existantes et prenez conscience de leur qualité

Pour permettre à un algorithme d'anonymiser du texte, il doit d'abord être formé. Pour ce faire, une quantité correspondante de données est nécessaire.

En Autriche, seule la Cour suprême est actuellement tenue par la loi de publier ses jugements . Lorsque ces verdicts sont publiés, ils sont anonymisés manuellement à l'aide de marqueurs noirs. Cela signifie que le texte original est toujours disponible dans les bases de données internes et, par conséquent, ils fournissent une excellente base de données pour la formation d'algorithmes par rapport à une «norme de référence» d'environ 66 000 verdicts des tribunaux.

L'intelligence artificielle a un énorme potentiel pour améliorer le travail que nous faisons dans le secteur public

Une autre source précieuse est le verdict d'autres tribunaux qui sont stockés numériquement dans des applications internes. Cette base de données comprend environ 800 000 documents non annotés. De plus, les deux ensembles de données sont complétés par des données enregistrées constituées d'informations sur les parties à la procédure. Ces trois bases de données constituent ensemble une base parfaite pour développer des algorithmes très précis.

À côté des jugements des tribunaux et des données de registre correspondantes, des dictionnaires accessibles au public (par exemple, adresses, registres de sociétés) sont intégrés pour compléter l'ensemble de données afin d'optimiser davantage la formation sur le modèle.

2) Ensuite, choisissez un modèle - il n'y en a pas un pour les gouverner tous

Nous savions dès le départ que nous avions d'excellentes données pour former notre algorithme. L'étape suivante a consisté à choisir notre approche d'apprentissage automatique.

Heureusement, un certain nombre de bibliothèques open source librement disponibles pour la PNL (telles que Spacy ou Stanford-NLP) peuvent être trouvées sur Internet aujourd'hui. Ceux-ci offrent également des modèles pré-formés pour reconnaître les noms ou les lieux. Mais comment tenir compte de cela avec les règles spécifiques pour que les noms soient anonymisés dans les verdicts des tribunaux?

Dans notre approche, nous avons donc décidé de mettre en œuvre une utilisation combinée de différentes technologies et modèles pour garantir les meilleurs résultats possibles tout en tirant parti des modèles open source existants. Ainsi, des algorithmes de traitement du langage naturel (NLP) et d'apprentissage automatique (ML) prêts à l'emploi sont déployés avec des méthodes traditionnelles (telles que la recherche floue ou les méthodes basées sur les expressions régulières) pour suivre le meilleur de la race approche pour compenser les faiblesses des outils individuels et tirer parti de leurs forces.

Les tâches répétitives qui suivent un schéma clair seront sûrement rendues plus efficaces par l'utilisation de l'intelligence artificielle et cela ne s'accélérera qu'avec la maturité de la technologie. Étant donné que l'anonymat des verdicts des tribunaux consomme actuellement de si grandes quantités de ressources humaines, confier le travail à un algorithme permettrait à ces personnes d'effectuer d'autres tâches complexes et à valeur ajoutée.

D'un point de vue architectural, cela a conduit au développement de modèles petits et ciblés plutôt que d'utiliser un «modèle universel» majeur pour garantir la flexibilité et l'adaptabilité rapide aux nouvelles exigences. Cette combinaison de différentes approches de pointe a été sélectionnée pour compenser les faiblesses des outils individuels et tirer parti de leurs forces et est donc préparée à fournir le meilleur résultat possible pour notre cas d'utilisation.

3) Enfin, assurez-vous d'itérer et d'évaluer

Un ensemble de données de grande qualité et une architecture appropriée sont deux atouts majeurs qui augmentent les chances de succès.

Après avoir défini et clarifié les exigences d'anonymisation, les modèles sont formés sur l'ensemble de données. Au cours de courts cycles de sprint, un échantillon de décisions judiciaires choisi au hasard est traité à l'aide des algorithmes développés et fait l'objet d'un examen humain immédiat et approfondi. De plus, des indicateurs de performance globaux clés pour la qualité de l'anonymisation sont calculés, tels que la capacité de l'algorithme à reconnaître uniquement les noms et adresses qui doivent vraiment être anonymisés, pour évaluer l'impact global des changements.

Les chiffres clés les plus importants sont appelés: précision, rappel et score F1 (agrégé). Les retours et les chiffres générés alimentent directement le prochain cycle de développement pour assurer une amélioration et une optimisation ciblées des modèles. Cette approche itérative permet à l'équipe de projet de suivre immédiatement toute faiblesse des modèles et d'apporter des corrections juste avant les prochains cycles de formation.

Depuis juin 2020, les décisions de justice sont rendues anonymes par l'IA puis publiées dans la collection interne des tribunaux. Alors que 99,5% des informations qui doivent être anonymisées sont reconnues correctement (ce qui parle à notre KPI de rappel), l'algorithme est encore trop strict avec certaines informations et anonymise trop (qui est capturé par le KPI de précision). Afin de maintenir la lisibilité des décisions, c'est le point de départ pour d'autres améliorations qui sont encore nécessaires avant que l'algorithme puisse être mis en ligne.

Mais rappelez-vous, l'intelligence artificielle n'est pas infaillible

Comme nous l'avons vu dans cet exemple simple, il existe un énorme potentiel d' intelligence artificielle pour améliorer le travail que nous faisons dans le secteur public. Les tâches répétitives qui suivent un schéma clair seront sûrement rendues plus efficaces par l'utilisation de l'intelligence artificielle et cela ne s'accélérera qu'avec la maturité de la technologie. Étant donné que l'anonymisation des décisions de justice consomme actuellement de si grandes quantités de ressources humaines, confier le travail à un algorithme permettrait à ces personnes d'effectuer d'autres tâches complexes et à valeur ajoutée.

Même si les algorithmes développés récemment au cours des derniers mois et des dernières années se sont considérablement améliorés, rien ne garantit qu'ils fonctionnent parfaitement et sont toujours précis. D'autant plus qu'il y a toujours la possibilité que de nouvelles constellations et circonstances soient représentées dans les décisions de justice et qu'elles diffèrent considérablement des schémas précédents, ce qui peut conduire à des défauts dans les résultats de l'anonymisation. De plus, les mots et les phrases utilisés sont parfois ambigus et la signification derrière une expression est très liée au contexte, ce qui peut conduire à des sorties sous-optimales. Étant donné que l' utilisation de l'IA dans le domaine judiciaire doit également prêter attention aux risques éthiques , il est important de veiller à des ensembles de données de formation équilibrés qui ne contiennent aucun parti pris.

Gardez à l'esprit qu'aucun système ou algorithme - tout comme les êtres humains - n'est infaillible

Tous ces aspects soulignent la nécessité d'une assurance qualité des documents traités automatiquement et des résultats d'anonymisation générés. Dans notre cas, certains critères de qualité ont été mis en œuvre, car l'examen de chaque document traité prendrait presque autant de temps que de procéder à toute l'anonymisation manuellement. Ces critères sont basés sur des paramètres définis et déterminent si une anonymisation basée sur la machine est - avec une certaine probabilité - correcte.

Selon la variété et la granularité, une catégorisation en différents niveaux de qualité (par exemple vert, jaune, rouge) peut être mise en œuvre. Compte tenu de ces niveaux de qualité, les capacités humaines en matière d'assurance qualité peuvent se concentrer sur les documents, qui ont été présumés être traités et anonymisés de manière incorrecte (les rouges). Les verts peuvent être publiés automatiquement sans aucune interaction humaine.

En résumé, l'intelligence artificielle offre de grandes opportunités pour des tâches répétitives suivant des schémas clairs. Cependant, gardez à l'esprit qu'aucun système ou algorithme - tout comme les êtres humains - n'est infaillible. Si vous avez appris à gérer de tels échecs, vous pouvez également commencer à sous-traiter vos activités répétitives à l'intelligence artificielle. Et c'est parti! - Martin Hackl

(Crédit photo: Newspaper Club // Flickr)