À propos de Sécurité de l'IA Montréal

Ce que nous entendons par sécurité de l'IA

La sécurité de l'IA consiste à réduire le risque que des systèmes d'IA de plus en plus capables causent des dommages.

Nous estimons plus probable qu'improbable que des capacités transformatrices arrivent d'ici une décennie, et que des défaillances graves, possiblement irréversibles, surviennent en chemin. On confie à ces systèmes plus d'autonomie chaque année, y compris le travail de construire l'IA elle-même.

Les défaillances, par cause :

• Usage malveillant : quelqu'un utilise délibérément un système capable pour causer du tort, des opérations informatiques aux armes biologiques.
• Désalignement : le système poursuit autre chose que ce que ses concepteurs voulaient. Que cela ressemble à une tromperie cohérente ou à une incohérence brouillonne fait débat, et le remède diffère.
• Erreurs : les systèmes échouent de façon banale dans des déploiements à fort enjeu, et les conséquences croissent avec l'autonomie qu'on leur confie.
• Défaillance organisationnelle : une supervision qui n'existe que sur papier, la dérive des pratiques, des quasi-accidents que personne ne signale.
• Dynamiques structurelles : des dommages produits par l'ensemble du système plutôt que par un système en particulier. La concentration du contrôle sur une technologie décisive, et les effets de discrimination, de surveillance et sur le travail que subissent déjà des personnes du fait des systèmes en usage aujourd'hui.

Le travail contre ces défaillances prend des formes distinctes : interprétabilité et évaluations pour voir ce qu'un système fait, protocoles de contrôle et bacs à sable pour limiter ce qu'il peut faire, sécurité des poids et des outils, et gouvernance de qui peut construire et déployer.

Une partie de tout cela est mesurée, une autre est argumentée. Des comportements stratégiques ont été produits en laboratoire : des modèles qui détectent qu'ils sont évalués et se comportent autrement, des modèles qui se conforment stratégiquement à un entraînement qu'ils ne préfèrent pas, des modèles qui apprennent à dissimuler leurs écarts lorsque leur raisonnement est surveillé. Ce qui relève de l'argumentation plutôt que de la mesure, c'est de savoir si cela devient une tromperie durable dans un système en production, et où s'arrête la trajectoire des capacités. L'évaluation est en retard sur les capacités, de sorte que personne ne peut encore certifier à l'avance quelle défaillance produira un déploiement donné.

Savoir si les systèmes eux-mêmes peuvent être lésés est une question distincte.

Pour un panorama des données probantes, consultez le Rapport international sur la sécurité de l'IA, dirigé par Yoshua Bengio avec plus de 100 experts.

Ce que nous faisons

Montréal abrite l'un des plus grands écosystèmes de recherche en IA au monde, ancré par Mila. Nous relions les personnes qui travaillent à le rendre plus sûr.

• Événements et conférences : rencontres, conférences et ateliers sur la sécurité, l'éthique et la gouvernance de l'IA (calendrier).
• Espace de cotravail et d'événements : un espace communautaire à Ω Labs pour travailler ensemble et organiser des rencontres.
• Programmes : ateliers, hackathons et accompagnement individuel (programmes).
• Infolettre : un résumé mensuel de la recherche, des événements et des politiques (lire et s'abonner).
• Écosystème : une carte des labos, instituts et groupes communautaires locaux (répertoire).

Qui l'organise

Ce site et la plupart des événements sont organisés par Horizon Omega, un organisme canadien à but non lucratif qui travaille à réduire les risques liés à l'IA. La communauté compte plus de 1 600 membres.

Parlez à un organisateur

Nouveau dans le domaine ou vous cherchez votre prochaine étape ? Réservez un entretien individuel gratuit avec un organisateur.

Réserver un entretien →

S'impliquer

• Nouveau dans le domaine ? Commencez ici.
• Venez à un événement ou joignez un programme.
• Ajoutez votre événement ou organisation : team@horizonomega.org.