Constrained Optimization for Machine Learning: Algorithms and Applications - Thèse de doctorat en informatique - Juin 2024

Aug 5, 2026

Télécharger par Levi

Déploiement généralisé de modèles d’apprentissage automatique performants entraîne des exigences croissantes de robustesse, sécurité et équité, souvent sous contraintes réglementaires et éthiques. Les pipelines actuels ajoutent la sécurité a posteriori, générant une dette technique qui ralentit le progrès. La thèse présente l’optimisation sous contraintes comme cadre pour imposer de façon fiable des propriétés complexes aux modèles. Elle analyse les formulations nécessaires, les bénéfices algorithmiques et les défis, via plusieurs études de cas sur l’apprentissage profond.

LangueFrench

CatégorieRecherche & Rapport

FormatPDF

Pages245

Temps de lecture6 h 17 min

AccèsTéléchargement gratuit

Table des matières

Résumé

Problèmes : robustesse, sécurité et équité

Rôle de l’optimisation sous contraintes

Études de cas et contributions

Contribution i : régularisateurs via contraintes

Contribution ii : contraintes sur le taux de compression

Contribution iii : parcimonie et équité non différentiables

Contribution iv : dynamique lagrangienne et stabilité

Université de Montréal C ON ST RA INE D O PT IM IZ AT I ON for MAC H IN E L EA RN IN G Algorithms and Applications q Jose Gallego-Posada Département d’informatique et de recherche opérationnelle Faculté des arts et des sciences Thèseprésentée en vue de l’obtention du grade de Philosophiæ Doctor en Informatique Juin, 2024 © Jose Gallego-Posada, 2024 Col op hon This document was typeset using LATEX, based on the classicthesis template by André Miede, and stylistically inspired by Aaron Turon’s thesis . Original illustrations by Juan Jose Rodríguez Bianchi and Juan Esteban Tobón Alzate at Chucha & Guagua. Constrained Optimization for Machine Learning: Algorithms and Applications ©June, 2024—Jose Gallego-Posada Université de Montréal Département d’informatique et de recherche opérationnelle Faculté des arts et des sciences Cette thèse intitulée Constrained Optimization for Machine Learning: Algorithms and Applications présentée par Jose Gallego-Posada a été évaluéepar un jury composé des personnes suivantes : Ioannis Mitliagkas Président-rapporteur Simon Lacoste-Julien Directeur de recherche Pierre-Luc Bacon Membre du jury Jacob Abernethy Examinateur externe iv Résumé Le déploiement généralisé de modèles d’apprentissage automatique de plus en plus performants a entraîné des pressions croissantes pour améliorer la robustesse, la sécurité et l’équité de ces modèles—souvent en raison de considérations réglementaires et éthiques. En outre, la mise en œuvre de solutions d’intelligence artificielle dans des applications réelles est limitée par leur incapacité actuelle à garantir la conformité aux normes industrielles et aux réglementations gouvernementales. Les pipelines standards pour le développement de modèles d’apprentissage automatique adoptent une mentalité de “construiremaintenant, réparer plus tard”, intégrant des mesures de sécurité a posteriori. Cette accumulation continue de dette technique entrave le progrès du domaine à long terme. L’optimisation sous contraintes offre un cadre conceptuel accompagné d’outils algorithmiques permettant d’imposer de manière fiable des propriétés complexes sur des modèles d’apprentissage automatique. Cette thèse appelle à un changement de paradigmedans lequel les contraintes constituent une partie intégrante du processus de développement des modèles, visant à produire des modèles d’apprentissage automatique qui sontintrinsèquement sécuriséspar conception. Cette thèse offre une perspective holistique sur l’usage del’optimisation sous contraintes dans les tâches d’apprentissage profond. Nous examinerons i) la nécessité de formulations contraintes, ii) les avantages offerts par le point de vue de l’optimisation sous contraintes et iii) les défis algorithmiques qui surgissent dans la résolution de ces problèmes. Nous présentons plusieurs études de cas illustrant l’application des techniques d’optimisation sous contraintes à des problèmes courants d’apprentissage automatique. E 8 e Dans la Contribution i, nous plaidons en faveur de l’utilisation des formulations sous contraintes en apprentissage automatique. Nous soutenons qu’il est préférable de gérer des régularisateurs interprétables via des contraintes explicites plutôt que par des pénalités additives, particulièrement lorsqu’il s’agit de modèles non convexes. Nous considérons l’entraînement de modèles creux avec une régularisation L 0 et démontrons que i) il est possible de trouver des solutions réalisables et performantes à des problèmes de grande envergure avec des contraintes non convexes ; et que ii) l’approche contrainte peut éviter les coûteux ajustements par essais et erreurs inhérents aux techniques basées sur les pénalités. La Contribution ii approfondit la contribution précédente en imposant des contraintes explicites sur letaux de compression atteintpar les Représentations Neuronales Implicites—une classe de modèles visant à entreposer efficacement des données (t

FAQ

Pourquoi la thèse met-elle en avant les limites des pipelines standard en apprentissage automatique ?

Parce que la sécurité est souvent ajoutée a posteriori, ce qui alimente une dette technique et empêche une amélioration durable de la robustesse, sécurité et équité des modèles.

Quel est l’apport central de l’optimisation sous contraintes proposé dans la thèse ?

Fournir un cadre conceptuel et des outils algorithmiques permettant d’imposer de manière fiable des propriétés complexes aux modèles, de sorte que la sécurité soit intégrée dès la conception.

Quelles sont les thématiques des contributions présentées ?

La thèse traite successivement : des formulations contraintes pour gérer des régularisateurs interprétables, des contraintes sur le taux de compression pour des représentations neuronales implicites, des contraintes d’équité non différentiables liées à la parcimonie, puis la stabilité de la dynamique lagrangienne basée sur le gradient.

Aug 5, 2026

Télécharger par Levi