Multi-FedLS : A Scheduler of Federated Learning Applications in a Multi-Cloud Environment
Multi-FedLS : un ordonnanceur d’applications d’apprentissage fédéré dans un environnement Multi-Cloud
Résumé
Federated Learning (FL) is a new area of distributed Machine Learning (ML) where learning ensures data privacy. Each client has access only to its own local and private dataset. This approach is attractive in various domains of knowledge because it allows different institutions to collaborate without sharing their confidential data. As the amount of data required for training has grown significantly in recent years, most institutions cannot afford physical data centers to store and manipulate all their data. A viable option is to utilize cloud storage services offered by providers with different data privacy and availability guarantees. The user is responsible for choosing the regions where their data is stored and controlling access to it.Additionally, cloud providers offer various services to execute an application. They provide users with the ability to create Virtual Machines (VMs) with different configurations, where users have full control over them. This type of service is known as Infrastructure-as-a-Service (IaaS). Thus, a multi-cloud environment is conducive to the collaboration of different institutions in creating a Machine Learning model through Federated Learning.In this thesis, we propose extit{Multi-FedLS}, a robust framework designed to execute FL applications in a multi-cloud environment. The framework considers the current location of each client's datasets, communication delay, and cost of utilization in the clouds, focusing on cost and runtime reduction. Moreover, Multi-FedLS utilizes cheaper instances whenever possible to reduce costs, even though they may be revoked at any time by the cloud provider. Thus, to ensure the successful execution of FL applications, the framework employs fault-tolerance techniques such as checkpoints and work migration to resume training on another VM after a revocation. Multi-FedLS comprises four modules: Pre-Scheduling, Initial Mapping, Fault Tolerance, and Dynamic Scheduler. The obtained results demonstrate the feasibility of executing applications in multi-cloud environments using low-cost VMs, employing mathematical formulation, fault-tolerance techniques, and simple heuristics for selecting new VMs. The framework achieved a cost reduction of 56.92% compared to application runtime using more expensive VMs, with only a 5.44% increase in runtime on commercial cloud providers.
L'apprentissage fédéré (AF) est un nouveau domaine de l'apprentissage machine distribué où l'apprentissage garantit la confidentialité des données. Chaque client a accès uniquement à son propre ensemble de données local et privé. Cette approche est attrayante dans divers domaines du savoir car elle permet à différentes institutions de collaborer sans partager leurs données confidentielles. Comme la quantité de données requises pour la formation a considérablement augmenté ces dernières années, la plupart des institutions ne peuvent pas se permettre des centres de données physiques pour stocker et manipuler l'ensemble de leurs données. Une option viable consiste à utiliser des services de stockage en nuage proposés par des fournisseurs offrant différentes garanties de confidentialité et de disponibilité des données. L'utilisateur est responsable du choix des régions où ses données sont stockées et du contrôle de leur accès.De plus, les fournisseurs de services en nuage offrent divers services pour exécuter une application. Ils permettent aux utilisateurs de créer des machines virtuelles (MV) avec différentes configurations, où les utilisateurs ont un contrôle total sur celles-ci. Ce type de service est appelé Infrastructure en tant que Service (IaaS). Ainsi, un environnement multi-cloud est propice à la collaboration de différentes institutions dans la création d'un modèle d'apprentissage machine grâce à l'apprentissage fédéré.Dans cette thèse, nous proposons Multi-FedLS, un framework robuste conçu pour exécuter des applications AF dans un environnement multi-cloud. Le framework prend en compte l'emplacement actuel des ensembles de données de chaque client, le délai de communication et le coût d'utilisation dans les nuages, en se concentrant sur la réduction des coûts et du temps d'exécution. De plus, Multi-FedLS utilise des instances moins chères chaque fois que possible pour réduire les coûts, même si elles peuvent être révoquées à tout moment par le fournisseur de services en nuage. Ainsi, pour assurer l'exécution réussie des applications AF, le cadre utilise des techniques de tolérance aux pannes telles que les points de contrôle et la migration des tâches pour reprendre la formation sur une autre MV après une révocation. Multi-FedLS comprend quatre modules: Pre-Scheduling, Initial Maping, Fault Tolerance e Dynamic Scheduler. Les résultats obtenus démontrent la faisabilité de l'exécution d'applications dans des environnements multi-cloud en utilisant des MV peu coûteuses, en utilisant une formulation mathématique, des techniques de tolérance aux pannes et des heuristiques simples pour la sélection de nouvelles MV. Le framework a obtenu une réduction des coûts de 56,92% par rapport au temps d'exécution de l'application en utilisant des MV plus coûteuses, avec seulement une augmentation de 5,44% du temps d'exécution sur les fournisseurs de services en nuage commerciaux.
| Origine | Version validée par le jury (STAR) |
|---|