Thèse Année : 2024

Neural network compression in the context of federated learning and edge devices

Compression des réseaux de neurones dans le contexte de l’apprentissage fédéré et des systèmes embarqués

Résumé

Federated learning is a collaborative, decentralized machine learning framework driven by growing concerns about data privacy. By shifting model training to local nodes and keeping data local, it enables more privacy-conscious training. However, this approach imposes additional communication and computation overhead on those who adopt it. In this manuscript, we examine the key challenges in federated learning and propose solutions to increase efficiency and reduce hardware requirements. Specifically, we explore classic compression techniques, such as pruning, and low-rank approximations to lower the costs associated with federated learning. For scenarios where participants have limited communication capabilities, we introduce a co-design methodology for an embedded few-shot learning algorithm. Our proposed solution integrates hardware constraints into a deployment pipeline for FPGA platforms, resulting in a low-latency algorithm that can also be leveraged to implement post-federated learning models.
L’apprentissage fédéré est un cadre d’apprentissage automatique collaboratif et décentralisé, motivé par des préoccupations croissantes concernant la confidentialité desdonnées. En transférant l’entraînement des modèles vers des noeuds locaux et en conservant les données sur place, il favorise une approche plus respectueuse de la vie privée. Toutefois, cette méthode impose un surcoût en termes de communication et de calcul à ceux qui l’adoptent. Dans ce manuscrit, nous examinons les principaux défis de l’apprentissage fédéré et proposons des solutions visant à augumenter l’efficacité tout en réduisant les besoins en ressources matérielles. Plus précisément, nous explorons des techniques de compression classiques, comme l’élagage, ainsi que des approximations en rang faible afin de diminuer les coûts associés à l’apprentissage fédéré. Pour les scénarios où les participants disposent de capacités de communication limitées, nous introduisons une méthodologie de co-conception pour un algorithme d’apprentissage avec peu d’examples embarqué. Notre solution intègre les contraintes matérielles au sein d’un pipeline de déploiement sur des plateformes FPGA, aboutissant à un algorithme à faible latence qui peut également être exploité pour mettre en oeuvre des modèles post-apprentissage fédéré.
Fichier principal
Vignette du fichier
2024IMTA0444_Grativol_Ribeiro-Lucas.pdf (10.05 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04921692 , version 1 (30-01-2025)

Identifiants

  • HAL Id : tel-04921692 , version 1

Citer

Lucas Grativol Ribeiro. Neural network compression in the context of federated learning and edge devices. Networking and Internet Architecture [cs.NI]. Ecole nationale supérieure Mines-Télécom Atlantique, 2024. English. ⟨NNT : 2024IMTA0444⟩. ⟨tel-04921692⟩
0 Consultations
0 Téléchargements

Partager

More