Meta et Apple : une IA géante de 816 milliards de paramètres sur Mac Studio !

Qui aurait imaginé voir Meta et Apple travailler ensemble autour de l'intelligence artificielle ? Pourtant, les deux géants viennent de collaborer pour permettre à Muse Spark Open, un nouveau modèle d'IA de Meta, de fonctionner directement sur des Mac Studio. Et avec ses 816 milliards de paramètres, la bête ne fait pas dans la demi-mesure !

Une IA géante qui fonctionne sans passer par le cloud

Muse Spark Open est principalement destiné à la programmation, aux tâches complexes et aux agents capables d'effectuer plusieurs opérations successives. Le modèle possède 816 milliards de paramètres au total, mais repose sur une architecture Mixture of Experts (MoE), qui n'en active qu'environ 42 milliards pour chaque token généré. Cela réduit considérablement les calculs nécessaires, sans pour autant supprimer les importants besoins en mémoire. Dans la configuration testée par Apple, les poids du modèle occupent environ 493 Go après quantification en 4 bits, auxquels s'ajoute la mémoire nécessaire aux calculs.

Grâce au framework MLX d'Apple, il peut fonctionner localement sur deux Mac Studio équipés de puces M5 Ultra et de 512 Go de mémoire unifiée chacun. Les machines communiquent par Thunderbolt 5 pour se partager les calculs, avec pas moins de 1 To de mémoire au total !

Apple a même testé une configuration réunissant quatre Mac Studio, capable de générer plus de 36 tokens par seconde. Autrement dit, une vitesse suffisante pour produire du texte de manière relativement fluide avec un modèle aussi gigantesque.

Ouvert, mais pas pour toutes les bourses !

Meta met gratuitement les paramètres du modèle à disposition de nombreux développeurs, sous une licence comportant certaines restrictions commerciales. Attention donc : « open-weight » ne signifie pas nécessairement totalement open source.

Le modèle peut également être utilisé sur des infrastructures AMD, Intel ou NVIDIA, ou via différents services en ligne. Mais pour le faire tourner chez soi dans les conditions présentées par Apple, il faudra disposer de machines particulièrement coûteuses.

Cette collaboration reste néanmoins intéressante : elle montre que de très grands modèles d'IA peuvent désormais fonctionner sur des ordinateurs de bureau, sans envoyer systématiquement les données vers un serveur distant. Même si, pour le moment, il faut avoir un sacré budget !