Comment exécuter Llama 3 localement sur Snapdragon 8 Gen 4 (guide pas à pas, 2026)

Exécuter un modèle linguistique de 3 milliards de paramètres ou plus entièrement sur un téléphone est passé du stade de “ démo technique ” à celui d“” outil réellement utile ’ en 2026. Le NPU Hexagon du Snapdragon 8 Gen 4, associé à 12 à 16 Go de mémoire vive LPDDR5X ultra-rapide, met enfin à votre disposition une puissance matérielle suffisante pour exploiter pleinement l’IA sans connexion réseau.

Ce guide vous explique comment exécuter Llama 3 8B Instruct sur un téléphone équipé d'un Snapdragon 8 Gen 4 utilisant MLC-LLM, la pile d'inférence sur appareil la plus aboutie en 2026. Vous obtiendrez ainsi une application de chat fonctionnant hors ligne, consommant peu d'énergie et offrant un débit d'environ 12 à 18 tokens par seconde.

Appareils compatibles

Ce guide a été testé et validé sur :

• Samsung Galaxy S26 Ultra / S26+ (Snapdragon 8 Gen 4 pour Galaxy)
• OnePlus 13 / 13R (Snapdragon 8 Gen 4)
• Xiaomi 15 Ultra / 15 Pro
• Asus ROG Phone 9 Pro
• Sony Xperia 1 VII
• RedMagic 10 Pro+

Pour un débit de 4 à 5 t/s au lieu de 12 à 18, le Snapdragon 8 Gen 3 La nouvelle génération fonctionne également (Galaxy S24 Ultra, OnePlus 12). Si vous utilisez un Tensor G5 (Pixel 10 Pro), utilisez AICore + Gemini Nano 2 à la place — voir les chemins natifs d'Apple/Google.

Ce dont vous avez réellement besoin

Avant de commencer, vérifiez les points suivants :

• Téléphone: Snapdragon 8 Gen 4 ou version plus récente, avec au moins 12 Go de RAM (16 Go fortement recommandés).
• Stockage gratuit: 8 Go (vous téléchargerez un modèle de 4,9 Go).
• Patience: la configuration initiale prend environ 30 minutes ; les démarrages suivants ne prennent que 2 à 3 secondes.
• Batterie: frais de configuration d'au moins 401 TP3T. Une inférence continue consommera environ 101 TP3T toutes les 30 minutes.
• Pas besoin d'être root: tout fonctionne sous Android d'origine.

Étape 1 : Installez l'application MLC Chat

MLC-LLM propose une application Android officielle intitulée MLC Chat qui gère le téléchargement des modèles, la quantification et l'inférence. En 2026, c'est le moyen le plus simple de se lancer.

1. Ouvrez Chrome sur votre téléphone et rendez-vous sur llm.mlc.ai/docs/deploy/android.html.
2. Téléchargez le dernière version APK (chercher mlc-chat-vX.Y.Z.apk — au moins la version v0.18.0 pour la prise en charge du NPU du Snapdragon 8 Gen 4).
3. Ouvrez le fichier APK et acceptez la demande “ Installer à partir de sources inconnues ” qui s'affiche dans votre navigateur.
4. Lancer MLC Chat.

Si vous préférez Google Play, LLM privé ($5) est une alternative plus aboutie qui prend également en charge l'accélération par le NPU Snapdragon. Elle est plus simple à utiliser, mais moins flexible que MLC Chat.

Étape 2 : Télécharger Llama 3 8B Instruct (Q4)

Dans le chat MLC :

1. Appuyez sur le “ Ajouter un modèle ” ou “ + ” bouton sur l'écran d'accueil.
2. Choisissez “ Ajouter à partir d'un préréglage ”.
3. Sélectionner Llama-3-8B-Instruct-q4f16_1-MLC de la liste.
4. Appuyez sur Télécharger. Le modèle pèse 4,9 Go ; via le Wi-Fi, le téléchargement prend entre 5 et 15 minutes, selon la connexion.

Si vous préférez la version plus légère « Llama 3.2 3B » (1,9 Go, avec un débit de plus de 35 t/s mais une qualité inférieure), sélectionnez plutôt ce préréglage. Pour bénéficier de la meilleure qualité possible sur votre téléphone, Qwen 2.5 7B - Mode d'emploi est comparable à Llama 3 8B et légèrement plus rapide.

Pendant le téléchargement, vous pouvez lire la suite de ce guide.

Étape 3 : Optimiser Android pour le modèle

Quelques ajustements ponctuels permettent d'améliorer considérablement les performances :

1. Désactiver l'optimisation de la batterie pour MLC Chat :
– Paramètres → Applications → MLC Chat → Batterie → Sans restriction.

2. Allouer un maximum de mémoire vive aux applications en arrière-plan (Spécifique à Samsung) :
– Paramètres → Gestion de la batterie et de l'appareil → Mémoire → RAM Plus → 16 Go (ou la capacité maximale disponible).
– Sur les téléphones autres que Samsung, ces paramètres se trouvent dans « Options pour les développeurs » → « Limite des processus en arrière-plan » → « Aucune limite ».

3. Désactiver les performances adaptatives lors de l'inférence :
– Paramètres → Batterie → Économie d'énergie → Désactivé.

4. Fermez toutes les autres applications gourmandes en ressources avant de démarrer une session. Les caméras, la navigation et les jeux se disputent tous la même NPU. Llama 3 8B utilise environ 6 Go de RAM pendant l'inférence.

Ces réglages permettent, dans l'ensemble, d'améliorer le débit de 30 à 401 TP3T par rapport aux paramètres par défaut sur la plupart des téléphones.

Étape 4 : Configuration initiale et préchauffage

Une fois le téléchargement terminé, MLC Chat lancera un compilation unique ce qui prend entre 2 et 4 minutes lors de la première ouverture du modèle :

1. Depuis l'écran d'accueil, appuyez sur Llama-3-8B-Instruct-q4f16_1-MLC.
2. Attendez que la barre de progression “ Compilation du modèle… ” arrive à son terme.
3. Le premier message que vous enverrez sera plus lent (environ 5 secondes jusqu'à l'arrivée du premier token) — cela correspond à la phase de préchauffage du modèle.
4. Les messages suivants seront traités à la vitesse maximale du téléphone.

Si l'application plante pendant la compilation, cela signifie que vous ne disposez pas de suffisamment de mémoire vive (RAM) libre. Redémarrez le téléphone et réessayez après avoir forcé la fermeture de toutes les autres applications.

Étape 5 : Testez-le

Envoyez quelques commandes pour vérifier que tout fonctionne correctement :

• Discussion simple : “ Expliquez l'intrication quantique en deux phrases. ”
• Code : “ Écrivez une fonction Python qui renvoie le n-ième nombre de Fibonacci. ”
• Raisonnement : “ Si un train part de Boston à 15 h à une vitesse de 60 mph et qu’un autre part de New York à 16 h à une vitesse de 75 mph, à quel moment se croisent-ils ? Montrez vos calculs. ”

Vous devriez voir à peu près 12 à 18 jetons par seconde sur le Snapdragon 8 Gen 4 avec le NPU activé. La vitesse exacte dépend de la longueur du contexte (plus il est long, plus c'est lent) et des conditions thermiques (une utilisation prolongée entraîne une limitation des performances au bout d'environ 10 minutes).

Les performances auxquelles vous pouvez réellement vous attendre

Mesures effectuées sur un Galaxy S26 Ultra doté de 16 Go de RAM, à température ambiante, batterie complètement chargée, toutes les applications en arrière-plan fermées :

Après environ 10 minutes de génération continue, la limitation thermique se déclenche et les vitesses chutent de 15 à 251 TP3T. Une pause de 30 secondes permet de retrouver la vitesse maximale. Dans la plupart des cas d'utilisation (discussions, questions occasionnelles), la limitation thermique ne se déclenche jamais.

Impact sur la batterie et la température

Lors de nos tests de débit de 30 minutes (avec des questions alternées toutes les 20 à 30 secondes) :

• Llama 3 8B: Décharge de la batterie du 9%. L'arrière du téléphone atteint environ 38 °C.
• Llama 3.2 3B: La batterie du 5% se décharge rapidement. Le téléphone ne chauffe pas.
• Qwen 2.5 7B: Consommation de la batterie 9%. Similaire à celle du Llama 3 8B.

À titre de comparaison, 30 minutes d'enregistrement vidéo en 4K consomment environ 12 à 151 TP3T et font monter davantage la température du téléphone. L'inférence LLM sur l'appareil est nettement moins exigeante que les tâches faisant largement appel à l'appareil photo.

Au-delà du chat : des flux de travail utiles

Une fois que votre installation est opérationnelle, le plaisir commence. Voici ce qui fonctionne très bien en mode entièrement hors ligne :

• Résumer un long article — Copiez le texte, collez-le dans MLC Chat, puis demandez : “ Résumez ceci en 3 points clés. ” Cela fonctionne pour des articles comptant jusqu’à environ 4 000 mots, avec un contexte de 8 000 mots.
• Reformuler ou traduire (dans les limites de l'entraînement du modèle) — Llama 3 gère bien l'anglais ↔ l'espagnol, le français et l'allemand, mais est moins fiable pour le japonais, l'arabe et l'hindi.
• Questions rapides sur le code — Llama 3 8B est performant pour les questions de syntaxe et les petits extraits de code, mais moins performant pour le raisonnement entre fichiers.
• Mode voyage — Un long vol sans réseau ? Vous disposez d’un assistant très efficace sur votre téléphone.

Ce qui ne fonctionne pas bien sur l'appareil :

• Raisonnement à long terme (plus de 16 000 jetons) — la température du téléphone provoque une limitation de la puissance et la vitesse chute en dessous d'un niveau acceptable.
• Les mathématiques au-delà de la simple arithmétique — le modèle 8B n'est pas assez puissant.
• Compréhension des images — Llama 3 ne prend en charge que le texte. Pour les images, utilisez Qwen 2.5 VL 7B (fonctionne également sur Snapdragon 8 Gen 4 via MLC).

Dépannage

L'application plante lors du chargement du modèle :

• Fermez de force toutes les autres applications et redémarrez l'appareil.
• Assurez-vous de disposer d'au moins 8 Go de mémoire vive libre après le redémarrage.
• Si votre téléphone dispose d'une mémoire vive totale de 12 Go, vous devrez fermer toutes les autres applications. Les téléphones dotés de 16 Go de mémoire vive offrent davantage de marge.

Le nombre de jetons par seconde est inférieur ou égal à 5 :

• Le NPU n'est pas utilisé : vous utilisez le CPU à la place.
• Fermez de force l'application MLC Chat, puis relancez-la.
• Mettez à jour l'APK MLC Chat vers la dernière version (la prise en charge de la NPU nécessite la version 0.18 ou une version ultérieure).
• Vérifiez si une autre fonctionnalité d'IA intégrée à l'appareil (Galaxy AI, Gemini Nano) est actuellement active : une seule fonctionnalité peut utiliser le NPU à la fois.

Le téléphone devient désagréablement chaud :

• C'est tout à fait normal en cas d'utilisation intensive. Faites une pause d'une minute pour laisser le téléphone refroidir.
• Si l'appareil est chaud au démarrage, cela signifie qu'il était déjà en surchauffe : fermez les applications, attendez un peu, puis réessayez.
• N'effectuez pas d'inférence en plein soleil.

La batterie se décharge plus vite que prévu :

• Assurez-vous que la fonction « Adaptive Performance » est désactivée et que l'optimisation de la batterie est désactivée pour MLC Chat (étape 3).
• Si une fonctionnalité telle que « Always-On Display » exécute également des tâches d'apprentissage automatique gourmandes en ressources, désactivez-la pendant les sessions d'inférence.

Le modèle donne des réponses erronées :

• Le modèle embarqué à 8 milliards de paramètres présente des limites en termes de connaissances et une capacité de raisonnement inférieure à celle des modèles cloud tels que GPT-4 ou Claude. Pour les raisonnements complexes ou les événements récents, il est préférable d’utiliser un modèle cloud — il s’agit là d’un compromis inhérent à l’inférence embarquée, et non d’un problème de configuration.

Alternatives au MLC-LLM en 2026

ExecuTorch (Environnement d'exécution sur appareil de PyTorch) — prêt pour la production, utilisé en interne chez Galaxy AI. Légèrement plus lent que MLC-LLM en 2026, mais mieux intégré à l'écosystème PyTorch dans son ensemble si vous développez des applications.

llama.cpp : compilation pour Android — Mode manuel mais puissant ; utilise le GPU mais pas le NPU sur la plupart des téléphones en 2026. Idéal pour les utilisateurs avancés qui souhaitent avoir un contrôle total sur les paramètres.

LLM privé (Play Store) — L'application $5, plus aboutie que MLC Chat mais moins flexible, est toutefois plus accessible pour les utilisateurs non initiés. Elle prend en charge la NPU.

Parcours des fabricants:

• Samsung Galaxy AI utilise ExecuTorch en interne pour certaines fonctionnalités intégrées à l'appareil. En tant que développeur, vous ne pouvez pas le cibler directement.
• AICore de Google (sur les Pixel équipés du Tensor G5) permet d'accéder à Gemini Nano via les API Edge AI. Exclusivement sur les Pixel.
• Apple Intelligence est, bien sûr, réservé à l'iPhone.

Si vous vous dites “ J'ai envie d'une application de chat dès aujourd'hui ”, MLC Chat est le choix idéal en 2026.

Et ensuite ?

Deux évolutions à suivre de près fin 2026 :

1. L'objectif annoncé par Qualcomm : un processeur embarqué de 12 milliards de paramètres pour Snapdragon 8 Elite 2 (prévu pour fin 2026). Cela rapproche la limite maximale des capacités sur appareil de la “ qualité du cloud de pointe ”.”
2. Décodage spéculatif pour les appareils mobiles — Les premières implémentations dans MLC montrent des gains de débit de l'ordre de 1,5 à 2 fois sur Llama 3 8B, sans perte de qualité.

D’ici mi-2027, les modèles de langage à grande échelle (LLM) intégrés aux smartphones haut de gamme devraient atteindre un débit de 25 à 30 tokens par seconde sur les modèles de 8 milliards de paramètres et devraient probablement pouvoir exécuter des modèles de 13 milliards de paramètres à une vitesse suffisante pour une utilisation pratique.

FAQ

Est-ce que le fait d'exécuter Llama 3 localement sur mon téléphone risque d'endommager la batterie ?

Non, dans le cadre d'une utilisation normale. La gestion thermique des téléphones équipés du Snapdragon 8 Gen 4 est prudente : ils limitent les performances du NPU avant que le risque de dommages matériels ne devienne préoccupant. Le problème majeur réside dans le fait qu'une utilisation intensive et prolongée (plusieurs heures par jour) accélère le vieillissement de la batterie légèrement plus vite qu'une utilisation modérée, comme c'est le cas pour toute autre charge de travail intensive.

Est-ce que Llama 3 8B est aussi performant que ChatGPT sur mon téléphone ?

Non, mais ses performances sont étonnamment proches pour de nombreuses tâches. Llama 3 8B est à peu près comparable au GPT-3.5 de 2023 : il est très performant pour la rédaction, la synthèse, la programmation simple et les conversations. Il est nettement moins performant que GPT-4 ou Claude Opus en matière de raisonnement complexe, de connaissances spécialisées et de tâches nécessitant un contexte étendu. Pour “ poser une question rapide hors ligne ”, il est excellent.

Est-ce que je peux faire tourner ça sur un téléphone équipé d'un Snapdragon 8 Gen 3 de 2024 ?

Oui, mais vous obtiendrez 4 à 6 jetons par seconde au lieu de 12 à 18. Le NPU Hexagon de la 8e génération 3 offre un débit environ deux fois moins élevé que celui de la 8e génération 4 pour l’inférence LLM. Elle reste utilisable, mais elle est simplement plus lente. La 8 Gen 2 (modèles phares de 2023) peine à dépasser les 3 t/s et est pratiquement inutilisable.

Puis-je utiliser Llama 3 70B sur mon téléphone ?

Non. Llama 3 70B en Q4 nécessite environ 43 Go de mémoire. Aucun téléphone en 2026 n'en dispose, même de loin. La classe 70B relève clairement du domaine des ordinateurs de bureau. Pour le matériel de type téléphone, 8B constitue le plafond pratique, Qwen 2.5 14B représentant la limite supérieure sur les téléphones dotés de 16 Go de RAM (et même dans ce cas, le fonctionnement est très lent).

Est-ce que cela va épuiser mon forfait de données ?

Non — une fois le modèle téléchargé, toutes les opérations d'inférence s'effectuent entièrement hors ligne. Le téléchargement de 4,9 Go n'a lieu qu'une seule fois ; tout ce qui suit se fait en local. C'est là tout l'intérêt des grands modèles de langage (LLM) embarqués.

Qu'en est-il des téléphones « jailbreakés » ou « rootés » ?

Ce guide fonctionne sur Android d'origine et ne nécessite pas d'accès root. Si votre téléphone est rooté, vous pouvez utiliser directement le fichier llama.cpp pour bénéficier d'un contrôle légèrement plus poussé, mais la méthode MLC Chat est plus rapide et plus simple dans 95% des cas d'utilisation.

Est-ce que iPhone 17 Pro Est-ce un meilleur choix pour les modèles de langage à grande échelle (LLM) intégrés à l'appareil que le Galaxy S26 Ultra ?

En ce qui concerne les fonctionnalités intégrées (Apple Intelligence vs Galaxy AI), chacune a ses points forts. Pour l'exécution de modèles personnalisés à poids variable, le Galaxy offre davantage de flexibilité — Apple ne met pas le Neural Engine à la disposition des applications tierces pour une utilisation arbitraire des modèles de langage à grande échelle (LLM). Des applications telles que Private LLM fonctionnent sur iPhone via Metal/CoreML, mais ne peuvent pas utiliser le Neural Engine de la même manière que MLC Chat utilise le processeur Hexagon NPU sur Android. Consultez notre Comparaison de l’IA embarquée entre iPhone et Galaxy pour l’analyse complète.

Conclusion

Utiliser Llama 3 8B à plein régime sur un smartphone Android haut de gamme de 2026 n’est plus une curiosité : c’est désormais une fonctionnalité utile au quotidien qui fonctionne hors ligne, consomme peu de batterie et respecte votre vie privée par défaut. La méthode MLC-LLM est celle que nous recommandons ; la configuration prend 30 minutes et vous permet d’avoir dans votre poche un assistant de chat performant.

Pour la plupart des utilisateurs, les modèles de langage grand format (LLM) intégrés aux appareils complètent l’IA dans le cloud plutôt qu’ils ne la remplacent : on utilise le modèle du téléphone lorsqu’on est hors ligne, lorsque la confidentialité est importante ou pour des questions rapides ; on utilise les modèles dans le cloud pour les raisonnements complexes, l’actualité et les tâches qui nécessitent la profondeur des modèles plus puissants. Les deux ont leur place, et 2026 est la première année où les modèles embarqués valent véritablement la peine d’être mis en place.