De plus en plus d’entreprises veulent profiter de l’IA générative sans envoyer leurs contrats, leur code ou les données de leurs clients sur les serveurs d’OpenAI, de Google ou d’Anthropic. La solution : faire tourner l’IA sur leur propre infrastructure. Ce guide explique comment s’y prendre, du choix du matériel aux règles à respecter, avec les outils les plus utilisés en 2026.
Dernière mise à jour : 14 octobre 2026.
Ce qu’il faut retenir
- Une IA locale fonctionne sur vos serveurs : les données ne quittent pas l’entreprise.
- La CNIL privilégie les systèmes locaux, sécurisés et spécialisés.
- Le facteur clé côté matériel est la mémoire des cartes graphiques (VRAM).
- Le trio le plus courant : Ollama ou vLLM pour faire tourner le modèle, Open WebUI pour l’interface.
- Vérifiez toujours la licence du modèle avant un usage commercial.
- L’AI Act impose déjà de former les salariés qui utilisent l’IA.
Pourquoi déployer une IA en local plutôt que dans le cloud ?
- Confidentialité : les documents internes, le code source ou les données clients restent dans vos murs.
- Conformité : c’est plus simple de maîtriser le RGPD quand aucune donnée ne part chez un prestataire, notamment hors de l’Union européenne.
- Coûts prévisibles : pas de facture au nombre de requêtes, seulement le matériel et l’énergie.
- Personnalisation : vous pouvez connecter l’IA à vos documents internes ou l’adapter à votre métier.
- Indépendance : pas de dépendance aux changements de prix ou de conditions d’un fournisseur.
Les limites à connaître : les modèles qu’on peut héberger soi-même restent moins performants que les meilleurs modèles du cloud sur les tâches complexes. Il faut aussi des compétences pour installer, sécuriser et maintenir le système.
Étape 1 : partir des besoins
C’est la première recommandation de la CNIL : déployer une IA pour répondre à des usages précis, pas pour le principe. Les usages les plus courants en entreprise :
- résumer et analyser des documents internes ;
- interroger une base documentaire (procédures, contrats, wiki) ;
- aider à la rédaction d’e-mails, de rapports, de comptes rendus ;
- assister les développeurs sur du code confidentiel ;
- traduire des documents.
Le nombre d’utilisateurs simultanés et le type d’usage déterminent ensuite le matériel et le modèle.
Étape 2 : choisir le matériel
Comme pour un PC personnel, tout se joue sur la mémoire des cartes graphiques : elle détermine la taille du modèle que vous pouvez charger, et donc son niveau.
| Niveau | Matériel type | Pour qui ? |
|---|---|---|
| Test / petite équipe | Un poste avec une carte graphique de 24 à 32 Go, ou un Mac avec beaucoup de mémoire unifiée | Quelques utilisateurs, modèles de 7 à 30 milliards de paramètres |
| PME | Un serveur avec un ou deux GPU professionnels à grande mémoire | Dizaines d’utilisateurs, modèles plus grands |
| Grande entreprise | Plusieurs serveurs multi-GPU | Centaines d’utilisateurs, très grands modèles |
Conseil : commencez petit, avec un poste de test, pour valider les usages avant d’investir dans un serveur. Nos guides configuration PC pour l’IA et RAM pour l’IA locale vous aideront à dimensionner ce premier poste.
Étape 3 : choisir les logiciels
| Outil | Rôle | Idéal pour |
|---|---|---|
| Ollama | Fait tourner les modèles, avec une API | Démarrer simplement, petites équipes |
| vLLM | Serveur de modèles optimisé pour de nombreux utilisateurs simultanés | Production, forte charge |
| Open WebUI | Interface web type ChatGPT, avec comptes utilisateurs et droits | Donner l’accès à tous les salariés |
| LM Studio | Application de bureau | Usage individuel, tests |
L’architecture la plus courante pour démarrer : Ollama sur un serveur, et Open WebUI devant, accessible depuis le réseau interne avec un compte par salarié. Quand le nombre d’utilisateurs augmente, on remplace Ollama par vLLM, plus efficace sous forte charge.
Pour découvrir Ollama, suivez notre guide d’installation puis notre guide des commandes Ollama.
Connecter l’IA à vos documents (RAG)
Pour que l’IA réponde à partir de vos procédures ou de vos contrats, on utilise la technique du RAG (génération augmentée par la recherche) : les documents sont indexés, et l’IA va y chercher les passages pertinents avant de répondre. Open WebUI propose cette fonction de base, ce qui permet de tester rapidement.
Étape 4 : choisir le modèle (et sa licence)
Les principales familles de modèles ouverts sont Mistral, Qwen, gpt-oss (OpenAI), Gemma (Google), Llama (Meta) et DeepSeek. Notre comparatif des modèles locaux les classe par niveau de matériel.
Attention à la licence, c’est un point souvent négligé :
- les licences Apache 2.0 (Mistral récents, Qwen, gpt-oss) et MIT (DeepSeek) autorisent l’usage commercial librement ;
- la licence de Llama est plus restrictive ;
- vérifiez toujours la fiche officielle du modèle avant de l’utiliser en production.
Pour une entreprise française, les modèles de Mistral sont un choix naturel : très bons en français, sous licence permissive et d’origine européenne. Les grandes organisations pourront aussi surveiller Mistral Large 4, dont les poids doivent être publiés fin octobre, mais qui demande une infrastructure très conséquente.
Étape 5 : sécuriser le déploiement
Local ne veut pas dire automatiquement sécurisé. Les bonnes pratiques de base :
- N’exposez jamais l’API du modèle sur Internet : Ollama, par exemple, n’a pas de mot de passe.
- Donnez accès via une interface avec comptes individuels (Open WebUI, connecté si possible à votre annuaire d’entreprise).
- Cloisonnez les documents : un salarié ne doit pas pouvoir interroger des documents auxquels il n’a pas accès normalement.
- Gardez des journaux d’utilisation et appliquez les mises à jour de sécurité.
- Associez dès le départ votre responsable sécurité (RSSI).
Étape 6 : respecter le RGPD et l’AI Act
Ce que recommande la CNIL
Dans ses recommandations sur le déploiement de l’IA générative, la CNIL conseille notamment de :
- partir d’un besoin concret ;
- définir les usages autorisés et interdits, par exemple interdire de saisir certaines données personnelles ou de déléguer une décision à l’IA ;
- tenir compte des erreurs possibles de l’IA, qui peut produire des réponses plausibles mais fausses ;
- privilégier des systèmes locaux, sécurisés et spécialisés ;
- former et informer les utilisateurs ;
- mettre en place une gouvernance associant le DPO, le RSSI, la DSI et les métiers.
Ce qu’impose l’AI Act
- Depuis février 2025, les entreprises qui utilisent l’IA doivent prendre des mesures pour assurer la maîtrise de l’IA par leurs salariés (formations, consignes internes).
- Depuis le 2 août 2026, des obligations de transparence s’appliquent, par exemple pour signaler certains contenus générés par IA publiés pour informer le public.
- Les obligations pour les systèmes à haut risque (comme le recrutement) ont été reportées au 2 décembre 2027.
Ce guide n’est pas un avis juridique. Pour un projet important, faites-vous accompagner par votre DPO ou un juriste.
La méthode en résumé
- Lister 2 ou 3 usages concrets avec les métiers.
- Monter un poste de test avec Ollama et Open WebUI.
- Tester plusieurs modèles sous licence permissive sur vos vrais cas d’usage.
- Rédiger une charte d’utilisation et former les salariés.
- Passer sur un serveur dédié et sécurisé si l’essai est concluant.
FAQ
Une IA locale est-elle conforme au RGPD ?
Elle facilite la conformité, car les données ne sont pas transmises à un prestataire. Mais le RGPD s’applique toujours : finalité des traitements, sécurité, information des personnes, et analyse d’impact si nécessaire.
Combien coûte une IA locale en entreprise ?
Cela va d’un simple poste de travail équipé d’une bonne carte graphique pour un test, à plusieurs serveurs multi-GPU pour un grand groupe. Les logiciels cités ici sont gratuits et open source.
Une IA locale vaut-elle ChatGPT ?
Pas sur les tâches les plus complexes. Mais pour résumer, rédiger, traduire ou interroger des documents internes, les bons modèles ouverts de 2026 donnent de très bons résultats.
Faut-il des compétences techniques ?
Pour un test, un profil à l’aise avec l’informatique suffit. Pour un déploiement à l’échelle de l’entreprise, il faut des compétences d’administration système et de sécurité.
👉 Pour tout comprendre aux bases, consultez notre guide complet de l’IA en local.
