Configuration du fournisseur LLM

AnonDocs prend en charge plusieurs fournisseurs LLM pour la détection et l'anonymisation des PII. Toutes les options peuvent s'exécuter localement sur votre infrastructure, garantissant une confidentialité complète des données.

Options recommandées

Option 1: Ollama (Recommandé - Configuration la plus facile)

Idéal pour: Configuration rapide, facilité d'utilisation, gestion automatique des modèles

Ollama est le moyen le plus simple de commencer avec les LLM locaux. Il gère automatiquement le téléchargement et la gestion des modèles.

Installation

# Installer Ollama
curl -fsSL https://ollama.ai/install.sh | sh

# Ou télécharger depuis https://ollama.ai

Télécharger un modèle

# Modèles recommandés pour la détection de PII
ollama pull mistral-nemo       # Meilleure précision (12B paramètres)
ollama pull llama3.1           # Bon équilibre (8B paramètres)
ollama pull mistral            # Option la plus rapide (7B paramètres)

Configuration

Ajoutez à votre fichier .env :

DEFAULT_LLM_PROVIDER=ollama
OLLAMA_BASE_URL=http://localhost:11434
OLLAMA_MODEL=mistral-nemo

Vérifier la configuration

# Vérifier si Ollama est en cours d'exécution
curl http://localhost:11434/api/tags

# Lister les modèles disponibles
ollama list

Option 2: vLLM (Haute performance)

Idéal pour: Déploiements en production, haut débit, accélération GPU

vLLM fournit une inférence haute performance avec prise en charge de l'accélération GPU.

Installation

# Installer vLLM (nécessite Python 3.8+)
pip install vllm

Démarrer le serveur vLLM

python -m vllm.entrypoints.openai.api_server \
  --model mistralai/Mistral-7B-Instruct-v0.2 \
  --host 0.0.0.0 \
  --port 8000

Configuration

DEFAULT_LLM_PROVIDER=openai
OPENAI_BASE_URL=http://localhost:8000/v1
OPENAI_MODEL=mistralai/Mistral-7B-Instruct-v0.2
OPENAI_API_KEY=not-required

Option 3: LM Studio (Basé sur GUI)

Idéal pour: Utilisateurs de bureau, interface visuelle, test de modèles

LM Studio fournit une interface graphique conviviale pour gérer les LLM locaux.

Installation

1. Téléchargez LM Studio depuis https://lmstudio.ai/
2. Installez et ouvrez l'application
3. Téléchargez un modèle via l'interface graphique (par exemple, Mistral 7B Instruct)
4. Démarrez le serveur local (port par défaut: 1234)

Configuration

DEFAULT_LLM_PROVIDER=openai
OPENAI_BASE_URL=http://localhost:1234/v1
OPENAI_MODEL=mistral-7b-instruct
OPENAI_API_KEY=not-required

Option 4: LocalAI

Idéal pour: Auto-hébergé, déploiements Docker, compatibilité API OpenAI

LocalAI fournit des points de terminaison API compatibles OpenAI avec prise en charge de Docker.

Configuration Docker

docker run -p 8080:8080 \
  -v $PWD/models:/models \
  localai/localai:latest

Configuration

DEFAULT_LLM_PROVIDER=openai
OPENAI_BASE_URL=http://localhost:8080/v1
OPENAI_MODEL=your-model-name
OPENAI_API_KEY=not-required

Recommandations de modèles

Modèle	Taille	Qualité	Vitesse	Idéal pour	Utilisation ressources
mistral-nemo	12B	⭐⭐⭐⭐⭐	⭐⭐⭐	Meilleure précision globale	Élevée
llama3.1	8B	⭐⭐⭐⭐	⭐⭐⭐⭐	Bon équilibre	Moyenne
mistral	7B	⭐⭐⭐⭐	⭐⭐⭐⭐⭐	Le plus rapide, bonne qualité	Moyenne
phi-3	3.8B	⭐⭐⭐	⭐⭐⭐⭐⭐	Faible utilisation ressources	Faible

Choisir le bon modèle

• Haute précision requise: Utilisez mistral-nemo ou llama3.1
• Ressources limitées: Utilisez phi-3 ou mistral
• Production/GPU disponible: Utilisez vLLM avec des modèles plus grands
• Test rapide: Utilisez mistral avec Ollama

Détails de configuration

Options de traitement

# Taille de bloc pour le traitement de texte (caractères)
CHUNK_SIZE=1500

# Chevauchement entre les blocs (caractères)
CHUNK_OVERLAP=0

# Traiter les blocs en parallèle (plus rapide mais utilise plus de mémoire)
ENABLE_PARALLEL_CHUNKS=false

Réglage des performances

• Traitement séquentiel (ENABLE_PARALLEL_CHUNKS=false): Plus sûr, utilise moins de mémoire, traite un bloc à la fois
• Traitement parallèle (ENABLE_PARALLEL_CHUNKS=true): Plus rapide pour les documents volumineux, nécessite plus de mémoire

Tester votre configuration

Tester Ollama

# Tester le modèle directement
ollama run mistral-nemo "Extraire les PII de: John Doe, john@example.com, 555-1234"

Tester l'intégration AnonDocs

# Tester l'anonymisation de texte
curl -X POST http://localhost:3000/api/anonymize \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Contactez John Doe à john@example.com",
    "provider": "ollama"
  }'

Dépannage

Échec de connexion à Ollama

# Vérifier si Ollama est en cours d'exécution
curl http://localhost:11434/api/tags

# Démarrer Ollama s'il n'est pas en cours d'exécution
ollama serve

# Vérifier que le modèle est disponible
ollama list

Échec de connexion à l'API compatible vLLM/OpenAI

# Vérifier si le serveur est en cours d'exécution
curl http://localhost:8000/v1/models

# Vérifier que l'URL inclut le suffixe /v1
# Vérifier OPENAI_BASE_URL dans .env

Mauvaise qualité de détection des PII

• Essayez des modèles plus grands (mistral-nemo, llama3.1)
• Ajustez CHUNK_SIZE - des blocs plus petits peuvent améliorer la précision
• Essayez différents modèles - certains sont meilleurs pour la reconnaissance d'entités

Manque de mémoire

• Réduisez CHUNK_SIZE
• Désactivez ENABLE_PARALLEL_CHUNKS
• Utilisez des modèles plus petits (mistral 7B, phi-3)
• Augmentez la RAM système ou utilisez des modèles avec moins de paramètres

Prochaines étapes

• ⚙️ Guide de configuration - Options de configuration avancées
• 🚀 Options de déploiement - Stratégies de déploiement en production