Ingestion documentaire
- 01Valider l’envoi
- 02Extraire le texte
- 03Découper de façon déterministe
- 04Créer les embeddings
- 05Indexer dans Qdrant
INTELLIGENCE DOCUMENTAIRE RAG / MVP LOCAL
ATLASTASK THE ARCHIVE. VERIFY THE SOURCE.
Transformer une archive privée en réponses dont les sources restent visibles.
ATLAST ingère des fichiers PDF et TXT locaux, retrouve les passages les plus pertinents, demande à un modèle Ollama local de répondre à partir de ces preuves, puis n’expose que les citations validées par rapport aux sources récupérées.
01 / PROBLÈME ET VALEUR
Une réponse utile doit montrer ses preuves.
LE PROBLÈME
La connaissance opérationnelle reste enfermée dans des PDF et fichiers texte. Une recherche par mots-clés trouve des chaînes, mais rarement une réponse concise avec assez de contexte pour inspirer confiance.
LA SOLUTION
Construire un index local déterministe, retrouver les passages par similarité sémantique, limiter les preuves envoyées à un modèle local, puis valider chaque identifiant de citation retourné.
LA VALEUR
Un workflow d’intelligence documentaire exploitable où passages sources, titres de documents et métadonnées de page ou de section restent consultables, de la réponse jusqu’à l’archive.
02 / LIVE SYSTEM FLOW
Deux parcours observables dans un même système local.
L’interface confirme les étapes au niveau de la requête à partir des résultats réels de l’API et des métadonnées retournées. Elle ne prétend pas diffuser des événements backend en temps réel ni des durées inventées.
Questions-réponses sourcées
- 01Retrouver les passages
- 02Sélectionner les preuves
- 03Assembler un contexte borné
- 04Générer avec Ollama
- 05Valider les citations
- 06Retourner la réponse
03 / FONCTIONS
Un cycle de vie documentaire local complet.
Ingestion PDF & TXT
Extraire le texte et conserver une identité stable, le nom du fichier et les métadonnées de page ou de section disponibles.
Indexation déterministe
Les empreintes de contenu détectent les doublons ; chunks déterministes et embeddings Sentence Transformers alimentent Qdrant en mode local persistant.
Réponses sourcées
Le contenu documentaire est traité comme une donnée non fiable. Le prompt limite la génération aux preuves récupérées et une question non couverte peut recevoir une réponse d’insuffisance de preuves.
Citations validées
Les identifiants sont acceptés uniquement s’ils correspondent aux passages récupérés, avec titre et métadonnées de page ou section.
Gestion du cycle de vie
Lister, remplacer et supprimer un seul document à la fois. Un remplacement conserve l’ancien document tant que le nouvel envoi n’est pas indexé avec succès.
CLI, API & interface web
Les mêmes services d’ingestion, de recherche et de QA alimentent la ligne de commande, les routes FastAPI et l’interface responsive.
04 / ARCHITECTURE
Des composants réduits. Des frontières de confiance explicites.
Une interface web sans build appelle une application FastAPI sur loopback. Le backend gère validation, extraction, embeddings, persistance Qdrant, contexte borné, génération Ollama et validation des citations.
BROWSER → FASTAPI → QDRANT ↔ OLLAMA
- Interface
- HTML, CSS et JavaScript responsive pour les envois, l’archive, l’état du flux système, les réponses et les citations consultables.
- API
- Routes FastAPI pour santé, envoi, liste, remplacement, suppression, recherche et questions-réponses sourcées.
- Ingestion
- Extraction PDF et TXT en Python, identité documentaire SHA-256 et découpage déterministe par fenêtres de mots.
- Recherche
- Embeddings Sentence Transformers et Qdrant local pour une recherche vectorielle persistante.
- Génération
- Un modèle Ollama local configurable reçoit des preuves bornées et un prompt de grounding résistant aux injections.
- Validation
- Les citations retournées sont comparées à l’ensemble des passages récupérés avant d’exposer la réponse structurée.
05 / RELEASE VERIFICATION
Une vérification de release, avec une portée précise.
La vérification A6 a utilisé la wheel packagée et un vrai modèle Ollama gpt-oss:20b installé. Le benchmark comprend six questions répondables et labellisées dans un petit corpus synthétique.
- Tests automatisés
- 40 réussis
- Recall@3
- 1.0
- MRR
- 1.0
- Questions répondables
- 6 synthétiques
Ces scores parfaits sur un corpus synthétique ne démontrent ni la précision RAG générale, ni la qualité des réponses, ni les performances sur de vrais documents d’entreprise.
06 / CAPTURES
L’interface réelle, de l’archive jusqu’aux preuves.
Les cinq écrans proviennent de l’application locale avec des documents synthétiques. Il n’existe aucune démo interactive hébergée.
07 / LOCAL EXECUTION
Exécuter la vraie application en local.
ATLAST est un logiciel local, pas une API publique. Il nécessite Python 3.12, uv et un modèle Ollama installé localement. Le modèle d’embeddings par défaut est téléchargé au premier usage puis mis en cache ; ATLAST ne télécharge jamais automatiquement de modèle Ollama.
git clone https://github.com/fadel-santiago/atlast.git
cd atlast
uv python install 3.12
uv sync --frozen
uv run --frozen atlast --db .atlast/qdrant ingest examples/sample.txt
uv run --frozen atlast --db .atlast/qdrant serve --ollama-model gpt-oss:20b --port 800008 / LIMITES