Perso

API REST dédié LLM Local

Python (Flask)SQLitePythorchRocm
💻

Description

Plateforme complète d'inférence LLM locale avec système RAG intégré, conçue avec une architecture modulaire en trois couches distinctes : Base API pour la gestion GPU et l'inférence, Overlay API pour la gestion du contexte et la persistance, et RAG API pour l'indexation et la recherche sémantique de documents. Chaque couche a une responsabilité spécifique, permettant une séparation claire des préoccupations et une évolutivité optimale.