KERMIT ist ein CORNET-gefördertes Forschungsprojekt, das die Lücke zwischen aktueller KI-Forschung und den tatsächlichen Bedürfnissen europäischer Unternehmen schließt. Das Ziel: eine sichere, modulare RAG-Plattform aufbauen, mit der Organisationen ihren eigenen Wissensbestand — Handbücher, Vorschriften, interne Dokumentation — über eine natürlich-sprachliche Schnittstelle abfragen können, ohne die Kontrolle über ihre Daten abzugeben.
Was ich gebaut habe
Ich habe die Service-Architektur der Plattform entworfen und entwickelt:
- Eine FastAPI-basierte Microservice-Architektur mit Services für Cleaning, Datenstrukturierung, Embedding, Vector-Storage, Evaluation und einer agentenbasierten Reasoning-Schicht.
- Eine hybride Suchpipeline (dense + sparse Retrieval) auf Basis von Qdrant für präzise Dokumenten-Retrieval-Ergebnisse.
- Self-Hosting von LLMs über Ollama und vLLM auf einer NVIDIA DGX Spark — inklusive Deployment-Troubleshooting und Integration deutschsprachiger Modelle.
- Ein Frontend für Endnutzer:innen sowie ein Evaluierungs-Tooling, mit dem Fachexpert:innen Retrieval- und Antwortqualität bewerten können.
Warum es relevant ist
Die meisten Enterprise-RAG-Lösungen geben entweder Daten an Cloud-APIs ab oder kommen nie über den Prototypen hinaus. KERMIT macht keines von beidem: Alles läuft auf Infrastruktur, die der Kunde kontrolliert, während die Architektur modular genug bleibt, um Modelle, Embeddings oder Vector-Stores im Lauf der Entwicklung auszutauschen. Genau diese Art von System baue ich für Kund:innen, die echte KI-Produktivität wollen, ohne ihre Datenhoheit aufzugeben.
Status: laufendes Forschungsprojekt, erste industrielle Pilotumsetzungen.