AI-gateway
Een AI-chat en model-gateway voor een heel bureau. Persoonsgegevens gaan als placeholder het model in en komen terug in het antwoord. Binnen twee weken live voor de medewerkers.
Hoe het werkt
- Een medewerker stelt een vraag
- Persoonsgegevens worden placeholders
- De gateway kiest een model
- Het antwoord streamt terug
- De placeholders worden weer namen
Een AI-chat en model-gateway voor het hele bureau, gebouwd op een fork van LibreChat, met Laravel, Redis en PostgreSQL eronder. Binnen twee weken stond hij live voor de medewerkers.
Persoonsgegevens worden placeholders voordat een model ze ziet, en de gateway zet ze in het antwoord weer terug. De maskeerregels zijn per klant in te stellen.
Daarbovenop zit een productlaag: skills, een FastAPI-service die slidedecks rendert, mail- en agendatools die pas versturen nadat de gebruiker akkoord geeft, en geplande runs.
Waar de route afweek
Per beurt kiest de gateway een model, met fallback als dat model het niet doet. Hij praat alleen met endpoints die niets bewaren, met een EU-optie. Antwoorden streamen over SSE, en elke aanroep wordt gemeten.