Julius

Geschiedenis leer je meestal uit teksten over mensen die je nooit hoort. Dit is de omgekeerde poging: je stelt gewoon een vraag, hardop, en er komt antwoord.

De hele keten draait in de browser. De microfoon gaat via getUserMedia naar MP3, die MP3 naar Whisper voor transcriptie, de tekst naar GPT-4 dat in de rol blijft, en het antwoord komt als gestreamde spraak terug van ElevenLabs.

Het lastigste was de knop weghalen. Push-to-talk werkt prima, alleen voert niemand dan een gesprek. Dus meet de app het volumeniveau van je microfoon om te horen wanneer je bent uitgesproken. Datzelfde signaal beweegt de mond van het personage, wat me een hoop animatiewerk scheelde.

Waar uiteindelijk de meeste tijd in ging: wachttijd wegwerken. Een stilte van een seconde leest als een storing en niet als nadenken, dus alles wat gestreamd kon worden, streamt.

• Broncode