AI-agents voor vakmensen: wat werkt (en wat niet) in productie

De eerste AI-agent die we voor een vakmensen-platform bouwden had een beauty-demo: vraag stellen, direct perfect antwoord, founder blij, investeerder blij. Drie weken later in productie: 40% van de vragen kreeg een generiek "als leek zou ik een expert bellen"-antwoord. De LLM wist niets van de eigen kennisbank, niks van CAO-regels, niks van prijzen. Productie is iets anders dan demo.

Les één: RAG op domeindata is níet optioneel. Voor vakmensen werkt de chatbot alleen als 'ie antwoordt zoals de branche werkt, inclusief regionale verschillen, leveranciersnamen en de gekkigheid van CAO-interpretaties. We draaien altijd een embedding-layer (OpenAI text-embedding-3 of Cohere embed v3) over de klant-eigen kennisbank. Dat alleen al verlegt het succespercentage van 40% naar ~80%.

Les twee: agents met tools slaan platte RAG. Puur tekst eruit halen is de basis. Het werkelijke verschil komt wanneer de agent functies mag aanroepen, "check beschikbaarheid in agenda", "haal offerte-template op", "mail dit door naar office@". Claude Sonnet 4.7 met tool-use + `computer_use` voor veldwerk-cases is een van de meest productieve combo's die we kennen.

Les drie: cost-per-interaction wint of verliest het project. Eén vakman stelt gemiddeld 12 vragen per dag aan de agent. 300 vakmensen × 12 × 30 dagen = 108.000 requests per maand. Als elke request 4k tokens output verbruikt op Claude Sonnet tegen € 3 per miljoen input / € 15 per miljoen output… dat is fast money. We cache'n aggressief (prompt-caching, 1h TTL) en routeren naar Haiku voor eenvoudige vragen. Factor 3-5× goedkoper dan "alles op Sonnet".

Les vier: ontsnap het demo-syndroom met saaie metrics. Success rate is niet genoeg, meet óók "antwoord zonder dat de gebruiker moet herformuleren", "antwoord dat tot actie leidt", "antwoord dat niet eindigt in een fallback". Die drie tellen meer dan top-line nauwkeurigheid. Dit is waar Tradevo-achtige platforms levend of dood zijn.

Les vijf: laat de klant de kennisbank bezitten. Elke keer dat we voor een klant de "agent" bouwden en de kennis op onze infra hielden, liep het onhandig af bij migratie. Sinds we de kennisbank + embeddings in de klant-eigen Supabase of Postgres+pgvector zetten, is het overdraagbaar. Agent-logica zit bij ons, data bij hen. Saai maar cruciaal.

Hoe begin je? Drie weken PoC op één vraag-categorie, RAG op één dataset, één tool. Als conversion-rate uit de PoC > 70% is: schalen. Zo niet: ander idee nodig. Daarna iteratief uitbreiden met meer tools en meer branchekennis. Geen big-bang release.