Wat is tool calling? Een complete gids voor AI-integratie

AI-modellen putten uit hun trainingsdata en extrapoleren daarop om gebruikers antwoorden te geven. Maar wat gebeurt er als een verzoek verder gaat dan de reikwijdte van die oorspronkelijke informatie?

Tool calling is een mogelijkheid die helpt deze hiaten in kennis en functionaliteit te dichten. Hierdoor kan een model extra hulp vragen aan externe tools en systemen, bijvoorbeeld om een actie te starten zoals het versturen van een update of om content uit een datadashboard op te halen.

In dit artikel onderzoeken we wat tool calling is, hoe het zich verhoudt tot function calling en hoe ElevenAgents tool calling inzet voor conversational AI-workflows.

Samenvatting

• Met tool calling kan een AI-model acties starten en informatie opvragen bij externe tools en API's.
• Een AI-model voert een tool niet zelf actief uit. In plaats daarvan voert een applicatielaag het verzoek uit.
• Tool calling volgt een proces van vijf stappen, waarbij meerdere verschillende tools binnen hetzelfde verzoek kunnen worden geactiveerd.
• Tool calling kan worden gebruikt voor informatie ophalen, code uitvoeren, apparaatbediening of interactie met workflows en processen.
• ElevenAgents ondersteunt tool calling in voice agents, zodat je conversational AI-assistent namens jou taken kan uitvoeren.

Wat is tool calling?

Tool calling is een mogelijkheid van een AI-model waarmee het met een ander systeem kan communiceren. Dat systeem kan een database, een API, software of iets anders zijn waarmee het een functie kan uitvoeren die verder gaat dan zijn trainingsdata. 

Tool calling genereert een verzoek aan een systeem van derden om een taak uit te voeren, meestal in JSON-indeling. Een AI-systeem gebruikt tool calling om externe systemen te raadplegen, realtime-informatie op te halen, opdrachten uit te voeren of bewerkingen uit te voeren. De mogelijkheid om tools aan te roepen stelt agentic AI in staat complexere taken of taken met meerdere stappen uit te voeren door externe resources te gebruiken en systemen van derden dynamisch in te zetten.

De mogelijkheid om tools aan te roepen onderscheidt agentic AI-assistenten van LLM's die alleen kunnen antwoorden op basis van wat ze al weten.

Waarom is tool calling belangrijk?

Large language models worden getraind op enorme hoeveelheden historische data om hun mogelijkheden te ontwikkelen. Daardoor zijn ze krachtige systemen om gebruikers te beantwoorden en informatie te leveren, maar ze kunnen moeilijk verder gaan dan hun oorspronkelijke trainingscontext en informatiecorpus. Als je LLM's om informatie vraagt die buiten hun bereik of mogelijkheden valt, hebben ze externe hulp nodig om die te leveren.

Tool calling biedt die externe hulp: LLM's kunnen hiermee actuele data uit andere bronnen ophalen of integreren met live systemen die een bedrijf al gebruikt, zoals API's van derden of interne databases.

Tool calling biedt AI-systemen tal van voordelen:

• Minder hallucinaties: Een systeem dat voor informatieverificatie op directe tool calls vertrouwt, werkt op basis van bewijs en data in plaats van mogelijk informatie te verzinnen of te extrapoleren vanuit trainingsdata.
• Meer autonomie en reikwijdte: Een LLM met tool calling kan acties uitvoeren die verder gaan dan alleen informatie verstrekken. 
• Realtime-antwoorden: Door livebronnen te raadplegen kan een LLM realtime-data uit databases of API-calls ophalen. Zo krijg je actuele informatie die niet beschikbaar zou zijn wanneer je alleen met trainingsdata werkt.
• Geautomatiseerde processen met meerdere stappen: Een taak waarvoor je mogelijk met verschillende systemen moet werken, wordt teruggebracht tot één prompt met een LLM dat tool calling ondersteunt. Het kan andere systemen raadplegen en informatie voor je ophalen zonder dat je het interactievenster hoeft te verlaten.

Gartner voorspelt dat 40% van de bedrijfsapplicaties eind 2026 zal zijn geïntegreerd met taakspecifieke AI-agents, tegenover minder dan 5% in 2025. Een model dat voor een taak de juiste tool kan aanroepen, vergroot zijn mogelijkheden en stelt gebruikers in staat meer gedaan te krijgen met prompts in natuurlijke taal.

Tool calling versus retrieval-augmented generation (RAG)

Retrieval-augmented generation en tool calling gaan beide over het zoeken naar data buiten de context die de trainingsdata van een model biedt, maar richten zich op verschillende zaken. RAG is vooral bedoeld voor statische content, zoals artikelen, documenten en kennisbanken die je aan een model koppelt. Het voorziet een LLM van aanvullende context die helpt uitgebreidere antwoorden te genereren.

Tool calling is bedoeld om dynamisch informatie te bereiken, waaronder realtime-systemen die voortdurend veranderen. RAG kan een PDF met prijzen uit een bepaald jaar ophalen, terwijl tool calling direct actuele prijzen uit een gekoppeld systeem kan ophalen. De meeste LLM-systemen gebruiken deze mogelijkheden samen, omdat het ophalen van kennisbanken en het gebruiken van live tools beide belangrijk zijn in veel use cases.

Hoe werkt tool calling?

Tool calling volgt een vrij standaardpatroon, ongeacht of een AI-agent een interne app of een extern model aanroept. 

Hier volgt een overzicht op hoofdlijnen van hoe tool calling werkt:

1. Herkennen wanneer een tool call nodig is
2. De juiste tool uit gekoppelde systemen selecteren
3. Een verzoek maken en versturen
4. Het verzoek wordt uitgevoerd en er wordt een resultaat teruggestuurd
5. Het model antwoordt of onderneemt verdere actie

Laten we deze stappen uitgebreider bekijken.

Stap 1: Herkennen wanneer een tool call nodig is

Nadat je een verzoek in natuurlijke taal hebt ingevoerd, leest een model je prompt en beoordeelt het of het externe hulp van een tool nodig heeft. Voor een vraag die aansluit bij de trainingsdata is geen externe hulp nodig, maar voor sommige vragen, zoals vragen die buiten de context van het model vallen, wel.

Vragen als “Wat waren onze verkoopcijfers in Q2 in Salesforce?” en “Wat is het huidige aantal actieve gebruikers in onze Shopify-winkel?” vereisen allebei een tool call.

Stap 2: De juiste tool uit gekoppelde systemen selecteren

Elke tool waartoe een model toegang heeft, beschikt over een schema: een naam, een beschrijving in natuurlijke taal van wat de tool doet en de parameters die deze accepteert. Een model vergelijkt je verzoek met elk van deze beschrijvingen om de juiste tool voor de taak te vinden. Vooral wanneer een agent een grote toolcatalogus heeft, voert die een intern proces uit om relevante tools te filteren. Handmatig honderden tools doorzoeken zou het vinden van de juiste aan te roepen tool namelijk sterk vertragen.

Stap 3: Een verzoek maken en versturen

Nadat het juiste tool is geselecteerd, maakt een model een gestructureerde call, vaak in JSON-indeling. Deze call bepaalt welke tool het aanroept en wat het verzoek omvat. Een verzoek om het weer in Bogota op te halen kan er bijvoorbeeld zo uitzien: {"name": "get_weather", "arguments": {"city": "Bogota"}}. Een model geeft deze call als output en de applicatielaag voert die in de volgende stap uit.

Stap 4: Het verzoek wordt uitgevoerd en er wordt een resultaat teruggestuurd 

De applicatielaag ontvangt het verzoek van een model en voert de tool uit of roept een API aan om een verzoek uit te voeren. Het antwoord wordt vervolgens als extra context teruggestuurd naar het oorspronkelijke model, dat dit kan verwerken in zijn antwoord aan een gebruiker. 

Stap 5: Het model antwoordt of onderneemt verdere actie

Met de data of informatie uit de tool call antwoordt het model in gewone taal aan een gebruiker, of bevestigt het dat een specifieke actie is uitgevoerd. Dat laatste gebeurt als de specifieke taak die een gebruiker wil uitvoeren actiegericht is, zoals een bericht plaatsen op een specifiek platform of data invoeren in een database.

Als de taak meer stappen vereist, herhaalt het model stap 1 tot en met 4. Voor complexere verzoeken moeten mogelijk meerdere tools worden aangeroepen voordat er een definitief antwoord voor een gebruiker kan worden gemaakt. Als een gebruiker bijvoorbeeld de actuele wisselkoers wil weten en vervolgens valuta wil omrekenen, moet het model meerdere stappen achter elkaar uitvoeren om dit doel te bereiken. 

Soorten tool calling

Tool calling beschrijft elke situatie waarin een model een extern systeem aanroept voor data die verder gaat dan de onderliggende training. Het daadwerkelijke proces kan verschillende systemen gebruiken, waarbij uiteenlopende use cases verschillende soorten tools inzetten.

• Informatie ophalen: Omvat het ophalen van data uit een externe bron, zoals een API, een gekoppelde bedrijfsdatabase of een zoekindex, om een vraag te beantwoorden die buiten de oorspronkelijke trainingscontext van een model valt.
• Code uitvoeren: Het uitvoeren van scripts, datatransformatieprocessen of berekeningen in een codeomgeving. Dit wordt meestal gebruikt om data te analyseren in plaats van alleen te beschrijven hoe een analyse in de praktijk zou kunnen werken.
• Procesautomatisering: Beschrijft wanneer een API-call een specifieke workflow in een ander systeem start, zoals interactie met een CMS, het plannen van een vergadering, het bijwerken van records, het versturen van meldingen of het omzetten van verzoeken in uitgevoerde acties. Dit komt vooral vaak voor in agentic systemen die taken voor individuen uitvoeren.
• Apparaat- en systeembesturing: Tool calls die met een ander apparaat, een telefoniesysteem, een smarthome-assistent en meer communiceren, vallen allemaal onder deze categorie.

Tool calling valt vaak niet netjes in slechts één van deze categorieën. Je kunt calls met meerdere stappen en gekoppelde calls hebben die meerdere van de bovenstaande categorieën in een doorlopende reeks combineren. Je kunt bijvoorbeeld de bestelstatus van een klant ophalen, daarna een terugbetaling starten, vervolgens je interne CRM bijwerken en die informatie doorgeven aan een live agent.

Tool calling versus function calling: belangrijkste verschillen

Tool calling is een bredere categorie dan function calling, met een grotere reikwijdte en een diverser scala aan mogelijke mogelijkheden. Function calling is wanneer een model een gestructureerde call met argumenten naar een vooraf gedefinieerde functie genereert.

Hier is een tabel met de verschillen tussen een tool call en een function call. 

Hoe betrouwbaar is tool calling? 

Hoe betrouwbaar tool calling is, hangt volledig af van het model dat de calls maakt. Ook kan een fout zich in verschillende systemen anders uiten. Zo kan een AI-model na een mislukte tool call simpelweg een antwoord hallucineren, terwijl een ander model de gebruiker kan vragen het opnieuw te proberen. 

De Berkeley Function Calling Leaderboard is een vaak geraadpleegde leaderboard die vergelijkt hoe verschillende modellen presteren op het gebied van tool calling. Hoewel deze wordt omschreven als een leaderboard voor function calling, meet deze in de praktijk de efficiëntie van tool calling door modellen te testen op API-calls, het verzamelen van informatie uit databasequery's, het uitvoeren van parallelle calls en het reageren in gesprekken met meerdere beurten.

Modellen worden beoordeeld op zaken als totale kosten, de mogelijkheid om op het web te zoeken, nauwkeurigheid in gesprekken met meerdere beurten, het meten van hallucinaties, latency en meer. Als je complexe workflows of workflows met meerdere stappen uitvoert, is het nuttig te weten welke modellen uitgebreidere mogelijkheden voor tool calling hebben. 

Ga aan de slag met ElevenAgents voor tool calling

In ElevenAgents kun je uit verschillende modellen kiezen, zodat je je workload kunt afstemmen op het best mogelijke onderliggende model. Voice agents roepen tools aan, zoeken bestellingen op, controleren records, werken databases bij en verzamelen informatie via API's.

Je kunt verschillende soorten tools aanroepen, waaronder webhooktools om externe API's aan te roepen, clienttools om acties te starten in applicaties of in een browser, codetools voor aangepaste server-side logica, MCP-tools die verbinding maken met externe toolservers en systeemtools voor ingebouwde acties, zoals doorverbinden met een menselijke agent.

ElevenLabs biedt ook vooraf gebouwde native connectors voor diensten zoals Zendesk, HubSpot, Salesforce en vele andere. Zo hoef je geen aangepaste configuraties in te stellen. Ontdek meer over ElevenAgents of registreer je om vandaag nog voice agents met tool calling te bouwen.

Veelgestelde vragen