Hoeveel kost het om een AI-agent te draaien?

Waarom er twee rekeningen zijn

Een zelf gehoste agent scheidt twee dingen die een SaaS-agent in één abonnement bundelt. Die scheiding is het hele punt van bring-your-own-key, en het is ook waarom de vraag ‘wat kost een agent’ geen enkel antwoord heeft.

• De server. Een vast maandbedrag voor de instance waarop de agent draait. Voorspelbaar, klein, en onafhankelijk van hoe hard je de agent gebruikt.
• Het model. Gefactureerd door je AI-provider, op je eigen account, in verhouding tot hoeveel de agent nadenkt. Wij raken het nooit aan, kunnen er geen toeslag op zetten en zien het niet.

Het praktische gevolg is dat je de eerste exact kunt bepalen en de tweede alleen kunt schatten. Het grootste deel van deze pagina gaat over het eerlijk schatten van die tweede, want daar worden mensen verrast.

Wat de server kost

Beide bevatten de eerste week gratis, worden maandelijks gefactureerd zonder contract, en zijn toegewezen resources in plaats van een deel van iets drukkers. Omdat de agent orkestreert in plaats van infereert, staat hij grotendeels te wachten op het netwerk, en daarom liggen deze cijfers veel lager dan mensen verwachten. Er staat geen GPU in de lijst, omdat een agent met eigen sleutel er geen gebruik voor heeft.

De eerlijke vergelijking is hier niet met nul. Een VPS die je zelf beheert heeft een vergelijkbare prijs op het prijskaartje en voegt daarna de onderdelen toe waar niemand een prijs bij noemt: het besturingssysteem, de reverse proxy, het verlengen van certificaten, patchen, backups en degene zijn die het om 3 uur 's nachts merkt. Dit zijn echte kosten, betaald in een valuta die niet op een creditcardafschrift verschijnt.

Wat het modelbedrag bepaalt

Providers rekenen op basis van verbruikte tokens, en een agent verbruikt die anders dan een chatbot. Dit is het belangrijkste om te begrijpen voordat je iets inschat, want het verklaart waarom agentkosten mensen verrassen die aan chatprijzen gewend zijn.

Een chatassistent doet één modelaanroep per bericht dat je stuurt. Een agent doet één aanroep per stap van zijn redeneerlus: de taak lezen, beslissen, een tool aanroepen, het resultaat lezen, opnieuw beslissen. Een taak van acht stappen is acht aanroepen, niet één. Vermenigvuldig dat over een dag geplande werkzaamheden en de rekensom gaat snel omhoog.

Erger nog, elk van die aanroepen draagt meestal het hele gesprek tot dan toe mee. Stap acht stuurt alles van stap één tot en met zeven opnieuw, zodat het model weet waar het is. Daardoor groeit de prijs van een lange taak sneller dan het aantal stappen, en dat is het mechanisme achter de meeste onverwacht hoge rekeningen.

• Stappen per taak. Een eenmalige samenvatting is goedkoop. Een onderzoekstaak die het web doorzoekt, leest, kruiscontroleert en schrijft, is dat niet.
• Context per stap. Wanneer je een agent een groot document geeft, betaal je dat document opnieuw bij elke volgende stap van dezelfde taak.
• Hoe vaak het draait. Een taak die elke tien minuten start, draait ongeveer 4,300 keer per maand. De kosten per run tellen veel minder dan de frequentie die je instelt.
• Welk model. Capaciteit en prijs verschillen per model met meer dan een orde van grootte, en het verschil telt het zwaarst bij agents omdat een zwakker model vaker opnieuw probeert.

Een manier om vooraf te schatten

Je hoeft niet te gokken. De betrouwbare methode is één representatieve taak draaien, bekijken wat die daadwerkelijk heeft verbruikt op het dashboard van je provider, en dat vermenigvuldigen met hoe vaak je hem van plan bent te draaien. Die ene meting is meer waard dan elke gepubliceerde schatting, omdat jouw taken niet die van iemand anders zijn.

1. Definieer één echte taak, het soort dat je echt geautomatiseerd wilt hebben.
2. Draai het één keer en noteer het gebruik dat je provider ervoor registreert.
3. Vermenigvuldig met de frequentie die je plant. Een taak die elk uur draait, is ongeveer 720 keer per maand; elke tien minuten is ongeveer 4,300.
4. Reken de serverkosten erbij. Vergelijk het totaal met wat de taak je waard is in bespaarde tijd.

Doe dit voordat je iets op een kort schema automatiseert. Hoe vaak iets draait is de variabele die mensen achteloos instellen, en die bepaalt het grootste deel van de rekening.

Kan je een agent op een gratis tier draaien?

Gedeeltelijk, en het is goed om precies te weten waar de muur zit in plaats van die midden in een taak te ontdekken. OpenRouter, een veelgekozen keuze voor Hermes omdat het veel providers achter één sleutel bundelt, publiceert limieten op zijn gratis modelvarianten: 20 verzoeken per minuut, en 50 verzoeken per dag totdat het account ooit voor $10 aan credits heeft gekocht; daarna stijgt het dagelijkse maximum naar 1000.

Lees dat in het licht van de vorige sectie. Vijftig verzoeken per dag zijn geen vijftig taken, het zijn vijftig redeerstappen, en één onderzoeksrun kan die al allemaal opmaken. Daarom leveren agents op gratis niveaus meestal korte taken af en gaan ze halverwege lange taken dood, zonder duidelijke foutmelding.

Een gratis tier is een goede manier om een agent te evalueren en een slechte manier om er een in productie te draaien. Als je test, kost het niets. Als je iets automatiseert waar je van afhankelijk bent, is de dagelijkse limiet eerst een betrouwbaarheidsprobleem en pas daarna een kostenprobleem.

Het modelbedrag laag houden

Vier hefbomen, ruwweg in volgorde van hoeveel ze het getal bewegen:

• Draai minder vaak. Een schema terugbrengen van elke tien minuten naar elk uur snijdt de rekening ongeveer zes keer, en is in het resultaat vaak onzichtbaar. Dit is de grootste hefboom en de meest vergeten.
• Houd taken kort. Langlopende taken betalen telkens opnieuw voor hun eigen geschiedenis. Meerdere kleine taken kosten meestal minder dan één grote die hetzelfde werk doet.
• Voer minder in. Geef het relevante extract door in plaats van het hele document. Context wordt bij elke stap die hem meedraagt in rekening gebracht, dus eenmaal inkorten bespaart vele keren.
• Kies het model dat bij de taak past. Het goedkoopste model is een schijnbesparing als het steeds opnieuw moet proberen, en het meest capabele model is verspilling bij een taak die alleen tekst hoeft op te maken. Verschillende taken kunnen verschillende modellen gebruiken.

Let op: geen van deze heeft met de server te maken. De instance kost een vast bedrag van een paar dollar en blijft zo; alles wat te optimaliseren valt, zit aan de modelkant.

Hoe dit zich verhoudt tot een SaaS-agent

Een gehost agentproduct rekent één abonnement en verwerkt de modelkosten daarin, wat echt eenvoudiger is. Wat je inlevert is zicht en controle: je kunt niet zien wat een taak kostte, je kunt geen goedkoper model kiezen voor een simpele klus, en je betaalt hetzelfde of je nu één taak per week draait of honderd per dag.

Zelf hosten keert dat om. Twee rekeningen in plaats van één, meer om te begrijpen, en in ruil daarvoor is de gebruikskost evenredig met wat je werkelijk doet, blijven de sleutels en gegevens van jou, en niets belet je om te verhuizen. Bij licht gebruik is het totaal meestal lager. Bij zwaar gebruik hangt het volledig af van hoe goed je de vier hefbomen hierboven toepast.