Quanto costa far girare un agente AI?

Perché ci sono due fatture

Un agente self-hosted separa due cose che un agente SaaS raggruppa in un unico abbonamento. Questa separazione è il senso stesso della chiave propria, ed è anche il motivo per cui la domanda «quanto costa un agente» non ha una risposta unica.

• Il server. Un importo mensile fisso per l'istanza su cui gira l'agente. Prevedibile, contenuto e non influenzato da quanto usi intensamente l'agente.
• Il modello. Addebitato dal tuo provider AI, sul tuo account, in proporzione a quanto ragiona l'agente. Noi non lo tocchiamo, non possiamo applicarvi ricarichi e non lo vediamo.

La conseguenza pratica è che il primo costo lo puoi dimensionare con precisione, mentre il secondo puoi solo stimarlo. Gran parte di questa pagina riguarda la stima onesta del secondo, perché è lì che la gente si sorprende.

Quanto costa il server

Entrambi includono la prima settimana gratuita, sono fatturati mese per mese senza contratto, e sono risorse dedicate invece di una quota di qualcosa di più affollato. Poiché l'agente orchestra invece di inferire, passa gran parte del tempo inattivo ad aspettare la rete, ed è per questo che questi numeri sono molto più bassi di quanto la gente si aspetti. Nell'elenco non c'è alcuna GPU perché un agente con chiave propria non ne ha bisogno.

Il confronto onesto non è con lo zero. Un VPS che amministri da solo ha un prezzo simile e poi aggiunge le parti di cui nessuno parla: il sistema operativo, il reverse proxy, il rinnovo dei certificati, le patch, i backup e l'essere la persona che se ne accorge alle 3 di notte. Sono costi reali, pagati in una valuta che non compare sull'estratto conto della carta.

Cosa determina la bolletta del modello

I provider fatturano in base ai token consumati, e un agente ne consuma in modo diverso da un chatbot. È la cosa più utile da capire prima di fare qualsiasi stima, perché spiega perché i costi degli agenti sorprendono chi è abituato ai prezzi delle chat.

Un assistente chat fa una chiamata al modello per ogni messaggio che invii. Un agente fa una chiamata per ogni passaggio del suo ciclo di ragionamento: legge il compito, decide, chiama uno strumento, legge il risultato, decide di nuovo. Un compito di otto passaggi sono otto chiamate, non una. Moltiplicalo per una giornata di lavori pianificati e il conto cresce in fretta.

Peggio, ognuna di quelle chiamate di solito porta con sé l'intera conversazione fin lì. Il passaggio otto ri-invia tutto dal passaggio uno al sette, così il modello sa dove si trova. Questo fa crescere il costo di un compito lungo più in fretta del numero di passaggi, ed è il meccanismo dietro la maggior parte delle bollette inaspettatamente alte.

• Passaggi per compito. Un riassunto una tantum costa poco. Una ricerca che naviga, legge, incrocia le fonti e scrive non è così.
• Contesto trasportato a ogni passaggio. Dare a un agente un documento grande significa pagare di nuovo per quel documento a ogni passaggio successivo dello stesso compito.
• Quante volte gira. Un compito che parte ogni dieci minuti gira circa 4,300 volte al mese. Il costo di ogni singola esecuzione conta molto meno della frequenza che imposti.
• Quale modello. Capacità e prezzo variano per più di un ordine di grandezza tra un modello e l'altro, e la differenza conta soprattutto per gli agenti, perché un modello più debole ritenta di più.

Un modo per fare una stima prima di impegnarti

Non devi indovinare. Il metodo affidabile è far girare un compito rappresentativo, controllare quanto ha consumato davvero sulla dashboard del tuo provider, e moltiplicare per quante volte pensi di eseguirlo. Questa singola misurazione vale più di qualsiasi stima pubblicata, perché i tuoi compiti non sono quelli di nessun altro.

1. Definisci un compito reale, del tipo che vorresti davvero automatizzare.
2. Eseguilo una volta e annota l'utilizzo che il tuo provider registra per quell'esecuzione.
3. Moltiplica per la frequenza che prevedi. Un compito eseguito ogni ora fa circa 720 volte al mese; ogni dieci minuti circa 4,300.
4. Aggiungi il costo del server. Confronta il totale con quanto vale per te il compito in termini di tempo risparmiato.

Fai questo prima di automatizzare qualsiasi cosa con una pianificazione breve. La frequenza è la variabile che la gente imposta alla leggera, ed è quella che domina la bolletta.

Puoi far girare un agente con un piano gratuito?

In parte, e vale la pena sapere esattamente dove sta il muro invece di scoprirlo a metà compito. OpenRouter, una scelta comune per Hermes perché unisce molti provider dietro un'unica chiave, pubblica i limiti sulle sue varianti gratuite: 20 richieste al minuto, e 50 richieste al giorno finché l'account non ha acquistato almeno $10 di crediti, dopodiché il limite giornaliero sale a 1000.

Leggilo alla luce della sezione precedente. Cinquanta richieste al giorno non sono cinquanta compiti, sono cinquanta passaggi di ragionamento, che una sola ricerca può consumare da sola. Per questo gli agenti sui piani gratuiti completano di solito compiti brevi e si fermano a metà di quelli lunghi, senza un errore evidente.

Un piano gratuito è un ottimo modo per valutare un agente e un pessimo modo per farlo girare in produzione. Se stai facendo prove, non costa nulla. Se stai automatizzando qualcosa da cui dipendi, il limite giornaliero è un problema di affidabilità prima ancora che di costo.

Come tenere bassa la bolletta del modello

Quattro leve, più o meno in ordine di quanto spostano il numero:

• Esegui meno spesso. Ridurre una pianificazione da ogni dieci minuti a ogni ora taglia il conto di circa sei volte, e spesso non cambia il risultato. È la leva più importante e la più trascurata.
• Tieni i compiti brevi. I compiti di lunga durata pagano ripetutamente la propria cronologia. Diversi compiti piccoli di solito costano meno di uno grande che fa lo stesso lavoro.
• Dagli meno da leggere. Passa l'estratto rilevante invece dell'intero documento. Il contesto viene addebitato a ogni passaggio che lo porta, quindi tagliarlo una volta fa risparmiare molte volte.
• Abbina il modello al lavoro. Il modello più economico è un falso risparmio se riprova continuamente, e quello più capace è uno spreco per un compito che serve solo a riformattare un testo. Compiti diversi possono usare modelli diversi.

Nota che nessuna di queste riguarda il server. L'istanza costa una cifra fissa di pochi dollari e resta lì; tutto ciò che vale la pena ottimizzare è dal lato del modello.

Come si confronta con un agente SaaS

Un prodotto agente ospitato addebita un unico abbonamento e assorbe in esso il costo del modello, il che è davvero più semplice. A cui rinunci è visibilità e controllo: non puoi vedere quanto è costato un compito, non puoi scegliere un modello più economico per un lavoro semplice, e paghi lo stesso sia che tu ne faccia uno a settimana sia cento al giorno.

Self-hostare capovolge questa logica. Due bollette invece di una, più cose da capire, e in cambio il costo dell'utilizzo è proporzionale a ciò che fai davvero, le chiavi e i dati restano tuoi e nulla ti impedisce di spostarti. Per un uso leggero il totale di solito è più basso. Per un uso intensivo dipende interamente da quanto bene applichi le quattro leve descritte sopra.