Ile kosztuje uruchomienie agenta AI?

Dlaczego są dwa rachunki

Samodzielnie hostowany agent rozdziela dwie rzeczy, które agent SaaS łączy w jedną subskrypcję. To rozdzielenie jest sednem własnego klucza, a także powodem, dla którego pytanie „ile kosztuje agent” nie ma jednej odpowiedzi.

• Serwer. Stała miesięczna kwota za instancję, na której działa agent. Przewidywalna, niewielka i niezależna od tego, jak intensywnie pracujesz z agentem.
• Model. Rozliczany przez Twojego dostawcę AI, na Twoim koncie, proporcjonalnie do tego, ile agent myśli. Nigdy go nie dotykamy, nie możemy go przeceniać i go nie widzimy.

Praktyczna konsekwencja jest taka, że pierwszy koszt możesz określić dokładnie, a drugi tylko oszacować. Większość tej strony dotyczy uczciwego szacowania drugiego, bo tu ludzie najczęściej są zaskoczeni.

Ile kosztuje serwer

Oba plany obejmują pierwszy tydzień za darmo, są rozliczane miesięcznie bez umowy i są dedykowanymi zasobami, a nie udziałem w czymś bardziej obciążonym. Ponieważ agent orkiestruje zamiast wnioskować, przez większość czasu czeka bezczynnie na sieć, dlatego te liczby są znacznie niższe, niż ludzie zakładają. Na liście nie ma GPU, bo agent z własnym kluczem nie ma dla niego zastosowania.

Uczciwe porównanie nie polega na zerze. VPS, którym administrujesz sam, ma podobną cenę wejściową, a potem dokłada elementy, o których nikt nie wspomina: system operacyjny, reverse proxy, odnawianie certyfikatów, łatanie, backupy i bycie osobą, która o 3 w nocy zauważa awarię. To realne koszty, płacone walutą, której nie widać na wyciągu z karty.

Co napędza rachunek za model

Dostawcy rozliczają według zużytych tokenów, a agent zużywa je inaczej niż chatbot. To najbardziej przydatna rzecz do zrozumienia przed oszacowaniem kosztów, bo wyjaśnia, dlaczego koszty agentów zaskakują osoby przyzwyczajone do cennika czatów.

Czat wykonuje jedno wywołanie modelu na każdą wysłaną wiadomość. Agent wykonuje jedno wywołanie na każdy krok pętli rozumowania: przeczytaj zadanie, zdecyduj, wywołaj narzędzie, przeczytaj wynik, zdecyduj ponownie. Zadanie z ośmiu kroków to osiem wywołań, nie jedno. Pomnóż to przez dzień zaplanowanej pracy, a rachunek szybko rośnie.

Co więcej, każde z tych wywołań zwykle niesie całą dotychczasową rozmowę. Krok ósmy ponownie wysyła wszystko od kroków od pierwszego do siódmego, żeby model wiedział, gdzie jest. Przez to koszt długiego zadania rośnie szybciej niż liczba kroków, co stoi za większością nieoczekiwanie dużych rachunków.

• Kroki na zadanie. Jednorazowe podsumowanie jest tanie. Zadanie badawcze, które przegląda, czyta, weryfikuje krzyżowo i pisze, już nie jest.
• Kontekst przenoszony na każdy krok. Podanie agentowi dużego dokumentu oznacza płacenie za ten dokument ponownie na każdym kolejnym kroku tego samego zadania.
• Jak często działa. Zadanie uruchamiane co dziesięć minut wykonuje się około 4,300 razy w miesiącu. Koszt pojedynczego uruchomienia ma dużo mniejsze znaczenie niż ustawiona częstotliwość.
• Który model. Możliwości i cena różnią się między modelami więcej niż dziesięciokrotnie, a różnica najbardziej liczy się dla agentów, bo słabszy model częściej ponawia próby.

Sposób na oszacowanie przed zobowiązaniem

Nie musisz zgadywać. Rzetelna metoda polega na uruchomieniu jednego reprezentatywnego zadania, sprawdzeniu, ile faktycznie zużyło w panelu dostawcy, i pomnożeniu przez to, jak często zamierzasz je uruchamiać. Ten jeden pomiar jest wart więcej niż jakikolwiek opublikowany szacunek, bo Twoje zadania nie są niczyje innych.

1. Określ jedno realne zadanie, takie, które naprawdę chcesz zautomatyzować.
2. Uruchom go raz i zanotuj zużycie, które twój dostawca dla niego zarejestruje.
3. Pomnóż przez zaplanowaną częstotliwość. Zadanie uruchamiane co godzinę to około 720 razy w miesiącu; co dziesięć minut to około 4,300.
4. Dolicz koszt serwera. Porównaj sumę z tym, ile warte jest dla ciebie zadanie w zaoszczędzonym czasie.

Zrób to, zanim zautomatyzujesz cokolwiek z krótkim harmonogramem. Częstotliwość to zmienna, którą ludzie ustawiają od niechcenia, a to ona najbardziej napędza rachunek.

Czy można uruchomić agenta na darmowym poziomie?

Częściowo, i warto dokładnie wiedzieć, gdzie leży ta granica, zamiast odkrywać ją w trakcie zadania. OpenRouter, popularny wybór dla Hermesa, bo łączy wielu dostawców pod jednym kluczem, publikuje limity dla swoich darmowych wariantów modeli: 20 zapytań na minutę i 50 zapytań dziennie, dopóki konto nie kupiło kiedyś kredytów za $10, po czym dzienny limit rośnie do 1000.

Czytaj to w świetle poprzedniej sekcji. Pięćdziesiąt żądań dziennie to nie pięćdziesiąt zadań, tylko pięćdziesiąt kroków rozumowania, które jeden przebieg badawczy może zużyć sam. Dlatego agenci na darmowych planach zwykle kończą krótkie zadania, a w połowie długich padają bez widocznego błędu.

Darmowy poziom to naprawdę dobry sposób na przetestowanie agenta i słaby sposób na uruchamianie go w produkcji. Jeśli testujesz, nic nie kosztuje. Jeśli automatyzujesz coś, od czego jesteś zależny, dzienny limit jest najpierw problemem niezawodności, a dopiero potem kosztu.

Jak utrzymać niski rachunek za model

Cztery dźwignie, w przybliżeniu w kolejności tego, jak bardzo wpływają na wynik:

• Uruchamiaj rzadziej. Zmiana harmonogramu z co dziesięć minut na co godzinę obniża rachunek około sześciokrotnie i często nie wpływa na wynik. To największa dźwignia i najczęściej pomijana.
• Krótkie zadania. Długie zadania płacą za własną historię wielokrotnie. Kilka małych zadań zwykle kosztuje mniej niż jedno duże, wykonujące tę samą pracę.
• Karm go mniej. Przekazuj odpowiedni fragment zamiast całego dokumentu. Kontekst jest naliczany przy każdym kroku, który go niesie, więc jego przycięcie raz oszczędza wielokrotnie.
• Dopasuj model do zadania. Najtańszy model to fałszywa oszczędność, jeśli ciągle ponawia próby, a najbardziej zdolny jest marnotrawstwem przy zadaniu, które wymaga tylko przeformatowania tekstu. Różne zadania mogą używać różnych modeli.

Zauważ, że żadne z tych nie dotyczy serwera. Instancja kosztuje stałą, niewielką kwotę i tak zostaje; wszystko, co warto optymalizować, leży po stronie modelu.

Jak to się porównuje z agentem SaaS

Hostowany produkt agenta pobiera jedną subskrypcję i wlicza koszt modelu w jej cenę, co jest rzeczywiście prostsze. Tracisz widoczność i kontrolę: nie widzisz, ile kosztowało zadanie, nie możesz wybrać tańszego modelu do prostego zadania, a płacisz tyle samo, niezależnie od tego, czy uruchamiasz jedno zadanie w tygodniu, czy sto dziennie.

Self-hosting odwraca tę logikę. Dwa rachunki zamiast jednego, więcej do zrozumienia, a w zamian koszt zużycia jest proporcjonalny do tego, co faktycznie robisz, klucze i dane pozostają twoje, a nic nie stoi na przeszkodzie, by się przenieść. Przy lekkim użyciu łączny koszt jest zwykle niższy. Przy intensywnym zależy to w całości od tego, jak dobrze zastosujesz cztery powyższe dźwignie.