Berapa Biaya Menjalankan Agen AI?

Mengapa ada dua tagihan

Self-hosted agent memisahkan dua hal yang digabungkan menjadi satu langganan oleh agen SaaS. Pemisahan itulah inti dari bawa kunci sendiri, dan itu juga alasan mengapa pertanyaan 'berapa biaya agen' tidak punya satu jawaban tunggal.

• Server. Jumlah tetap per bulan untuk instance tempat agen berjalan. Dapat diprediksi, kecil, dan tidak terpengaruh seberapa keras kamu menggunakan agen.
• Modelnya. Ditagih oleh penyedia AI-mu, di akun milikmu sendiri, sebanding dengan seberapa banyak agen berpikir. Kami tidak pernah menyentuhnya, tidak bisa memberi markup, dan tidak melihatnya.

Konsekuensinya, kamu bisa menghitung yang pertama dengan tepat dan hanya bisa memperkirakan yang kedua. Sebagian besar halaman ini membahas cara memperkirakan yang kedua dengan jujur, karena di situlah orang sering kaget.

Biaya server

Keduanya sudah termasuk minggu pertama gratis, ditagih bulanan tanpa kontrak, dan merupakan sumber daya dedicated, bukan porsi dari sesuatu yang lebih sibuk. Karena agen mengatur alur kerja dan bukan melakukan inferensi, ia sebagian besar waktunya menganggur menunggu jaringan, itulah sebabnya angka-angka ini jauh lebih rendah dari perkiraan banyak orang. Tidak ada GPU dalam daftar karena agen bawa-kunci-sendiri tidak membutuhkannya.

Perbandingan yang jujur di sini bukan dengan nol. VPS yang kamu kelola sendiri punya harga stiker yang mirip, lalu menambahkan bagian yang tidak pernah disebut orang: sistem operasi, reverse proxy, perpanjangan sertifikat, patch, backup, dan menjadi orang yang menyadari masalah jam 3 pagi. Itu semua biaya nyata yang dibayar dengan mata uang yang tidak muncul di tagihan kartu.

Apa yang mendorong tagihan model

Penyedia menagih berdasarkan token yang dikonsumsi, dan agen mengonsumsinya dengan cara yang berbeda dari chatbot. Ini adalah hal paling berguna untuk dipahami sebelum kamu memperkirakan apa pun, karena menjelaskan mengapa biaya agen sering mengejutkan orang yang terbiasa dengan harga chat.

Chatbot membuat satu pemanggilan model untuk setiap pesan yang kamu kirim. Agen membuat satu pemanggilan untuk setiap langkah loop penalarannya: membaca tugas, memutuskan, memanggil alat, membaca hasil, lalu memutuskan lagi. Tugas yang memakan delapan langkah adalah delapan pemanggilan, bukan satu. Kalikan itu dengan satu hari tugas terjadwal, dan hitungannya bergerak cepat.

Lebih buruk lagi, setiap panggilan itu biasanya membawa seluruh percakapan sejauh ini. Langkah kedelapan mengirim ulang semua yang ada dari langkah satu sampai tujuh agar model tahu posisinya. Itu membuat biaya tugas panjang tumbuh lebih cepat daripada jumlah langkahnya, dan inilah mekanisme di balik sebagian besar tagihan yang membengkak tanpa diduga.

• Langkah per tugas. Ringkasan sekali jalan itu murah. Tugas riset yang menjelajah, membaca, memeriksa silang, dan menulis tidak murah.
• Konteks yang dibawa per langkah. Memberi agen dokumen besar berarti kamu membayar dokumen itu lagi di setiap langkah berikutnya dalam tugas yang sama.
• Seberapa sering dijalankan. Tugas yang berjalan tiap sepuluh menit berjalan kira-kira 4,300 kali sebulan. Biaya per run jauh kurang penting daripada frekuensi yang kamu atur.
• Model yang mana. Kemampuan dan harga bisa berbeda lebih dari sepuluh kali lipat antar model, dan perbedaan ini paling berpengaruh pada agen karena model yang lebih lemah lebih sering mencoba ulang.

Cara memperkirakan sebelum kamu berkomitmen

Kamu tidak perlu menebak. Cara yang andal adalah menjalankan satu tugas representatif, lihat berapa pemakaian sebenarnya di dashboard penyedia, lalu kalikan dengan seberapa sering kamu berencana menjalankannya. Pengukuran tunggal itu lebih berharga daripada estimasi publik mana pun, karena tugasmu bukan tugas orang lain.

1. Tentukan satu tugas nyata, yang memang ingin kamu otomatiskan.
2. Jalankan sekali dan catat pemakaian yang dicatat penyedia kamu untuk itu.
3. Kalikan dengan frekuensi yang kamu rencanakan. Tugas yang dijalankan tiap jam kira-kira 720 kali sebulan; setiap sepuluh menit kira-kira 4,300 kali.
4. Tambahkan biaya server. Bandingkan totalnya dengan nilai tugas itu bagimu dalam waktu yang dihemat.

Lakukan ini sebelum mengotomatiskan apa pun dengan jadwal singkat. Frekuensi adalah variabel yang sering ditetapkan begitu saja, dan itulah yang paling menentukan tagihan.

Bisakah kamu menjalankan agen di paket gratis?

Sebagian, dan penting untuk tahu persis di mana batasnya daripada menemukannya di tengah tugas. OpenRouter, pilihan umum untuk Hermes karena menaungi banyak penyedia di balik satu kunci, mempublikasikan batas untuk varian model gratisnya: 20 permintaan per menit, dan 50 permintaan per hari sampai akun pernah membeli kredit senilai $10, setelah itu jatah harian naik menjadi 1000.

Bacalah ini dengan melihat bagian sebelumnya. Lima puluh permintaan per hari bukan lima puluh tugas, melainkan lima puluh langkah penalaran, yang bisa habis oleh satu kali riset saja. Inilah sebabnya agent di tier gratis biasanya menyelesaikan tugas pendek tetapi mati di tengah tugas panjang, tanpa error yang jelas.

Paket gratis adalah cara yang bagus untuk mengevaluasi agen dan cara yang buruk untuk menjalankannya di produksi. Jika kamu sedang menguji, itu gratis. Jika kamu mengotomatisasi sesuatu yang kamu andalkan, batas harian adalah masalah keandalan sebelum menjadi masalah biaya.

Menekan tagihan model

Empat faktor, kurang lebih diurutkan dari yang paling besar pengaruhnya terhadap angka:

• Jalankan lebih jarang. Mengurangi jadwal dari setiap sepuluh menit menjadi setiap jam memangkas tagihan sekitar enam kali dan sering kali hampir tidak mengubah hasilnya. Ini adalah pengungkit terbesar dan paling sering terlewat.
• Jaga tugas tetap singkat. Tugas yang berjalan lama membayar riwayatnya sendiri berulang kali. Beberapa tugas kecil biasanya lebih murah daripada satu tugas besar yang menghasilkan pekerjaan yang sama.
• Beri lebih sedikit. Berikan kutipan yang relevan, bukan seluruh dokumen. Konteks ditagih di setiap langkah yang membawanya, jadi memangkasnya sekali menghemat berkali-kali.
• Sesuaikan model dengan pekerjaannya. Model termurah adalah penghematan palsu jika sering mencoba ulang, dan model paling canggih itu pemborosan untuk tugas yang hanya perlu memformat ulang teks. Tugas yang berbeda bisa memakai model yang berbeda.

Perhatikan bahwa tidak ada satu pun dari hal ini yang berkaitan dengan server. Instance hanya berbiaya beberapa dolar tetap dan tetap begitu; semua yang layak dioptimalkan ada di sisi model.

Perbandingan dengan agen SaaS

Produk agen yang di-host menagih satu langganan dan memasukkan biaya model ke dalamnya, yang memang lebih sederhana. Yang kamu korbankan adalah visibilitas dan kendali: kamu tidak bisa melihat berapa biaya sebuah tugas, tidak bisa memilih model yang lebih murah untuk tugas sederhana, dan kamu tetap membayar sama, baik menjalankan satu tugas seminggu maupun seratus tugas sehari.

Self-hosting membalik itu. Dua tagihan alih-alih satu, lebih banyak yang perlu dipahami, dan sebagai gantinya biaya pemakaian sebanding dengan apa yang benar-benar kamu lakukan, kunci dan datamu tetap milikmu, dan tidak ada yang mencegahmu untuk pindah. Untuk penggunaan ringan, totalnya biasanya lebih rendah. Untuk penggunaan berat, bergantung sepenuhnya pada seberapa baik kamu menerapkan keempat pengungkit di atas.