Havedev
Valuasi Baseten Naik Cepat, Tetapi Pelajaran Utamanya Ada di Biaya Inference
AI inference startup Baseten dikabarkan sedang mendekati pendanaan baru sebesar $1,5 miliar dengan valuasi sekitar $13 miliar. Angka ini menarik perhatian karena hanya beberapa bulan sebelumnya Baseten mengumumkan pendanaan $300 juta di valuasi $5 miliar.
Kalau pendanaan terbaru ini selesai, valuasinya naik sangat cepat dalam waktu kurang dari setengah tahun.
Di permukaan, berita ini mudah dibaca sebagai satu lagi tanda panasnya pasar AI. Investor masih agresif, startup AI masih mendapat valuasi besar, dan infrastruktur AI masih menjadi area yang diperebutkan.
Tetapi ada pelajaran yang lebih penting untuk bisnis: AI bukan hanya soal model yang paling pintar. AI juga soal bagaimana model itu dipakai setiap hari dengan biaya yang masuk akal.
The Core Update
Baseten bergerak di area AI inference. Secara sederhana, inference adalah proses ketika model AI menjalankan tugas setelah pengguna mengirim prompt, gambar, data, atau permintaan tertentu.
Jika training adalah proses membangun kemampuan model, inference adalah proses menggunakan kemampuan itu di dunia nyata.
Di sinilah banyak biaya AI mulai terasa.
Setiap chatbot menjawab pertanyaan. Setiap sistem rekomendasi memproses input. Setiap fitur AI di aplikasi membaca dokumen, merangkum tiket support, membuat draft email, atau mengklasifikasi lead. Semua itu membutuhkan inference.
Baseten menjanjikan infrastruktur yang membantu perusahaan menjalankan inference dengan lebih cepat dan lebih efisien. Salah satu pendekatannya adalah mengarahkan request ke model yang paling sesuai untuk tugas tertentu, termasuk model open source yang lebih murah jika kualitasnya sudah cukup.
Ini penting karena tidak semua pekerjaan membutuhkan model paling mahal.
Menjawab pertanyaan sederhana pelanggan tidak selalu membutuhkan model frontier. Mengklasifikasi kategori tiket support tidak selalu membutuhkan model terbesar. Merapikan format data internal tidak selalu membutuhkan AI premium dengan biaya tinggi per request.
Jika setiap tugas kecil selalu dikirim ke model paling mahal, biaya AI bisa naik diam-diam sebelum bisnis benar-benar mendapat manfaatnya.
The Reality Check
Valuasi besar Baseten menunjukkan bahwa investor melihat inference sebagai lapisan yang sangat strategis. Namun bisnis sebaiknya tidak membaca berita ini hanya sebagai sinyal untuk ikut menambah fitur AI sebanyak mungkin.
Masalahnya, banyak implementasi AI gagal bukan karena modelnya kurang canggih, tetapi karena arsitektur penggunaannya tidak dipikirkan sejak awal.
Bisnis sering mulai dari pertanyaan: fitur AI apa yang bisa kita tambahkan?
Padahal pertanyaan yang lebih sehat adalah: pekerjaan mana yang cukup bernilai untuk dibantu AI, dan berapa biaya yang masih masuk akal untuk menjalankannya berulang kali?
Ada perbedaan besar antara demo AI dan operasi AI.
Demo AI bisa terlihat mengesankan dengan beberapa prompt. Operasi AI harus bertahan terhadap volume, biaya, latency, error, privacy, dan ekspektasi pengguna. Di tahap operasi, keputusan teknis kecil mulai berdampak besar.
Model mana yang dipakai untuk tugas sederhana? Kapan perlu model yang lebih kuat? Data apa yang boleh dikirim? Apakah hasil perlu dicek manusia? Berapa lama respons masih dianggap cepat? Berapa biaya maksimal per transaksi?
Tanpa jawaban ini, AI mudah berubah menjadi fitur mahal yang sulit diukur.
Berita tentang Baseten juga mengingatkan bahwa pasar sedang bergerak ke arah optimasi. Setelah fase euforia model besar, perhatian mulai bergeser ke pertanyaan yang lebih praktis: bagaimana menjalankan AI dengan lebih murah, lebih cepat, dan lebih stabil?
Ini bukan pertanyaan kecil. Untuk bisnis yang ingin memakai AI di proses harian, inference cost bisa menjadi pembeda antara fitur yang layak dipertahankan dan eksperimen yang akhirnya dimatikan.
Ada juga catatan tentang struktur pendanaan. Laporan menyebut round ini menggunakan split-priced round, di mana sebagian investor masuk pada valuasi berbeda. Artinya headline valuasi tetap perlu dibaca dengan hati-hati.
Valuasi tinggi tidak selalu berarti semua risiko hilang. Ia menunjukkan ekspektasi pasar, bukan jaminan bahwa ekonomi bisnisnya sudah sederhana.
Bagi perusahaan yang sedang membangun produk AI, pelajarannya bukan mengejar valuasi seperti Baseten. Pelajarannya adalah memahami mengapa lapisan inference menjadi begitu bernilai.
Karena ketika AI masuk ke proses nyata, biaya menjalankan AI bisa sama pentingnya dengan kemampuan AI itu sendiri.
The Havedev Way
Dari sudut pandang Havedev, berita Baseten relevan bukan hanya untuk startup AI besar. Ia relevan untuk bisnis yang mulai menambahkan AI ke website, CRM, support, sales, internal dashboard, atau automation.
AI sebaiknya tidak dipasang sebagai dekorasi teknologi.
AI perlu ditempatkan pada alur kerja yang jelas, dengan ukuran manfaat dan batas biaya yang masuk akal.
Sebelum memilih model, API, atau platform AI, bisnis perlu menjawab beberapa pertanyaan dasar:
- proses mana yang paling sering berulang?
- pekerjaan mana yang memakan waktu tim tetapi polanya cukup jelas?
- keputusan apa yang ingin dipercepat?
- data apa yang tersedia dan aman dipakai?
- kapan hasil AI boleh langsung dipakai?
- kapan hasil AI harus diperiksa manusia?
- berapa biaya yang masih wajar untuk setiap request?
Pertanyaan seperti ini terdengar sederhana, tetapi sering dilewati.
Akibatnya, bisnis bisa memakai model mahal untuk tugas ringan, membuat automation yang tidak dipercaya tim, atau membangun chatbot yang terlihat modern tetapi tidak benar-benar menyelesaikan masalah pelanggan.
Pendekatan yang lebih sehat adalah memecah pekerjaan AI berdasarkan tingkat risikonya.
Untuk tugas sederhana seperti klasifikasi awal, ringkasan internal, tagging lead, atau draft respons, bisnis mungkin cukup memakai model yang lebih ringan dan murah. Untuk tugas yang lebih sensitif seperti analisis kontrak, rekomendasi keputusan finansial, atau komunikasi pelanggan bernilai tinggi, bisnis mungkin membutuhkan model yang lebih kuat dan kontrol manusia yang lebih ketat.
Dengan cara ini, AI tidak diperlakukan sebagai satu tombol ajaib. AI diperlakukan sebagai bagian dari sistem kerja.
Website juga bisa mengambil pelajaran dari sini. Jika website menghasilkan lead, AI bisa membantu membaca konteks inquiry, mengelompokkan kebutuhan, membuat ringkasan untuk sales, atau menyarankan follow-up. Tetapi sebelum itu, form, sumber lead, status follow-up, dan definisi kualitas lead harus jelas.
Kalau inputnya berantakan, AI hanya mempercepat kebingungan.
Hal yang sama berlaku untuk support. AI bisa membantu merangkum tiket, mencari jawaban dari knowledge base, atau mengarahkan masalah ke tim yang tepat. Tetapi kategori support, prioritas, SLA, dan pemilik tindak lanjut tetap harus disepakati.
AI yang baik tidak menggantikan struktur kerja. AI memperkuat struktur kerja yang sudah cukup jelas.
Itulah mengapa tren inference penting untuk diperhatikan. Ia menggeser pembicaraan dari sekadar “model apa yang paling pintar” menjadi “bagaimana AI ini dipakai dengan efisien di proses nyata”.
Bagi banyak bisnis, ini adalah arah yang lebih berguna.
Bukan semua pekerjaan harus memakai AI terbesar. Bukan semua fitur perlu real-time. Bukan semua output perlu otomatis dikirim ke pelanggan. Dan bukan semua masalah operasional akan selesai hanya karena ada prompt di dalam sistem.
AI yang matang dimulai dari pemetaan pekerjaan, batasan biaya, dan keputusan yang ingin dibantu.
Baseten mungkin sedang mendapat perhatian karena valuasinya besar. Tetapi sinyal yang lebih penting adalah ini: lapisan inference menjadi medan utama karena bisnis mulai sadar bahwa menjalankan AI setiap hari membutuhkan disiplin teknis dan operasional.
Untuk bisnis, pertanyaannya bukan apakah harus mengikuti hype AI terbaru.
Pertanyaannya adalah: jika AI benar-benar dipakai dalam operasional harian, apakah alurnya sudah jelas, biayanya terkendali, dan hasilnya membantu tim mengambil tindakan lebih cepat?
Kalau jawabannya belum jelas, jangan mulai dari model yang paling mahal.
Mulai dari pekerjaan yang paling sering berulang, paling dekat dengan pelanggan, dan paling mudah diukur dampaknya.
Dapatkan Audit Teknis Gratis untuk meninjau peluang penggunaan AI, automation, dan alur digital bisnis Anda sebelum menambah biaya teknologi baru.
Sumber referensi berita: TechCrunch