AI Tidak Hanya Butuh Model Pintar, AI Butuh Infrastruktur yang Lebih Hemat

Google dikabarkan sedang mengembangkan chip server AI baru untuk membantu model Gemini berjalan lebih efisien. Chip ini disebut secara internal sebagai Frozen v2 dan menurut laporan The Information ditargetkan rilis sekitar 2028.

Klaim utamanya cukup besar: chip tersebut disebut bisa enam sampai sepuluh kali lebih efisien dibanding chip AI Google saat ini, jika diukur dari jumlah token yang bisa dihasilkan per unit daya.

Google tidak mengonfirmasi langsung laporan itu. Tetapi mereka juga tidak membantah. Dalam pernyataannya, Google menekankan bahwa timnya terus meneliti inovasi baru untuk meningkatkan performa dan efisiensi, termasuk lewat pendekatan full stack: hardware dan software dirancang bersama agar lebih optimal untuk beban kerja nyata.

Di permukaan, ini terlihat seperti berita hardware. Tetapi bagi bisnis yang sedang melihat AI sebagai bagian dari operasional, isu yang lebih penting adalah ini: AI yang berguna tidak cukup hanya pintar. AI juga harus cukup murah, stabil, dan efisien untuk dipakai berulang setiap hari.

The Core Update

Google bukan satu-satunya perusahaan AI yang ingin mengurangi ketergantungan pada chip pihak ketiga. Banyak perusahaan besar mulai merancang chip sendiri karena kebutuhan komputasi AI terus naik, sementara kapasitas global masih mahal dan terbatas.

Selama beberapa tahun terakhir, Nvidia menjadi pusat dari ledakan infrastruktur AI. Banyak model besar berjalan di atas hardware Nvidia. Itu membuat perusahaan AI sangat bergantung pada ketersediaan, harga, dan roadmap dari satu pemain dominan.

Karena itu, custom chip menjadi strategi penting.

OpenAI sudah mengumumkan chip inference pertamanya, Jalapeño. Anthropic juga dilaporkan berdiskusi dengan Samsung untuk kerja sama chip baru. Google sendiri sudah lama membangun TPU dan kini dikabarkan menyiapkan generasi yang lebih hemat untuk Gemini.

Fokusnya bukan hanya membuat model lebih cepat. Fokus yang lebih strategis adalah membuat biaya inference lebih rendah.

Inference adalah proses ketika model AI menjawab prompt, membuat ringkasan, membaca dokumen, menulis kode, menganalisis data, atau merespons pengguna. Semakin banyak produk memakai AI, semakin besar biaya inference yang harus ditanggung.

Kalau model dipakai jutaan kali per hari, efisiensi kecil bisa menjadi penghematan besar. Kalau chip bisa menghasilkan lebih banyak token dengan daya yang sama, perusahaan bisa melayani lebih banyak pengguna tanpa biaya energi dan server yang naik searah.

Itulah mengapa kabar Frozen v2 menarik bagi investor. Alphabet sebelumnya disebut menyiapkan belanja AI yang sangat besar, sekitar 180 sampai 190 miliar dolar. Dengan angka sebesar itu, pasar ingin melihat bukan hanya ambisi, tetapi juga jalan menuju efisiensi.

Kenaikan saham Alphabet setelah laporan ini muncul menunjukkan satu hal sederhana: investor mulai peduli bukan hanya pada siapa yang punya model AI terbaik, tetapi siapa yang bisa menjalankannya dengan biaya paling masuk akal.

The Reality Check

Namun ada hal yang perlu dilihat lebih tenang.

Chip yang lebih efisien tidak otomatis membuat AI menjadi lebih murah untuk semua orang. Ia bisa menurunkan biaya di level penyedia infrastruktur, tetapi dampaknya ke pengguna akhir bergantung pada banyak hal: harga produk, strategi margin, kompetisi pasar, kapasitas data center, dan kebutuhan model yang terus membesar.

Ada pola yang sering terjadi di teknologi. Ketika efisiensi naik, konsumsi juga ikut naik. Server lebih cepat membuat aplikasi lebih berat. Storage lebih murah membuat data makin banyak disimpan. Model AI lebih efisien bisa membuat perusahaan memakai AI di lebih banyak tempat.

Jadi, efisiensi tidak selalu berarti pengeluaran turun. Kadang efisiensi berarti skala penggunaan naik.

Ini bukan hal buruk. Tetapi bisnis perlu memahaminya dengan jernih.

Banyak perusahaan saat ini mulai memasukkan AI ke customer service, sales, reporting, knowledge base, content, HR, finance, dan internal operation. Pertanyaannya bukan lagi apakah AI bisa dipakai. Pertanyaannya adalah apakah pemakaian itu punya nilai yang lebih besar dari biaya menjalankannya.

Masalahnya, banyak implementasi AI masih dimulai dari rasa penasaran, bukan dari desain operasional yang jelas.

Tim mencoba chatbot karena sedang tren. Membuat automation karena terlihat modern. Menambahkan AI summary karena tool sudah menyediakan. Menghubungkan AI ke dokumen internal tanpa tahu keputusan apa yang ingin dipercepat.

Akhirnya AI dipakai, tetapi nilainya sulit dibaca.

Di level Google, masalahnya adalah token per watt. Di level bisnis, masalahnya adalah output per rupiah, output per jam kerja, dan output per risiko operasional.

AI yang terlihat canggih tetapi tidak mengurangi bottleneck tetap menjadi biaya tambahan. AI yang bisa menjawab pertanyaan tetapi tidak terhubung ke proses kerja tetap menjadi demo yang menarik, bukan sistem yang membantu.

Karena itu, berita chip Google sebaiknya tidak dibaca hanya sebagai perlombaan hardware. Ia juga pengingat bahwa biaya AI adalah isu nyata. Bahkan perusahaan sebesar Google pun perlu membuat modelnya lebih efisien agar strategi AI-nya masuk akal secara bisnis.

Kalau perusahaan besar saja menghitung efisiensi sedetail itu, bisnis kecil dan menengah juga perlu lebih disiplin saat memakai AI.

The Havedev Way

Dari sudut pandang Havedev, pelajaran terpenting dari kabar Frozen v2 bukan bahwa setiap bisnis perlu peduli pada chip AI.

Kebanyakan bisnis tidak perlu memilih chip. Tidak perlu memikirkan data center. Tidak perlu membangun model sendiri. Tidak perlu mengejar istilah teknis yang terlalu jauh dari operasi harian.

Tetapi bisnis perlu peduli pada efisiensi AI.

Sebelum memasang AI ke proses kerja, pertanyaan yang lebih sehat adalah:

• pekerjaan apa yang paling sering berulang?
• bagian mana yang paling banyak memakan waktu tim?
• keputusan apa yang sering terlambat karena informasi tercecer?
• percakapan pelanggan mana yang bisa dibantu dengan konteks awal lebih jelas?
• laporan apa yang sering dibuat manual tetapi jarang dipakai untuk keputusan?
• risiko apa yang bisa terlihat lebih cepat jika data dirapikan?

AI yang baik biasanya tidak dimulai dari model paling baru. Ia dimulai dari proses yang cukup jelas.

Jika data lead masih berantakan, AI akan kesulitan memberi insight yang berguna. Jika status order belum konsisten, AI hanya akan merangkum kekacauan. Jika knowledge base internal tidak rapi, chatbot internal akan menjawab dengan percaya diri tetapi belum tentu benar.

Di sinilah pendekatan full stack punya versi bisnisnya sendiri.

Google berbicara tentang co-design hardware dan software. Untuk bisnis, prinsipnya bisa diterjemahkan menjadi co-design workflow dan automation.

Website, form, CRM, spreadsheet, dashboard, WhatsApp, email, dan AI tidak boleh berdiri sendiri-sendiri. Semuanya perlu membaca alur kerja yang sama: lead masuk dari mana, siapa yang menindaklanjuti, statusnya apa, informasi apa yang wajib ada, kapan harus follow-up, kapan dianggap selesai.

Baru setelah itu AI menjadi lebih berguna.

AI bisa membantu merangkum inquiry. AI bisa mengelompokkan kebutuhan pelanggan. AI bisa menyusun draft balasan. AI bisa membaca pola komplain. AI bisa membantu tim melihat prioritas. Tetapi semua itu lebih kuat jika proses dasarnya sudah punya struktur.

Tanpa struktur, AI hanya menjadi lapisan pintar di atas proses yang kabur.

Berita Google ini juga memberi sinyal bahwa fase AI berikutnya akan lebih banyak bicara soal efisiensi, bukan hanya kemampuan. Model yang lebih pintar tetap penting. Tetapi model yang bisa dipakai secara konsisten, murah, cepat, dan terukur akan lebih menentukan nilai bisnisnya.

Bagi bisnis, ini berarti strategi AI tidak harus dimulai besar.

Mulai dari satu alur yang dekat dengan uang atau pengalaman pelanggan. Misalnya lead website, follow-up sales, support pelanggan, invoice, atau laporan operasional. Rapikan datanya. Sepakati statusnya. Tentukan keputusan apa yang ingin dipercepat. Setelah itu baru pilih automation atau AI yang tepat.

Dengan cara ini, AI tidak dipakai karena takut tertinggal. AI dipakai karena ada pekerjaan nyata yang ingin dibuat lebih ringan.

Google mungkin sedang menyiapkan chip yang lebih efisien untuk Gemini. Tetapi pelajaran untuk bisnis lebih sederhana: jangan hanya mengejar AI yang lebih canggih. Kejar juga proses yang membuat AI benar-benar layak dipakai.

Karena pada akhirnya, teknologi yang mahal tidak selalu menjadi masalah. Yang menjadi masalah adalah teknologi mahal yang tidak punya hubungan jelas dengan pekerjaan, keputusan, dan hasil bisnis.

Dapatkan Audit Teknis Gratis untuk meninjau peluang AI, automation, dan alur digital yang bisa dibuat lebih efisien sebelum bisnis Anda menambah tool baru.

---

Sumber referensi berita: TechCrunch