BERITAKINI.CO.ID — NVIDIA mengklaim platform Vera Rubin NVL72 mampu menekan biaya inferensi hingga 45x lebih murah per juta token dibanding generasi sebelumnya. Efisiensi ini menjadi kunci bagi operator pusat data AI yang beroperasi di bawah tekanan pasokan listrik dan biaya energi yang terus naik.
Wakil Presiden Hyperscale dan High-Performance Computing NVIDIA, Ian Buck, memaparkan capaian terbaru perusahaan di ajang AI Infra Summit di Santa Clara Convention Center. Forum yang digelar tahun ini dihadiri lebih dari 8.000 peserta, naik hampir dua kali lipat dari 3.500 peserta pada tahun sebelumnya.
Buck menegaskan bahwa metrik utama infrastruktur AI kini bergeser dari performa puncak ke jumlah token agentic yang tervalidasi per megawatt. Pusat data AI dituntut dirancang terintegrasi mulai dari silikon hingga jaringan listrik.
Vera Rubin NVL72 Ungguli GB300 di Benchmark MLPerf
Hasil MLPerf Inference v6.1 dari konsorsium MLCommons menunjukkan Vera Rubin NVL72 mencetak throughput hingga 3,7x lebih tinggi dibanding GB300 NVL72. Ini menjadi pengajuan perdana Vera Rubin di benchmark tersebut.
GB300 NVL72 juga memperlihatkan skalabilitas tinggi. Konfigurasi 288 GPU yang mencakup empat rak GB300 NVL72 mencapai efisiensi penskalaan 99%, dengan throughput tumbuh nyaris linear dari basis satu rak.
Optimasi perangkat lunak turut berperan. Pengajuan MLPerf Inference v6.1 NVIDIA mencatat performa hingga 1,6x lebih tinggi dari v6.0 hanya melalui perbaikan software, dengan tambahan gain setelah periode pengajuan benchmark.
Biaya per Juta Token Turun hingga 45x
Pada benchmark SemiAnalysis AgentX yang mengukur sesi coding agentic dunia nyata, Vera Rubin NVL72 mencatat throughput per megawatt hingga 30x lebih tinggi dibanding GB300 NVL72 untuk model DeepSeek V4 Pro. Hasil ini juga menunjukkan biaya per juta token hingga 45x lebih rendah.
Beban kerja agentic punya karakter berbeda dari tugas request-response biasa. Satu sesi bisa mengakumulasi ratusan ribu token input saat agen bernalar, memanggil alat, dan memunculkan sub-agen — sekitar 15x volume token permintaan chat sederhana.
Dalam penerapan yang terbatas daya, throughput per megawatt menentukan pendapatan pusat data AI, sementara biaya per juta token menentukan marginnya. Kombinasi keduanya menjadi ukuran ekonomi yang semakin menentukan.
DSX MaxLPS dan Groq 3 LPX Dorong Token per Megawatt
NVIDIA DSX MaxLPS memantau konsumsi daya lintas GPU dan rak secara berkelanjutan, lalu mengalihkan daya ke titik yang paling membutuhkan. Pendekatan ini mengklaim mampu menghasilkan hingga 1,4x lebih banyak token per megawatt lewat optimasi daya menyeluruh.
Penyedia cloud AI Lambda menjadi pihak pertama yang memvalidasi DSX MaxLPS pada server Blackwell. Lambda menjalankan 19 node dalam anggaran daya yang biasanya hanya cukup untuk 16 node berdaya penuh.
Hasilnya, throughput token seluruh klaster naik 24% dari sekitar 4 juta menjadi 5 juta token per detik, sementara performa per watt meningkat 23%. Untuk pusat data Vera Rubin NVL72 generasi berikutnya, DSX MaxLPS diklaim dapat menambah kapasitas GPU hingga 40% dalam anggaran megawatt yang sama.
Kombinasi Vera Rubin dan Groq 3 LPX menambah inferensi latensi ultra-rendah deterministik. Platform gabungan ini diklaim menghasilkan throughput token per megawatt hingga 35x lebih tinggi dibanding GB200 NVL72 untuk model berparameter lebih dari 2 triliun pada konteks panjang.
Program Beban Fleksibel dan Ketahanan NVLink 6
Emerald AI bersama NVIDIA mendemonstrasikan program beban fleksibel komersial bersama Silicon Valley Power. Sistem merespons ratusan sinyal permintaan dari operator listrik sambil menjaga performa beban kerja AI tetap terjaga.
Perangkat lunak Conductor dari Emerald AI akan memakai NVIDIA DSX Flex untuk menyesuaikan konsumsi energi pusat data AI berdasarkan sinyal jaringan listrik waktu nyata. Pekerjaan berprioritas tinggi tetap berjalan, sementara tugas lain dijeda sementara lalu dilanjutkan.
Pada sisi keandalan, NVLink 6 membawa arsitektur resiliensi berlapis untuk mendeteksi, membatasi, dan memulihkan gangguan sebelum berdampak ke aplikasi. Forward error correction khusus dan retry lapisan fisik menjaga fabric tetap lossless dengan dampak latensi minimal.
Sejumlah startup melaporkan hasil pengujian CPU Vera. Perplexity mencatat sandbox start 1,9x lebih cepat, Redpanda melaporkan latensi 5,5x lebih rendah dan throughput 73% lebih tinggi, sementara Starburst mencatat throughput kueri 3x lebih cepat dibanding CPU lain.