Pada tahun 2025, perkembangan pesat kecerdasan buatan (AI) sedang membentuk kembali arsitektur pusat data. Dari model bahasa multimoda yang besar hingga kerangka kerja yang terbuka dan efisien, AI telah menjadi kekuatan pendorong utama inovasi. Skala model AI berkembang dari ratusan juta parameter menjadi triliunan, dengan pelatihan yang melibatkan ribuan atau bahkan puluhan ribu GPU secara paralel. Misalnya, OpenAI'GPT-4o dan model serupa memerlukan sinkronisasi data waktu nyata (real-time) untuk memungkinkan inferensi dan pelatihan yang efisien. Hal ini tidak hanya menuntut throughput data pada level TB/s, tetapi juga latensi tingkat mikrodetik dan keandalan tinggi untuk menghilangkan hambatan apa pun.
Dengan latar belakang ini, interkoneksi jaringan 100G/200G tradisional tidak lagi dapat memenuhi persyaratan. Modul optik OSFP 400G/800G menyediakan solusi interkoneksi yang lebih ringkas dan efisien, sementara DAC (Direct Attach Cable) dan AOC (Active Optical Cable) merupakan pilihan yang lebih disukai untuk koneksi jarak pendek, yang secara efektif mengoptimalkan biaya dan konsumsi daya. AI bukan lagi sekadar inovasi algoritmik, melainkan upaya rekayasa tingkat sistem yang terintegrasi secara mendalam dengan infrastruktur fisik.
Lanskap AI pada tahun 2025 ditentukan oleh fleksibilitas dan inovasi sumber terbuka. Beberapa model terkemuka menyoroti bagaimana kemajuan ini membentuk kembali tuntutan interkoneksi:
GPT-4o (OpenAI)
Terkenal karena kemampuan pemrosesan multimodalnya yang kuat di seluruh teks, gambar, dan ucapan, GPT-4o mengandalkan pelatihan tersinkronisasi di ribuan GPU. Setiap GPU membutuhkan pertukaran data dengan kecepatan ratusan GB/detik, dan setiap hambatan interkoneksi dapat memperpanjang waktu pelatihan secara signifikan.
Claude 3.7 Soneta (Antropik)
Spesialis dalam pengodean dan tugas penalaran kompleks, Claude 3.7 Sonnet membutuhkan aliran data waktu nyata untuk mendukung inferensi yang efisien. Interkoneksi latensi ultra-rendah sangat penting, dengan modul optik 800G yang memungkinkan efisiensi energi sekitar 5 pJ/bit.
Gemini 2.5 (Google)
Unggul dalam inferensi multimoda dan aplikasi penelitian ilmiah, Gemini 2.5 menekankan bandwidth tinggi dan komunikasi terdistribusi berskala besar. Kinerjanya sangat bergantung pada sistem DWDM dan interkoneksi Ethernet berkecepatan tinggi.
Grok 3/4 (xAI)
Dengan mode suara bawaan dan kemampuan inferensi yang efisien, Grok 3/4 biasanya digunakan dalam kluster GB200. Setiap GPU membutuhkan antarmuka 800GbE untuk mencapai kinerja dua kali lipat.
Llama 3 / DeepSeek V3 (Meta / DeepSeek)
Sebagai perwakilan terkemuka model sumber terbuka, Llama 3 dan DeepSeek V3 menekankan kinerja tinggi dan kemampuan kustomisasi. Pelatihan terdistribusi mereka bergantung pada interkoneksi 400G/800G, yang meningkatkan efisiensi keseluruhan sebesar 20–25%.
| Model AI | Pengembang | Fitur utama | Persyaratan Komputasi & Interkoneksi |
| GPT-4o | OpenAI | Multimodal (teks, gambar, ucapan); penalaran tingkat lanjut; mendukung varian o1/o3 | Memerlukan sinkronisasi klaster GPU berskala besar, dengan pertukaran data per GPU mencapai ratusan GB/s selama pelatihan; hambatan interkoneksi dapat memperpanjang waktu pelatihan hingga 2–3×. |
| Claude 3.7 Soneta | Antropik | Kuat dalam pengkodean dan tugas-tugas kompleks; hemat biaya | Inferensi bergantung pada streaming data waktu nyata, yang menuntut interkoneksi latensi sangat rendah untuk mendukung kueri bersamaan; optik 800G dapat mengurangi biaya energi hingga ~5 pJ/bit. |
| Gemini 2.5 | Pemrosesan multimodal yang efisien; dioptimalkan untuk pengembang dan penelitian | Pelatihan menekankan komputasi paralel, dengan persyaratan interkoneksi difokuskan pada bandwidth tinggi untuk menangani transmisi multi-panjang gelombang DWDM (Dense Wavelength Division Multiplexing). | |
| Grok 3/4 | xAI | Inferensi efisien, dukungan mode suara, ramah sumber terbuka | Biasanya diterapkan dalam klaster skala besar (misalnya, GB200), di mana setiap GPU memerlukan konektivitas 800GbE untuk mencapai penskalaan kinerja 2×. |
| Llama 3 / DeepSeek V3 | Meta / Pencarian Mendalam | Pelatihan sumber terbuka, berkinerja tinggi, dan dapat disesuaikan | Pelatihan terdistribusi bergantung pada komunikasi lintas-node, dengan interkoneksi 400G/800G yang meningkatkan efisiensi keseluruhan hingga ~25%. |
Model-model ini memiliki karakteristik yang sama: mengandalkan arsitektur Mixture of Experts (MoE) atau arsitektur serupa, yang membutuhkan komunikasi All-to-All yang sering. Pelatihan model ultra-besar seperti GPT-4o mungkin melibatkan pertukaran data berskala petabyte, dan interkoneksi yang tidak memadai dapat meningkatkan biaya jaringan hingga lebih dari 70%.
Inti dari pelatihan dan inferensi AI terletak pada sinkronisasi klaster GPU yang masif. Misalnya, dalam klaster NVIDIA GB200, setiap GPU memerlukan konektivitas 800GbE (2×400GbE) untuk mendukung komunikasi langsung PCIe Gen6, sehingga menghindari kemacetan CPU. Tantangan utamanya meliputi:
1. Modul Optik OSFP
Optical Small Form-factor Pluggable (OSFP) mendukung kecepatan 400G/800G dan memanfaatkan modulator fotonik silikon (SiPh) atau EML. Dalam penerapan AI, modul OSFP digunakan untuk transmisi jarak jauh (>100m), memungkinkan konektivitas dua arah hingga 4 Tbps. Misalnya, chipset OCI Intel memanfaatkan DWDM untuk mencapai konsumsi daya rendah (~5 pJ/bit).
2. DAC (Kabel Sambungan Langsung)
Solusi berbasis tembaga yang dirancang untuk koneksi in-rack jarak pendek (<7m), DAC menawarkan opsi hemat biaya tanpa memerlukan konversi optik-listrik. Dalam klaster AI, solusi seperti NIC AMD Pensando Pollara 400 menggunakan DAC untuk menghadirkan bandwidth 400Gbps sekaligus mendukung RDMA (Remote Direct Memory Access) untuk mempercepat transfer data.
3. AOC (Kabel Optik Aktif)
Dilengkapi transceiver optik terintegrasi, AOC cocok untuk koneksi jangkauan menengah (7–100 m). AOC memberikan keandalan yang lebih tinggi dan membantu menghindari kontaminasi port. Dalam lingkungan AI, AOC banyak digunakan untuk pengkabelan paralel, mendukung penerapan pusat data 800G.
Dalam aplikasi praktis, teknologi ini secara langsung meningkatkan kinerja AI:
Fase pelatihan: Misalnya, dalam pelatihan terdistribusi Llama 3, modul 400G SR4 digunakan untuk memastikan komunikasi latensi rendah antara GPU, sehingga meningkatkan pemanfaatan.
Tahap inferensi: Pemrosesan waktu nyata Gemini 2.5 mengandalkan 800G AOC untuk mencapai transfer data 3200 Gbps.
Studi kasus: Klaster Stargate OpenAI menggunakan NIC 800GbE khusus, dengan masing-masing GPU dilengkapi 8 port OSFP, menghasilkan kinerja jaringan 2x. NIC Vulcano AMD menyediakan throughput 800 Gbps dan mendukung standar UC 1.0.
Sumber terbuka dan skalabilitas: Misalnya, DeepSeek V3 memanfaatkan RDMA untuk mengoptimalkan interkoneksi dan mengurangi biaya penjembatanan.
Dalam penerapan praktis, teknologi interkoneksi ini sering digunakan secara kombinasi: DAC dan AOC paling cocok untuk koneksi jarak pendek di dalam atau di antara rak yang berdekatan, menghasilkan biaya rendah, latensi rendah, dan pengkabelan yang disederhanakan dalam skala besar. Modul optik OSFP, di sisi lain, terutama digunakan untuk koneksi antar-rak atau bahkan antar-ruang data, menawarkan bandwidth, stabilitas, dan skalabilitas yang lebih tinggi pada jarak yang lebih jauh. Pendekatan berlapis ini memungkinkan pusat data untuk menyeimbangkan biaya, konsumsi daya, dan kinerja, sehingga mendukung kebutuhan pelatihan dan inferensi klaster AI skala besar.
Singkatnya, integrasi teknologi interkoneksi berkecepatan tinggi dengan model AI canggih sedang membentuk era inovasi pusat data berikutnya. Menggabungkan model AI terbaru dengan interkoneksi 400G/800G tidak hanya menunjukkan sinergi teknologi tetapi juga menyoroti peran penting infrastruktur dalam ekosistem AI. Teknologi interkoneksi bukan sekadar pemungkin kecerdasan buatan—melainkan landasan pengembangannya di masa depan.
