AIOps untuk Pusat Data: Menggunakan LLM untuk Mengelola Infrastruktur AI

Diperbarui 11 Desember 2025

Pembaruan Desember 2025: 67% tim IT kini menggunakan automasi untuk pemantauan; tidak ada responden yang melaporkan tidak memiliki automasi modern. AI pendingin Google DeepMind mencapai pengurangan energi 40% (peningkatan PUE 15%). ServiceNow AI Agents secara otonom melakukan triase peringatan, menilai dampak, menyelidiki akar masalah, dan mendorong remediasi. Antarmuka bahasa alami berbasis LLM menggantikan bahasa kueri khusus untuk manajemen infrastruktur.

AI pendingin otonom Google DeepMind mengurangi konsumsi energi pendingin pusat data sebesar 40%, yang diterjemahkan menjadi penurunan 15% dalam Power Usage Effectiveness (PUE) secara keseluruhan.[^1] Setiap lima menit, sistem ini mengambil snapshot dari ribuan sensor, memasukkannya melalui jaringan saraf dalam, dan mengidentifikasi tindakan yang meminimalkan konsumsi energi sambil memenuhi batasan keselamatan.[^2] Ketika DeepMind menerapkan sistem ini pada tahun 2018, ini menjadi sistem kontrol industri otonom pertama yang beroperasi pada skala tersebut.[^3] Sekarang, tujuh tahun kemudian, platform AIOps memperluas automasi berbasis AI di setiap aspek operasi pusat data, dengan model bahasa besar yang memungkinkan antarmuka bahasa alami dan penalaran canggih tentang keadaan infrastruktur.

Survei Futurum menunjukkan 67% tim IT menggunakan automasi untuk pemantauan, sementara 54% mengadopsi deteksi berbasis AI untuk meningkatkan keandalan.[^4] Tidak satu pun responden yang melaporkan tidak memiliki automasi modern di lingkungan mereka.[^5] Pertanyaan yang dihadapi operator pusat data telah bergeser dari apakah akan mengadopsi AIOps menjadi seberapa agresif menerapkan AI di seluruh alur kerja operasional. Infrastruktur yang menjalankan beban kerja AI semakin bergantung pada AI untuk mengelola dirinya sendiri.

Transformasi AIOps

AIOps (Artificial Intelligence for IT Operations) menggabungkan pemantauan real-time dengan analitik prediktif, memungkinkan platform untuk mengidentifikasi bottleneck, memperkirakan kegagalan, dan mengoptimalkan alokasi sumber daya sebelum masalah mengganggu kinerja.[^6] Gartner menciptakan istilah ini pada tahun 2016, mengakui pergeseran dari IT terpusat ke operasi terdistribusi yang mencakup infrastruktur cloud dan on-premises di seluruh dunia.[^7]

Pemantauan tradisional menghasilkan badai peringatan yang membanjiri tim operasi. Satu insiden infrastruktur dapat memicu ribuan peringatan terkait, masing-masing menuntut perhatian sambil menutupi akar penyebabnya. Manajemen event ServiceNow mengurangi noise sebesar 99% dengan memproses event, tag, dan metrik untuk memunculkan wawasan yang dapat ditindaklanjuti daripada peringatan mentah.[^8]

Dari operasi reaktif ke prediktif

ServiceNow AIOps menggunakan algoritma machine learning untuk mengelompokkan peringatan terkait berdasarkan topologi, tag, dan kesamaan teks, mengurangi badai peringatan dan noise operasional.[^9] Model unsupervised canggih mengidentifikasi masalah yang muncul atau pola anomali beberapa jam sebelum mempengaruhi pengguna akhir, memungkinkan intervensi dini daripada respons insiden.

Manajemen insiden proaktif secara fundamental mengubah alur kerja operasional. Alih-alih merespons pemadaman, tim menangani degradasi sebelum pengguna menyadarinya. Pergeseran dari operasi reaktif ke preventif mengurangi mean time to resolution (MTTR) sambil mencegah banyak insiden sepenuhnya.[^10]

Metric Intelligence secara terus-menerus menganalisis data metrik untuk deteksi anomali yang cepat dan pembatasan dinamis.[^11] Batasan statis menghasilkan peringatan palsu ketika rentang operasi normal bervariasi dengan waktu hari, pola beban kerja, atau faktor musiman. Batasan dinamis beradaptasi dengan perilaku aktual, memberikan peringatan hanya pada anomali yang sebenarnya.

LLM untuk operasi IT

Model bahasa besar mengubah cara tim operasi berinteraksi dengan sistem pemantauan dan automasi. Survei terperinci menganalisis 183 artikel penelitian yang diterbitkan antara Januari 2020 dan Desember 2024 tentang aplikasi LLM dalam AIOps.[^12] Penelitian menunjukkan kecanggihan yang berkembang dalam menerapkan model bahasa untuk tantangan operasional.

Antarmuka bahasa alami

Platform AIOps modern mendukung antarmuka chatbot atau berbasis LLM untuk kolaborasi manusia-AI yang lebih cepat.[^13] Operator melakukan kueri keadaan infrastruktur menggunakan bahasa alami daripada bahasa kueri khusus. LLM menerjemahkan pertanyaan menjadi kueri pemantauan yang sesuai dan mensintesis hasil menjadi ringkasan yang dapat dipahami.

Peneliti mengusulkan asisten AI berbasis LLM yang efektif untuk IT Operations Management yang mampu menangani tantangan AIOps.[^14] Model bahasa yang berbeda bervariasi dalam data pelatihan, arsitektur, dan jumlah parameter, mempengaruhi kemampuan mereka dalam tugas operasi IT. Model yang lebih kecil seperti Mistral Small 7B menunjukkan efisiensi yang luar biasa dalam penalaran dan pemilihan alat meskipun ukurannya berkurang.[^15]

AI agent untuk operasi otonom

AI Agents for AIOps dari ServiceNow secara otonom melakukan triase peringatan, menilai dampak bisnis dan teknis, menyelidiki akar penyebab, dan mendorong remediasi melalui alur kerja agentic yang terkoordinasi.[^16] AI Agents for Observability memperluas kemampuan dengan berkolaborasi dengan alat APM dan observability pihak ketiga untuk menganalisis dampak layanan dan memprioritaskan investigasi.

Perkembangan dari pemantauan ke peringatan hingga remediasi otonom mewakili ekspansi kemampuan fundamental. Sistem AIOps sebelumnya mendeteksi masalah dan memberi tahu manusia. Sistem saat ini semakin banyak menangani insiden rutin tanpa intervensi manusia, hanya meningkatkan situasi yang memerlukan penilaian atau otorisasi di luar batas yang dikonfigurasi.

Optimasi pendingin berbasis AI

Pendinginan pusat data mewakili salah satu aplikasi AIOps paling sukses, dengan penghematan energi yang terukur memvalidasi pendekatan ini.

Pendingin otonom DeepMind

DeepMind mengembangkan framework jaringan saraf yang mencapai pengurangan 40% dalam energi pendingin, menggunakan data pemantauan 2 tahun dari pusat data Google.[^17] Arsitektur jaringan menggunakan 5 hidden layer dengan 50 node masing-masing, memproses 19 variabel input yang dinormalisasi untuk memprediksi tindakan kontrol optimal.[^18]

Sistem beroperasi secara otonom, mengirimkan tindakan yang direkomendasikan ke sistem kontrol pusat data untuk verifikasi dan implementasi.[^19] Batasan keselamatan memastikan rekomendasi tetap dalam batas operasi yang dapat diterima. Sistem kontrol memvalidasi rekomendasi sebelum eksekusi, mempertahankan pengawasan manusia sambil memungkinkan optimasi berbasis AI.

Keberhasilan ini menunjukkan bahwa AI dapat mengoptimalkan sistem fisik kompleks di luar intuisi manusia. Operator tidak dapat menyesuaikan ratusan variabel secara manual setiap lima menit untuk mencapai efisiensi optimal. AI menangani optimasi berkelanjutan sementara manusia menangani situasi luar biasa dan pengawasan sistem.

Kemitraan Schneider Electric dan NVIDIA

Pada tahun 2025, Schneider Electric bermitra dengan NVIDIA untuk merancang arsitektur referensi yang dioptimalkan untuk AI yang mendukung kepadatan rak hingga 132 kW.[^20] Solusi bersama ini mengurangi penggunaan energi pendingin hampir 20%. Kemitraan ini menunjukkan kolaborasi vendor dalam menerapkan optimasi AI ke infrastruktur kepadatan tinggi generasi berikutnya.

Penyeimbangan beban cerdas yang didukung AI memastikan beban kerja didistribusikan ke seluruh server dan sistem pendingin dengan cara yang paling hemat energi.[^21] Optimasi mempertimbangkan efisiensi komputasi dan manajemen termal secara bersamaan, menemukan konfigurasi yang akan terlewatkan oleh perencanaan manual.

Automasi infrastruktur dalam skala besar

AIOps melampaui pemantauan ke manajemen infrastruktur aktif, mengotomatisasi tugas konfigurasi, deployment, dan remediasi.

Manajemen konfigurasi

58% perusahaan menggunakan infrastructure-as-code atau alat automasi konfigurasi seperti Ansible dan Terraform untuk mengelola konfigurasi perangkat.[^22] Engineer menulis skrip dan menggunakan playbook yang dikontrol versi alih-alih login ke switch secara manual. Automasi memastikan konsistensi sambil membuat jejak audit untuk kepatuhan.

Platform AIOps terintegrasi dengan manajemen konfigurasi untuk mendeteksi penyimpangan antara keadaan aktual dan yang dimaksudkan. Ketika pemantauan mengidentifikasi anomali konfigurasi, remediasi otomatis memulihkan konfigurasi yang dimaksudkan tanpa intervensi manual. Loop tertutup dari deteksi hingga remediasi mempercepat respons sambil mengurangi kesalahan manusia.

Pemeliharaan prediktif

Health Log Analytics menyediakan analisis dan pemantauan log secara real-time, memastikan identifikasi anomali yang cepat.[^23] Analisis log dalam skala besar memerlukan bantuan AI: manusia tidak dapat membaca jutaan entri log untuk mengidentifikasi pola yang menunjukkan kegagalan yang akan datang.

Pemeliharaan prediktif melampaui perangkat lunak ke infrastruktur fisik. Tren suhu, pola konsumsi daya, dan indikator degradasi kinerja menandakan kegagalan perangkat keras sebelum terjadi. Menjadwalkan pemeliharaan selama jendela yang direncanakan menghindari pemadaman tidak terencana yang mengganggu operasi.

Digital twin dan simulasi

Digital twin, AIOps, dan analitik prediktif membantu mensimulasikan dan mengoptimalkan kinerja real-time, memastikan keandalan dan efisiensi energi yang lebih besar.[^24] Digital twin menciptakan representasi virtual dari infrastruktur fisik, memungkinkan operator untuk menguji perubahan sebelum deployment produksi.

Perencanaan kapasitas

Digital twin memodelkan kapasitas infrastruktur dalam berbagai skenario, membantu operator merencanakan ekspansi dan mengidentifikasi batasan. AI menganalisis pola historis untuk memprediksi kebutuhan masa depan, merekomendasikan penambahan kapasitas sebelum permintaan melebihi pasokan.

Kemampuan pemodelan terbukti sangat berharga untuk infrastruktur AI di mana deployment GPU mendorong pertumbuhan kapasitas yang cepat. Digital twin mensimulasikan kebutuhan pendinginan, distribusi daya, dan kapasitas jaringan untuk ekspansi kluster GPU yang diusulkan sebelum mengkomitmen modal.

Validasi perubahan

Menguji perubahan infrastruktur di lingkungan digital twin mengurangi risiko insiden produksi. AI memvalidasi perubahan yang diusulkan terhadap perilaku infrastruktur yang dimodelkan, mengidentifikasi masalah potensial sebelum perubahan mencapai produksi. Validasi menangkap kesalahan konfigurasi dan konflik sumber daya yang sebaliknya akan menyebabkan pemadaman.

Mengimplementasikan AIOps untuk infrastruktur AI

Organisasi yang menerapkan AIOps untuk manajemen pusat data harus mempertimbangkan persyaratan integrasi, kualitas data, dan kesiapan operasional.

Persyaratan integrasi

Integration Launchpad ServiceNow menyediakan pengaturan terpandu untuk integrasi AIOps dengan alat pemantauan pihak ketiga.[^25] Organisasi dapat mengonfigurasi konektor out-of-the-box atau membuat konektor kustom untuk alat pemantauan yang tidak didukung. Lapisan integrasi mengagregasi data dari berbagai sumber ke dalam tampilan operasional terpadu.

Infrastruktur AI sering mencakup pemantauan khusus untuk GPU, jaringan berkecepatan tinggi, dan sistem penyimpanan di luar pemantauan server standar. Implementasi AIOps harus menggabungkan sumber data khusus ini untuk memberikan visibilitas infrastruktur yang lengkap.

Fondasi kualitas data

Efektivitas AIOps bergantung pada kualitas data pemantauan. Data yang tidak lengkap, pelabelan yang tidak konsisten, dan kesenjangan dalam cakupan membatasi akurasi model AI. Organisasi harus mengaudit cakupan pemantauan dan kualitas data sebelum menerapkan analitik lanjutan.

Data historis memungkinkan pelatihan model prediktif pada pola khusus organisasi. DeepMind menggunakan data pemantauan 2 tahun untuk melatih model optimasi pendingin.[^26] Organisasi yang kekurangan kedalaman data historis mungkin perlu mengumpulkan data sebelum prediksi lanjutan menjadi andal.

Kesiapan operasional

Operasi otonom memerlukan kebijakan yang jelas yang mendefinisikan batas otoritas AI. Organisasi harus memutuskan tindakan mana yang dapat dieksekusi sistem AI secara independen versus mana yang memerlukan persetujuan manusia. Memulai dengan rekomendasi dan eksekusi manual membangun kepercayaan sebelum mengaktifkan tindakan otonom.

550 field engineer Introl mendukung organisasi yang mengimplementasikan AIOps di seluruh deployment infrastruktur GPU.[^27] Perusahaan ini menempati peringkat #14 di Inc. 5000 2025 dengan pertumbuhan tiga tahun 9.594%, mencerminkan permintaan untuk layanan infrastruktur profesional.[^28] Deployment profesional memastikan cakupan pemantauan, kualitas integrasi, dan prosedur operasional mendukung

[Konten dipotong untuk terjemahan]