AIOps cho Trung tâm Dữ liệu: Sử dụng LLM để Quản lý Hạ tầng AI

Cập nhật ngày 11 tháng 12 năm 2025

Cập nhật tháng 12/2025: 67% đội ngũ IT hiện đang sử dụng tự động hóa để giám sát; không có người được khảo sát nào báo cáo không có tự động hóa hiện đại. AI làm mát của Google DeepMind đạt mức giảm 40% năng lượng (cải thiện 15% PUE). ServiceNow AI Agents tự động phân loại cảnh báo, đánh giá tác động, điều tra nguyên nhân gốc rễ và thúc đẩy khắc phục. Giao diện ngôn ngữ tự nhiên được hỗ trợ bởi LLM đang thay thế các ngôn ngữ truy vấn chuyên biệt trong quản lý hạ tầng.

AI làm mát tự động của Google DeepMind đã giảm 40% mức tiêu thụ năng lượng làm mát trung tâm dữ liệu, tương đương với việc giảm 15% Hiệu quả Sử dụng Điện năng (PUE) tổng thể.[^1] Cứ mỗi năm phút, hệ thống thu thập dữ liệu từ hàng nghìn cảm biến, đưa qua các mạng nơ-ron sâu và xác định các hành động giảm thiểu tiêu thụ năng lượng trong khi đảm bảo các ràng buộc an toàn.[^2] Khi DeepMind triển khai hệ thống vào năm 2018, đây trở thành hệ thống điều khiển công nghiệp tự động đầu tiên hoạt động ở quy mô như vậy.[^3] Giờ đây, bảy năm sau, các nền tảng AIOps mở rộng tự động hóa do AI điều khiển trên mọi khía cạnh của hoạt động trung tâm dữ liệu, với các mô hình ngôn ngữ lớn cho phép giao diện ngôn ngữ tự nhiên và suy luận phức tạp về trạng thái hạ tầng.

Một khảo sát của Futurum cho thấy 67% đội ngũ IT sử dụng tự động hóa để giám sát, trong khi 54% áp dụng phát hiện do AI điều khiển để cải thiện độ tin cậy.[^4] Không một người được khảo sát nào báo cáo không có tự động hóa hiện đại trong môi trường của họ.[^5] Câu hỏi mà các nhà vận hành trung tâm dữ liệu đối mặt đã chuyển từ việc có nên áp dụng AIOps hay không sang việc triển khai AI một cách tích cực như thế nào trên các quy trình vận hành. Hạ tầng chạy các khối lượng công việc AI ngày càng phụ thuộc vào AI để tự quản lý.

Sự chuyển đổi AIOps

AIOps (Trí tuệ Nhân tạo cho Vận hành IT) kết hợp giám sát thời gian thực với phân tích dự đoán, cho phép các nền tảng xác định điểm nghẽn, dự báo lỗi và tối ưu hóa phân bổ tài nguyên trước khi các vấn đề ảnh hưởng đến hiệu suất.[^6] Gartner đặt ra thuật ngữ này vào năm 2016, nhận ra sự chuyển đổi từ IT tập trung sang hoạt động phân tán trải rộng trên hạ tầng đám mây và tại chỗ trên toàn cầu.[^7]

Giám sát truyền thống tạo ra các cơn bão cảnh báo làm choáng ngợp đội ngũ vận hành. Một sự cố hạ tầng đơn lẻ có thể kích hoạt hàng nghìn cảnh báo liên quan, mỗi cảnh báo đều đòi hỏi sự chú ý trong khi che giấu nguyên nhân gốc rễ. Quản lý sự kiện của ServiceNow giảm nhiễu đến 99% bằng cách xử lý các sự kiện, thẻ và số liệu để đưa ra các thông tin chi tiết có thể hành động thay vì các cảnh báo thô.[^8]

Từ vận hành phản ứng sang dự đoán

ServiceNow AIOps sử dụng các thuật toán học máy để nhóm các cảnh báo liên quan theo topology, thẻ và độ tương đồng văn bản, giảm cơn bão cảnh báo và nhiễu vận hành.[^9] Các mô hình không giám sát tiên tiến xác định các vấn đề mới nổi hoặc các mẫu bất thường hàng giờ trước khi chúng ảnh hưởng đến người dùng cuối, cho phép can thiệp sớm thay vì phản ứng sự cố.

Quản lý sự cố chủ động thay đổi căn bản các quy trình vận hành. Thay vì phản ứng với sự cố ngừng hoạt động, các đội ngũ giải quyết sự suy giảm trước khi người dùng nhận ra. Sự chuyển đổi từ vận hành phản ứng sang phòng ngừa giảm thời gian trung bình để giải quyết (MTTR) đồng thời ngăn chặn hoàn toàn nhiều sự cố.[^10]

Metric Intelligence liên tục phân tích dữ liệu số liệu để phát hiện bất thường nhanh chóng và thiết lập ngưỡng động.[^11] Các ngưỡng tĩnh tạo ra cảnh báo sai khi phạm vi hoạt động bình thường thay đổi theo thời gian trong ngày, mẫu khối lượng công việc hoặc các yếu tố theo mùa. Các ngưỡng động thích ứng với hành vi thực tế, chỉ cảnh báo về các bất thường thực sự.

LLM cho vận hành IT

Các mô hình ngôn ngữ lớn biến đổi cách các đội ngũ vận hành tương tác với các hệ thống giám sát và tự động hóa. Một khảo sát chi tiết đã phân tích 183 bài báo nghiên cứu được xuất bản từ tháng 1 năm 2020 đến tháng 12 năm 2024 về các ứng dụng LLM trong AIOps.[^12] Nghiên cứu cho thấy sự tinh vi ngày càng tăng trong việc áp dụng các mô hình ngôn ngữ vào các thách thức vận hành.

Giao diện ngôn ngữ tự nhiên

Các nền tảng AIOps hiện đại hỗ trợ các giao diện được hỗ trợ bởi chatbot hoặc LLM để cộng tác giữa con người và AI nhanh hơn.[^13] Các nhà vận hành truy vấn trạng thái hạ tầng bằng ngôn ngữ tự nhiên thay vì các ngôn ngữ truy vấn chuyên biệt. LLM dịch các câu hỏi thành các truy vấn giám sát phù hợp và tổng hợp kết quả thành các bản tóm tắt dễ hiểu.

Các nhà nghiên cứu đề xuất các trợ lý AI hiệu quả được hỗ trợ bởi LLM cho Quản lý Vận hành IT có khả năng giải quyết các thách thức AIOps.[^14] Các mô hình ngôn ngữ khác nhau khác biệt về dữ liệu huấn luyện, kiến trúc và số lượng tham số, ảnh hưởng đến khả năng của chúng trong các tác vụ vận hành IT. Các mô hình nhỏ hơn như Mistral Small 7B thể hiện hiệu quả đáng chú ý trong suy luận và lựa chọn công cụ mặc dù kích thước nhỏ hơn.[^15]

AI agents cho vận hành tự động

AI Agents cho AIOps của ServiceNow tự động phân loại cảnh báo, đánh giá tác động kinh doanh và kỹ thuật, điều tra nguyên nhân gốc rễ và thúc đẩy khắc phục thông qua các quy trình làm việc agentic phối hợp.[^16] AI Agents cho Observability mở rộng khả năng bằng cách cộng tác với các công cụ APM và observability của bên thứ ba để phân tích tác động dịch vụ và ưu tiên điều tra.

Sự tiến triển từ giám sát sang cảnh báo sang khắc phục tự động đại diện cho một sự mở rộng khả năng căn bản. Các hệ thống AIOps trước đây phát hiện vấn đề và thông báo cho con người. Các hệ thống hiện tại ngày càng xử lý các sự cố thường xuyên mà không cần sự can thiệp của con người, chỉ báo cáo leo thang các tình huống đòi hỏi phán đoán hoặc ủy quyền vượt quá giới hạn được cấu hình của chúng.

Tối ưu hóa làm mát do AI điều khiển

Làm mát trung tâm dữ liệu đại diện cho một trong những ứng dụng AIOps thành công nhất, với tiết kiệm năng lượng có thể đo lường xác nhận cách tiếp cận này.

Làm mát tự động của DeepMind

DeepMind đã phát triển một khung mạng nơ-ron đạt được mức giảm 40% năng lượng làm mát, sử dụng 2 năm dữ liệu giám sát từ các trung tâm dữ liệu của Google.[^17] Kiến trúc mạng sử dụng 5 lớp ẩn với 50 nút mỗi lớp, xử lý 19 biến đầu vào được chuẩn hóa để dự đoán các hành động điều khiển tối ưu.[^18]

Hệ thống hoạt động tự động, gửi các hành động được đề xuất đến các hệ thống điều khiển trung tâm dữ liệu để xác minh và thực hiện.[^19] Các ràng buộc an toàn đảm bảo các đề xuất nằm trong giới hạn hoạt động có thể chấp nhận được. Hệ thống điều khiển xác nhận các đề xuất trước khi thực hiện, duy trì sự giám sát của con người trong khi cho phép tối ưu hóa do AI điều khiển.

Thành công này chứng minh rằng AI có thể tối ưu hóa các hệ thống vật lý phức tạp vượt ra ngoài trực giác của con người. Các nhà vận hành không thể điều chỉnh thủ công hàng trăm biến mỗi năm phút để đạt được hiệu quả tối ưu. AI xử lý việc tối ưu hóa liên tục trong khi con người xử lý các tình huống ngoại lệ và giám sát hệ thống.

Quan hệ đối tác Schneider Electric và NVIDIA

Vào năm 2025, Schneider Electric hợp tác với NVIDIA để thiết kế các kiến trúc tham chiếu được tối ưu hóa cho AI hỗ trợ mật độ rack lên đến 132 kW.[^20] Giải pháp chung giảm mức sử dụng năng lượng làm mát gần 20%. Quan hệ đối tác này chứng minh sự hợp tác của các nhà cung cấp áp dụng tối ưu hóa AI cho hạ tầng mật độ cao thế hệ tiếp theo.

Cân bằng tải thông minh được hỗ trợ bởi AI đảm bảo khối lượng công việc phân phối trên các máy chủ và hệ thống làm mát theo cách tiết kiệm năng lượng nhất.[^21] Việc tối ưu hóa xem xét đồng thời cả hiệu quả tính toán và quản lý nhiệt, tìm ra các cấu hình mà lập kế hoạch thủ công sẽ bỏ lỡ.

Tự động hóa hạ tầng quy mô lớn

AIOps mở rộng ra ngoài giám sát vào quản lý hạ tầng chủ động, tự động hóa các tác vụ cấu hình, triển khai và khắc phục.

Quản lý cấu hình

58% doanh nghiệp sử dụng các công cụ infrastructure-as-code hoặc tự động hóa cấu hình như Ansible và Terraform để quản lý cấu hình thiết bị.[^22] Các kỹ sư viết script và sử dụng các playbook được kiểm soát phiên bản thay vì đăng nhập thủ công vào các switch. Tự động hóa đảm bảo tính nhất quán đồng thời tạo ra các bản ghi kiểm tra cho tuân thủ.

Các nền tảng AIOps tích hợp với quản lý cấu hình để phát hiện độ lệch giữa trạng thái thực tế và trạng thái dự định. Khi giám sát xác định các bất thường cấu hình, khắc phục tự động khôi phục các cấu hình dự định mà không cần can thiệp thủ công. Vòng lặp khép kín từ phát hiện đến khắc phục tăng tốc phản ứng đồng thời giảm lỗi của con người.

Bảo trì dự đoán

Health Log Analytics cung cấp phân tích và giám sát log thời gian thực, đảm bảo xác định nhanh chóng các bất thường.[^23] Phân tích log quy mô lớn đòi hỏi sự hỗ trợ của AI: con người không thể đọc hàng triệu mục log để xác định các mẫu chỉ ra các lỗi sắp xảy ra.

Bảo trì dự đoán mở rộng ra ngoài phần mềm đến hạ tầng vật lý. Xu hướng nhiệt độ, mẫu tiêu thụ điện năng và các chỉ số suy giảm hiệu suất báo hiệu các lỗi phần cứng trước khi chúng xảy ra. Lên lịch bảo trì trong các cửa sổ được lập kế hoạch tránh các sự cố ngừng hoạt động ngoài kế hoạch làm gián đoạn hoạt động.

Digital twins và mô phỏng

Digital twins, AIOps và phân tích dự đoán giúp mô phỏng và tối ưu hóa hiệu suất thời gian thực, đảm bảo độ tin cậy và hiệu quả năng lượng cao hơn.[^24] Digital twins tạo ra các biểu diễn ảo của hạ tầng vật lý, cho phép các nhà vận hành kiểm tra các thay đổi trước khi triển khai sản xuất.

Lập kế hoạch công suất

Digital twins mô hình hóa công suất hạ tầng trong các kịch bản khác nhau, giúp các nhà vận hành lập kế hoạch mở rộng và xác định các ràng buộc. AI phân tích các mẫu lịch sử để dự đoán các yêu cầu tương lai, đề xuất bổ sung công suất trước khi nhu cầu vượt quá nguồn cung.

Khả năng mô hình hóa đặc biệt có giá trị đối với hạ tầng AI nơi các triển khai GPU thúc đẩy tăng trưởng công suất nhanh chóng. Digital twins mô phỏng các yêu cầu làm mát, phân phối điện năng và công suất mạng cho các đề xuất mở rộng cụm GPU trước khi cam kết vốn.

Xác nhận thay đổi

Kiểm tra các thay đổi hạ tầng trong môi trường digital twin giảm rủi ro sự cố sản xuất. AI xác nhận các thay đổi được đề xuất so với hành vi hạ tầng được mô hình hóa, xác định các vấn đề tiềm ẩn trước khi các thay đổi đến sản xuất. Việc xác nhận phát hiện các lỗi cấu hình và xung đột tài nguyên mà nếu không sẽ gây ra sự cố ngừng hoạt động.

Triển khai AIOps cho hạ tầng AI

Các tổ chức triển khai AIOps cho quản lý trung tâm dữ liệu nên xem xét các yêu cầu tích hợp, chất lượng dữ liệu và sự sẵn sàng vận hành.

Yêu cầu tích hợp

Integration Launchpad của ServiceNow cung cấp thiết lập có hướng dẫn cho các tích hợp AIOps với các công cụ giám sát của bên thứ ba.[^25] Các tổ chức có thể cấu hình các connector có sẵn hoặc tạo các connector tùy chỉnh cho các công cụ giám sát không được hỗ trợ. Lớp tích hợp tổng hợp dữ liệu từ các nguồn đa dạng thành các chế độ xem vận hành thống nhất.

Hạ tầng AI thường bao gồm giám sát chuyên biệt cho GPU, mạng tốc độ cao và hệ thống lưu trữ vượt ra ngoài giám sát máy chủ tiêu chuẩn. Các triển khai AIOps phải kết hợp các nguồn dữ liệu chuyên biệt này để cung cấp khả năng hiển thị hạ tầng hoàn chỉnh.

Nền tảng chất lượng dữ liệu

Hiệu quả AIOps phụ thuộc vào chất lượng dữ liệu giám sát. Dữ liệu không đầy đủ, gán nhãn không nhất quán và khoảng trống trong phạm vi bao phủ hạn chế độ chính xác của mô hình AI. Các tổ chức nên kiểm tra phạm vi giám sát và chất lượng dữ liệu trước khi triển khai phân tích nâng cao.

Dữ liệu lịch sử cho phép huấn luyện các mô hình dự đoán trên các mẫu cụ thể của tổ chức. DeepMind đã sử dụng 2 năm dữ liệu giám sát để huấn luyện các mô hình tối ưu hóa làm mát.[^26] Các tổ chức thiếu chiều sâu dữ liệu lịch sử có thể cần thu thập dữ liệu trước khi các dự đoán nâng cao trở nên đáng tin cậy.

Sự sẵn sàng vận hành

Vận hành tự động đòi hỏi các chính sách rõ ràng xác định ranh giới quyền hạn của AI. Các tổ chức phải quyết định hành động nào hệ thống AI có thể thực hiện độc lập so với hành động nào yêu cầu sự phê duyệt của con người. Bắt đầu với các đề xuất và thực hiện thủ công xây dựng sự tự tin trước khi cho phép hành động tự động.

550 kỹ sư hiện trường của Introl hỗ trợ các tổ chức triển khai AIOps trên các triển khai hạ tầng GPU.[^27] Công ty xếp hạng #14 trong danh sách Inc. 5000 năm 2025 với mức tăng trưởng ba năm 9.594%, phản ánh nhu cầu về các dịch vụ hạ tầng chuyên nghiệp.[^28] Triển khai chuyên nghiệp đảm bảo phạm vi giám sát, chất lượng tích hợp và các quy trình vận hành hỗ trợ

[Nội dung bị cắt ngắn cho bản dịch]