Hóa đơn LLM 52K đô la: Khi các tác nhân tự trị mất kiểm soát

Chuyện gì đã xảy ra

Một nhà phát triển phần mềm độc lập gần đây đã phải đối mặt với hóa đơn 52.000 đô la không mong muốn sau một sự cố thảm khốc liên quan đến một tác nhân mã hóa tự trị. Tác nhân này, được giao nhiệm vụ giải quyết một lỗi phần mềm, đã bị mắc kẹt trong một vòng lặp vô hạn. Trong khoảng chín giờ, nó liên tục thực hiện một thử nghiệm thất bại và cố gắng tạo ra các bản sửa lỗi, tiêu thụ một lượng lớn mã thông báo Mô hình Ngôn ngữ Lớn (LLM).

Vấn đề cốt lõi bắt nguồn từ việc tác nhân này truy cập không hạn chế vào các tài nguyên đám mây sản xuất và API LLM. Không có giới hạn tốc độ, không có giới hạn chi tiêu mã thông báo và quan trọng nhất là không có bộ ngắt mạch nào được thiết lập để ngăn chặn hành vi bất thường. Sự cố này nhấn mạnh một lỗ hổng ngày càng tăng trong các môi trường tận dụng AI cho các hoạt động tự trị.

Đây không phải là một cuộc tấn công riêng lẻ theo nghĩa truyền thống, mà là một cuộc từ chối dịch vụ tự gây ra, hay chính xác hơn là một cuộc từ chối ví tiền. Thông tin đăng nhập hợp lệ của nhà phát triển, được dùng cho phát triển và thử nghiệm, đã cung cấp cho tác nhân quyền tự do chi tiêu không kiểm soát. Tác động tài chính là ngay lập tức và đáng kể.

Tại sao mô hình này cứ lặp đi lặp lại

Sự phát triển của các tác nhân AI, đặc biệt là những tác nhân có khả năng tự trị, đưa ra một loại rủi ro vận hành mới. Các mô hình bảo mật truyền thống tập trung vào việc ngăn chặn truy cập trái phép hoặc đánh cắp dữ liệu. Tuy nhiên, các sự cố như thế này làm nổi bật nhu cầu bảo mật chống lại các thực thể được ủy quyền có hành vi thất thường hoặc độc hại.

Nhiều tổ chức đang nhanh chóng áp dụng các công cụ AI mà không hiểu đầy đủ về tác động tài chính của việc sử dụng chúng. Mô hình 'trả tiền theo mức sử dụng' của các dịch vụ đám mây và API LLM có thể nhanh chóng làm tăng chi phí khi mức tiêu thụ không được giám sát. Điều này đặc biệt đúng đối với AI tạo sinh, trong đó mỗi truy vấn, mỗi mã thông báo được tạo ra, đều có một chi phí hữu hình.

Hơn nữa, sự phức tạp của việc gỡ lỗi và xác thực hành vi của tác nhân tự trị thường bị đánh giá thấp. Các tác nhân hoạt động trong môi trường động, tương tác với các API và dịch vụ bên ngoài. Một lỗi tinh vi trong logic của chúng, hoặc một phản hồi không mong muốn từ một phụ thuộc bên ngoài, có thể dẫn đến các quy trình chạy tự do mà rất khó phát hiện và ngăn chặn nếu không có các biện pháp kiểm soát chủ động.

"Nguy hiểm thực sự không chỉ là vi phạm dữ liệu, mà là sự hủy hoại tài chính do lỗi thiết kế. Các hệ thống của chúng ta chưa được xây dựng để kiểm soát con cháu kỹ thuật số của chính mình."

'Sự leo thang quyền' của AI

Một yếu tố khác góp phần là cái mà chúng ta có thể gọi là 'sự leo thang quyền'. Các nhà phát triển thường cấp quyền rộng rãi cho các tác nhân AI để thuận tiện trong quá trình phát triển, đặc biệt là khi lặp lại nhanh chóng. Những quyền này, nếu không được cắt tỉa cẩn thận trước khi triển khai, có thể trở thành các vectơ tấn công đáng kể, hoặc trong trường hợp này, các khoản nợ tài chính. Nguyên tắc đặc quyền tối thiểu thường bị bỏ qua trong sự vội vàng triển khai các giải pháp được hỗ trợ bởi AI.

Kịch bản của kẻ tấn công từng bước

Mặc dù sự cố cụ thể này không phải là một cuộc tấn công bên ngoài, nhưng kịch bản này cung cấp một kế hoạch chi tiết cho một kẻ tấn công nhằm mục đích gây gián đoạn tài chính hoặc cạn kiệt tài nguyên. Mục tiêu của kẻ tấn công sẽ là kích hoạt một quá trình chạy tự do tương tự, vũ khí hóa cơ sở hạ tầng của nạn nhân chống lại chính họ.

1. Trinh sát & Nhận dạng lỗ hổng: Kẻ tấn công trước tiên sẽ xác định các hệ thống sử dụng tác nhân AI. Chúng sẽ tìm kiếm các API bị lộ công khai, các tài nguyên đám mây bị cấu hình sai, hoặc các kho chứa mã tác nhân có chứa thông tin đăng nhập nhúng hoặc quyền quá rộng.
2. Truy cập ban đầu (hoặc chèn độc hại): Điều này có thể liên quan đến việc khai thác một lỗ hổng truyền thống (ví dụ: CVE-2023-XXXX cho một khung web phổ biến) để có được quyền truy cập vào một hệ thống lưu trữ tác nhân, hoặc tinh vi hơn, chèn các lời nhắc hoặc dữ liệu độc hại vào luồng đầu vào của tác nhân có thể thao túng hành vi của nó.
3. Thao túng tác nhân: Một khi quyền truy cập được giành được hoặc tác nhân bị ảnh hưởng, mục tiêu của kẻ tấn công là buộc tác nhân vào một vòng lặp tự duy trì, tốn kém. Điều này có thể liên quan đến việc tạo ra các đầu vào liên tục kích hoạt một điều kiện thất bại, khiến tác nhân liên tục cố gắng sửa lỗi, tạo ra một lượng lớn mã, hoặc truy vấn các API LLM đắt tiền.
4. Khai thác thông tin đăng nhập: Tác nhân, hoạt động với thông tin đăng nhập sản xuất hợp pháp (nhưng quá nhiều quyền), sau đó sẽ thực hiện các hoạt động tốn kém này. Điều này có thể bao gồm việc tạo ra các lệnh gọi API quá mức, cung cấp các tài nguyên đám mây không cần thiết, hoặc thực hiện các tương tác LLM phức tạp, tốn nhiều mã thông báo.
5. Che giấu & Duy trì (Tùy chọn nhưng có khả năng): Một kẻ tấn công tinh vi có thể cố gắng che giấu nguồn gốc của quá trình chạy tự do hoặc thiết lập sự bền bỉ để kích hoạt các sự cố tương tự trong tương lai, khiến việc phân tích pháp y trở nên khó khăn hơn.
6. Từ chối ví tiền: Mục tiêu chính đã đạt được: tổ chức mục tiêu phải chịu các hóa đơn dịch vụ đám mây và AI khổng lồ, không mong muốn, có khả năng dẫn đến gián đoạn hoạt động hoặc khó khăn tài chính.

Những gì các nhà phòng thủ đã bỏ lỡ

Một số kiểm soát bảo mật và cân nhắc kiến trúc quan trọng đã vắng mặt hoặc không đầy đủ trong sự cố này. Sự bỏ sót rõ ràng nhất là việc thiếu các kiểm soát chi phí chi tiết và giám sát thời gian thực.

Thứ nhất, ngân sách mã thông báo và giới hạn tốc độ cho các lệnh gọi API LLM không tồn tại. Việc coi quyền truy cập API LLM giống như bất kỳ tài nguyên nào khác, với các giới hạn chi tiêu được xác định trước và các cơ chế điều tiết, là điều cơ bản. Nếu không có những điều này, một tác nhân bị cấu hình sai duy nhất có thể nhanh chóng làm cạn kiệt toàn bộ ngân sách của tổ chức.

Thứ hai, bộ ngắt mạch và công tắc ngắt không được triển khai. Trong các hệ thống tự trị, rủi ro cao, khả năng tự động hoặc thủ công ngừng hoạt động khi các ngưỡng được xác định trước (ví dụ: chi phí, lỗi API, tải tính toán) bị vượt quá là tối quan trọng. Điều này hoạt động như một tuyến phòng thủ cuối cùng chống lại các quy trình chạy tự do.

Thứ ba, nguyên tắc đặc quyền tối thiểu đã bị vi phạm. Tác nhân hoạt động với khóa sản xuất, cấp cho nó các quyền rộng rãi không cần thiết cho nhiệm vụ của nó. Môi trường phát triển và thử nghiệm phải sử dụng nghiêm ngặt các thông tin đăng nhập được phân tách, có phạm vi hạn chế, không bao giờ là khóa sản xuất.

Cuối cùng, giám sát liên tục mức tiêu thụ tài nguyên bất thường đã vắng mặt hoặc không được cấu hình để cảnh báo về các mẫu cụ thể này. Các công cụ quản lý chi phí đám mây, mặc dù hữu ích, thường cung cấp báo cáo sau đó. Phát hiện bất thường theo thời gian thực rất quan trọng để phát hiện các sự cố này khi chúng xảy ra.

Danh sách kiểm tra phòng thủ thực tế

Các CISO và kỹ sư bảo mật phải chủ động giải quyết các rủi ro mới nổi này. Việc triển khai một tư thế bảo mật mạnh mẽ cho các tác nhân AI đòi hỏi một cách tiếp cận đa diện.

• Triển khai Ngân sách Mã thông báo Chi tiết: Thực thi các giới hạn cứng đối với chi tiêu mã thông báo LLM cho mỗi tác nhân, mỗi dự án và trên toàn cầu. Sử dụng các công cụ nhà cung cấp đám mây hoặc cổng API để thực thi các giới hạn này.
• Bắt buộc Giới hạn Tốc độ: Áp dụng giới hạn tốc độ nghiêm ngặt cho tất cả các lệnh gọi API LLM và các tương tác dịch vụ bên ngoài khác do các tác nhân tự trị thực hiện. Điều này ngăn chặn việc tiêu thụ nhanh chóng, không kiểm soát.
• Triển khai Bộ ngắt mạch: Tích hợp bộ ngắt mạch tự động vào các nền tảng điều phối tác nhân. Những bộ ngắt này sẽ kích hoạt và tạm dừng hoạt động của tác nhân nếu ngưỡng chi phí, tỷ lệ lỗi hoặc mức tiêu thụ tài nguyên tăng đột biến.
• Thực thi Đặc quyền Tối thiểu cho Thông tin đăng nhập Tác nhân: Gán cho tác nhân các quyền tối thiểu tuyệt đối cần thiết cho nhiệm vụ của chúng. Không bao giờ sử dụng thông tin đăng nhập sản xuất cho phát triển hoặc thử nghiệm. Sử dụng thông tin đăng nhập tạm thời, có phạm vi khi có thể.
• Phát hiện Bất thường Chi phí Thời gian thực: Cấu hình các nền tảng quản lý chi phí đám mây và khả năng quan sát để cảnh báo ngay lập tức về các mẫu chi tiêu bất thường hoặc tăng đột biến đột ngột trong việc sử dụng API từ các dịch vụ liên quan đến tác nhân.
• Cô lập Môi trường Phát triển & Sản xuất: Tách biệt nghiêm ngặt các môi trường. Các tác nhân trong quá trình phát triển hoặc thử nghiệm không bao giờ được phép truy cập vào các tài nguyên sản xuất hoặc các API LLM đắt tiền mà không có các kiểm soát chặt chẽ.
• Kiểm tra Bảo mật Định kỳ Logic và Quyền của Tác nhân: Tiến hành đánh giá định kỳ mã tác nhân, các tương tác của nó và các quyền được cấp để đảm bảo tuân thủ các thực tiễn tốt nhất về bảo mật và phát hiện các lỗ hổng tiềm ẩn.

Cách kiểm thử tấn công hiện đại sẽ phát hiện ra điều này

Các thực hành bảo mật tấn công hiện đại, đặc biệt là những thực hành tập trung vào các hệ thống AI, sẽ xác định lỗ hổng này rất lâu trước khi nó dẫn đến hóa đơn năm con số. Một bài tập tấn công giả định toàn diện sẽ liên quan đến việc thiết kế các kịch bản cụ thể để kích động hành vi chạy tự do của tác nhân và kiểm tra hiệu quả của các biện pháp bảo vệ tài chính và vận hành.

Điều này không chỉ liên quan đến việc quét các lỗ hổng truyền thống, mà còn chủ động thăm dò khả năng phục hồi của tác nhân đối với các đầu vào bị lỗi, phản hồi API không mong muốn và các cuộc tấn công làm cạn kiệt tài nguyên. Các công cụ bao bọc mọi tác nhân bằng giới hạn ngân sách mã thông báo, giới hạn tốc độ và bộ ngắt mạch là rất cần thiết. Chúng cho phép các nhóm bảo mật mô phỏng các vòng lặp chạy tự do, đảm bảo rằng một cấu hình sai hoặc một cuộc tấn công sẽ dẫn đến gián đoạn trong vài phút, chứ không phải một thảm họa tài chính. Cách tiếp cận chủ động này xác nhận các cơ chế bảo vệ, đảm bảo chúng hoạt động như dự định dưới áp lực.

Điều gì tiếp theo

Bối cảnh bảo mật tác nhân AI đang phát triển nhanh chóng. Chúng tôi dự đoán sự gia tăng của các cuộc tấn công từ chối ví tiền chuyên biệt, trong đó kẻ tấn công tận dụng các tác nhân bị xâm nhập hoặc thao túng để gây ra chi phí dịch vụ đám mây và AI khổng lồ cho các mục tiêu của chúng. Các cuộc tấn công này khó phát hiện hơn bằng các hệ thống phát hiện xâm nhập truyền thống, vì chúng thường liên quan đến thông tin đăng nhập hợp lệ và các hành động được ủy quyền, mặc dù ở quy mô cực lớn.

Hơn nữa, việc phát triển các tác nhân tự trị tinh vi hơn sẽ đòi hỏi những tiến bộ trong AI giải thích được (XAI) và AI có thể xác minh được. Việc hiểu tại sao một tác nhân đưa ra một quyết định cụ thể, đặc biệt là một quyết định có ý nghĩa tài chính đáng kể, sẽ rất quan trọng để phân tích pháp y và ngăn chặn sự tái diễn. Hãy mong đợi được thấy nhiều sự tập trung hơn vào việc thử nghiệm tác nhân trong hộp cát, xác minh chính thức hành vi của tác nhân và sự xuất hiện của các khung bảo mật AI chuyên dụng vượt ra ngoài việc ngăn chặn chèn lời nhắc để giải quyết các rủi ro hệ thống.