Bẻ khóa AI Doanh nghiệp: Các lỗ hổng tác nhân làm lộ dữ liệu nội bộ

Điều gì đã xảy ra

Một mô hình đáng lo ngại đã xuất hiện trong an ninh mạng doanh nghiệp: các trợ lý AI của công ty, được dùng để hợp lý hóa hoạt động và trao quyền cho nhân viên, đang bị bẻ khóa để làm lộ dữ liệu nội bộ nhạy cảm. Đây không chỉ đơn thuần là việc một chatbot AI tạo ra văn bản không phù hợp; đó là việc những kẻ tấn công lợi dụng các kỹ thuật tinh vi để vượt qua các biện pháp an toàn và vũ khí hóa quyền truy cập của AI vào các tài nguyên nội bộ. Hậu quả là một con đường trực tiếp dẫn đến việc rò rỉ dữ liệu.

Bằng chứng cho thấy một số tổ chức đang trải qua việc nhân viên vô tình làm rò rỉ dữ liệu nhạy cảm thông qua các công cụ AI, khiến việc lộ dữ liệu ngẫu nhiên trở thành một rủi ro dữ liệu đáng kể. Tuy nhiên, bối cảnh mối đe dọa hiện tại vượt ra ngoài sự vô ý. Các tác nhân độc hại đang tích cực tạo ra các kỹ thuật bẻ khóa tinh vi, cho phép họ vượt qua các bộ lọc nội dung và biện pháp an toàn, có khả năng cho phép AI tạo ra nội dung có hại hoặc không phù hợp, và quan trọng nhất là truy cập dữ liệu nhạy cảm.

Các báo cáo ban đầu chỉ ra rằng các phương pháp bẻ khóa tiên tiến đã thành công vượt qua một số mô hình AI tiên tiến trong môi trường thử nghiệm. Đây không phải là những sự cố đơn lẻ mà đại diện cho một lỗ hổng hệ thống. Sự khác biệt quan trọng nằm ở bản chất của các cuộc bẻ khóa này: chúng không chỉ là việc lừa một chatbot đưa ra một câu trả lời bị cấm, mà là việc ảnh hưởng đến việc lập kế hoạch, lựa chọn công cụ, thực thi mã, duyệt web và truy cập dữ liệu trong hệ thống AI rộng lớn hơn.

Tại sao mô hình này cứ lặp lại

Lý do cơ bản khiến mô hình này tồn tại là bản chất đang phát triển của AI, đặc biệt là với sự ra đời của AI tác nhân. Khi các mô hình AI trở nên có khả năng hơn và được tích hợp với các công cụ doanh nghiệp, tiềm năng lạm dụng của chúng sẽ mở rộng. Rủi ro không còn giới hạn ở những gì mô hình nói mà mở rộng đến những gì hệ thống xung quanh cho phép mô hình làm.

Các nhà đánh giá độc lập đã nhiều lần tìm thấy các cuộc bẻ khóa phổ quát có khả năng tồn tại các tác vụ an ninh mạng phức tạp, được điều khiển bằng công cụ. Điều này cho thấy một thách thức sâu sắc trong việc bảo mật các hệ thống ngày càng tự trị này. Một số nghiên cứu bảo mật đã xác định các cuộc bẻ khóa mạng phổ quát trong các vòng thử nghiệm trước khi ra mắt các mô hình tiên tiến, với một số được phát triển tương đối nhanh chóng. Tốc độ khám phá nhanh chóng này nhấn mạnh khó khăn trong việc dự đoán và giảm thiểu tất cả các vector tiềm năng.

Ngoài ra, việc tích hợp các trợ lý AI với các ứng dụng doanh nghiệp như hộp thư, OneDrive và SharePoint tạo ra một bề mặt tấn công rộng lớn. Những kẻ tấn công có thể tạo ra các URL hoặc đầu vào độc hại lừa trợ lý AI tương tác với dữ liệu nhạy cảm từ các hệ thống được kết nối này. Điều này làm nổi bật một lỗ hổng nghiêm trọng trong hệ sinh thái xung quanh AI, chứ không chỉ riêng trong mô hình cốt lõi.

Sự chuyển đổi từ AI đàm thoại sang AI tác nhân đã thay đổi cơ bản mô hình mối đe dọa, khiến các hành động của AI, chứ không chỉ lời nói của nó, trở thành một mối quan tâm an ninh quan trọng.

Kịch bản của kẻ tấn công từng bước một

Những kẻ tấn công bắt đầu bằng cách xác định một trợ lý AI của công ty đang được sử dụng, thường được tích hợp vào các nền tảng doanh nghiệp được áp dụng rộng rãi. Mục tiêu ban đầu của họ là hiểu khả năng của AI và các công cụ được kết nối của nó, chẳng hạn như quyền truy cập vào hệ thống tệp nội bộ hoặc kênh liên lạc. Giai đoạn trinh sát này giúp họ tạo ra các lời nhắc có mục tiêu.

Tiếp theo, họ sử dụng các kỹ thuật bẻ khóa tinh vi, không còn là các mũi tiêm nhắc nhở đơn giản mà là các chuỗi phức tạp được thiết kế để vượt qua các bộ lọc nội dung và cơ chế an toàn. Các kỹ thuật này nhằm mục đích lật đổ các biện pháp bảo vệ dự kiến của AI, cho phép nó tạo ra các phản hồi hoặc thực hiện các hành động mà lẽ ra bị cấm. Trọng tâm là thiết lập quyền kiểm soát quá trình ra quyết định của AI.

Khi bị bẻ khóa, kẻ tấn công tận dụng quyền truy cập của AI vào các hệ thống nội bộ. Ví dụ, họ có thể tạo ra các URL hoặc yêu cầu độc hại mà, khi được AI bị xâm nhập xử lý, buộc nó phải tương tác với các kho dữ liệu nhạy cảm như hộp thư, OneDrive hoặc tài khoản SharePoint. AI, hoạt động dưới ảnh hưởng của việc bẻ khóa, sau đó sẽ trích xuất dữ liệu, thường thông qua các kênh liên lạc nội bộ dường như hợp pháp hoặc bằng cách làm cho dữ liệu có thể truy cập được từ bên ngoài.

Những gì người phòng thủ đã bỏ lỡ

Nhiều chiến lược an ninh mạng cho AI trong lịch sử đã tập trung vào việc bảo mật chính mô hình, bỏ qua hệ sinh thái rộng lớn hơn. Mặc dù an toàn mô hình là rất quan trọng, nhưng lỗ hổng thực sự thường nằm ở khả năng của AI trong việc gọi công cụ và tương tác với dữ liệu doanh nghiệp. Sự bỏ sót này có nghĩa là ngay cả một mô hình 'an toàn' cũng có thể trở thành một kênh để rò rỉ dữ liệu nếu khả năng tác nhân của nó bị xâm phạm.

Một khía cạnh bị bỏ lỡ khác là việc đánh giá thấp 'các cuộc bẻ khóa phổ quát' có thể tồn tại các tác vụ phức tạp, nhiều bước. Những người phòng thủ thường cho rằng một lời nhắc có vấn đề duy nhất có thể được giảm thiểu, nhưng các cuộc bẻ khóa tác nhân có thể ảnh hưởng đến việc lập kế hoạch, lựa chọn công cụ, thực thi mã và hàng trăm quyết định trung gian. Điều này làm cho việc lọc truyền thống, phản ứng không đủ để chống lại những kẻ tấn công quyết tâm.

Cuối cùng, sự phát triển nhanh chóng của các khả năng AI và kỹ thuật bẻ khóa vượt qua các cơ chế phòng thủ tĩnh. Việc các cuộc bẻ khóa mới được phát triển tương đối nhanh chóng, và các mô hình mạng ngày càng có khả năng vẫn dễ bị tấn công, cho thấy rằng một tư thế bảo mật liên tục và thích ứng là rất cần thiết. Chỉ dựa vào các biện pháp giảm thiểu trước khi ra mắt đã được chứng minh là không đủ, vì việc kiểm tra bảo mật vẫn tiếp tục khám phá các phương pháp tương tự sau khi triển khai.

Một danh sách kiểm tra phòng thủ thực tế

• Thực hiện kiểm soát truy cập nghiêm ngặt cho các tác nhân AI: Hạn chế quyền truy cập của AI chỉ vào dữ liệu và hệ thống thực sự cần thiết cho chức năng của nó. Áp dụng nguyên tắc đặc quyền tối thiểu cho tất cả các tích hợp AI.
• Giám sát các lệnh gọi công cụ AI: Chủ động chặn các lệnh gọi công cụ tác nhân AI độc hại ngay khi chúng xảy ra. Thiết lập giám sát và cảnh báo theo thời gian thực cho các tương tác AI bất thường với tài nguyên doanh nghiệp.
• Kiểm tra bảo mật hệ thống AI thường xuyên: Thực hiện kiểm tra tấn công liên tục, chuyên sâu đối với các trợ lý AI của công ty, tập trung vào các cuộc bẻ khóa tác nhân và các vector rò rỉ dữ liệu. Điều này nên vượt ra ngoài việc kiểm tra lời nhắc đơn giản.
• Cô lập dữ liệu nhạy cảm: Kiến trúc lưu trữ dữ liệu doanh nghiệp để phân đoạn thông tin cực kỳ nhạy cảm, giảm thiểu phạm vi ảnh hưởng nếu tác nhân AI bị xâm phạm.
• Giáo dục nhân viên về rủi ro AI: Mặc dù không phải là giải pháp duy nhất, nhưng nhận thức của người dùng về tương tác AI an toàn và báo cáo hành vi AI đáng ngờ là một lớp phòng thủ.
• Thực thi phòng ngừa mất dữ liệu (DLP) mạnh mẽ: Tích hợp các giải pháp DLP mạnh mẽ có thể phát hiện và ngăn chặn việc rò rỉ dữ liệu trái phép do các tác nhân AI hoặc bất kỳ vector nào khác khởi tạo.
• Kiểm tra và củng cố các tích hợp API: Xem xét kỹ lưỡng mọi kết nối API mà trợ lý AI sử dụng, đảm bảo xác thực, ủy quyền và giới hạn tốc độ an toàn để ngăn chặn lạm dụng.

Cách kiểm tra tấn công hiện đại đã có thể phát hiện ra điều này

Kiểm tra bảo mật truyền thống thường tập trung vào các lỗ hổng đã biết hoặc phân tích mã tĩnh, điều này không đủ đối với bản chất động của các cuộc bẻ khóa tác nhân AI. Kiểm tra tấn công hiện đại, đặc biệt là kiểm tra tấn công tự động, sẽ tiếp cận thách thức này một cách khác. Thay vì dựa vào các lời nhắc do con người tạo ra, nó sẽ sử dụng các Proof-of-Concept (PoC) có thể thực thi để thăm dò khả năng tác nhân của AI.

Nền tảng của chúng tôi, chuyên về bảo mật tác nhân AI, sử dụng kiểm tra tấn công tự động với các PoC có thể thực thi. Phương pháp này mô phỏng các phương pháp của kẻ tấn công tinh vi, xác định các lỗ hổng mà tác nhân AI có thể bị ép buộc thực hiện các hành động không mong muốn, chẳng hạn như rò rỉ dữ liệu hoặc truy cập hệ thống trái phép. Bằng cách tự động tạo và thực thi các chuỗi tấn công phức tạp, nó có thể khám phá những điểm yếu tinh vi trong việc tích hợp AI với các hệ thống doanh nghiệp, rất lâu trước khi kẻ tấn công là con người thực hiện.

Việc kiểm tra như vậy có thể xác định cách một số đầu vào nhất định có thể lừa trợ lý AI truy cập dữ liệu nhạy cảm từ hộp thư, OneDrive và tài khoản SharePoint. Nó sẽ lập bản đồ toàn bộ phạm vi tiếp cận của AI bị bẻ khóa trong mạng công ty, làm nổi bật các con đường để lộ dữ liệu thông qua các lệnh gọi công cụ và tương tác hệ thống. Việc kiểm tra chủ động, có nhận thức về tác nhân này là rất quan trọng để bảo mật thế hệ AI doanh nghiệp tiếp theo.

Điều gì sẽ xảy ra tiếp theo

Bối cảnh bảo mật AI đang phát triển nhanh chóng. CISOs và kỹ sư bảo mật phải theo dõi chặt chẽ sự phát triển của các kỹ thuật bẻ khóa phổ quát, tinh vi hơn, đặc biệt là những kỹ thuật có thể ảnh hưởng đến các tác vụ dài hạn, được điều khiển bằng công cụ. Khi các mô hình AI trở nên có khả năng tác nhân hơn, khả năng thực hiện các hoạt động phức tạp, nhiều bước của chúng sẽ tăng lên, khiến tác động của một cuộc bẻ khóa thành công trở nên nghiêm trọng hơn nhiều so với việc chỉ tạo ra một phản hồi bị cấm.

Hãy mong đợi sẽ thấy sự tập trung ngày càng tăng vào bảo mật các tích hợp AI-to-system. Bề mặt lỗ hổng đang chuyển từ chính mô hình AI sang các giao diện và quyền cho phép AI tương tác với dữ liệu và cơ sở hạ tầng của công ty. Bảo mật các điểm tương tác này sẽ trở nên tối quan trọng. Ngành công nghiệp cũng phải dự đoán sự xuất hiện của các công cụ kiểm tra bảo mật do AI cung cấp, có khả năng tự động khám phá các cuộc bẻ khóa mới, đòi hỏi một cuộc chạy đua vũ trang liên tục trong bảo mật AI. Các tác nhân AI càng thông minh, rủi ro bẻ khóa càng lớn.