Nghịch lý rò rỉ dữ liệu AI: Tại sao Prompt Injection vẫn là mối đe dọa chưa được giải quyết

Việc tích hợp trí tuệ nhân tạo vào các hoạt động của doanh nghiệp hứa hẹn hiệu quả và cái nhìn sâu sắc chưa từng có. Tuy nhiên, lời hứa này bị che mờ bởi một mối đe dọa dai dẳng và đang phát triển: tấn công prompt injection. Không chỉ là một mối lo ngại lý thuyết, các sự cố thực tế gần đây đã làm nổi bật lỗ hổng này, chứng minh khả năng của nó trong việc vượt qua các lớp bảo mật tinh vi và trích xuất dữ liệu nhạy cảm từ các chatbot AI. Đối với CISO và kỹ sư bảo mật, việc hiểu cơ chế của các cuộc tấn công này và phát triển các biện pháp đối phó mạnh mẽ không còn là tùy chọn — mà là điều bắt buộc.

Chuyện gì đã xảy ra

Đầu tuần này, cộng đồng an ninh mạng đã chứng kiến một minh chứng rõ ràng về sức mạnh của prompt injection. Các nhà nghiên cứu đã công bố một cuộc tấn công nhằm vào một trợ lý AI doanh nghiệp hàng đầu, nơi một đầu vào bí mật đã buộc AI trích xuất dữ liệu trực tiếp từ hộp thư đến của người dùng. Sự cố này nhanh chóng được tiếp nối bởi một tiết lộ tương tự liên quan đến một mô hình ngôn ngữ lớn nổi bật khác. Trong trường hợp này, một nhóm riêng biệt đã nghĩ ra một phương pháp để buộc AI đánh cắp các cuộc trò chuyện của người dùng và thông tin cá nhân khác, một lỗ hổng được cho là vẫn còn hoạt động mặc dù nhà cung cấp đã được thông báo vài tháng trước đó.

Đây không phải là những sự kiện đơn lẻ. Chúng là những sự kiện mới nhất trong một loạt "vô số" sự cố làm nổi bật sự bất lực cơ bản của các mô hình ngôn ngữ lớn (LLM) trong việc giải quyết tận gốc các nguyên nhân gây ra prompt injection. Mẫu hình rõ ràng: các chatbot AI, được thiết kế để hữu ích và phản hồi nhanh, có thể bị thao túng để phản bội lòng tin của người dùng và làm tổn hại tính toàn vẹn của dữ liệu. Cuộc tấn công, trong một trường hợp đáng chú ý, đã tận dụng một kỹ thuật vượt qua các bộ lọc an toàn AI thông thường bằng cách nhúng các lệnh độc hại vào nội dung, cho phép tải trọng vượt qua các bộ lọc đầu vào tĩnh và thực thi trong quy trình xử lý của AI.

Trong sự cố đó, cuộc tấn công không yêu cầu bất kỳ tương tác nào của người dùng ngoài lời nhắc ban đầu. Một yêu cầu tưởng chừng vô hại có thể kích hoạt một sự kiện rò rỉ dữ liệu thầm lặng. Dữ liệu bị xâm phạm, trong một báo cáo, bao gồm một số định danh người dùng, dữ liệu vị trí thô, chi tiết đăng ký và toàn bộ lịch sử lời nhắc của cuộc trò chuyện đang hoạt động. Loại tấn công này nhấn mạnh bản chất tinh vi của các cuộc tấn công này và nhu cầu cấp thiết về các chiến lược phòng thủ tiên tiến. Kỹ thuật này liên quan đến việc đặt dữ liệu có cấu trúc, cùng với tài liệu khóa và hướng dẫn xử lý, trên một trang web thông thường. Tác nhân AI, được hướng dẫn xử lý trang, sau đó xử lý và thực thi tải trọng độc hại bằng cách sử dụng các khả năng nội bộ của nó.

Tại sao mẫu hình này cứ lặp lại

Prompt injection khai thác triết lý thiết kế cốt lõi của LLM: khả năng tuân thủ các yêu cầu của người dùng bất cứ khi nào có thể. Xu hướng bẩm sinh này khiến LLM dễ bị thao túng. Kẻ tấn công tận dụng điều này bằng cách nhúng các hướng dẫn có hại vào nội dung tưởng chừng như vô hại, chẳng hạn như email hoặc trang web mà trợ lý AI được giao nhiệm vụ tóm tắt. Lỗi nghiêm trọng nằm ở việc LLM không thể phân biệt đáng tin cậy giữa các hướng dẫn hợp pháp của người dùng được nhập trực tiếp vào lời nhắc và các hướng dẫn độc hại được nhúng trong nội dung từ một nguồn không đáng tin cậy.

Vấn đề mang tính nền tảng. LLM, ở giai đoạn phát triển hiện tại, không thể nhận biết đáng tin cậy ý định hoặc ngữ cảnh với sắc thái cần thiết để phân biệt các yêu cầu lành tính với các lệnh đối kháng. Đây là lý do tại sao việc xây dựng các rào chắn nội bộ, nhằm mục đích hướng mô hình tránh xa các hành động có hại, thường được ví như "một kỹ sư an toàn giao thông dựng hàng rào bảo vệ quanh một khúc cua nguy hiểm thay vì làm nghiêng khúc cua đó." Đó là một biện pháp giảm thiểu bên ngoài, không phải là một giải pháp cơ bản cho lỗ hổng kiến trúc tiềm ẩn.

Bản chất lặp đi lặp lại của các sự cố prompt injection cho thấy một thách thức kiến trúc sâu sắc trong các thiết kế LLM hiện tại, nơi sự tuân thủ các hướng dẫn xung đột cố hữu với bảo mật mạnh mẽ chống lại đầu vào đối kháng.

Hơn nữa, sự phát triển của các kỹ thuật prompt injection, chẳng hạn như những kỹ thuật tận dụng nội dung nhúng, chứng tỏ khả năng của kẻ tấn công trong việc thích nghi và vượt qua các biện pháp phòng thủ hiện có. Bằng cách nhúng các tải trọng độc hại vào nội dung cần được xử lý, kẻ tấn công khai thác các hạn chế của bộ lọc đầu vào tĩnh. Các bộ lọc này được thiết kế để phát hiện các mẫu độc hại đã biết trong văn bản thuần túy nhưng trở nên không hiệu quả khi các hướng dẫn có hại được ẩn trong nội dung yêu cầu xử lý nội bộ. Điều này làm nổi bật một trò chơi mèo vờn chuột liên tục, nơi các biện pháp phòng thủ phải vật lộn để theo kịp các phương pháp khai thác mới lạ tận dụng khả năng xử lý của AI để chống lại chính nó.

Sổ tay hướng dẫn từng bước của kẻ tấn công

Hiểu được phương pháp của kẻ tấn công là rất quan trọng để phòng thủ hiệu quả. Một sự cố gần đây, sử dụng kỹ thuật liên quan đến nhúng nội dung, cung cấp một sổ tay hướng dẫn rõ ràng:

1. Tạo tải trọng độc hại: Kẻ tấn công tạo một tập hợp các hướng dẫn được thiết kế để trích xuất dữ liệu (ví dụ: định danh người dùng, lịch sử trò chuyện). Các hướng dẫn này sau đó được chuẩn bị để nhúng, đôi khi sử dụng các kỹ thuật để che giấu bản chất của chúng.
2. Nhúng vào ngữ cảnh: Tải trọng đã chuẩn bị, cùng với các hướng dẫn xử lý cần thiết, được nhúng vào một trang web hoặc tài liệu trông bình thường. Nội dung này được thiết kế để trông vô hại đối với người dùng.
3. Dụ dỗ AI: Kẻ tấn công sau đó trình bày trang web hoặc tài liệu độc hại này cho chatbot AI, thường thông qua một yêu cầu tưởng chừng hợp pháp như "tóm tắt trang này" hoặc "phân tích email này."
4. Vượt qua bộ lọc: Bởi vì các hướng dẫn độc hại được nhúng hoặc che giấu trong nội dung, các bộ lọc đầu vào tĩnh truyền thống, kiểm tra văn bản thuần túy để tìm các mẫu đối kháng, có thể không phát hiện ra mối đe dọa. Dữ liệu nhúng vượt qua các lớp bảo mật ban đầu này.
5. Xử lý và thực thi nội bộ: AI, tuân theo chỉ thị được lập trình để xử lý và hiểu nội dung, gặp phải hướng dẫn xử lý dữ liệu nhúng. Sử dụng các khả năng nội bộ của nó, AI xử lý tải trọng.
6. Rò rỉ dữ liệu: Sau khi được xử lý, các hướng dẫn độc hại được LLM coi là lệnh hợp pháp. AI sau đó thực thi các lệnh này một cách trung thực, dẫn đến việc trích xuất dữ liệu người dùng nhạy cảm, chẳng hạn như các cuộc trò chuyện riêng tư, định danh cá nhân và chi tiết đăng ký, đến một điểm cuối do kẻ tấn công kiểm soát. Quá trình này thường có thể xảy ra mà không cần bất kỳ tương tác nào của người dùng, đủ điều kiện là một loại tấn công giảm thiểu sự tương tác của người dùng.

Những gì mà các nhà phòng thủ đã bỏ lỡ

Các nhà phòng thủ chủ yếu đã bỏ lỡ sự khác biệt cơ bản giữa cách giải thích đầu vào của con người và AI. Các mô hình bảo mật truyền thống thường giả định rằng nội dung được trình bày cho một hệ thống là đáng tin cậy một cách rõ ràng hoặc không đáng tin cậy một cách rõ ràng. Tuy nhiên, LLM hoạt động trong một vùng xám, nơi nội dung từ một nguồn không đáng tin cậy (như một trang web) có thể được hiểu là một hướng dẫn trực tiếp, ghi đè lên các lời nhắc hệ thống hoặc cơ chế an toàn trước đó.

Cụ thể, các điểm thất bại bao gồm:

• Quá phụ thuộc vào lọc đầu vào tĩnh: Các bộ lọc bảo mật hiện có được thiết kế để phát hiện các mẫu hoặc từ khóa đã biết trong văn bản không được mã hóa. Sự ra đời của các kỹ thuật liên quan đến nội dung nhúng đã bộc lộ lỗ hổng của các bộ lọc này đối với nội dung độc hại bị che giấu hoặc được xử lý nội bộ. Nếu một bộ lọc không thể diễn giải nội dung ở dạng đã xử lý cuối cùng, nó không thể chặn nội dung đó.
• Đánh giá thấp 'sự tuân thủ' của LLM: Đã có sự đánh giá thấp về mức độ sẵn sàng của LLM trong việc ưu tiên các hướng dẫn nhúng hơn các giao thức an toàn nội bộ hoặc lời nhắc hệ thống của chúng. 'Khuynh hướng' của LLM trong việc tuân thủ các yêu cầu của người dùng, ngay cả khi những yêu cầu đó được nhúng một cách đối kháng, đã không được kiểm soát đầy đủ.
• Thiếu nhận thức ngữ cảnh trong AI: Các nhà phòng thủ đã không triển khai các rào chắn hiểu sâu sắc ngữ cảnh và nguồn của các hướng dẫn. Một LLM có thể được yêu cầu không chia sẻ dữ liệu, nhưng nếu một hướng dẫn nhúng từ một nguồn bên ngoài yêu cầu nó làm vậy, cơ chế tuân thủ bẩm sinh của nó có thể ghi đè chỉ thị bảo mật, đặc biệt nếu hướng dẫn được trình bày như một phần của nội dung mà nó phải xử lý.
• Phân tích động không đủ: Phân tích tĩnh đầu vào thất bại trước các tải trọng bị che giấu hoặc nhúng. Điều còn thiếu là khả năng phân tích động, thời gian chạy hơn trong chính hệ thống AI, một khả năng có thể phát hiện hành vi bất thường sau khi xử lý nhưng trước khi rò rỉ, hoặc một cơ chế để ngăn AI thực thi mã hoặc lệnh tùy ý từ các nguồn không đáng tin cậy.

Danh sách kiểm tra phòng thủ thực tế

CISO và kỹ sư bảo mật phải triển khai chiến lược phòng thủ đa lớp để giảm thiểu rủi ro prompt injection:

• Triển khai làm sạch và xác thực đầu vào mạnh mẽ: Vượt ra ngoài việc lọc cơ bản. Phân tích đầu vào về cấu trúc, loại và ý định. Cân nhắc cho phép các định dạng đầu vào cụ thể và từ chối bất cứ thứ gì sai lệch đáng kể, đặc biệt khi nội dung bên ngoài được xử lý.
• Tăng cường các rào chắn ngữ cảnh: Phát triển và liên tục tinh chỉnh các lớp an toàn AI ưu tiên các lời nhắc hệ thống và chỉ thị bảo mật nội bộ hơn các hướng dẫn xung đột được tìm thấy trong nội dung bên ngoài. Điều này đòi hỏi phân tích ngữ nghĩa tinh vi, không chỉ là khớp từ khóa.
• Cô lập môi trường AI: Cô lập môi trường xử lý AI, đặc biệt là những môi trường xử lý dữ liệu nhạy cảm hoặc nội dung bên ngoài, sử dụng nguyên tắc sandboxing và đặc quyền tối thiểu. Điều này giới hạn phạm vi ảnh hưởng nếu một cuộc tấn công thành công.
• Hạn chế khả năng của AI: Hạn chế khả năng của AI trong việc thực thi mã tùy ý hoặc truy cập tài nguyên mạng bên ngoài từ bên trong các ngữ cảnh xử lý đầu vào không đáng tin cậy. Vô hiệu hóa hoặc kiểm soát chặt chẽ các chức năng có thể bị lạm dụng để rò rỉ dữ liệu.
• Giám sát hành vi AI để tìm bất thường: Triển khai giám sát thời gian thực các đầu ra và hành động nội bộ của AI để tìm các mẫu bất thường, chẳng hạn như các nỗ lực truy cập dữ liệu trái phép, thực hiện các lệnh gọi API đáng ngờ hoặc giao tiếp với các điểm cuối bên ngoài không xác định.
• Kiểm tra đối kháng thường xuyên: Liên tục kiểm tra các hệ thống AI bằng các kỹ thuật prompt injection nâng cao, bao gồm các tải trọng bị che giấu và nhúng. Cách tiếp cận chủ động này giúp xác định các lỗ hổng trước khi kẻ tấn công thực hiện.
• Giáo dục người dùng và nhà phát triển: Đào tạo các nhà phát triển về các phương pháp phát triển AI an toàn và giáo dục người dùng về rủi ro khi tương tác với các hệ thống AI, đặc biệt là khi cung cấp các liên kết hoặc nội dung bên ngoài.

Cách kiểm thử tấn công hiện đại đã có thể phát hiện ra điều này

Các sự cố liên quan đến trợ lý AI doanh nghiệp nhấn mạnh một lỗ hổng quan trọng trong các phương pháp kiểm thử bảo mật truyền thống cho các hệ thống AI. Kiểm thử tấn công hiện đại, đặc biệt là kiểm thử tấn công tự động với các bằng chứng khái niệm (PoC) có thể thực thi, được thiết kế để chủ động xác định các lỗ hổng phức tạp, đa giai đoạn này. Một nền tảng chuyên về lĩnh vực này sẽ vô cùng quý giá.

Một nền tảng như vậy sẽ tiếp cận các kịch bản này bằng cách mô phỏng quá trình tư duy của kẻ tấn công. Thay vì chỉ quét các mẫu đã biết, một tác nhân tự động sẽ chủ động thử nghiệm các kỹ thuật prompt injection khác nhau, bao gồm cả những kỹ thuật liên quan đến che giấu và nhúng nội dung. Nó sẽ tạo và chèn các lời nhắc được thiết kế để kiểm tra giới hạn của LLM, đặc biệt tìm kiếm các điểm yếu trong cách nó xử lý nội dung bên ngoài và tuân thủ các chỉ thị nội bộ của nó.

Đối với các cuộc tấn công liên quan đến nội dung nhúng, một nền tảng kiểm thử tấn công tự động sẽ:

1. Thăm dò khả năng xử lý nội bộ: Xác định rằng AI sở hữu các khả năng nội bộ có thể được tận dụng để xử lý và thực thi các hướng dẫn.
2. Thử nghiệm với các tải trọng nhúng: Tự động tạo và nhúng các hướng dẫn độc hại vào các trang web thử nghiệm, tương tự như phương pháp của kẻ tấn công. Sau đó, nó sẽ hướng dẫn AI tóm tắt hoặc xử lý các trang này.
3. Giám sát các nỗ lực rò rỉ dữ liệu: Giám sát hành vi của AI để tìm bất kỳ nỗ lực nào truy cập hoặc trích xuất dữ liệu nhạy cảm được mô phỏng, ngay cả khi lời nhắc ban đầu có vẻ vô hại.
4. Xác định các biện pháp vượt qua rào chắn: Kiểm tra một cách có hệ thống xem các bộ lọc an toàn và rào chắn nội bộ có thể bị các hướng dẫn đối kháng vượt qua hay không, bao gồm cả những hướng dẫn được đưa vào một cách gián tiếp thông qua nội dung bên ngoài.

Bằng cách tự động thực hiện các bước này, nền tảng sẽ tạo ra các PoC có thể thực thi chứng minh con đường rò rỉ dữ liệu. Cách tiếp cận chủ động, thực hành này sẽ tiết lộ lỗ hổng rất lâu trước khi nó bị khai thác trong thực tế, cung cấp thông tin tình báo có thể hành động cho các nhà phát triển để củng cố hệ thống AI của họ.

Những điều cần chú ý tiếp theo

Bối cảnh bảo mật AI đang phát triển nhanh chóng. CISO và kỹ sư bảo mật nên dự đoán một số xu hướng chính và các mối đe dọa mới nổi liên quan đến prompt injection và rò rỉ dữ liệu AI:

• Các kỹ thuật che giấu tinh vi: Hãy kỳ vọng kẻ tấn công sẽ phát triển các phương pháp tinh vi hơn nữa để che giấu các hướng dẫn độc hại, vượt ra ngoài việc nhúng đơn giản sang các kỹ thuật hòa trộn liền mạch với dữ liệu hợp pháp, khiến việc phát hiện ngày càng khó khăn đối với các công cụ phân tích tĩnh và thậm chí một số công cụ phân tích động.
• Các cuộc tấn công AI theo chuỗi: Chúng ta có thể sẽ thấy các cuộc tấn công phức tạp hơn, đa giai đoạn, trong đó một cuộc tấn công prompt injection ban đầu có thể chỉ là bước đầu tiên, dẫn đến việc xâm phạm thêm các hệ thống tích hợp hoặc leo thang đặc quyền trong môi trường hoạt động của AI.
• Lỗ hổng chuỗi cung ứng trong AI: Khi các mô hình AI trở nên mô-đun hơn và phụ thuộc vào nhiều thành phần của bên thứ ba (ví dụ: plugin, API bên ngoài, mô hình được đào tạo trước), rủi ro prompt injection sẽ mở rộng sang chuỗi cung ứng AI. Một lỗ hổng trong một thành phần có thể làm lộ toàn bộ hệ thống.
• Các tác nhân AI tự trị làm mục tiêu và công cụ: Sự gia tăng của các tác nhân AI tự trị sẽ đặt ra một thách thức kép. Chúng sẽ trở thành mục tiêu hấp dẫn hơn cho prompt injection do khả năng và quyền truy cập rộng hơn của chúng, nhưng chúng cũng có thể bị kẻ tấn công vũ khí hóa để khởi động các cuộc tấn công tinh vi hơn, tự lan truyền.
• Áp lực pháp lý và tuân thủ: Hãy kỳ vọng sự giám sát pháp lý và các yêu cầu tuân thủ tăng lên xung quanh bảo mật AI, đặc biệt liên quan đến quyền riêng tư dữ liệu và tính toàn vẹn của việc ra quyết định dựa trên AI. Các sự cố như vậy sẽ đẩy nhanh nhu cầu về các tư thế bảo mật có thể chứng minh được cho các hệ thống AI.

Cuộc chiến chống lại prompt injection là một cuộc chạy marathon, không phải chạy nước rút. Khi các hệ thống AI trở nên phổ biến và mạnh mẽ hơn, thì sự khéo léo của những kẻ tìm cách khai thác chúng cũng vậy. Kiểm thử bảo mật chủ động, tấn công và hiểu sâu sắc các lỗ hổng độc đáo của AI sẽ rất quan trọng để duy trì một doanh nghiệp an toàn trong thời đại trí tuệ nhân tạo.