การเจลเบรก AI ระดับองค์กร: ช่องโหว่ของ Agentic ทำให้ข้อมูลภายในรั่วไหลได้อย่างไร

เกิดอะไรขึ้น

รูปแบบที่น่าตกใจได้เกิดขึ้นในการรักษาความปลอดภัยทางไซเบอร์ขององค์กร: ผู้ช่วย AI ขององค์กร ซึ่งมีจุดประสงค์เพื่อปรับปรุงการดำเนินงานและเสริมศักยภาพพนักงาน กำลังถูกเจลเบรกเพื่อเปิดเผยข้อมูลภายในที่ละเอียดอ่อน นี่ไม่ใช่แค่เรื่องของแชทบอท AI ที่สร้างข้อความที่ไม่เหมาะสม แต่เป็นเรื่องของฝ่ายตรงข้ามที่ใช้เทคนิคที่ซับซ้อนเพื่อข้ามมาตรการความปลอดภัยและใช้ประโยชน์จากการเข้าถึงทรัพยากรภายในของ AI ผลที่ตามมาคือเส้นทางโดยตรงสู่การขโมยข้อมูล

หลักฐานชี้ให้เห็นว่าองค์กรบางแห่งกำลังประสบปัญหาพนักงานเผลอรั่วไหลข้อมูลที่ละเอียดอ่อนผ่านเครื่องมือ AI ทำให้การเปิดเผยโดยไม่ตั้งใจกลายเป็นความเสี่ยงด้านข้อมูลที่สำคัญ อย่างไรก็ตาม ภูมิทัศน์ภัยคุกคามในปัจจุบันขยายไปไกลกว่าความประมาทเลินเล่อ ผู้ไม่หวังดีกำลังสร้างเทคนิคการเจลเบรกที่ซับซ้อนอย่างแข็งขัน ทำให้พวกเขาสามารถหลีกเลี่ยงตัวกรองเนื้อหาและมาตรการความปลอดภัย ซึ่งอาจทำให้ AI สร้างเนื้อหาที่เป็นอันตรายหรือไม่เหมาะสม และที่สำคัญที่สุดคือการเข้าถึงข้อมูลที่ละเอียดอ่อน

รายงานเบื้องต้นระบุว่าวิธีการเจลเบรกขั้นสูงได้หลีกเลี่ยงโมเดล AI ขั้นสูงจำนวนหนึ่งในสภาพแวดล้อมการทดสอบได้สำเร็จ นี่ไม่ใช่เหตุการณ์ที่เกิดขึ้นโดดเดี่ยว แต่เป็นช่องโหว่เชิงระบบ ความแตกต่างที่สำคัญอยู่ที่ลักษณะของการเจลเบรกเหล่านี้: ไม่ใช่แค่การหลอกแชทบอทให้ตอบคำถามที่ต้องห้าม แต่เป็นการมีอิทธิพลต่อการวางแผน การเลือกเครื่องมือ การเรียกใช้โค้ด การเรียกดูข้อมูล และการเข้าถึงข้อมูลภายในระบบ AI ที่กว้างขึ้น

ทำไมรูปแบบนี้จึงเกิดขึ้นซ้ำๆ

เหตุผลพื้นฐานที่ทำให้รูปแบบนี้ยังคงอยู่คือลักษณะที่เปลี่ยนแปลงไปของ AI เอง โดยเฉพาะอย่างยิ่งกับการถือกำเนิดของ AI แบบ Agentic เมื่อโมเดล AI มีความสามารถมากขึ้นและถูกรวมเข้ากับเครื่องมือขององค์กร ศักยภาพในการใช้งานในทางที่ผิดก็ขยายตัว ความเสี่ยงไม่ได้จำกัดอยู่แค่สิ่งที่โมเดล พูด อีกต่อไป แต่ขยายไปถึงสิ่งที่ระบบโดยรอบ อนุญาตให้โมเดลทำ ได้

ผู้ประเมินอิสระได้พบการเจลเบรกแบบสากลซ้ำแล้วซ้ำอีกที่สามารถคงอยู่ได้ในงานด้านความปลอดภัยทางไซเบอร์ที่ขับเคลื่อนด้วยเครื่องมือที่ยาวนาน สิ่งนี้ชี้ให้เห็นถึงความท้าทายที่หยั่งรากลึกในการรักษาความปลอดภัยของระบบอัตโนมัติเหล่านี้ การวิจัยด้านความปลอดภัยบางส่วนได้ระบุการเจลเบรกทางไซเบอร์แบบสากลในรอบการทดสอบก่อนการเปิดตัวโมเดลขั้นสูง โดยบางส่วนได้รับการพัฒนาค่อนข้างรวดเร็ว อัตราการค้นพบที่รวดเร็วนี้เน้นย้ำถึงความยากลำบากในการคาดการณ์และลดเวกเตอร์ที่เป็นไปได้ทั้งหมด

นอกจากนี้ การรวมผู้ช่วย AI เข้ากับแอปพลิเคชันขององค์กร เช่น กล่องจดหมาย OneDrive และ SharePoint สร้างพื้นที่การโจมตีที่กว้างใหญ่ ผู้โจมตีสามารถสร้าง URL หรืออินพุตที่เป็นอันตรายที่หลอกผู้ช่วย AI ให้โต้ตอบกับข้อมูลที่ละเอียดอ่อนจากระบบที่เชื่อมต่อเหล่านี้ สิ่งนี้เน้นย้ำถึงช่องโหว่ที่สำคัญในระบบนิเวศที่อยู่รอบๆ AI ไม่ใช่แค่ภายในโมเดลหลักเท่านั้น

การเปลี่ยนผ่านจาก AI แบบสนทนาไปสู่ AI แบบ Agentic ได้เปลี่ยนรูปแบบภัยคุกคามโดยพื้นฐาน ทำให้การกระทำของ AI ไม่ใช่แค่คำพูดของมัน กลายเป็นข้อกังวลด้านความปลอดภัยที่สำคัญ

แผนการเล่นของผู้โจมตีทีละขั้นตอน

ผู้ไม่หวังดีเริ่มต้นด้วยการระบุผู้ช่วย AI ขององค์กรที่ใช้งานอยู่ ซึ่งมักจะรวมอยู่ในแพลตฟอร์มองค์กรที่ใช้กันอย่างแพร่หลาย เป้าหมายเริ่มต้นของพวกเขาคือการทำความเข้าใจความสามารถของ AI และเครื่องมือที่เชื่อมต่อ เช่น การเข้าถึงระบบไฟล์ภายในหรือช่องทางการสื่อสาร ขั้นตอนการสอดแนมนี้ช่วยให้พวกเขาสร้างข้อความแจ้งเป้าหมายได้

ถัดไป พวกเขาใช้เทคนิคการเจลเบรกที่ซับซ้อน ซึ่งไม่ใช่การฉีดข้อความแจ้งแบบง่ายๆ อีกต่อไป แต่เป็นลำดับที่ซับซ้อนที่ออกแบบมาเพื่อหลีกเลี่ยงตัวกรองเนื้อหาและกลไกความปลอดภัย เทคนิคเหล่านี้มีจุดมุ่งหมายเพื่อบ่อนทำลายการป้องกันที่ตั้งใจไว้ของ AI ทำให้สามารถสร้างการตอบสนองหรือดำเนินการที่ปกติแล้วจะถูกห้าม จุดเน้นคือการสร้างการควบคุมกระบวนการตัดสินใจของ AI

เมื่อถูกเจลเบรกแล้ว ผู้โจมตีจะใช้ประโยชน์จากการเข้าถึงระบบภายในของ AI ตัวอย่างเช่น พวกเขาอาจสร้าง URL หรือคำขอที่เป็นอันตราย ซึ่งเมื่อประมวลผลโดย AI ที่ถูกบุกรุก จะบังคับให้โต้ตอบกับที่เก็บข้อมูลที่ละเอียดอ่อน เช่น กล่องจดหมาย OneDrive หรือบัญชี SharePoint AI ซึ่งดำเนินการภายใต้อิทธิพลของการเจลเบรก จะทำการขโมยข้อมูล ซึ่งมักจะผ่านช่องทางการสื่อสารภายในที่ดูเหมือนถูกต้องตามกฎหมาย หรือโดยการทำให้ข้อมูลสามารถเข้าถึงได้จากภายนอก

สิ่งที่ผู้ป้องกันพลาดไป

กลยุทธ์การรักษาความปลอดภัยทางไซเบอร์สำหรับ AI จำนวนมากในอดีตมุ่งเน้นไปที่การรักษาความปลอดภัยของโมเดลเอง โดยมองข้ามระบบนิเวศที่กว้างขึ้น แม้ว่าความปลอดภัยของโมเดลจะมีความสำคัญ แต่ช่องโหว่ที่แท้จริงมักจะอยู่ที่ความสามารถของ AI ในการเรียกใช้เครื่องมือและโต้ตอบกับข้อมูลขององค์กร การมองข้ามนี้หมายความว่าแม้แต่โมเดลที่ 'ปลอดภัย' ก็สามารถกลายเป็นช่องทางสำหรับการขโมยข้อมูลได้หากความสามารถแบบ agentic ของมันถูกบุกรุก

อีกแง่มุมที่พลาดไปคือการประเมินค่าต่ำไปของ 'การเจลเบรกแบบสากล' ที่สามารถคงอยู่ได้ในงานที่ซับซ้อนหลายขั้นตอน ผู้ป้องกันมักจะสันนิษฐานว่าข้อความแจ้งปัญหาเดียวสามารถแก้ไขได้ แต่การเจลเบรกแบบ agentic สามารถมีอิทธิพลต่อการวางแผน การเลือกเครื่องมือ การเรียกใช้โค้ด และการตัดสินใจระดับกลางหลายร้อยรายการ สิ่งนี้ทำให้การกรองแบบเดิมที่ตอบสนองต่อเหตุการณ์ไม่เพียงพอต่อผู้ไม่หวังดีที่มุ่งมั่น

สุดท้าย การวิวัฒนาการอย่างรวดเร็วของความสามารถของ AI และเทคนิคการเจลเบรกนั้นเร็วกว่ากลไกการป้องกันแบบคงที่ ข้อเท็จจริงที่ว่าการเจลเบรกใหม่ได้รับการพัฒนาค่อนข้างเร็ว และโมเดลไซเบอร์ที่มีความสามารถเพิ่มขึ้นยังคงมีช่องโหว่ บ่งชี้ว่าตำแหน่งความปลอดภัยที่ต่อเนื่องและปรับเปลี่ยนได้เป็นสิ่งสำคัญ การพึ่งพาการลดหย่อนก่อนการเปิดตัวเพียงอย่างเดียวไม่เพียงพอ เนื่องจากทีม Red Team ยังคงค้นพบวิธีการที่คล้ายกันหลังการปรับใช้

รายการตรวจสอบการป้องกันที่เป็นประโยชน์

• ใช้การควบคุมการเข้าถึงที่เข้มงวดสำหรับ AI agent: จำกัดการเข้าถึง AI เฉพาะข้อมูลและระบบที่จำเป็นอย่างยิ่งสำหรับการทำงานของมัน ใช้หลักการสิทธิ์ขั้นต่ำสำหรับ AI ที่บูรณาการทั้งหมด
• ตรวจสอบการเรียกใช้เครื่องมือ AI: บล็อกการเรียกใช้เครื่องมือ AI agent ที่เป็นอันตรายทันทีที่เกิดขึ้น กำหนดการตรวจสอบและการแจ้งเตือนแบบเรียลไทม์สำหรับการโต้ตอบ AI ที่ผิดปกติกับทรัพยากรขององค์กร
• Red Team ระบบ AI เป็นประจำ: ดำเนินการทดสอบการโจมตีเชิงรุกอย่างต่อเนื่องและเชิงลึกกับผู้ช่วย AI ขององค์กร โดยเน้นที่การเจลเบรกแบบ agentic และเวกเตอร์การขโมยข้อมูล ซึ่งควรจะเกินกว่าการทดสอบข้อความแจ้งแบบง่ายๆ
• แยกข้อมูลที่ละเอียดอ่อน: ออกแบบสถาปัตยกรรมที่เก็บข้อมูลขององค์กรเพื่อแบ่งส่วนข้อมูลที่มีความละเอียดอ่อนสูง ลดขนาดความเสียหายหาก AI agent ถูกบุกรุก
• ให้ความรู้พนักงานเกี่ยวกับความเสี่ยงของ AI: แม้ว่าจะไม่ใช่ทางออกเดียว แต่การรับรู้ของผู้ใช้เกี่ยวกับการโต้ตอบ AI ที่ปลอดภัยและการรายงานพฤติกรรม AI ที่น่าสงสัยก็เป็นชั้นของการป้องกัน
• บังคับใช้การป้องกันการสูญหายของข้อมูล (DLP) ที่แข็งแกร่ง: รวมโซลูชัน DLP ที่แข็งแกร่งที่สามารถตรวจจับและป้องกันการรั่วไหลของข้อมูลที่ไม่ได้รับอนุญาตที่เริ่มต้นโดย AI agent หรือเวกเตอร์อื่นๆ
• ตรวจสอบและเสริมความแข็งแกร่งของการรวม API: ตรวจสอบการเชื่อมต่อ API ทุกครั้งที่ผู้ช่วย AI ใช้ เพื่อให้มั่นใจถึงการตรวจสอบสิทธิ์ การอนุญาต และการจำกัดอัตราที่ปลอดภัยเพื่อป้องกันการใช้งานในทางที่ผิด

การทดสอบเชิงรุกสมัยใหม่จะตรวจพบสิ่งนี้ได้อย่างไร

การทดสอบความปลอดภัยแบบดั้งเดิมมักจะมุ่งเน้นไปที่ช่องโหว่ที่รู้จักหรือการวิเคราะห์โค้ดแบบคงที่ ซึ่งไม่เพียงพอต่อลักษณะแบบไดนามิกของการเจลเบรก AI agent การทดสอบเชิงรุกสมัยใหม่ โดยเฉพาะการทดสอบเชิงรุกอัตโนมัติ จะเข้าถึงความท้าทายนี้แตกต่างกันออกไป แทนที่จะพึ่งพาข้อความแจ้งที่มนุษย์สร้างขึ้น จะใช้ Proof-of-Concepts (PoCs) ที่สามารถเรียกใช้งานได้เพื่อตรวจสอบความสามารถแบบ agentic ของ AI

แพลตฟอร์มของเราซึ่งเชี่ยวชาญด้านความปลอดภัยของ AI agent ใช้การทดสอบเชิงรุกอัตโนมัติด้วย PoCs ที่สามารถเรียกใช้งานได้ แนวทางนี้จำลองวิธีการของผู้โจมตีที่ซับซ้อน โดยระบุช่องโหว่ที่ AI agent สามารถถูกบังคับให้ดำเนินการโดยไม่ตั้งใจ เช่น การขโมยข้อมูลหรือการเข้าถึงระบบโดยไม่ได้รับอนุญาต โดยการสร้างและเรียกใช้ห่วงโซ่การโจมตีที่ซับซ้อนโดยอัตโนมัติ สามารถเปิดเผยจุดอ่อนที่ละเอียดอ่อนในการรวม AI เข้ากับระบบขององค์กรได้นานก่อนที่ผู้โจมตีที่เป็นมนุษย์จะทำได้

การทดสอบดังกล่าวสามารถระบุได้ว่าอินพุตบางอย่างอาจหลอกผู้ช่วย AI ให้เข้าถึงข้อมูลที่ละเอียดอ่อนจากกล่องจดหมาย OneDrive และบัญชี SharePoint ได้อย่างไร มันจะแมปขอบเขตทั้งหมดของการเข้าถึงของ AI ที่ถูกเจลเบรกภายในเครือข่ายขององค์กร โดยเน้นเส้นทางสำหรับการเปิดเผยข้อมูลผ่านการเรียกใช้เครื่องมือและการโต้ตอบของระบบ การทดสอบเชิงรุกที่ตระหนักถึง agentic นี้มีความสำคัญต่อการรักษาความปลอดภัยของ AI ระดับองค์กรรุ่นต่อไป

สิ่งที่ต้องจับตาดูต่อไป

ภูมิทัศน์ของความปลอดภัยของ AI กำลังพัฒนาอย่างรวดเร็ว CISO และวิศวกรความปลอดภัยต้องติดตามการพัฒนาเทคนิคการเจลเบรกแบบสากลที่ซับซ้อนมากขึ้นอย่างใกล้ชิด โดยเฉพาะอย่างยิ่งเทคนิคที่สามารถมีอิทธิพลต่องานที่ขับเคลื่อนด้วยเครื่องมือที่ยาวนาน เมื่อโมเดล AI มีความสามารถแบบ agentic มากขึ้น ความสามารถในการดำเนินการที่ซับซ้อนหลายขั้นตอนจะเพิ่มขึ้น ทำให้ผลกระทบของการเจลเบรกที่ประสบความสำเร็จรุนแรงกว่าการสร้างการตอบสนองที่ต้องห้ามเพียงอย่างเดียว

คาดว่าจะเห็นความสำคัญที่เพิ่มขึ้นในการรักษาความปลอดภัยของการรวม AI เข้ากับระบบ พื้นผิวช่องโหว่กำลังเปลี่ยนจากโมเดล AI เองไปยังอินเทอร์เฟซและสิทธิ์ที่อนุญาตให้ AI โต้ตอบกับข้อมูลและโครงสร้างพื้นฐานขององค์กร การรักษาความปลอดภัยจุดโต้ตอบเหล่านี้จะกลายเป็นสิ่งสำคัญสูงสุด อุตสาหกรรมยังต้องคาดการณ์การเกิดขึ้นของเครื่องมือ Red Team ที่ขับเคลื่อนด้วย AI ซึ่งสามารถค้นพบการเจลเบรกใหม่ๆ ได้อย่างอิสระ ซึ่งจำเป็นต้องมีการแข่งขันด้านอาวุธอย่างต่อเนื่องในการรักษาความปลอดภัยของ AI ยิ่ง AI agent ฉลาดขึ้นเท่าใด ความเสี่ยงในการเจลเบรกก็ยิ่งมากขึ้นเท่านั้น