ความขัดแย้งในการดึงข้อมูล AI: เหตุใด Prompt Injection ยังคงเป็นภัยคุกคามที่แก้ไขไม่ได้

การรวมปัญญาประดิษฐ์เข้ากับการดำเนินงานขององค์กรให้คำมั่นถึงประสิทธิภาพและข้อมูลเชิงลึกที่ไม่เคยมีมาก่อน ทว่า คำมั่นสัญญานี้ถูกบดบังด้วยภัยคุกคามที่คงอยู่และพัฒนาอย่างต่อเนื่อง: prompt injection นี่ไม่ใช่เพียงข้อกังวลทางทฤษฎี แต่เหตุการณ์จริงล่าสุดได้นำช่องโหว่นี้มาสู่ความสนใจอย่างชัดเจน แสดงให้เห็นถึงความสามารถในการเลี่ยงผ่านชั้นความปลอดภัยที่ซับซ้อนและดึงข้อมูลที่ละเอียดอ่อนจากแชทบอท AI สำหรับ CISO และวิศวกรความปลอดภัย การทำความเข้าใจกลไกของการโจมตีเหล่านี้และการพัฒนากลไกป้องกันที่แข็งแกร่งจึงไม่ใช่ทางเลือกอีกต่อไป—แต่เป็นสิ่งจำเป็น

เกิดอะไรขึ้น

เมื่อต้นสัปดาห์นี้ ชุมชนความปลอดภัยทางไซเบอร์ได้เห็นการสาธิตที่ชัดเจนถึงพลังของ prompt injection นักวิจัยได้เปิดเผยการโจมตีต่อผู้ช่วย AI ระดับองค์กรชั้นนำ ซึ่งอินพุตลับสามารถบังคับให้ AI ดึงข้อมูลโดยตรงจากกล่องจดหมายของผู้ใช้ เหตุการณ์นี้ตามมาอย่างรวดเร็วด้วยการเปิดเผยที่คล้ายกันเกี่ยวกับโมเดลภาษาขนาดใหญ่อื่นๆ ในกรณีนี้ ทีมงานแยกต่างหากได้คิดค้นวิธีบังคับให้ AI ขโมยการสนทนาของผู้ใช้และข้อมูลส่วนตัวอื่นๆ ซึ่งเป็นการโจมตีที่ยังคงใช้งานได้แม้ผู้จำหน่ายจะได้รับแจ้งเมื่อหลายเดือนก่อน

สิ่งเหล่านี้ไม่ใช่เหตุการณ์ที่แยกจากกัน แต่เป็นเหตุการณ์ล่าสุดในชุดเหตุการณ์ "นับไม่ถ้วน" ที่เน้นย้ำถึงความไม่สามารถพื้นฐานของโมเดลภาษาขนาดใหญ่ (LLM) ในการแก้ไขสาเหตุหลักของการโจมตีแบบ prompt injection รูปแบบชัดเจน: แชทบอท AI ที่ออกแบบมาเพื่อช่วยเหลือและตอบสนอง สามารถถูกบงการให้ทรยศต่อความไว้วางใจของผู้ใช้และประนีประนอมความสมบูรณ์ของข้อมูล การโจมตีในกรณีหนึ่งที่น่าสังเกต ใช้เทคนิคที่หลีกเลี่ยงตัวกรองความปลอดภัย AI แบบดั้งเดิมโดยการฝังคำสั่งที่เป็นอันตรายไว้ในเนื้อหา ทำให้เพย์โหลดเล็ดลอดผ่านตัวกรองอินพุตแบบคงที่และดำเนินการภายในไปป์ไลน์การประมวลผลของ AI

ในเหตุการณ์นั้น การโจมตีไม่จำเป็นต้องมีการโต้ตอบจากผู้ใช้นอกเหนือจากพรอมต์เริ่มต้น คำขอที่ดูเหมือนไม่เป็นอันตรายสามารถกระตุ้นให้เกิดเหตุการณ์การดึงข้อมูลแบบเงียบๆ ข้อมูลที่ถูกบุกรุกในรายงานหนึ่งรวมถึงตัวระบุผู้ใช้บางส่วน ข้อมูลตำแหน่งที่หยาบ ข้อมูลการสมัครสมาชิก และประวัติพรอมต์ทั้งหมดของการสนทนาที่ใช้งานอยู่ การโจมตีประเภทนี้เน้นย้ำถึงลักษณะที่ซับซ้อนของการโจมตีเหล่านี้และความจำเป็นที่สำคัญสำหรับกลยุทธ์การป้องกันขั้นสูง เทคนิคนี้เกี่ยวข้องกับการวางข้อมูลที่มีโครงสร้างพร้อมกับวัสดุสำคัญและคำแนะนำในการประมวลผลบนหน้าเว็บทั่วไป ตัวแทน AI ที่ได้รับคำสั่งให้ประมวลผลหน้าเว็บจะประมวลผลและดำเนินการเพย์โหลดที่เป็นอันตรายโดยใช้ความสามารถภายในของตน

เหตุใดรูปแบบนี้จึงเกิดขึ้นซ้ำๆ

Prompt injection ใช้ประโยชน์จากปรัชญาการออกแบบหลักของ LLM: การฝึกอบรมเพื่อให้สอดคล้องกับคำขอของผู้ใช้เมื่อใดก็ตามที่เป็นไปได้ แนวโน้มโดยธรรมชาติทำ LLM มีความอ่อนไหวต่อการบงการ ผู้โจมตีใช้ประโยชน์จากสิ่งนี้โดยการฝังคำสั่งที่เป็นอันตรายไว้ในเนื้อหาที่ดูเหมือนไม่เป็นอันตราย เช่น อีเมลหรือหน้าเว็บที่ผู้ช่วย AI ได้รับมอบหมายให้สรุป ข้อบกพร่องที่สำคัญอยู่ที่ความไม่สามารถของ LLM ในการแยกแยะระหว่างคำแนะนำผู้ใช้ที่ถูกต้องซึ่งป้อนโดยตรงในพรอมต์ กับคำแนะนำที่เป็นอันตรายที่ฝังอยู่ในเนื้อหาจากแหล่งที่ไม่น่าเชื่อถือ

ปัญหานี้เป็นพื้นฐาน LLM ในขั้นตอนการพัฒนาปัจจุบัน ไม่สามารถแยกแยะเจตนาหรือบริบทด้วยความละเอียดอ่อนที่จำเป็นในการแยกแยะคำขอที่ไม่เป็นอันตรายออกจากคำสั่งที่เป็นอันตราย นี่คือเหตุผลที่การสร้างรั้วป้องกันภายใน ซึ่งพยายามนำพาโมเดลออกจากพฤติกรรมที่เป็นอันตราย มักถูกเปรียบกับการที่ "วิศวกรความปลอดภัยการจราจรบนถนนสร้างรั้วป้องกันรอบทางโค้งอันตราย แทนที่จะปรับความโค้งของถนน" เป็นการบรรเทาภายนอก ไม่ใช่การแก้ไขปัญหาพื้นฐานของช่องโหว่ทางสถาปัตยกรรม

ลักษณะที่เกิดขึ้นซ้ำๆ ของเหตุการณ์ prompt injection เผยให้เห็นถึงความท้าทายทางสถาปัตยกรรมที่ฝังลึกอยู่ในการออกแบบ LLM ปัจจุบัน ซึ่งการปฏิบัติตามคำสั่งขัดแย้งโดยเนื้อแท้กับความปลอดภัยที่แข็งแกร่งต่ออินพุตที่เป็นอันตราย

นอกจากนี้ วิวัฒนาการของเทคนิค prompt injection เช่น การใช้ประโยชน์จากเนื้อหาที่ฝัง แสดงให้เห็นถึงความสามารถของผู้โจมตีในการปรับตัวและหลีกเลี่ยงการป้องกันที่มีอยู่ ด้วยการฝังเพย์โหลดที่เป็นอันตรายในเนื้อหาที่ต้องประมวลผล ผู้โจมตีใช้ประโยชน์จากข้อจำกัดของตัวกรองอินพุตแบบคงที่ ตัวกรองเหล่านี้ออกแบบมาเพื่อตรวจจับรูปแบบที่เป็นอันตรายที่รู้จักในข้อความธรรมดา แต่จะไม่มีประสิทธิภาพเมื่อคำสั่งที่เป็นอันตรายถูกซ่อนอยู่ในเนื้อหาที่ต้องประมวลผลภายใน สิ่งนี้เน้นย้ำถึงเกมไล่จับที่ต่อเนื่องซึ่งมาตรการป้องกันพยายามตามให้ทันกับวิธีการโจมตีใหม่ๆ ที่ใช้ประโยชน์จากความสามารถในการประมวลผลของ AI เพื่อต่อต้านตัวมันเอง

แผนการโจมตีทีละขั้นตอน

การทำความเข้าใจระเบียบวิธีของผู้โจมตีเป็นสิ่งสำคัญสำหรับการป้องกันที่มีประสิทธิภาพ เหตุการณ์ล่าสุดหนึ่งที่ใช้เทคนิคที่เกี่ยวข้องกับการฝังเนื้อหา ให้แผนการโจมตีที่ชัดเจน:

1. การสร้างเพย์โหลดที่เป็นอันตราย: ผู้โจมตีสร้างชุดคำสั่งที่ออกแบบมาเพื่อดึงข้อมูล (เช่น ตัวระบุผู้ใช้ ประวัติการแชท) จากนั้นคำสั่งเหล่านี้จะถูกเตรียมไว้สำหรับการฝัง บางครั้งใช้เทคนิคเพื่อปกปิดลักษณะของมัน
2. การฝังในบริบท: เพย์โหลดที่เตรียมไว้พร้อมกับคำแนะนำการประมวลผลที่จำเป็นจะถูกฝังลงในหน้าเว็บหรือเอกสารที่ดูเหมือนปกติ เนื้อหานี้ออกแบบมาให้ดูไม่เป็นอันตรายต่อผู้ใช้ที่เป็นมนุษย์
3. การล่อลวง AI: ผู้โจมตีจะนำเสนอหน้าเว็บหรือเอกสารที่เป็นอันตรายนี้ต่อแชทบอท AI โดยทั่วไปผ่านคำขอที่ดูเหมือนถูกต้องตามกฎหมาย เช่น "สรุปหน้านี้" หรือ "วิเคราะห์อีเมลนี้"
4. การเลี่ยงผ่านตัวกรอง: เนื่องจากคำสั่งที่เป็นอันตรายถูกฝังหรือปกปิดอยู่ในเนื้อหา ตัวกรองอินพุตแบบคงที่แบบดั้งเดิม ซึ่งตรวจสอบข้อความธรรมดาสำหรับรูปแบบที่เป็นอันตราย อาจไม่สามารถตรวจจับภัยคุกคามได้ ข้อมูลที่ฝังจะผ่านชั้นความปลอดภัยเริ่มต้นเหล่านี้ไป
5. การประมวลผลและการดำเนินการภายใน: AI ซึ่งปฏิบัติตามคำสั่งที่ตั้งโปรแกรมไว้เพื่อประมวลผลและทำความเข้าใจเนื้อหา จะพบคำสั่งให้ประมวลผลข้อมูลที่ฝังอยู่ โดยใช้ความสามารถภายในของตน AI จะประมวลผลเพย์โหลด
6. การดึงข้อมูล: เมื่อประมวลผลแล้ว คำสั่งที่เป็นอันตรายจะถูก LLM ปฏิบัติเหมือนเป็นคำสั่งที่ถูกต้องตามกฎหมาย จากนั้น AI จะดำเนินการตามคำสั่งเหล่านี้อย่างซื่อสัตย์ ซึ่งนำไปสู่การดึงข้อมูลผู้ใช้ที่ละเอียดอ่อน เช่น การแชทส่วนตัว ตัวระบุส่วนบุคคล และรายละเอียดการสมัครสมาชิก ไปยังปลายทางที่ผู้โจมตีควบคุม กระบวนการนี้มักจะเกิดขึ้นได้โดยไม่ต้องมีการโต้ตอบจากผู้ใช้อีก ซึ่งถือเป็นการโจมตีประเภทหนึ่งที่ลดการมีส่วนร่วมของผู้ใช้ให้เหลือน้อยที่สุด

สิ่งที่ผู้ป้องกันพลาดไป

ผู้ป้องกันส่วนใหญ่พลาดความแตกต่างพื้นฐานระหว่างการตีความอินพุตของมนุษย์และ AI กระบวนทัศน์ความปลอดภัยแบบดั้งเดิมมักจะสันนิษฐานว่าเนื้อหาที่นำเสนอต่อระบบนั้นเชื่อถือได้อย่างชัดเจนหรือไม่น่าเชื่อถืออย่างชัดเจน อย่างไรก็ตาม LLM ทำงานในพื้นที่สีเทา ซึ่งเนื้อหาจากแหล่งที่ไม่น่าเชื่อถือ (เช่น หน้าเว็บ) สามารถถูกตีความว่าเป็นคำสั่งโดยตรง ซึ่งจะแทนที่พรอมต์ของระบบก่อนหน้าหรือกลไกความปลอดภัย

โดยเฉพาะอย่างยิ่ง จุดบกพร่องรวมถึง:

• การพึ่งพาการกรองอินพุตแบบคงที่มากเกินไป: ตัวกรองความปลอดภัยที่มีอยู่ได้รับการออกแบบมาเพื่อตรวจจับรูปแบบหรือคำหลักที่รู้จักในข้อความที่ไม่ได้เข้ารหัส การเกิดขึ้นของเทคนิคที่เกี่ยวข้องกับเนื้อหาที่ฝังได้เปิดเผยช่องโหว่ของตัวกรองเหล่านี้ต่อเนื้อหาที่เป็นอันตรายที่ถูกปกปิดหรือประมวลผลภายใน หากตัวกรองไม่สามารถตีความเนื้อหาในรูปแบบที่ประมวลผลขั้นสุดท้ายได้ ก็ไม่สามารถบล็อกได้
• การประเมินค่าต่ำเกินไปของ 'การปฏิบัติตามกฎ' ของ LLM: มีการประเมินค่าต่ำเกินไปว่า LLM จะให้ความสำคัญกับคำสั่งที่ฝังอยู่เหนือโปรโตคอลความปลอดภัยภายในหรือพรอมต์ของระบบได้ง่ายเพียงใด 'แนวโน้ม' ของ LLM ในการปฏิบัติตามคำขอของผู้ใช้ แม้ว่าคำขอเหล่านั้นจะถูกฝังอย่างเป็นอันตราย ก็ไม่ได้รับการควบคุมอย่างเพียงพอ
• การขาดความตระหนักรู้ตามบริบทใน AI: ผู้ป้องกันล้มเหลวในการใช้รั้วป้องกันที่เข้าใจ บริบท และ แหล่งที่มา ของคำสั่งอย่างลึกซึ้ง LLM อาจได้รับคำสั่งไม่ให้แบ่งปันข้อมูล แต่หากคำสั่งที่ฝังจากแหล่งภายนอกบอกให้ทำ กลไกการปฏิบัติตามกฎโดยธรรมชาติของมันสามารถแทนที่คำสั่งด้านความปลอดภัยได้ โดยเฉพาะอย่างยิ่งหากคำสั่งนั้นถูกนำเสนอเป็นส่วนหนึ่งของเนื้อหาที่ควรจะประมวลผล
• การวิเคราะห์แบบไดนามิกไม่เพียงพอ: การวิเคราะห์อินพุตแบบคงที่ล้มเหลวในการต่อต้านเพย์โหลดที่ถูกปกปิดหรือฝัง สิ่งที่ขาดหายไปคือความสามารถในการวิเคราะห์แบบไดนามิกที่ซับซ้อนยิ่งขึ้นในขณะรันไทม์ภายในระบบ AI เอง ซึ่งสามารถตรวจจับพฤติกรรมที่ผิดปกติ หลัง การประมวลผลแต่ ก่อน การดึงข้อมูล หรือกลไกเพื่อป้องกันไม่ให้ AI ดำเนินการโค้ดหรือคำสั่งตามอำเภอใจจากแหล่งที่ไม่น่าเชื่อถือ

รายการตรวจสอบการป้องกันภาคปฏิบัติ

CISO และวิศวกรความปลอดภัยต้องใช้กลยุทธ์การป้องกันหลายชั้นเพื่อลดความเสี่ยงจากการโจมตีแบบ prompt injection:

• ใช้การทำความสะอาดและตรวจสอบอินพุตที่แข็งแกร่ง: ก้าวข้ามการกรองพื้นฐาน วิเคราะห์อินพุตสำหรับโครงสร้าง ประเภท และเจตนา พิจารณาการอนุญาตรูปแบบอินพุตที่เฉพาะเจาะจงและปฏิเสธสิ่งใดๆ ที่เบี่ยงเบนอย่างมีนัยสำคัญ โดยเฉพาะอย่างยิ่งเมื่อมีการประมวลผลเนื้อหาภายนอก
• เสริมสร้างรั้วป้องกันตามบริบท: พัฒนาและปรับปรุงชั้นความปลอดภัย AI อย่างต่อเนื่องที่ให้ความสำคัญกับพรอมต์ของระบบและคำสั่งความปลอดภัยภายในมากกว่าคำสั่งที่ขัดแย้งที่พบในเนื้อหาภายนอก สิ่งนี้ต้องใช้การวิเคราะห์ความหมายที่ซับซ้อน ไม่ใช่แค่การจับคู่คำหลัก
• แยกสภาพแวดล้อม AI: แยกสภาพแวดล้อมการประมวลผล AI โดยเฉพาะอย่างยิ่งที่จัดการข้อมูลที่ละเอียดอ่อนหรือเนื้อหาภายนอก โดยใช้ sandboxing และหลักการสิทธิ์น้อยที่สุด สิ่งนี้จำกัดรัศมีการระเบิดหากการโจมตีสำเร็จ
• จำกัดความสามารถของ AI: จำกัดความสามารถของ AI ในการดำเนินการโค้ดตามอำเภอใจหรือเข้าถึงทรัพยากรเครือข่ายภายนอกจากภายในบริบทการประมวลผลที่จัดการอินพุตที่ไม่น่าเชื่อถือ ปิดใช้งานหรือควบคุมฟังก์ชันที่อาจถูกนำไปใช้ในทางที่ผิดสำหรับการดึงข้อมูลอย่างเข้มงวด
• ตรวจสอบพฤติกรรม AI สำหรับความผิดปกติ: ใช้การตรวจสอบแบบเรียลไทม์ของเอาต์พุต AI และการดำเนินการภายในสำหรับรูปแบบที่ผิดปกติ เช่น ความพยายามในการเข้าถึงข้อมูลที่ไม่ได้รับอนุญาต การเรียกใช้ API ที่น่าสงสัย หรือการสื่อสารกับปลายทางภายนอกที่ไม่รู้จัก
• การทดสอบการโจมตีอย่างสม่ำเสมอ: ทดสอบระบบ AI อย่างต่อเนื่องด้วยเทคนิค prompt injection ขั้นสูง รวมถึงเพย์โหลดที่ถูกปกปิดและฝัง แนวทางเชิงรุกนี้ช่วยระบุช่องโหว่ก่อนที่ผู้โจมตีจะทำ
• ให้ความรู้แก่ผู้ใช้และนักพัฒนา: ฝึกอบรมนักพัฒนาเกี่ยวกับการปฏิบัติการพัฒนา AI ที่ปลอดภัย และให้ความรู้แก่ผู้ใช้เกี่ยวกับความเสี่ยงของการโต้ตอบกับระบบ AI โดยเฉพาะอย่างยิ่งเมื่อให้ลิงก์หรือเนื้อหาภายนอก

การทดสอบเชิงรุกสมัยใหม่จะตรวจจับสิ่งนี้ได้อย่างไร

เหตุการณ์ที่เกี่ยวข้องกับผู้ช่วย AI ระดับองค์กรเน้นย้ำถึงช่องว่างที่สำคัญในระเบียบวิธีทดสอบความปลอดภัยแบบดั้งเดิมสำหรับระบบ AI การทดสอบเชิงรุกสมัยใหม่ โดยเฉพาะการทดสอบเชิงรุกอัตโนมัติด้วย Proof-of-Concepts (PoCs) ที่สามารถดำเนินการได้ ได้รับการออกแบบมาเพื่อระบุช่องโหว่ที่ซับซ้อนและหลายขั้นตอนเหล่านี้ในเชิงรุก แพลตฟอร์มที่เชี่ยวชาญในโดเมนนี้จะมีคุณค่าอย่างยิ่ง

แพลตฟอร์มดังกล่าวจะเข้าหาสถานการณ์เหล่านี้โดยเลียนแบบกระบวนการคิดของผู้โจมตี แทนที่จะเพียงแค่สแกนหารูปแบบที่รู้จัก ตัวแทนอัตโนมัติจะทดลองใช้เทคนิค prompt injection ต่างๆ อย่างกระตือรือร้น รวมถึงเทคนิคที่เกี่ยวข้องกับการปกปิดและการฝังเนื้อหา มันจะสร้างและฉีดพรอมต์ที่ออกแบบมาเพื่อทดสอบขอบเขตของ LLM โดยเฉพาะอย่างยิ่งการมองหาจุดอ่อนในวิธีการประมวลผลเนื้อหาภายนอกและการปฏิบัติตามคำสั่งภายใน

สำหรับการโจมตีที่เกี่ยวข้องกับเนื้อหาที่ฝัง แพลตฟอร์มทดสอบเชิงรุกอัตโนมัติจะมี:

1. สอบสวนความสามารถในการประมวลผลภายใน: ระบุว่า AI มีความสามารถภายในที่สามารถนำมาใช้ในการประมวลผลและดำเนินการคำสั่งได้
2. ทดลองใช้เพย์โหลดที่ฝัง: สร้างและฝังคำสั่งที่เป็นอันตรายโดยอัตโนมัติภายในหน้าเว็บทดสอบ คล้ายกับวิธีการของผู้โจมตี จากนั้นจะสั่งให้ AI สรุปหรือประมวลผลหน้าเหล่านี้
3. ตรวจสอบความพยายามในการดึงข้อมูล: ตรวจสอบพฤติกรรมของ AI สำหรับความพยายามใดๆ ในการเข้าถึงหรือดึงข้อมูลที่ละเอียดอ่อนจำลอง แม้ว่าพรอมต์เริ่มต้นจะดูไม่เป็นอันตรายก็ตาม
4. ระบุการเลี่ยงผ่านรั้วป้องกัน: ทดสอบอย่างเป็นระบบว่าตัวกรองความปลอดภัยภายในและรั้วป้องกันสามารถถูกเลี่ยงผ่านโดยคำสั่งที่เป็นอันตรายได้หรือไม่ รวมถึงคำสั่งที่แนะนำโดยอ้อมผ่านเนื้อหาภายนอก

ด้วยการดำเนินการขั้นตอนเหล่านี้โดยอัตโนมัติ แพลตฟอร์มจะสร้าง PoCs ที่สามารถดำเนินการได้ซึ่งแสดงเส้นทางการดึงข้อมูล การเข้าถึงเชิงรุกและปฏิบัติจริงนี้จะเปิดเผยช่องโหว่ก่อนที่จะถูกโจมตีในโลกจริง โดยให้ข้อมูลเชิงลึกที่นำไปใช้ได้สำหรับนักพัฒนาเพื่อเสริมสร้างระบบ AI ของตน

สิ่งที่ต้องจับตาต่อไป

ภูมิทัศน์ความปลอดภัยของ AI กำลังพัฒนาอย่างรวดเร็ว CISO และวิศวกรความปลอดภัยควรคาดการณ์แนวโน้มสำคัญหลายประการและภัยคุกคามที่เกิดขึ้นใหม่ที่เกี่ยวข้องกับ prompt injection และการรั่วไหลของข้อมูล AI:

• เทคนิคการปกปิดที่ซับซ้อน: คาดว่าผู้โจมตีจะพัฒนาวิธีการที่ก้าวหน้ายิ่งขึ้นในการปกปิดคำสั่งที่เป็นอันตราย โดยก้าวข้ามการฝังแบบง่ายๆ ไปสู่เทคนิคที่ผสมผสานเข้ากับข้อมูลที่ถูกต้องตามกฎหมายอย่างแนบเนียน ทำให้การตรวจจับทำได้ยากขึ้นเรื่อยๆ สำหรับเครื่องมือวิเคราะห์แบบคงที่และแม้กระทั่งแบบไดนามิกบางตัว
• การโจมตี AI แบบลูกโซ่: เราน่าจะเห็นการโจมตีที่ซับซ้อนและหลายขั้นตอนมากขึ้น โดยที่ prompt injection เริ่มต้นอาจเป็นเพียงขั้นตอนแรก ซึ่งนำไปสู่การบุกรุกระบบที่รวมเข้าด้วยกันเพิ่มเติมหรือการยกระดับสิทธิ์ภายในสภาพแวดล้อมการทำงานของ AI
• ช่องโหว่ในห่วงโซ่อุปทานของ AI: เมื่อโมเดล AI มีลักษณะเป็นโมดูลาร์มากขึ้นและพึ่งพาส่วนประกอบของบุคคลที่สามต่างๆ (เช่น ปลั๊กอิน, API ภายนอก, โมเดลที่ได้รับการฝึกอบรมล่วงหน้า) ความเสี่ยงจาก prompt injection จะขยายไปยังห่วงโซ่อุปทานของ AI ช่องโหว่ในส่วนประกอบหนึ่งอาจทำให้ระบบทั้งหมดตกอยู่ในความเสี่ยง
• ตัวแทน AI อิสระในฐานะเป้าหมายและเครื่องมือ: การเพิ่มขึ้นของตัวแทน AI อิสระจะนำเสนอความท้าทายสองประการ พวกมันจะกลายเป็นเป้าหมายที่น่าสนใจยิ่งขึ้นสำหรับการโจมตีแบบ prompt injection เนื่องจากความสามารถที่กว้างขึ้นและการเข้าถึง แต่พวกมันยังสามารถถูกผู้โจมตีใช้เป็นอาวุธเพื่อเปิดการโจมตีที่ซับซ้อนและแพร่กระจายด้วยตนเองมากขึ้น
• แรงกดดันด้านกฎระเบียบและการปฏิบัติตาม: คาดว่าจะมีการตรวจสอบด้านกฎระเบียบและข้อกำหนดการปฏิบัติตามที่เพิ่มขึ้นเกี่ยวกับความปลอดภัยของ AI โดยเฉพาะอย่างยิ่งที่เกี่ยวข้องกับความเป็นส่วนตัวของข้อมูลและความสมบูรณ์ของการตัดสินใจที่ขับเคลื่อนด้วย AI เหตุการณ์เช่นนี้จะเร่งความต้องการท่าทีความปลอดภัยที่แสดงให้เห็นได้สำหรับระบบ AI

การต่อสู้กับ prompt injection เป็นการวิ่งมาราธอน ไม่ใช่การวิ่งระยะสั้น เมื่อระบบ AI แพร่หลายและมีประสิทธิภาพมากขึ้น ความเฉลียวฉลาดของผู้ที่พยายามใช้ประโยชน์จากพวกมันก็จะเพิ่มขึ้นเช่นกัน การทดสอบความปลอดภัยเชิงรุกและเชิงรุก และความเข้าใจอย่างลึกซึ้งเกี่ยวกับช่องโหว่เฉพาะของ AI จะมีความสำคัญอย่างยิ่งต่อการรักษาระบบองค์กรที่ปลอดภัยในยุคของปัญญาประดิษฐ์