การนำทางขอบเขต AI: คู่มือ CISO สู่การนำ Generative AI มาใช้อย่างปลอดภัย

การรวม Generative AI เข้ากับการดำเนินงานขององค์กรให้ประโยชน์ที่เปลี่ยนแปลงได้ ตั้งแต่เวิร์กโฟลว์ที่รวดเร็วขึ้นไปจนถึงข้อมูลเชิงลึกที่เพิ่มขึ้น อย่างไรก็ตาม การก้าวกระโดดทางเทคโนโลยีนี้ก็ไม่ได้ปราศจากอันตราย รูปแบบเหตุการณ์ที่เกิดขึ้นซ้ำๆ เผยให้เห็นว่าหลายองค์กรยังขาดความพร้อมในการรับมือกับความเสี่ยงด้านความปลอดภัยและการปฏิบัติตามข้อกำหนดที่ไม่เหมือนใครซึ่งเกิดจากผู้จำหน่าย AI ความท้าทายนี้ขยายไปไกลกว่าความปลอดภัยทางไซเบอร์แบบดั้งเดิม โดยเรียกร้องแนวทางพิเศษสำหรับความปลอดภัยของ AI, ธรรมาภิบาล และการบริหารความเสี่ยง

เกิดอะไรขึ้น

องค์กรต่างๆ ที่กระตือรือร้นที่จะควบคุมพลังของ Generative AI ได้นำโซลูชัน AI ของบุคคลที่สามมาใช้อย่างรวดเร็วโดยไม่ได้ประเมินความเสี่ยงด้านความปลอดภัยและการปฏิบัติตามข้อกำหนดที่มีอยู่เดิมอย่างเพียงพอ ซึ่งมักนำไปสู่ท่าทีเชิงรับเมื่อเกิดเหตุการณ์ขึ้น องค์กรจำนวนมากได้ประสบกับการละเมิดที่เกี่ยวข้องกับโมเดลหรือแอปพลิเคชัน AI แล้ว โดยส่วนใหญ่ขาดการควบคุมการเข้าถึง AI ที่เหมาะสม ตัวอย่างเช่น รายงานบางฉบับระบุว่าองค์กรจำนวนมากประสบกับการละเมิดดังกล่าว โดยมีสัดส่วนสูงที่ขาดการควบคุมที่เพียงพอ ผลกระทบยิ่งทวีคูณด้วยลักษณะของการโจมตีทางไซเบอร์สมัยใหม่: การประนีประนอมห่วงโซ่อุปทานเป็นข้อกังวลที่สำคัญ ซึ่งอาจส่งผลกระทบต่อบุคคลจำนวนมากและก่อให้เกิดค่าใช้จ่ายจำนวนมาก เมื่อผู้จำหน่าย AI ประสบกับการละเมิด ความเสี่ยงนั้นจะถูกส่งต่อไปยังลูกค้าโดยตรง ทำให้เกิดผลกระทบเป็นลูกโซ่ตลอดห่วงโซ่อุปทาน

เส้นทางการนำไปใช้ที่รวดเร็วได้แซงหน้าการพัฒนาและการนำกรอบความปลอดภัยเฉพาะสำหรับ AI ที่แข็งแกร่งไปแล้ว หลายองค์กรเข้าใจผิดว่าความปลอดภัยของ AI เป็นเพียงส่วนขยายของโปรโตคอลความปลอดภัยทางไซเบอร์ที่มีอยู่เดิม โดยไม่ตระหนักถึงเวกเตอร์ภัยคุกคามที่แตกต่างกันและข้อกำหนดการปฏิบัติตามข้อกำหนดที่ไม่เหมือนใครสำหรับระบบ AI การละเลยนี้แสดงออกในหลายๆ ด้าน ตั้งแต่การตรวจสอบที่ไม่เพียงพอเกี่ยวกับแนวทางปฏิบัติในการจัดการข้อมูลของผู้จำหน่าย AI ไปจนถึงการขาดกรอบธรรมาภิบาลที่ปรับให้เข้ากับความสามารถอิสระของ AI

ทำไมรูปแบบนี้ถึงเกิดขึ้นซ้ำๆ

เหตุผลพื้นฐานที่รูปแบบนี้ยังคงอยู่คือความไม่สอดคล้องกันระหว่างความเร็วในการนำ AI มาใช้กับความสมบูรณ์ของแนวปฏิบัติด้านความปลอดภัยของ AI ผู้จำหน่าย AI กำลังแพร่หลาย โดยนำเสนอโซลูชันที่น่าสนใจสำหรับเวิร์กโฟลว์ที่เร็วขึ้นและข้อมูลเชิงลึกที่ชาญฉลาดขึ้น อย่างไรก็ตาม นวัตกรรมที่รวดเร็วนี้มักจะแซงหน้าความสามารถขององค์กรในการดำเนินการตรวจสอบสถานะอย่างละเอียด ทีมรักษาความปลอดภัยกำลังเผชิญกับความเสี่ยงใหม่ๆ ที่วิธีการประเมินผู้จำหน่ายแบบดั้งเดิมไม่ได้ออกแบบมาเพื่อรับมือ แหล่งข้อมูลการฝึกอบรมอาจทำให้องค์กรสัมผัสกับการละเมิดข้อกำหนดโดยไม่ได้ตั้งใจ ในขณะที่โมเดล AI เองก็สามารถรั่วไหลหรือจดจำข้อมูลที่ละเอียดอ่อนได้ การพึ่งพาการพึ่งพา AI ของบุคคลที่สามทำให้เกิดช่องโหว่ที่มีอยู่ภายในซึ่งสามารถแสดงออกมาได้โดยไม่มีการเตือนล่วงหน้า

ปัจจัยสำคัญอีกประการหนึ่งคือคำจำกัดความที่กำลังพัฒนาของความปลอดภัยของ AI เอง สิ่งที่ประกอบขึ้นเป็นความปลอดภัยของ AI ในปัจจุบันมีความละเอียดอ่อนมากกว่าในปีก่อนๆ ซึ่งครอบคลุมถึงด้านต่างๆ เช่น ความปลอดภัยของ Agentic AI, ไฟร์วอลล์ AI, ความปลอดภัยของ Model Control Plane (MCP) และการป้องกันรันไทม์ของ AI สิ่งเหล่านี้เป็นโดเมนที่เกี่ยวข้องแต่แตกต่างกัน และผู้จำหน่ายที่เชี่ยวชาญในด้านหนึ่งอาจไม่แข็งแกร่งในด้านอื่นๆ ความซับซ้อนนี้มักนำไปสู่ความสับสนในหมู่ผู้ซื้อ ทำให้ยากต่อการเลือกการควบคุมความปลอดภัยที่เหมาะสมหรือประเมินความสามารถของผู้จำหน่ายได้อย่างถูกต้อง หากไม่มีความเข้าใจที่ชัดเจนเกี่ยวกับความแตกต่างเหล่านี้ องค์กรจะประสบปัญหาในการถามคำถามที่ถูกต้องหรือตรวจสอบการตอบกลับได้อย่างมีประสิทธิภาพ ทำให้เกิดวงจรของการปรับใช้ AI ที่ไม่ปลอดภัย

ความเร็วของนวัตกรรม AI เรียกร้องให้มีการพัฒนาที่รวดเร็วเท่าเทียมกัน แต่มีโครงสร้างที่พิถีพิถัน ในกรอบความปลอดภัยและการปฏิบัติตามข้อกำหนดขององค์กร

คู่มือการโจมตีแบบทีละขั้นตอน

ผู้โจมตีที่กำหนดเป้าหมายองค์กรที่ใช้ Generative AI มักจะใช้วิธีการแบบหลายขั้นตอน โดยใช้ประโยชน์จากแง่มุมที่ทำให้ AI มีประสิทธิภาพและแพร่หลาย คู่มือของพวกเขามักจะเริ่มต้นด้วยการสอดแนมโดยมุ่งเน้นไปที่การระบุองค์กรที่เป็นผู้ใช้บริการ AI ของบุคคลที่สามจำนวนมาก พวกเขามองหาจุดอ่อนที่อาจเกิดขึ้นภายในห่วงโซ่อุปทานของ AI โดยเข้าใจว่าการละเมิดในผู้จำหน่ายรายเดียวสามารถให้การเข้าถึงลูกค้าปลายน้ำหลายรายได้

1. การใช้ประโยชน์จากข้อมูลการฝึกอบรม: ผู้โจมตีอาจกำหนดเป้าหมายแหล่งข้อมูลการฝึกอบรมของโมเดล AI ซึ่งอาจเกี่ยวข้องกับการฉีดข้อมูลที่เป็นอันตรายเพื่อบิดเบือนโมเดล ทำให้เกิดผลลัพธ์ที่เป็นอคติหรือถูกโจมตีได้ หรือการขโมยข้อมูลที่ละเอียดอ่อนที่รวมอยู่ในชุดข้อมูลการฝึกอบรมโดยไม่ได้ตั้งใจ แหล่งกำเนิดข้อมูลการฝึกอบรมที่หลากหลายอาจทำให้เป็นพื้นผิวการโจมตีที่กว้างขวาง
2. การจัดการและการหลบเลี่ยงโมเดล: เมื่อโมเดล AI อยู่ในการผลิต ผู้โจมตีสามารถพยายามจัดการพฤติกรรมของมันผ่านอินพุตที่เป็นปฏิปักษ์หรือเทคนิคการฉีดพรอมต์ สิ่งนี้มีจุดมุ่งหมายเพื่อหลีกเลี่ยงตัวกรองความปลอดภัย ดึงข้อมูลที่เป็นความลับ หรือบังคับให้โมเดลสร้างเนื้อหาที่เป็นอันตราย พวกเขาอาจพยายามใช้ประโยชน์จากช่องโหว่ของโมเดลเพื่อให้บรรลุการกระทำที่ไม่ได้รับอนุญาต
3. การประนีประนอมการพึ่งพา AI ของบุคคลที่สาม: เวกเตอร์ที่สำคัญเกี่ยวข้องกับการกำหนดเป้าหมายผู้จำหน่าย AI โดยตรง ด้วยการละเมิดโครงสร้างพื้นฐานของผู้จำหน่าย ผู้โจมตีสามารถเข้าถึงข้อมูลของลูกค้า ทรัพย์สินทางปัญญา หรือแม้กระทั่งฉีดโค้ดที่เป็นอันตรายเข้าไปในบริการ AI เอง การโจมตีห่วงโซ่อุปทานได้รับการพิสูจน์แล้วว่ามีประสิทธิภาพสูง โดยใช้ประโยชน์จากจุดเดียวของการประนีประนอมเพื่อสร้างผลกระทบในวงกว้าง
4. การใช้ประโยชน์จาก Agentic AI: ด้วยการเพิ่มขึ้นของระบบ Agentic AI ที่สามารถวางแผน ตัดสินใจ และดำเนินการได้อย่างอิสระ ผู้โจมตีจะเปลี่ยนความสนใจจากสิ่งที่โมเดลพูดไปสู่สิ่งที่เอเจนต์ทำ พวกเขามุ่งมั่นที่จะประนีประนอมเอเจนต์เหล่านี้เพื่อดำเนินการทำธุรกรรมที่ไม่ได้รับอนุญาต การแก้ไขข้อมูล หรือการเข้าถึงระบบ โดยใช้ประโยชน์จากสิทธิ์โดยธรรมชาติของเอเจนต์และการเชื่อมต่อกับเครื่องมืออื่นๆ
5. การขโมยและการหาเงิน: ขั้นตอนสุดท้ายเกี่ยวข้องกับการดึงข้อมูลที่มีค่า ไม่ว่าจะเป็นข้อมูลลูกค้าที่ละเอียดอ่อน อัลกอริทึมที่เป็นกรรมสิทธิ์ หรือทรัพย์สินทางปัญญา จากนั้นจึงนำไปหาเงินผ่านช่องทางที่ผิดกฎหมายต่างๆ ซึ่งมักจะใช้ประโยชน์จากการละเมิดเริ่มต้นเพื่อรักษาความต่อเนื่องและขยายการเข้าถึงภายในเครือข่ายของเหยื่อ

สิ่งที่ผู้ป้องกันพลาดไป

ผู้ป้องกันส่วนใหญ่พลาดการเปลี่ยนแปลงจากความเสี่ยงด้านไอทีแบบดั้งเดิมไปสู่ความเสี่ยงเฉพาะสำหรับ AI องค์กรจำนวนมากไม่สามารถตระหนักว่าความปลอดภัยของ AI ไม่สามารถถือเป็นเพียงส่วนขยายของกรอบความปลอดภัยทางไซเบอร์ที่มีอยู่เดิมได้ ลักษณะเฉพาะของ AI เช่น ศักยภาพของโมเดลในการจดจำหรือรั่วไหลข้อมูลที่ละเอียดอ่อน ต้องมีการควบคุมและการประเมินที่แตกต่างกัน การนำโซลูชัน AI มาใช้อย่างรวดเร็วมักจะแซงหน้าการพัฒนากำกับดูแลและโปรแกรมการปฏิบัติตามข้อกำหนดที่เชี่ยวชาญ

ที่สำคัญ องค์กรประเมินความสำคัญของการประเมินความเสี่ยงผู้จำหน่าย AI เชิงลึกต่ำเกินไป แบบสอบถามการตรวจสอบสถานะผู้จำหน่ายทั่วไปไม่เพียงพอสำหรับการประเมินผู้ให้บริการ AI พวกเขามักจะมองข้ามคำถามสำคัญเกี่ยวกับการกำเนิดข้อมูลการฝึกอบรม ความปลอดภัยของโมเดล การควบคุมการเข้าถึงสำหรับแอปพลิเคชัน AI และแผนการตอบสนองต่อเหตุการณ์ของผู้จำหน่ายสำหรับการละเมิดเฉพาะสำหรับ AI ยิ่งไปกว่านั้น ผู้ป้องกันมักจะไม่สามารถตรวจสอบการตอบกลับของผู้จำหน่ายได้อย่างเพียงพอ โดยอาศัยการรับรองตนเองโดยไม่มีการตรวจสอบอิสระ การขาดการทดสอบเชิงรุกที่เฉพาะเจาะจงสำหรับ AI ยังหมายความว่าช่องโหว่ไม่ถูกค้นพบจนกว่าจะเกิดเหตุการณ์ขึ้น

รายการตรวจสอบการป้องกันเชิงปฏิบัติ

เพื่อให้มั่นใจในการนำ Generative AI มาใช้อย่างมีประสิทธิภาพ CISO และวิศวกรความปลอดภัยต้องใช้กลยุทธ์การป้องกันเชิงรุกและเฉพาะสำหรับ AI ซึ่งเกี่ยวข้องกับแนวทางหลายชั้นในการประเมินผู้จำหน่าย ธรรมาภิบาล และการตรวจสอบอย่างต่อเนื่อง

1. พัฒนาแบบสอบถามความเสี่ยงผู้จำหน่ายเฉพาะสำหรับ AI: ก้าวข้ามแบบสอบถามทั่วไป มุ่งเน้นไปที่คำถามเกี่ยวกับแหล่งข้อมูลการฝึกอบรม เทคนิคการปกปิดข้อมูล การอธิบายโมเดล การควบคุมการเข้าถึงสำหรับโมเดลและแอปพลิเคชัน AI และแผนการตอบสนองต่อเหตุการณ์ AI ของผู้จำหน่าย พิจารณากรอบงานเช่น NIST AI RMF และระเบียบวิธี FAIR
2. ใช้การควบคุมการเข้าถึง AI ที่แข็งแกร่ง: ตรวจสอบให้แน่ใจว่าโมเดลและแอปพลิเคชัน AI มีการควบคุมการเข้าถึงที่ละเอียด ซึ่งรวมถึงการจัดการว่าใครสามารถเข้าถึงข้อมูลการฝึกอบรม ใครสามารถปรับใช้โมเดล และสิทธิ์ที่เอเจนต์ AI อิสระมี การขาดการควบคุมการเข้าถึง AI ที่เหมาะสมเป็นช่องโหว่ที่สำคัญ
3. สร้างกรอบธรรมาภิบาล AI: ออกแบบและใช้กรอบธรรมาภิบาล AI ที่ครอบคลุมซึ่งกล่าวถึงการใช้ AI อย่างมีจริยธรรม ความเป็นส่วนตัวของข้อมูล และความปลอดภัย รวมหลักการเช่น Microsoft Responsible AI และใช้เมทริกซ์ RACI เพื่อความรับผิดชอบที่ชัดเจน
4. นำมาตรฐานและใบรับรองความปลอดภัย AI มาใช้: จัดลำดับความสำคัญของผู้จำหน่ายที่ปฏิบัติตามมาตรฐานความปลอดภัย AI ที่กำลังพัฒนา ตัวอย่างเช่น การอัปเดตอุตสาหกรรมบางอย่างรวมถึงการประเมินและรับรองความปลอดภัย AI โดยเฉพาะ และข้อเสนอการประเมินความเสี่ยง AI ซึ่งมีความสำคัญสำหรับอุตสาหกรรมที่มีการควบคุม
5. มุ่งเน้นไปที่ความปลอดภัยของ Agentic AI: สำหรับเอเจนต์ AI อิสระ ให้จัดลำดับความสำคัญของมาตรการรักษาความปลอดภัยที่ป้องกันการกระทำที่ไม่ได้รับอนุญาต ทำความเข้าใจความแตกต่างระหว่างการปกป้องเพียงแค่สิ่งที่โมเดลพูดกับการรักษาความปลอดภัยสิ่งที่เอเจนต์ทำ โดยเฉพาะอย่างยิ่งเมื่อมีการโต้ตอบกับระบบที่ละเอียดอ่อน
6. เรียกร้องความโปร่งใสและการตรวจสอบได้: กำหนดให้ผู้จำหน่าย AI จัดทำเอกสารที่ชัดเจนเกี่ยวกับการพัฒนาโมเดล การปรับใช้ และแนวปฏิบัติในการรักษาความปลอดภัย ตรวจสอบให้แน่ใจว่ามีความสามารถในการตรวจสอบระบบ AI ของตนเพื่อการปฏิบัติตามข้อกำหนดและช่องโหว่ด้านความปลอดภัย
7. ดำเนินการทดสอบเชิงรุกอย่างต่อเนื่อง: ทดสอบระบบ AI และการรวมระบบอย่างต่อเนื่องเพื่อหาช่องโหว่ ซึ่งรวมถึงการทดสอบการเจาะระบบแบบดั้งเดิมควบคู่ไปกับการโจมตีแบบปฏิปักษ์เฉพาะสำหรับ AI และการฝึกซ้อม Red Teaming เพื่อค้นหาจุดอ่อนก่อนที่จะถูกใช้ประโยชน์

การทดสอบเชิงรุกสมัยใหม่จะจับสิ่งนี้ได้อย่างไร

การทดสอบเชิงรุกสมัยใหม่ โดยเฉพาะอย่างยิ่งการใช้การทดสอบเชิงรุกอัตโนมัติด้วย Proof-of-Concepts (PoCs) ที่สามารถดำเนินการได้ จะระบุช่องโหว่ที่นำไปสู่เหตุการณ์เหล่านี้ล่วงหน้า แพลตฟอร์มของเราที่มุ่งเน้นไปที่ ความปลอดภัยของเอเจนต์ AI — การทดสอบเชิงรุกอัตโนมัติด้วย PoCs ที่สามารถดำเนินการได้ เปลี่ยนกระบวนทัศน์จากการป้องกันเชิงรับไปสู่การค้นพบภัยคุกคามเชิงรุก แทนที่จะอาศัยเพียงแบบสอบถามหรือการประเมินแบบคงที่ แนวทางนี้จะจำลองกลยุทธ์ของผู้โจมตีในโลกแห่งความเป็นจริงกับระบบ AI และการรวมระบบของพวกเขา

ตัวอย่างเช่น แพลตฟอร์มดังกล่าวสามารถตรวจสอบโมเดลที่ปรับใช้ของผู้จำหน่าย AI โดยอัตโนมัติเพื่อหาช่องโหว่ในการฉีดพรอมต์ พยายามดึงข้อมูลการฝึกอบรมที่ละเอียดอ่อนหรือหลีกเลี่ยงตัวกรองความปลอดภัย มันสามารถจำลองการโจมตีแบบปฏิปักษ์กับระบบ Agentic AI ทดสอบว่าเอเจนต์อิสระสามารถถูกบังคับให้ดำเนินการที่ไม่ได้รับอนุญาต เช่น การเริ่มต้นการคืนเงินหรือการแก้ไขบันทึกลูกค้า โดยใช้การเข้าถึงเครื่องมือที่เชื่อมต่ออย่างถูกต้อง แพลตฟอร์มไม่เพียงแต่ระบุช่องโหว่เท่านั้น แต่ยังแสดงให้เห็นถึงการใช้ประโยชน์จากการสร้าง PoCs ที่สามารถดำเนินการได้ ซึ่งให้หลักฐานที่เป็นรูปธรรมสำหรับการแก้ไข

การทดสอบประเภทนี้จะขยายไปถึงห่วงโซ่อุปทาน AI ทั้งหมด โดยระบุจุดอ่อนในวิธีการที่องค์กรบูรณาการและใช้บริการจากผู้ให้บริการ AI ของบุคคลที่สาม มันจะเปิดเผยการกำหนดค่าที่ไม่ถูกต้องในการควบคุมการเข้าถึง AI เส้นทางการรั่วไหลของข้อมูลจากเอาต์พุตของโมเดล และจุดเข้าถึงลับที่อาจเกิดขึ้นจากการพึ่งพาผู้จำหน่าย การทดสอบเชิงรุกอย่างต่อเนื่องนี้ให้ข้อมูลเชิงลึกที่สามารถนำไปปฏิบัติได้แก่ CISO ทำให้พวกเขาสามารถเสริมความแข็งแกร่งของการป้องกัน AI และรับรองการปฏิบัติตามข้อกำหนดก่อนที่จะเกิดการละเมิด แทนที่จะตอบสนองต่อการละเมิด

สิ่งที่ต้องจับตาดูต่อไป

ภูมิทัศน์ของความปลอดภัย AI กำลังพัฒนาอย่างรวดเร็ว และ CISO ต้องเฝ้าระวังภัยคุกคามที่เกิดขึ้นใหม่และการเปลี่ยนแปลงกฎระเบียบ การมุ่งเน้นจะคมชัดขึ้นเรื่อยๆ ที่ ความปลอดภัยของ Agentic AI เนื่องจากระบบอัตโนมัติได้รับความสามารถและความรับผิดชอบมากขึ้น เมื่อเอเจนต์ AI ก้าวข้ามแชทบอทง่ายๆ ไปสู่ระบบที่สามารถวางแผน ตัดสินใจ และดำเนินการได้ ผลกระทบด้านความปลอดภัยจะลึกซึ้งยิ่งขึ้น ความแตกต่างระหว่าง 'สิ่งที่โมเดลพูด' กับ 'สิ่งที่เอเจนต์ทำ' จะมีความสำคัญสูงสุด ซึ่งจำเป็นต้องมีการควบคุมที่แข็งแกร่งเหนือสิทธิ์และการโต้ตอบของเอเจนต์

หน่วยงานกำกับดูแลจะยังคงปรับกรอบงานของตนเพื่อจัดการกับความเสี่ยงเฉพาะสำหรับ AI การอัปเดตอุตสาหกรรม เช่น จากหน่วยงานรับรองชั้นนำ ซึ่งรวมถึงการประเมินและรับรองความปลอดภัย AI โดยเฉพาะ เป็นตัวบ่งชี้ที่ชัดเจนของแนวโน้มนี้ องค์กรในภาคส่วนที่มีการควบคุมอย่างเข้มงวด เช่น การดูแลสุขภาพและการเงิน จะเผชิญกับแรงกดดันที่เพิ่มขึ้นในการแสดงให้เห็นถึงการปฏิบัติตามมาตรฐานความปลอดภัยเฉพาะสำหรับ AI ยิ่งไปกว่านั้น การรวมความปลอดภัย AI เข้ากับกรอบการบริหารความเสี่ยงขององค์กรที่กว้างขึ้น เช่น NIST AI RMF และระเบียบวิธี FAIR จะกลายเป็นแนวปฏิบัติมาตรฐาน การเน้นจะเปลี่ยนไปสู่การอัปเดตการควบคุมความปลอดภัยอย่างต่อเนื่องโดยอาศัยข้อมูลภัยคุกคาม เพื่อให้มั่นใจว่าธรรมาภิบาลสามารถก้าวทันลักษณะที่เปลี่ยนแปลงไปของความเสี่ยง AI