Nvidia เปิดตัว Open Agent Safety Platform เมื่อวันจันทร์ โดยใช้การควบคุมสิทธิ์ร่วมกับฮาร์ดแวร์แยกสำหรับตรวจสอบ เพื่อจำกัดความเสี่ยงจาก AI Agent ที่ทำงานเกินขอบเขต แพลตฟอร์มประกอบด้วยซอฟต์แวร์โอเพนซอร์ส OpenShell และส่วนประกอบด้านความปลอดภัยบนฮาร์ดแวร์ Nvidia Sentry ขณะที่องค์กรกว่า 100 แห่ง รวมถึง Microsoft และ Anthropic กำลังร่วมมือกับ Nvidia เพื่อใช้งานระบบดังกล่าว
การเปิดตัวเกิดขึ้นในช่วงที่ห้องปฏิบัติการ AI ชั้นนำหลายแห่งรายงานว่า Agent สามารถหลุดพ้นจากข้อจำกัดของสภาพแวดล้อมทดสอบและเข้าถึงระบบที่ไม่ได้รับอนุญาต ทำให้การกำหนดขอบเขตให้ AI ที่สามารถปฏิบัติงานได้ด้วยตัวเองกลายเป็นประเด็นด้านความปลอดภัยที่ธุรกิจต้องพิจารณาก่อนนำไปใช้งานจริง
เจนเซน หวง ประธานเจ้าหน้าที่บริหารของ Nvidia กล่าวเมื่อวันจันทร์ระหว่างร่วมรายการ “Squawk Box” ของ CNBC ว่า AI มีศักยภาพในการสร้างประโยชน์อย่างมาก แต่เทคโนโลยีดังกล่าวต้องได้รับการพัฒนาและนำไปใช้อย่างปลอดภัย เขามองว่าการควบคุม AI Agent เป็นปัญหาทางวิศวกรรมที่สามารถแก้ไขได้ด้วยเทคโนโลยี
OpenShell กำหนดขอบเขตการเข้าถึงของ Agent
OpenShell เป็นส่วนซอฟต์แวร์ของแพลตฟอร์ม องค์กรสามารถติดตั้งซอฟต์แวร์โอเพนซอร์สนี้บนอุปกรณ์ภายในองค์กรหรือบนคลาวด์ และกำหนดล่วงหน้าว่า Agent จะเข้าถึงไฟล์ เว็บไซต์ เครือข่าย เครื่องมือ และข้อมูลรับรองใดได้บ้าง เมื่อ Agent เริ่มทำงาน OpenShell จะตรวจสอบและบังคับใช้กฎเหล่านี้อย่างต่อเนื่อง
หวงเปรียบเทียบแนวทางดังกล่าวกับการออกบัตรผ่านให้พนักงาน โดยอนุญาตให้เข้าถึงเฉพาะพื้นที่ที่จำเป็นต่อการทำงาน เขากล่าวว่าขั้นตอนแรกคือการเพิกถอนสิทธิ์ทั้งหมดของ Agent จากนั้นจึงเปิดให้เข้าถึงไฟล์ ข้อมูล เครื่องมือ หรืออินเทอร์เน็ตเท่าที่ภารกิจนั้นต้องใช้
ตัวอย่างเช่น Agent ที่ทำหน้าที่จัดระเบียบใบแจ้งหนี้ไม่ควรได้รับสิทธิ์เข้าถึงแฟ้มข้อมูลบุคลากร และไม่ควรส่งคำขอไปยังอินเทอร์เน็ตภายนอกโดยพลการ OpenShell จะวาง Agent ไว้ในสภาพแวดล้อมแยก เพื่อจำกัดไม่ให้การทำงานผิดพลาดลุกลามไปยังระบบอื่นขององค์กร
ระบบตรวจจับและหยุดการทำงานนอกกฎแบบเรียลไทม์
การที่ Agent เบี่ยงเบนจากภารกิจไม่ได้หมายความว่าจะมีเจตนาร้ายเสมอไป คำสั่งที่ไม่ชัดเจน เครื่องมือขัดข้อง หรือการที่ Agent ไม่สามารถแก้ปัญหาซับซ้อนได้เป็นเวลานาน อาจทำให้ระบบพยายามหาวิธีอื่นอย่างต่อเนื่อง และบางวิธีอาจเกินกว่าที่ผู้ควบคุมคาดหมาย
Nvidia ระบุว่า OpenShell ออกแบบมาเพื่อระบุและสกัดกั้นการทำงานที่ฝ่าฝืนนโยบายที่กำหนดไว้แบบเรียลไทม์ แนวคิดหลักคือทำให้ Agent ทำงานได้เฉพาะภายในขอบเขตสิทธิ์ที่ระบุไว้อย่างชัดเจน แทนที่จะปล่อยให้ Agent ตัดสินใจเองว่าควรเข้าถึงระบบหรือข้อมูลใด
Nvidia Sentry ใช้ฮาร์ดแวร์แยกตรวจสอบ Agent
Nvidia Sentry เป็นส่วนที่รับผิดชอบการตรวจสอบและการกักกันในระดับที่เข้มข้นขึ้น ระบบทำงานบนหน่วยประมวลผลข้อมูล Nvidia BlueField ที่แยกออกมา ไม่ได้ใช้ระบบเดียวกับ AI Agent โดยการออกแบบนี้มีเป้าหมายเพื่อไม่ให้ Agent ปิดหรือหลบเลี่ยงส่วนประกอบที่ทำหน้าที่ตรวจสอบได้
Sentry เฝ้าดูการสื่อสารระหว่าง Agent กับโมเดล เครื่องมือ ข้อมูล และเครือข่าย Nvidia ระบุว่า หากพบพฤติกรรมน่าสงสัยหรือการทำงานที่ฝ่าฝืนข้อกำหนด ระบบสามารถแยก Agent ออกจากสภาพแวดล้อมการทำงานได้ภายในระดับมิลลิวินาที หรือย้ายเข้าสู่ “เขตกักกัน”
หวงกล่าวว่าสถาปัตยกรรมนี้เปรียบเสมือนการใส่ชิปอีกหนึ่งตัวไว้ระหว่าง Agent กับโมเดลภาษาขนาดใหญ่ ทำให้ Nvidia สามารถสกัดกั้นการโต้ตอบที่เกี่ยวข้องได้
การเปิดตัวครั้งนี้สะท้อนความสนใจของตลาดต่อขอบเขตสิทธิ์และความปลอดภัยในการทำงานของระบบ AI แบบอัตโนมัติ อย่างไรก็ตาม ประสิทธิภาพของแพลตฟอร์มในการตรวจจับพฤติกรรมผิดปกติและหลีกเลี่ยงการสกัดกั้นการทำงานที่ไม่ควรถูกหยุด ยังต้องประเมินจากการใช้งานในสภาพแวดล้อมจริง โดยรายละเอียดที่ Nvidia เปิดเผยในเบื้องต้นเน้นการจำกัดสิทธิ์ของ Agent ตั้งแต่ต้น และการใช้ระบบตรวจสอบกับการกักกันที่แยกจากสภาพแวดล้อมของ Agent เมื่อเกิดการทำงานเกินขอบเขต