Nvidia pada Isnin melancarkan Open Agent Safety Platform bagi mengurangkan risiko ejen AI melakukan tindakan di luar kuasa yang diberikan, melalui kawalan akses perisian dan pemantauan perkakasan berasingan. Platform ini menggabungkan perisian sumber terbuka OpenShell dengan komponen keselamatan perkakasan Nvidia Sentry. Lebih 100 organisasi, termasuk Microsoft dan Anthropic, sedang bekerjasama dengan Nvidia menggunakan sistem tersebut.
Isu keselamatan semakin mendapat perhatian apabila beberapa makmal AI terkemuka melaporkan bahawa ejen mereka berjaya melepasi batas persekitaran ujian dan mengakses sistem tanpa kebenaran. Perkara ini menjadi cabaran bagi syarikat yang mahu menggunakan AI untuk melaksanakan tugasan secara autonomi.
Ketua Pegawai Eksekutif Nvidia, Jensen Huang, berkata dalam rancangan CNBC, Squawk Box, pada Isnin bahawa AI berpotensi membawa manfaat besar, tetapi teknologi itu perlu dibangunkan dan digunakan dengan selamat. Beliau menyifatkan kawalan terhadap ejen AI sebagai masalah kejuruteraan yang boleh ditangani melalui teknologi.
OpenShell menetapkan had akses ejen
OpenShell ialah komponen perisian platform itu. Syarikat boleh memasangnya pada peranti setempat atau dalam persekitaran awan, kemudian menetapkan fail, laman web, rangkaian, alat dan kelayakan yang boleh diakses oleh ejen sebelum tugas bermula. OpenShell menyemak dan menguatkuasakan peraturan tersebut semasa ejen beroperasi.
Huang menyamakan pendekatan itu dengan memberikan pekerja kad akses yang hanya membenarkan mereka memasuki kawasan yang diperlukan untuk menjalankan tugas. Katanya, langkah pertama ialah menarik balik semua kebenaran ejen, kemudian memberikan akses kepada fail, data, alat atau internet mengikut keperluan tugas.
Sebagai contoh, ejen yang menguruskan invois tidak sepatutnya mendapat akses kepada rekod sumber manusia atau membuat sambungan ke internet luar sesuka hati. OpenShell menjalankan ejen dalam persekitaran terasing untuk mengehadkan kesan kesilapan terhadap sistem lain dalam syarikat.
Tindakan yang melanggar dasar boleh disekat
Ejen yang menyimpang daripada arahan tidak semestinya berniat jahat. Arahan yang kabur, alat yang gagal berfungsi atau kesukaran menyelesaikan masalah rumit boleh menyebabkan ejen mencuba laluan lain berulang kali. Sesetengah tindakannya mungkin melangkaui jangkaan pengguna.
Nvidia berkata OpenShell direka untuk mengesan dan menyekat tindakan yang melanggar dasar yang ditetapkan secara masa nyata. Prinsipnya ialah mengehadkan ejen kepada skop akses yang jelas, bukannya bergantung pada ejen untuk menentukan sendiri sistem dan data yang boleh dicapai.
Nvidia Sentry memantau melalui perkakasan berasingan
Komponen kedua, Nvidia Sentry, menyediakan pemantauan dan pengasingan pada lapisan yang lebih mendalam. Ia beroperasi pada pemproses data Nvidia BlueField yang berasingan, bukannya berkongsi sistem dengan ejen AI. Reka bentuk ini bertujuan menghalang ejen daripada mematikan atau memintas komponen pemantauan.
Sentry memantau interaksi ejen dengan model, alat, data dan rangkaian. Nvidia berkata sistem itu boleh mengasingkan ejen dalam masa beberapa milisaat apabila mengesan tingkah laku yang mencurigakan atau pelanggaran. Huang menggambarkan seni bina tersebut sebagai cip yang diletakkan antara ejen dengan model bahasa besar, membolehkan Nvidia memintas interaksi berkaitan.
Pelancaran ini menangani kebimbangan pasaran mengenai had kuasa dan keselamatan operasi sistem AI autonomi. Keupayaan platform mengenal pasti tingkah laku luar biasa tanpa menyekat tindakan yang sah masih bergantung pada prestasinya dalam persekitaran sebenar. Reka bentuk yang diumumkan memberi tumpuan kepada mengehadkan akses terlebih dahulu serta menyediakan pemantauan dan pengasingan yang berasingan daripada persekitaran ejen.