Artificial Analysis, platform independen untuk melakukan benchmark kecerdasan buatan (AI), memperluas cakupan evaluasinya ke bidang keamanan siber. Organisasi tersebut meluncurkan Cyber Index v1 pada 25 September, yang dirancang untuk mengukur kemampuan model AI dalam menemukan dan memperbaiki kerentanan pada sistem perusahaan.

Peluncuran ini menjadi langkah baru Artificial Analysis dalam mengembangkan benchmark AI yang lebih spesifik berdasarkan kebutuhan industri.

Cyber Index Gabungkan Tiga Benchmark

Cyber Index menggunakan skor gabungan yang dibangun dari tiga benchmark berbeda. Ketiganya dikembangkan bersama mitra dari industri dan dirancang untuk menguji berbagai tahap dalam pengelolaan kerentanan keamanan.

Tiga benchmark tersebut meliputi:

CWE-Bench-AA, yang berfokus pada kategori Common Weakness Enumeration (CWE), yaitu sistem klasifikasi standar untuk berbagai jenis kelemahan pada perangkat lunak dan perangkat keras.

DeepsecBench-AA, yang dirancang untuk menguji kemampuan AI dalam melakukan analisis keamanan yang lebih mendalam.

CyberGym-E2E-AA, yang menguji kemampuan AI melalui skenario keamanan secara menyeluruh dari awal hingga akhir.

Ketiga benchmark tersebut mencakup berbagai tahapan pengelolaan kerentanan, mulai dari menemukan masalah keamanan, melakukan validasi, hingga membantu memperbaikinya melalui patch.

Fokus pada Keamanan Siber Defensif

Salah satu karakteristik utama Cyber Index adalah fokusnya pada keamanan siber defensif.

Artificial Analysis menilai kemampuan AI dalam membantu perusahaan mengidentifikasi dan mengelola kerentanan sebelum masalah tersebut berkembang menjadi insiden keamanan.

Dengan pendekatan tersebut, Cyber Index tidak dirancang untuk mengukur seberapa baik AI dalam melakukan serangan atau membobol sistem. Sebaliknya, benchmark ini berfokus pada kemampuan AI untuk membantu organisasi mencegah, menganalisis, dan memperbaiki kerentanan.

Perluas Benchmark AI ke Berbagai Industri

Cyber Index bukanlah benchmark khusus industri pertama yang diluncurkan Artificial Analysis.

Platform yang didirikan bersama oleh Micah Hill-Smith tersebut sebelumnya telah mengembangkan berbagai Capability Indices untuk sejumlah sektor, termasuk keuangan, hukum, dan kesehatan.

Artificial Analysis juga memiliki Intelligence Index untuk mengevaluasi kemampuan AI secara umum. Indeks tersebut telah mencapai versi 4.3.2 dan menggabungkan 10 evaluasi berbeda terhadap ratusan model AI yang digunakan oleh berbagai perusahaan pengembang AI.

Melalui Cyber Index, Artificial Analysis kini memperluas evaluasi tersebut ke sektor keamanan siber. Benchmark ini dapat menjadi salah satu cara untuk melihat seberapa jauh kemampuan model AI dalam menangani pekerjaan keamanan yang membutuhkan analisis teknis dan pemahaman terhadap kerentanan sistem.