MLCommons najavljuje formiranje Radne skupine za AI sigurnost

Organizacija za benchmarking AI MLCommons najavila je stvaranje radne skupine za AI Safety (AIS). AIS će razviti platformu i skup testova od mnogih suradnika kako bi podržao sigurnosna mjerila umjetne inteligencije za različite slučajeve upotrebe.

Nova platforma podržavat će definiranje mjerila koja biraju iz skupa testova i sažimaju rezultate u korisne, razumljive rezultate, slično onome što je standard u drugim industrijama, kao što su ocjene testova sigurnosti u automobilskoj industriji i rezultati Energy Stara. Neposredni prioritet napora bit će podrška brzoj evoluciji rigoroznije i pouzdanije tehnologije testiranja sigurnosti umjetne inteligencije. AIS radna skupina oslanjat će se na tehničku i operativnu stručnost svojih članova i šire AI zajednice, kako bi pomogla u usmjeravanju i stvaranju sigurnosnih benchmarking tehnologija AI.

"Otvorena i dinamična priroda sigurnosnih mjerila koje razvija široka AI zajednica stvara stvarne poticaje za postavljanje i postizanje zajedničkih ciljeva", rekao je Joaquin Vanschoren, izvanredni profesor strojnog učenja na Tehnološkom sveučilištu u Eindhovenu. "Svatko može predložiti nove testove ako vidi neriješene sigurnosne probleme. Imamo neke od najpametnijih umova na svijetu koji se udružuju kako bi stvarno riješili te probleme, a korištenje referentnih vrijednosti znači da ćemo imati jasan uvid u to koji AI modeli najbolje rješavaju sigurnosne probleme."

Početni fokus bit će razvoj sigurnosnih mjerila za velike jezične modele (LLM), nadovezujući se na revolucionarni rad istraživača Centra za istraživanje temeljnih modela Sveučilišta Stanford i njegovu holističku procjenu jezičnih modela (HELM). Uz nadogradnju HELM okvira i uključivanje mnogih njegovih testova povezanih sa sigurnošću, očekujemo da će nekoliko tvrtki eksternalizirati sigurnosne testove umjetne inteligencije koje su interno koristili u vlasničke svrhe i otvoreno ih podijeliti sa zajednicom MLCommons, što će ubrzati tempo inovacija.

Radna skupina AIS-a vjeruje da će, kako testiranje bude sazrijevalo, standardna sigurnosna mjerila umjetne inteligencije postati vitalni element našeg pristupa sigurnosti umjetne inteligencije. To je u skladu s odgovornim razvojem i okvirima politika temeljenih na riziku, kao što su dobrovoljne obveze o sigurnosti, zaštiti i povjerenju koje je nekoliko tehnoloških kompanija dalo Bijeloj kući u srpnju 2023., NIST-ov Okvir za upravljanje rizikom AI i nadolazeći Zakon o AI-ju EU-a.

Prvobitno sudjelovanje AIS radne skupine uključuje multidisciplinarnu skupinu stručnjaka za umjetnu inteligenciju uključujući: Anthropic, Coactive AI, Google, Inflection, Intel, Meta, Microsoft, NVIDIA, OpenAI, Qualcomm i akademike Joaquina Vanstorena sa Tehnološkog sveučilišta u Eindhovenu, Percyja Lianga sa Sveučilišta Stanford i Bo Li sa Sveučilišta u Chicagu. Sudjelovanje u radnoj skupini otvoreno je za akademske i industrijske istraživače i inženjere, kao i domenske stručnjake iz civilnog društva i javnog sektora.