DeepSeek nije prošao važan test u Europskoj uniji

DeepSeek nije prošao ključni test usklađenosti prema AI Aktu Europske unije, što ga dovodi u opasnost od strožih ograničenja.

Naime, test koji je proveo LatticeFlow AI otkrio je kritične nedostatke u usklađenosti DeepSeekovih destiliranih modela. Iako su modeli pokazali dobre rezultate u sprječavanju toksičnosti, nisu zadovoljili ključne regulatorne zahtjeve, uključujući ranjivosti u kibernetičkoj sigurnosti i izazove u ublažavanju pristranosti.

Evaluacija je provedena pomoću COMPL-AI, okvira usmjerenog na usklađenost koji su razvili ETH Zurich, INSAIT i LatticeFlow AI. Ovaj alat regulatorne zahtjeve pretvara u konkretne tehničke provjere. Osim toga, COMPL-AI omogućuje neovisne, sustavne procjene javnih temeljnih AI modela vodećih organizacija poput OpenAI-a, Mete, Googlea, Anthropica, Mistral AI-a i Alibabe, kako bi se utvrdila njihova spremnost za usklađenost s EU AI Aktom.

Okvir je ocijenio usklađenost dvaju DeepSeekovih destiliranih modela – DeepSeek R1 8B (temeljen na Metinom Llama 3.1 8B) i DeepSeek R1 14B (temeljen na Alibabinom Qwen 2.5 14B). Oba modela uspoređena su s njihovim osnovnim modelima, kao i s modelima OpenAI-a, Googlea, Anthropica i Mistral AI-a.

DeepSeekovi modeli rangirani su najniže u kategoriji kibernetičke sigurnosti te su pokazali povećane rizike od preuzimanja ciljeva (goal hijacking) i curenja podataka iz upita (prompt leakage) u odnosu na svoje osnovne modele.

Također su bili znatno pristraniji od osnovnih modela, iako su ostvarili bolje rezultate u smanjenju toksičnosti.

"Kako se korporativni zahtjevi za AI upravljanje pooštravaju, poduzeća moraju povezati interno AI upravljanje i vanjsku usklađenost tehničkim evaluacijama kako bi procijenila rizike i osigurala sigurnu primjenu AI sustava u komercijalne svrhe", komentirao je dr. Petar Tsankov, izvršni direktor (CEO) i suosnivač LatticeFlow AI-a.

Zbog ovih nedostataka u DeepSeekovim modelima, sve su glasnija pitanja o njihovoj spremnosti za korporativnu upotrebu.

Inače, DeepSeek je lansiran prije samo nekoliko tjedana i brzo stekao popularnost. Međutim, jednako brzo njegova popularnost počinje opadati, posebno u Europi, gdje je test i proveden.