Kitajska razvijalca umetne inteligence DeepSeek in Moonshot AI naj bi pri učenju svojih najnovejših modelov obsežno uporabljala odgovore OpenAI-jevega GPT-6 Astra. Po poročanju tehnološkega portala The Information sta podjetji z destilacijo skušali del zmogljivosti enega najnaprednejših ameriških modelov prenesti v lastne, bistveno cenejše sisteme.
The Information se sklicuje na več ljudi, ki naj bi neposredno poznali razvoj obeh kitajskih modelov. Ugotovitve je povzel tudi Reuters, DeepSeek in Moonshot pa se na prošnjo za odziv ob objavi nista vsebinsko odzvala.
Moonshot naj bi odgovore Astre uporabljal pri razvoju modela Kimi K3.1 Pro, ki je izšel prejšnji teden. Destilacija naj bi pomagala tudi pri izboljšavi modela DeepSeek V4.1-Flash 1017, predstavljenega 17. oktobra.
Navedbe za zdaj niso neodvisno potrjene, kažejo pa na vse ostrejši tehnološki spopad med ameriškimi in kitajskimi razvijalci umetne inteligence.
Kaj pomeni destilacija modela?
Destilacija je postopek, pri katerem večji in zmogljivejši model nastopa kot “učitelj”. Ustvari veliko količino odgovorov, rešitev in primerov, na katerih se nato uči manjši model.
Takšna tehnika sama po sebi ni nenavadna. OpenAI, Anthropic in drugi razvijalci jo uporabljajo za izdelavo manjših, hitrejših in cenejših različic lastnih sistemov.
Sporna postane, ko podjetje brez dovoljenja množično zbira odgovore konkurenčnega, zaprtega modela ter z njimi izboljšuje svoj izdelek. OpenAI in Anthropic v pogojih uporabe prepovedujeta uporabo svojih modelov za razvoj konkurenčnih sistemov.
Pri običajni uporabi uporabnik modelu zastavi vprašanje in prejme odgovor. Pri organizirani destilaciji pa upravljavci uporabljajo veliko število računov, avtomatiziranih poizvedb in posredniških omrežij, s katerimi skušajo zbrati dovolj kakovostnih podatkov za učenje drugega modela.
OpenAI že razkril kampanjo, povezano z Moonshotom
OpenAI je 30. septembra objavil, da je odkril in prekinil usklajeno kampanjo za pridobivanje zaščitenega sklepanja svojih modelov. Aktivnost se je začela julija, njen osrednji del pa je podjetje povezalo z osebami, povezanimi z Moonshot AI, razvijalcem modela Kimi.
Kampanja je 24. in 25. julija dosegla vrhunec s približno 16.000 zahtevami za pridobivanje zaščitenih podatkov iz več kot 4000 uporabniških računov. OpenAI je pozneje zaznal povezane vzorce pri skupini z več kot 15.000 računi.
Upravljavci niso vdrli v podatkovne zbirke in niso dobili dostopa do pogovorov drugih uporabnikov. Namesto tega so modele z oblikovanimi navodili skušali pripraviti do tega, da bi razkrili dele zaščitenega postopka sklepanja.
OpenAI je kampanjo zaustavil, omejil ali ukinil povezane račune ter okrepil tehnične zaščite.
Julijska kampanja ni neposreden dokaz, da je Moonshot pozneje uporabil prav GPT-6 Astra, saj je bil ta model predstavljen šele septembra. Kaže pa, da je OpenAI že pred najnovejšim poročilom zaznal organizirane poskuse destilacije, povezane z osebami iz Moonshotovega okolja.
Astra postala nova glavna tarča
GPT-6 Astra je OpenAI predstavil septembra kot svoj najzmogljivejši model za zahtevno strokovno delo, programiranje, znanost, kibernetsko varnost in uporabo računalnika.
Po navedbah The Information je Astra postala posebej zanimiva za kitajske laboratorije po tem, ko je Anthropic okrepil zaščito svojih modelov Claude. Anthropic trdi, da je z novimi obrambnimi ukrepi količino podatkov, ki jih je mogoče pridobiti z organiziranimi destilacijskimi napadi, zmanjšal za približno 90 do 99 odstotkov.
Kitajski razvijalci naj bi zato več pozornosti preusmerili na OpenAI-jeve modele, pri katerih naj bi za zbiranje uporabnega učnega gradiva uporabljali veliko število računov in več kot desetkrat toliko poizvedb kot pri običajni uporabi.
Hitrejši razvoj z bistveno nižjimi stroški
Destilacija lahko razvijalcu omogoči, da brez enakih naložb v računalniško infrastrukturo, podatke in raziskave hitreje posnema del sposobnosti vodilnega modela.
Kitajska podjetja so zaradi ameriških omejitev izvoza najnaprednejših čipov prisiljena razvijati učinkovitejše načine učenja in poganjanja modelov. Njihovega napredka zato ni mogoče pojasniti le z destilacijo, saj so razvila tudi številne lastne optimizacijske tehnike.
Uporaba odgovorov ameriških modelov pa bi lahko pomagala pojasniti, kako kitajski odprti modeli tako hitro zmanjšujejo zaostanek za sistemi, katerih razvoj stane več milijard dolarjev.
OpenAI opozarja, da takšno pridobivanje zmogljivosti ni le poslovno vprašanje. Model lahko z destilacijo prevzame napredne sposobnosti, ne da bi hkrati prevzel varnostne omejitve in zaščitne mehanizme izvirnega sistema.
Podjetje napoveduje nadaljnje tehnične ukrepe, strožje preverjanje računov in tesnejše sodelovanje z drugimi razvijalci ter državnimi ustanovami. Ko postajajo modeli sposobnejši, postajajo njihovi odgovori in postopki sklepanja vse vrednejše razvojno gradivo – in hkrati vse privlačnejša tarča.
