Kitajski AI preboj: Ant razvija modele brez Nvidie

Družba Ant Group, ki jo podpira Jack Ma, je po navedbah ljudi, seznanjenih z zadevo, uporabila na Kitajskem izdelane polprevodnike za razvoj tehnik treniranja modelov umetne inteligence, s katerimi bi znižala stroške za 20 odstotkov.

Ant je pri treniranju modelov uporabila domače čipe, tudi tiste, ki jih proizvajata povezana podjetja Alibaba Group Holding in Huawei Technologies, in sicer z uporabo metode strojnega učenja, imenovane “Mixture of Experts”, so dejali viri. Rezultati so bili po njihovih besedah primerljivi s tistimi, ki jih dajejo čipi podjetja Nvidia, kot je H800. Osebe, ki so to razkrile, so želele ostati anonimne, saj informacije še niso javne.

Podjetje Ant iz Hangzhouja še vedno uporablja Nvidiine čipe za razvoj umetne inteligence, vendar se za najnovejše modele večinoma opira na alternative, med drugim čipe podjetja Advanced Micro Devices in kitajske polprevodnike, je dejal eden od virov.

Ti modeli predstavljajo vstop Anta v vse bolj konkurenčno tekmo med kitajskimi in ameriškimi podjetji, ki se je pospešila potem, ko je DeepSeek pokazal, da je mogoče zmožne modele trenirati za bistveno manj denarja kot milijarde, ki jih vlagata OpenAI in Alphabetov Google. To poudarja prizadevanja kitajskih podjetij, da bi uporabila domače alternative najnaprednejšim Nvidiinim čipom. Čeprav H800 ni najzmogljivejši čip, gre vseeno za razmeroma močan procesor, ki ga ZDA trenutno prepovedujejo izvažati na Kitajsko.

Ti modeli predstavljajo vstop podjetja Ant v tekmo med kitajskimi in ameriškimi podjetji, ki se je še dodatno pospešila, odkar je DeepSeek pokazal, da je mogoče zmogljive modele trenirati za bistveno manj kot milijarde, ki jih vlagata OpenAI in Google, ki je v lasti podjetja Alphabet. To poudarja, kako si kitajska podjetja prizadevajo uporabljati domače alternative najbolj naprednim polprevodnikom podjetja Nvidia. Čeprav H800 ni najbolj napreden čip, gre za razmeroma zmogljiv procesor, ki ga ZDA trenutno prepovedujejo izvažati na Kitajsko.

Iskanje alternativ

Podjetje je ta mesec objavilo raziskovalni članek, v katerem trdi, da njihovi modeli v določenih testih presegajo dosežke družbe Meta, kar Bloomberg News ni mogel neodvisno preveriti. Če pa se modeli res obnesejo tako, kot podjetje trdi, bi lahko Antove platforme pomenile nov korak naprej za razvoj umetne inteligence na Kitajskem, saj bi znatno zmanjšale stroške inferenciranja oziroma delovanja AI storitev.

Ker podjetja v razvoj umetne inteligence vlagajo velike zneske, so modeli Mixture of Experts (MoE) postali priljubljena izbira. Priznanje so si prislužili zaradi uporabe pri podjetjih, kot sta Google in startup DeepSeek iz Hangzhouja. Ta tehnika razdeli naloge na manjše sklope podatkov – podobno kot ekipa specialistov, kjer vsak obvladuje svoj del naloge – in tako poveča učinkovitost procesa. Podjetje Ant na prošnje za komentar ni odgovorilo.

Treniranje MoE-modelov sicer običajno temelji na zmogljivih čipih, kot so grafični procesorji, ki jih prodaja Nvidia. Stroški so bili doslej previsoki za številna manjša podjetja, kar je omejilo širšo uporabo te tehnologije. Ant pa skuša to oviro preseči z razvojem učinkovitejših pristopov k treniranju velikih jezikovnih modelov (LLM). Na to jasno kaže že naslov njihovega raziskovalnega članka, v katerem podjetje kot cilj izpostavlja skaliranje modela "brez vrhunskih grafičnih procesorjev."

To pa je v nasprotju s filozofijo podjetja Nvidia. Izvršni direktor Jensen Huang vztraja, da bo povpraševanje po računalniški moči raslo tudi ob razvoju učinkovitejših modelov, kot je DeepSeekov R1. Po njegovem bodo podjetja za ustvarjanje večjih prihodkov potrebovala zmogljivejše čipe – ne cenejših rešitev za zniževanje stroškov. Nvidia zato še naprej stavi na strategijo gradnje velikih grafičnih procesorjev z več procesorskimi jedri, več tranzistorji in večjo pomnilniško kapaciteto.

Kaj pravi Bloomberg Intelligence

Raziskava podjetja Ant Group osvetljuje rastoče inovacije in pospešen tehnološki napredek na področju umetne inteligence na Kitajskem. Če se trditve podjetja potrdijo, bi to pomenilo, da je Kitajska na dobri poti k tehnološki samozadostnosti na področju AI – predvsem z razvojem cenovno dostopnejših in računsko učinkovitejših modelov, s katerimi skuša zaobiti ameriške izvozne omejitve na čipe podjetja Nvidia.

— Robert Lea, višji analitik pri Bloomberg Intelligence

Ant je sporočil, da je treniranje enega trilijona tokenov z visoko zmogljivo strojno opremo stalo približno 6,35 milijona juanov (880.000 dolarjev), medtem ko bi z optimiziranim pristopom in manj zmogljivo opremo stroške zmanjšali na 5,1 milijona juanov. Tokeni so enote informacij, ki jih model "prebavi", da se nauči razumevanja sveta in ponuja smiselne odgovore na uporabniška vprašanja.

Bloomberg

Podjetje načrtuje, da bo zadnji napredek pri razvoju svojih velikih jezikovnih modelov – Ling-Plus in Ling-Lite – uporabilo v industrijskih AI rešitvah, tudi na področju zdravstva in financ, pravijo viri. Ant je letos kupil kitajsko spletno platformo Haodf.com, da bi okrepil svoje storitve umetne inteligence v zdravstvu. V ločeni izjavi za javnost v ponedeljek je podjetje pojasnilo, da je razvilo asistenta z umetno inteligenco, imenovanega AI Doctor Assistant, ki podpira 290.000 zdravnikov na platformi Haodf pri nalogah, kot je upravljanje z medicinsko dokumentacijo.

Podjetje ima tudi aplikacijo z AI-pomočnikom za vsakdanje življenje, imenovano Zhixiaobao, ter finančno svetovalno storitev, ki jo poganja umetna inteligenca, Maxiaocai. V raziskovalnem članku je Ant zapisal, da je model Ling-Lite na področju razumevanja angleškega jezika dosegel boljše rezultate v ključnih merilih kot eden od modelov Llama podjetja Meta. Tako Ling-Lite kot Ling-Plus pa sta presegla DeepSeekove modele pri testih razumevanja kitajskega jezika.

"Če najdeš eno točko napada, s katero premagaš najboljšega mojstra kung fuja na svetu, lahko še vedno rečeš, da si ga premagal – zato je uporaba v resničnem svetu ključna," je povedal Robin Yu, tehnični direktor pekinškega ponudnika AI rešitev Shengshang Tech.

Novi medicinski agenti

Ant je modele Ling objavil kot odprtokodne. Model Ling-Lite ima 16,8 milijarde parametrov – ti delujejo kot nastavitve, s katerimi se usmerja delovanje modela. Ling-Plus ima kar 290 milijard parametrov, kar velja za razmeroma velik model v svetu jezikovnih modelov. Za primerjavo: strokovnjaki ocenjujejo, da ima GPT-4.5, ki poganja ChatGPT, približno 1,8 bilijona parametrov, medtem ko jih ima DeepSeek-R1 671 milijard, navaja MIT Technology Review. Podjetje je v raziskavi zapisalo, da se je med treniranjem soočilo z izzivi, zlasti pri stabilnosti. Tudi manjše spremembe v strojni opremi ali v strukturi modela so povzročile težave – na primer skoke v stopnji napak modela.

V ponedeljek je Ant sporočil, da je razvil velike jezikovne modele, osredotočene na zdravstvo, ki jih zdaj uporabljajo bolnišnice in zdravstveni ponudniki v sedmih mestih, vključno z Pekingom in Šanghajem. Model združuje DeepSeek R1, Qwen podjetja Alibaba in Antov lasten LLM ter je zmožen opravljati zdravstvena svetovanja.

Podjetje je obenem predstavilo dva medicinska AI-agenta: Angel, ki je že v uporabi v več kot 1.000 zdravstvenih ustanovah, in Yibaoer, ki podpira storitve zdravstvenega zavarovanja. Septembra lani je Ant znotraj aplikacije za plačevanje Alipay lansiral še storitev AI Healthcare Manager.

(Posodobljeno z informacijami o Antovih zdravstvenih storitvah od enajstega odstavka dalje.)