ByteDance pornește antrenarea unui model AI de 10 trilioane

ByteDance a început discret antrenarea unui monstru: un model AI cu aproximativ 10 trilioane de parametri. Este o mișcare îndrăzneață care plasează compania în centrul unei curse globale pentru scară și capacitate a modelelor.

Conform unor persoane familiarizate cu subiectul, preantrenamentul este în curs. Acea etapă, în care modelul absoarbe cantități uriașe de date brute pentru a învăța tipare, durează de obicei între trei și șase luni înainte de ajustările fine și lansarea publică. Parametrii sunt setările interne pe care un model le folosește pentru a codifica cunoștințe; nu spun întreaga poveste, dar sunt o prescurtare larg folosită pentru a evalua dimensiunea și potențialul unui model.

De ce contează dimensiunea? Modelele mai mari pot surprinde mai multe nuanțe și se pot generaliza mai bine pentru diverse sarcini, deși randamentele nu sunt liniare și eficiența rămâne importantă. Ținta raportată de ByteDance de 10 trilioane ar face acest model de peste trei ori mai mare decât Kimi K3, un sistem de 2,8 trilioane de parametri creat de o startup chinezesc, și mult mai mare decât intrările interne anterioare precum LongCat-2.0 și V4-Pro, fiecare având în jur de 1,6 trilioane.

Comparările directe cu sistemele de top realizate în SUA rămân dificile. Companii precum Anthropic și OpenAI rareori publică numărul exact de parametri pentru modelele lor de referință. Estimările independente situează oferta avansată a Anthropic, Mithos 5, aproape la opt trilioane de parametri, iar Fable 5 în jur de cinci trilioane. Dacă aceste estimări se confirmă, efortul nou al ByteDance l-ar plasa într-un teritoriu comparabil cu cele mai sofisticate sisteme ale Anthropic.

Există un alt strat al poveștii: logistică și costuri. Antrenamentul la această scară este scump și consumator de energie. Companiile tehnologice chineze concurează pentru a comprima ciclurile de dezvoltare și a obține mai multă eficiență din infrastructurile lor, vizând lansarea unor sisteme puternice fără costuri operaționale de necontrolat. Este un răspuns pragmatic la o piață neiertătoare.

Dacă numărul brut de parametri va decide câștigătorii rămâne o întrebare deschisă, dar impulsul ByteDance subliniază cum s-a mutat frontiera competitivă, de la lucrări de cercetare ingenioase la inginerie și implementare la scară industrială.

Așteptați-vă la mai multe anunțuri și îmbunătățiri incrementale, mai degrabă decât la o descoperire singulară definitorie. Marea bătălie va fi despre cum sunt ajustate, scalate și integrate aceste sisteme în produse pe care oamenii le folosesc cu adevărat.