CEO-ul Qualcomm, Cristiano Amon, a declarat că unele companii din domeniul inteligenței artificiale dezvoltă smartphone-uri capabile să ruleze permanent modele lingvistice cu 100 de miliarde de parametri până în 2028.
Amon a făcut declarația într-un interviu acordat Fireside Alpha, pe 10 octombrie 2026, și a refuzat să numească firmele implicate.
Rularea unui model cu 100 de miliarde de parametri pe un telefon implică însă constrângeri majore de memorie. Un model 100B cuantizat la 4 biți necesită aproximativ 50 GB de RAM, iar o variantă la 2 biți ar avea nevoie de circa 25 GB doar pentru model, fără a lua în calcul sistemul de operare, aplicațiile și cache-ul de context.
Qualcomm și alți jucători din industrie indică disponibilitatea și costul DRAM drept principalele bariere. Compania a afirmat că este puțin probabil ca industria să depășească prea curând pragul obișnuit de 16 GB de memorie, iar producătorii au redus opțiunile cu mai multă memorie din cauza ofertei limitate de DRAM, deși telefoanele Android ofereau anul trecut până la 24 GB LPDDR5X.
Inferența continuă pe modele mai dense crește, de asemenea, degajarea de căldură și riscul de throttling termic. Aceasta rămâne o limitare practică chiar și în situația în care memoria necesară ar fi disponibilă.
Schimbările în ambalarea chipseturilor, inclusiv A20 Pro de la Apple și Snapdragon 8 Elite Extreme Gen 6 de la Qualcomm, rezolvă unele probleme de integrare, dar nu elimină blocajul legat de memorie.
Soluțiile tehnice includ cuantizarea agresivă, care reduce considerabil necesarul de memorie. Variantele pe 1 bit pot încăpea în DRAM, însă calitatea modelului, în special în sarcinile de raționament, se deteriorează semnificativ comparativ cu cuantizarea la 4 biți, potrivit evaluărilor din industrie.
O altă abordare este Mixture of Experts, cu offloading al experților: doar un subset de experți este activ în RAM pentru fiecare token, iar restul rămân în stocarea flash. Apple a cercetat rularea modelelor din memoria flash internă, însă stocarea UFS și NVMe rămâne mai lentă decât DRAM și poate reduce viteza de inferență.
Distilarea modelelor reprezintă, deocamdată, varianta mai ușor de comercializat: modelele distilate de 20B până la 30B pot aproxima performanța unor modele 100B direct pe dispozitiv, menținând totodată cerințele de memorie și temperatură la niveluri gestionabile.
Amon nu a oferit un calendar tehnic și nu a identificat parteneri. Disponibilitatea și costul DRAM, precum și limitele termice, rămân constrângerile esențiale pentru rularea nativă a modelelor 100B pe smartphone-uri până în 2028.
Lasă un comentariu
Comentarii
Niciun comentariu încă. Fii primul.