Cum testau motoarele de căutare rivale pentru calitate

Privește în culisele primelor motoare de căutare și vei găsi o curiozitate surprinzător de puțin tehnică: echipe care rulau experimente alături, ca bucătarii care gustă supa rivalului pentru a-și rafina propria rețetă. Dezvăluirea vine de la David Friedberg, fost inginer la Google, care spune că firma trimitea în mod curent milioane de interogări text către Microsoft și Yahoo pentru a vedea cum răspundeau acele motoare.

Propoziție scurtă. Idee simplă. Compară rezultatele. Îmbunătățește clasamentul. Aceasta era esența a ceea ce inginerii numeau o tehnică de „distilare”, nu spionaj, ci evaluare competitivă la scară largă. Dezvoltatorii colectau rezultate vizibile publicului, analizau tiparele și foloseau aceste informații pentru a întări semnalele de relevanță și pentru a ajusta euristicile de clasare.

„Trimiteam milioane de interogări către motoarele de căutare Yahoo și Microsoft pentru a vedea care erau rezultatele lor”, și-a amintit Friedberg. „Îi comparam rezultatele cu ale noastre pentru a îmbunătăți clasamentul și algoritmii de căutare.” Procesul era metodic. De asemenea, a fost revelator: comparațiile alăturate evidențiau locurile în care Google performa mai slab și unde putea învăța.

Este asta furt? Nu în sens literal. Inginerii au insistat că echipa nu a piratat niciodată serverele rivale și nu a furat cod proprietar. Ei analizau rezultatele publice, fragmente, clasamente și comportamentele vizibile ale sistemelor concurente, și le foloseau ca feedback. Gândește-te la asta ca la citirea tabelului de scor, nu la citirea manualului de joc.

Am comparat rezultatele; nu am spart serverele și nici nu am copiat codul lor.

De ce contează acest lucru acum? Pentru că tacticile folosite pentru antrenarea și testarea algoritmilor de căutare modelează ceea ce văd utilizatorii. Practici din stadiile timpurii, precum distilarea, au accelerat dezvoltarea, permițând echipelor să identifice rapid cazurile-limită și modurile de eșec mai repede decât ar fi putut doar testarea internă. Din multe puncte de vedere, acele comparații erau o formă de control continuu al calității, o oglindă ținută în fața unui produs în formare.

Povestea reconfigurează și narațiunile comune despre inovație. Competiția nu înseamnă întotdeauna furt de tip spionaj. Uneori arată ca doi copii în curți vecine, fiecare observând cum celălalt construiește o rampă de skateboard mai bună și apoi experimentând pentru a-și îmbunătăți propriul design. Iterare mai rapidă. Mai multă reziliență. Rezultate mai bune pentru utilizatori.

Relatarea lui Friedberg amintește că motoarele de căutare au evoluat la fel de mult din practică cât și din teorie. Ridică întrebări noi despre transparență și etică în dezvoltarea algoritmilor, mai ales acum când sistemele de învățare automată pot prelua și imita vaste porțiuni din conținutul public vizibil. Cât de departe ar trebui să meargă analiza comparativă? Cine decide ce este considerat acceptabil?

Se pare că trecutul este un laborator util. Și pe măsură ce tehnologia căutării continuă să se schimbe, la fel se va schimba și eticheta verificării muncii vecinului, pentru inspirație, nu pentru a revendica ca fiind proprie.