Probleme în cercetarea în inteligența artificială
Cercetările în domeniul inteligenței artificiale (IA) se confruntă cu o criză de organizare, generată de o creștere alarmantă a numărului de lucrări științifice de calitate scăzută. Un caz recent a atras atenția asupra acestei probleme: Kevin Zhu, un tânăr care a absolvit recent o diplomă de licență în informatică la Universitatea din California, Berkeley, a revendicat autoratul a 113 lucrări academice pe tema IA în acest an, 89 dintre acestea urmând să fie prezentate la o conferință de renume mondial în domeniu. Această situație a stârnit îngrijorări în rândul cercetătorilor în informatică cu privire la starea cercetării în IA.
Contextul lui Kevin Zhu și Algoverse
Zhu conduce Algoverse, o companie de cercetare și mentorat în IA pentru liceeni, mulți dintre colegii săi fiind coautori ai lucrărilor sale. Lucrările sale abordează subiecte variate, de la utilizarea IA pentru localizarea pastorilor nomazi în Africa subsahariană, evaluarea leziunilor cutanate, până la traducerea dialectelor indoneziene. Pe profilul său LinkedIn, el afirmă că a publicat „peste 100 de lucrări la conferințe de top în ultimul an”, citate de mari companii precum OpenAI, Microsoft, Google, Stanford, MIT și Oxford.
Critici din partea comunității academice
Hany Farid, profesor de informatică la Berkeley, a caracterizat lucrările lui Zhu drept un „dezastru”, considerând că acestea sunt rezultatul unei practici denumite „vibe coding”. Aceasta se referă la utilizarea IA pentru a genera software fără o bază științifică solidă. Farid a subliniat că domeniul IA se confruntă cu o avalanșă de lucrări științifice de calitate scăzută, alimentată de presiuni academice, în special în rândul studenților.
Presiunea de publicare și standardele de revizuire
Conferințe precum NeurIPS, unde Zhu intenționează să prezinte lucrările, primesc un număr din ce în ce mai mare de lucrări, ajungând la 21.575 de lucrări în acest an, comparativ cu mai puțin de 10.000 în 2020. Acest aflux a dus la plângeri din partea recenzorilor privind calitatea scăzută, unii suspectând chiar că unele lucrări ar fi generate de IA. Farid a observat că studenții simt presiunea de a acumula publicații, chiar și prin lucrări de calitate îndoielnică.
Probleme în procesul de revizuire
Procesul de revizuire al lucrărilor în IA este mai puțin riguros comparativ cu alte domenii științifice, precum chimia sau biologia. Jeffrey Walling, profesor asociat la Virginia Tech, a menționat că revizorii conferințelor trebuie să evalueze zeci de lucrări într-un timp scurt, ceea ce compromite calitatea evaluării. El a întâlnit autori care au publicat peste 100 de lucrări într-un singur an, subliniind că sistemul academic recompensează volumul de publicații mai mult decât calitatea acestora.
Impactul asupra cercetării în IA
Organizatorii conferinței NeurIPS recunosc că creșterea numărului de lucrări a pus o presiune considerabilă asupra sistemului de revizuire. Zhu a subliniat că lucrările sale au fost prezentate în cadrul workshop-urilor, care au un proces de selecție diferit de cel al conferinței principale. Farid contestă, însă, justificarea ca un singur autor să figureze pe atât de multe lucrări fără o contribuție semnificativă.
Consecințe și perspective de viitor
Problema nu se limitează doar la conferințele de IA. ICLR a folosit IA pentru a evalua un volum mare de lucrări, ceea ce a dus la feedback incoerent și citări halucinate. Această situație a generat o percepție larg răspândită că standardele de calitate în cercetarea IA sunt în declin. Farid a avertizat asupra dificultății de a înțelege progresul real în domeniu, subliniind că, pentru a publica lucrări de calitate, cercetătorii trebuie să depună un efort considerabil, în timp ce lucrările de slabă calitate sunt recompensate.
În concluzie, criza actuală a cercetării în IA, marcată de o avalanșă de lucrări de calitate scăzută, ridică întrebări serioase despre viitorul acestui domeniu și despre integritatea științifică în general.
E greu să înțelegem toate aceste cercetări care vin din toate colțurile. Poate că ar fi bine să se facă o sortare a informațiilor, altfel ne pierdem complet în detalii.
Chiar mă întreb ce soluții pot găsi experții pentru această criză de organizare. Având în vedere avansul rapid al tehnologiei, e crucial să ne menținem la curent fără a fi copleșiți de informații.
Mi se pare că toată agitația asta din jurul inteligenței artificiale ascunde și niște interese mai mari, poate chiar strategii economice pe termen lung. E clar că avem nevoie de un ghid pentru navigarea prin acest labirint informativ!