5 Minute
Cercetători care au folosit un instrument de selecție bazat pe inteligență artificială (AI) au identificat peste 1.000 de jurnale cu acces deschis care prezintă semne de practici editoriale îndoielnice, după scanarea a aproximativ 15.000 de titluri. Studiul, publicat în Science Advances pe 27 august, sugerează că screeningul automatizat ar putea ajuta indexatorii, editorii și instituțiile de cercetare să identifice jurnale care percep taxe, dar nu au o recenzie inter pares robustă și supraveghere editorială — practici adesea asociate cu așa-numitele jurnale predatorii sau de calitate scăzută.
Cum funcționează instrumentul de screening bazat pe AI
Surse de date și antrenament
Echipa și-a antrenat modelul pe două seturi etichetate din Directory of Open Access Journals (DOAJ): 12.869 de jurnale considerate legitime și 2.536 de titluri pe care DOAJ le-a semnalat pentru încălcări ale standardelor de calitate. Cercetătorii au rulat apoi modelul pe 15.191 de jurnale open-access listate în baza publică Unpaywall.
Semnale și steaguri roșii
AI-ul examinează mai multe semnale extrase de pe site-urile jurnalelor și din articolele publicate de acestea. Acestea includ timpii de publicare (publicarea foarte rapidă poate indica o revizuire inter pares insuficientă), rate neobișnuit de mari de autocitație, lipsa de transparență privind licențierea și taxele pentru procesarea articolelor, precum și afilierile instituționale ale membrilor comitetului editorial. Multe dintre criteriile modelului derivă din recomandările DOAJ privind bunele practici pentru publicarea open-access.
Screeningul a identificat 1.437 de jurnale ca fiind problematice. Grupul semnalat nu apărea anterior pe listele de supraveghere consacrate, iar unele titluri sunt chiar deținute de edituri mai mari și reputabile. În ansamblu, aceste jurnale au publicat sute de mii de articole care au acumulat deja milioane de citări, ridicând îngrijorări privind vizibilitatea și influența literaturii de calitate slabă în registrul științific.
Rezultate, limitări și implicații
Rezultatele studiului arată atât promisiunea, cât și limitele screeningului automatizat. Echipa a estimat aproximativ 345 de rezultate fals pozitive între jurnalele semnalate — exemple incluzând titluri întrerupte, intrări din serii de carte și mici jurnale ale unor societăți care nu se încadrează în așteptările modelului. Invers, estimările ratelor de eroare sugerează că instrumentul a ratat alte 1.782 de jurnale problematice.
Daniel Acuña, informatician la University of Colorado Boulder și coautor al studiului, a subliniat că AI-ul nu este destinat să fie un arbitru final. Instrumentul este disponibil ca beta închis pentru organizațiile care indexează jurnale sau gestionează portofolii editoriale, dar "un expert uman ar trebui să facă parte din procesul de verificare" înainte de orice acțiune corectivă, spune el. Modelul este cel mai util ca mecanism de triere care poate prioritiza jurnale pentru o revizuire umană mai aprofundată.
Cenyu Shen, director adjunct pentru calitate editorială la DOAJ, observă că jurnalele problematice cresc ca număr și sofisticare: "Observăm tot mai multe cazuri în care editori îndoielnici achiziționează jurnale legitime sau în care fabricile de articole cumpără jurnale pentru a publica lucrări de calitate scăzută." Fabricile de articole (paper mills) sunt operațiuni comerciale care produc manuscrise fabricate și autoriate falsificate, intensificând amenințările la adresa integrității cercetării.
Verificările interne DOAJ rămân în mare parte manuale și bazate pe plângeri. În 2024 directorul a investigat 473 de jurnale — o creștere de 40% comparativ cu 2021 — și a petrecut aproape 837 de ore pentru investigații, în urcare cu aproximativ 30%. Screeningul asistat de AI ar putea reduce această încărcare de muncă, evidențiind cazurile cu risc ridicat pentru evaluări umane concentrate.
Perspective ale experților
Dr. Elena Morales, Ofițer pentru integritatea cercetării la Centrul pentru Comunicare Academică (ficțional), comentează: "Screeningul automatizat este un instrument nou valoros pentru menținerea integrității registrului științific, dar nu poate înlocui judecata expertă. AI-ul poate parcurge rapid seturi mari de date și poate scoate la iveală tipare pe care oamenii le-ar putea omite, cum ar fi autocitațiile sistemice sau modificările editoriale bruște. Pasul următor este combinarea acestor semnale cu raportări transparente de metadate din partea editorilor, astfel încât indexatorii să poată lua decizii responsabile bazate atât pe date, cât și pe expertiză de domeniu."
Pași practici pentru părțile interesate includ îmbunătățirea transparenței privind procesele editoriale și taxele, partajarea metadatelor cu serviciile de indexare și adoptarea auditurilor de rutină asistate de AI urmate de revizuiri umane independente. Cercetătorii ar trebui, de asemenea, să verifice practicile jurnalelor înainte de a trimite manuscrise și să consulte DOAJ sau alte indici de încredere.
Concluzie
Abordarea de screening cu AI oferă o metodă scalabilă pentru a semnaliza jurnalele open-access potențial problematice și pentru a le prioritiza pentru revizuirea umană. Deși instrumentul a dezvăluit peste 1.000 de titluri suspecte care nu fuseseră identificate anterior, ratele sale de fals pozitiv și fals negativ subliniază necesitatea fluxurilor de lucru combinate om–AI. Consolidarea transparenței metadatelor, rafinarea modelelor de detecție și promovarea colaborării între servicii de indexare, editori și instituții de cercetare vor fi esențiale pentru protejarea integrității publicării academice și a citărilor care modelează consensul științific.
Sursa: nature
Comentarii