«És crucial replantejar la manera d’avaluar tant els investigadors com les institucions, i també els resultats de la recerca. La necessitat és clara i urgent.»

Amb aquestes paraules, James Wilsdon, director executiu del Research on Research Institute (RoRI), va resumir un dels reptes principals que es van abordar a la jornada «Nous mètodes d’avaluació científica», celebrada el 15 de març i organitzada per l’Agencia Estatal de Investigación (AEI), entitat adscrita al Ministeri de Ciència, Innovació i Universitats, en col·laboració amb la Fundació ”la Caixa”. Durant la reunió, experts de diversos camps van compartir perspectives sobre com la intel·ligència artificial i altres enfocaments innovadors poden contribuir a millorar significativament els sistemes d’avaluació científica.

Juntament amb James Wilsdon, van participar en l’esdeveniment Carla Carbonell, responsable d’Avaluació de Projectes de la Fundació ”la Caixa”; José Manuel Fernández de Labastida, cap de la unitat de suport de l’European Research Council (ERC), i Carles Sierra, director de l’Institut d’Intel·ligència Artificial del CSIC. El debat va acabar amb una taula rodona en la qual també van participar Ignasi López Verdeguer, director de l’Àrea de Relacions amb Institucions d’Investigació i Salut de la Fundació ”la Caixa”, i Nuria Sebastián Gallés, membre del Comitè Científic i Tècnic de l’Agencia Estatal de Investigación.

A continuació presentem les claus d’una jornada la finalitat de la qual, en paraules de Domènec Espriu, director general de l’Agencia Estatal de Investigación i amfitrió de l’esdeveniment, és «fomentar el debat per avançar cap a una avaluació més responsable de la recerca mitjançant les noves tecnologies, en especial la intel·ligència artificial, amb l’excel·lència com a objectiu i apostant per la col·laboració i la transparència. A més, fer-ho de la mà de la Fundació “la Caixa”, pionera en algunes d’aquestes iniciatives, és un motiu de gran satisfacció. Veurem en quin moment poden ser aplicats els nous mètodes i com serà la seva interrelació amb els actuals».

Javier Solana, president del Comitè Científic de la Fundació “la Caixa”, que juntament amb el director de l’AEI va inaugurar l’esdeveniment en què van participar més de 100 persones, va explicar que «des de la Fundació “la Caixa” es treballa incansablement amb la voluntat de continuar estant a l’altura dels millors estàndards internacionals en l’avaluació de projectes científics amb l’objectiu de maximitzar la qualitat i l’impacte de la recerca que recolzem».

Cap a una avaluació responsable de la recerca

Cada any, les institucions públiques i privades que donen suport a la recerca reben una gran quantitat de propostes. Durant el procés de selecció, s’utilitzen sistemes d’avaluació que consideren tant elements qualitatius com quantitatius per mesurar l’execució i la qualitat de la recerca científica. Entre aquests últims hi ha els bibliomètrics, que es deriven de les publicacions acadèmiques.

Els últims anys, l’àmbit de la investigació científica ha estat testimoni d’un intens debat sobre com es poden millorar aquests processos d’avaluació, allunyant-se de l’ús excessiu en els indicadors bibliomètrics i avançant cap a un sistema més responsable. Per a James Wilsdon, un avanç clau que s’ha aconseguit en aquest sentit és la constitució de COARA, iniciativa europea a la qual s’han adherit més de 800 institucions (81 a Espanya) i que té com a objectiu reformar el sistema d’avaluació de la investigació. 

«L’avaluació responsable ha d’incentivar i reconèixer la investigació d’alt impacte i alhora ha de donar suport a pràctiques diverses i inclusives», assenyala Wilsdon, que en la seva intervenció va exposar les claus que marquen el camí cap a un procés d’avaluació responsable:

• • Prioritzar la qualitat dels resultats sobre la quantitat. Cal promoure sistemes més equilibrats que considerin formes múltiples i diverses de presentar els resultats i atorguin més importància a les mètriques qualitatives. 
  • Ampliar la definició d’excel·lència per incloure-hi també l’impacte social de la investigació.

• Desenvolupar nous indicadors i criteris d’avaluació que s’ajustin a l’evolució actual de la cultura científica. 

• Explorar el potencial de la intel·ligència artificial amb cautela, però amb la ment oberta, per reduir la càrrega burocràtica i millorar els processos d’avaluació.

«La forma en què es duu a terme, es finança i es comunica la recerca està evolucionant a gran velocitat, en part degut a la intel·ligència artificial i a l’auge de les xarxes socials. Això fa encara més necessari replantejar també els sistemes d’avaluació», va afegir James Wilsdon.

A través de la intel·ligència artificial: la proposta de la Fundació ”la Caixa”

En les sis edicions de la convocatòria CaixaResearch d’Investigació en Salut s’han avaluat més de 3.700 propostes, de les quals s’han seleccionat 171. Per portar a terme aquest procés de selecció, seguim diferents fases assistides per intel·ligència artificial.

Aquest sistema opera en dos fronts principals: 

1. Matching: Facilitant el procés d’assignar els evaluadors més adequats per a cada projecte, en funció de la seva experiència i històrial de publicacions. Donat el volum de propostes rebudes i la seva alta granularitat, seria impossible realitzar aquest procés manualment. L’ús d’eines d’IA assegura una bona avaluació.
2. Elegibilitat de contingut: per identificar i etiquetar les propostes amb menys probabilitat de ser seleccionades, evitant així sobrecarregar de feina els evaluadors amb propostes no madures. Des del 2023, després de validar les dades, entrenar els algoritmes i fer un pilot amb resultats molt sòlids, s’ha implementat aquest procés, assistit per tres algoritmes d’IA i sempre ratificat per dos avaluadors per proposta, segons Carla Carbonell, responsable d’Avaluació de Projectes de la Fundació ”la Caixa”.

«De cara a la bona acceptació de l’ús de la intel·ligència artificial, és molt important que els processos es basin en la transparència i la intervenció humana», va assenyalar. La Fundació ”la Caixa” se suma al moviment global per millorar els sistemes d’avaluació de la recerca. «El nostre sistema ha mostrat resultats sòlids i està aplanant el camí perquè la intel·ligència artificial guanyi pes en la millora d’aquests processos», va explicar la Carla. 

Amb la vista posada en el futur proper, va afegir: «També estem estudiant l’ús d’intel·ligència artificial generativa per assistir en la revisió i la compilació dels diferents informes d’avaluació que reben els candidats. A més, estem posant en marxa un projecte per estudiar diverses opcions destinades a millorar l’explicabilitat dels processos d’elegibilitat».

L’excel·lència com a objectiu

L’European Research Council (ERC) és un organisme clau de la Unió Europea que impulsa la ciència cap a noves àrees de recerca, tant en l’àmbit bàsic com en l’aplicat. Durant la seva intervenció en la jornada José Manuel Fernández de Labastida, cap de la unitat de suport de l’ERC, va afirmar: «El nostre únic criteri d’avaluació és l’excel·lència, tant del projecte de recerca com de l’investigador principal».

D’acord amb el que ha exposat Fernández de Labastida, l’ERC selecciona els millors projectes mitjançant un procés d’avaluació en dues fases. En la primera, es fa una valoració inicial del projecte i del currículum de l’investigador principal. L’avaluació la porta a terme un equip d’investigadors d’alt nivell. Les propostes preseleccionades avancen a una segona fase, en què es fa una revisió més detallada del projecte i un debat per prendre una decisió final conjunta.

Encara que l’ERC reconeix que molts investigadors, sota la seva responsabilitat, utilitzen la intel·ligència artificial generativa en la preparació de les propostes que volen presentar, la revisió dels projectes per part de l’ERC sempre la porten a terme experts humans.

Fernández de Labastida va ampliar la seva intervenció amb algunes reflexions personals sobre l’ús de la intel·ligència artificial per part de les organitzacions finançadores en els processos d’avaluació: Programes com el d’ERC haurien d’implementar un sistema basat en la intel·ligència artificial per assistir els sol·licitants en la redacció de les seves propostes? I en la revisió dels documents? S’haurien de desenvolupar sistemes per optimitzar la selecció de revisors i millorar la composició dels panells d’avaluació? Descobreix-ne les respostes en el vídeo complet:

Apostar per la col·laboració i la transparència

L’objectiu últim de la recerca és generar idees innovadores i obtenir resultats de qualitat per impulsar l’avanç científic. En aquest procés acumulatiu, la comunicació, la publicació i una revisió adequada de les investigacions exerceixen un paper fonamental.

«Hem d’avançar cap a una avaluació d’experts oberta, en la qual les revisions siguin públiques i es consideri la reputació del revisor per ponderar-ne el valor. Una reputació més precisa del revisor es tradueix en una avaluació més precisa de l’article, la qual cosa impacta directament en la reputació de l’autor. Atorguem d’aquesta manera un grau de credibilitat i reconeixement més ajustat a cada article», va explicar Carles Sierra, director de l’Instituto de Investigación en Inteligencia Artificial del CSIC.

Amb la intenció de millorar el sistema actual i fer-lo més col·laboratiu i transparent, l’Instituto de Investigación en Inteligencia Artificial del CSIC ha desenvolupat un model de reputació acadèmic automàtic, conegut com a ARM. Aquest model va més enllà del tradicional sistema de revisió d’experts utilitzat a les publicacions científiques, ja que també té en compte la reputació dels revisors, la de l’autor i la de les mateixes revisions.

«Els objectius de l’ARM són fomentar l’intercanvi de bones idees, promoure la col·laboració en pro de la qualitat, descoratjar el plagi, suscitar nous enfocaments i versions que afegeixin valor al treball publicat, reduir la càrrega de treball de revisió, impulsar la redacció de ressenyes sobre els articles i, sobretot, fomentar les revisions d’alta qualitat», va subratllar Carles Sierra.

Els dilemes ètics que planteja l’ús de la intel·ligència artificial

La jornada «Nous mètodes d’avaluació científica» es va tancar amb una taula rodona moderada per Domènec Espriu en la qual van participar els ponents James Wilsdon, Carles Sierra i José Manuel Fernández de Labastida, juntament amb Ignasi López Verdeguer i Nuria Sebastián Gallés. La sessió va girar a l’entorn dels dilemes ètics associats a la incorporació de la intel·ligència artificial en els processos d’avaluació de la investigació, com també la importància d’impulsar models més col·laboratius i responsables.

Per a Nuria Sebastián Gallés, els principals reptes ètics associats a l’ús de la intel·ligència artificial resideixen en com es pot garantir l’equitat i la transparència en el procés d’avaluació de la investigació. L’experta també va emfatitzar la necessitat d’abordar tots els biaixos presents en els algoritmes, especialment els relacionats amb la representació de gènere, per garantir pràctiques d’avaluació equitatives. En aquest sentit, Sebastián Gallés va subratllar la importància de desenvolupar metodologies d’avaluació de la investigació responsables i inclusives. 

Per part de la Fundació ”la Caixa”, Ignasi López Verdeguer va advocar per l’ús d’eines d’intel·ligència artificial per millorar els processos d’avaluació i alhora va ressaltar la necessitat de ser conscients en tot moment de les consideracions ètiques i els possibles biaixos involuntaris. Per a Verdeguer, mantenir un equilibri entre innovació i responsabilitat és crucial en l’adopció de nous mètodes d’avaluació per optimitzar l’assignació de recursos i els resultats de la recerca.

Finalment, a tall de conclusió, James Wilsdon va voler destacar la importància de portar a terme una experimentació responsable amb les noves eines d’intel·ligència artificial, com també la necessitat d’integrar els debats sobre aquesta tecnologia en iniciatives més àmplies com COARA. Per a Wilsdon, és fonamental mantenir un enfocament equilibrat i orientat cap al futur, de manera que l’avaluació de la investigació pugui aprofitar la innovació i mantenir alhora un compromís ferm amb les pràctiques ètiques i transparents.

En el tancament de la jornada, Elisa Rivera, directora general de Planificació, Coordinació i Transferència de Coneixement del Ministeri de Ciència, Innovació i Universitats, va ressaltar: «La prioritat del Ministeri és la transferència de coneixement i estem convençuts que la utilització de noves eines i l’ajuda de la tecnologia poden alleugerir les càrregues burocràtiques i fer que siguem més àgils. La intel·ligència artificial pot ser de gran ajuda».