**ENGLISH BELOW**

«Es crucial replantear la manera en que se evalúa tanto a los investigadores como a las instituciones, así como los resultados de la investigación. La necesidad es clara y urgente.» 

Con estas palabras, James Wilsdon, director ejecutivo del Research on Research Institute (RoRI), resumió uno de los principales desafíos que se abordaron en la jornada «Nuevos métodos de evaluación científica», celebrada el pasado 15 de marzo y organizada por la Agencia Estatal de Investigación (AEI), entidad adscrita al Ministerio de Ciencia, Innovación y Universidades, en colaboración con la Fundación ”la Caixa”. Durante la reunión, expertos de diversos campos compartieron sus perspectivas sobre el modo en que la inteligencia artificial y otros enfoques innovadores pueden contribuir a mejorar significativamente los sistemas de evaluación científica. 

Junto a James Wilsdon, el evento contó con la participación de Carla Carbonell, responsable de Evaluación de Proyectos de la Fundación ”la Caixa”; José Manuel Fernández de Labastida, jefe de la unidad de apoyo del European Research Council (ERC), y Carles Sierra, director del Instituto de Inteligencia Artificial del CSIC. El debate culminó con una mesa redonda en la que también participaron Ignasi López Verdeguer, director del Área de Relaciones con Instituciones de Investigación y Salud de la Fundación ”la Caixa”, y Nuria Sebastián Gallés, miembro del Comité Científico y Técnico de la Agencia Estatal de Investigación. 

A continuación presentamos las claves de una jornada cuya finalidad, en palabras de Domènec Espriu, director general de la Agencia Estatal de Investigación y anfitrión del evento, es «fomentar el debate para avanzar hacia una evaluación más responsable de la investigación de la mano de las nuevas tecnologías, en especial de la inteligencia artificial, con la excelencia como objetivo y apostando por la colaboración y la transparencia. Además, hacerlo de la mano de la Fundación ”la Caixa”, pionera en alguna de estas iniciativas, es un motivo de gran satisfacción. Veremos en qué momento pueden ser aplicados los nuevos métodos y cómo va a ser su interrelación con los actuales».

Javier Solana, presidente del Comité Científico de la Fundación ”la Caixa”, que junto al director de la AEI inauguró el evento en el que participaron más de 100 personas, explicó que «desde la Fundación ”la Caixa” se trabaja incansablemente con la voluntad de continuar estando a la altura de los mejores estándares internacionales en la evaluación de proyectos científicos con el objetivo de maximizar la calidad y el impacto de la investigación que apoyamos».

Hacia una evaluación responsable de la investigación

Cada año, las instituciones públicas y privadas que dan apoyo a la investigación reciben gran cantidad de propuestas. Durante el proceso de selección se emplean sistemas de evaluación que consideran elementos tanto cualitativos como cuantitativos para medir el desempeño y la calidad de la investigación científica. Entre estos últimos se encuentran los bibliométricos, que se derivan de las publicaciones académicas. 

En los últimos años, el ámbito de la investigación científica ha sido testigo de un intenso debate sobre cómo mejorar estos procesos de evaluación alejándose del excesivo empleo de los indicadores bibliométricos y avanzando hacia un sistema más responsable. Para James Wilsdon, un avance clave que se ha logrado en esta dirección es la constitución de COARA, iniciativa europea a la que se han adherido más de 800 instituciones (81 de ellas, en España) y que tiene como objetivo reformar el sistema de evaluación de la investigación. 

«La evaluación responsable debe incentivar y reconocer la investigación de alto impacto al mismo tiempo que respalda prácticas diversas e inclusivas», señala Wilsdon, que en su intervención expuso las claves que marcan el camino hacia un proceso de evaluación responsable:

• Priorizar la calidad de los resultados sobre la cantidad. Es necesario promover sistemas más equilibrados que consideren múltiples formas de presentar los resultados y otorguen mayor importancia a las métricas cualitativas. 
• Ampliar la definición de excelencia para incluir también el impacto social de la investigación. 

• Desarrollar nuevos indicadores y criterios de evaluación que se ajusten a la evolución actual de la cultura científica. 

• Explorar el potencial de la inteligencia artificial con cautela, pero con la mente abierta, para reducir la carga burocrática y mejorar los procesos de evaluación. 

«La forma en que se lleva a cabo, se financia y se comunica la investigación está evolucionando a gran velocidad, en parte debido a la inteligencia artificial y al auge de las redes sociales. Esto hace aún más necesario replantear también los sistemas de evaluación», añadió James Wilsdon. 

De la mano de la inteligencia artificial: la propuesta de la Fundación ”la Caixa”

En las seis ediciones de la convocatoria CaixaResearch de Investigación en Salud se han evaluado más de 3.700 propuestas, de las cuales se han seleccionado 171. Para llevar a cabo este proceso de selección seguimos distintas fases asistidas por inteligencia artificial. 

Este sistema opera en dos frentes principales: 

1. Matching: Facilitando el proceso de asignar los evaluadores más adecuados para cada proyecto, en función de su expertise e historial de publicaciones. Dado el volumen de propuestas recibidas y su alta granularidad sería imposible realizar este proceso a mano. El uso de herramientas de IA asegura una buena evaluación,
2. Elegibilidad de contenido: Identificando y etiquetando las propuestas con menor probabilidad de ser seleccionadas, evitando así sobrecargar de trabajo a los evaluadores con propuestas no maduras. Desde 2023, después de validar los datos, entrenar los algoritmos y realizar un piloto con resultados muy sólidos, se ha implementado este proceso, asistido por 3 algoritmos de IA y siempre ratificado por 2 evaluadores por propuesta, explicó Carla Carbonell, responsable de Evaluación de Proyectos de la Fundación ”la Caixa”. 

«De cara a la buena aceptación del uso  de la inteligencia artificial, es muy importante que los procesos se basen en la transparencia y la intervención humana», señaló. La Fundación ”la Caixa” se suma al movimiento global para mejorar los sistemas de evaluación de la investigación. «Nuestro sistema ha mostrado resultados sólidos y está allanando el camino para que la inteligencia artificial gane peso en la mejora de estos procesos», explicó Carla. 

Con la vista puesta en el futuro cercano, añadió: «También estamos estudiando el uso de inteligencia artificial generativa para asistir en la revisión y compilación de los distintos informes de evaluación que reciben los candidatos. Además, estamos poniendo en marcha un proyecto para estudiar diversas opciones destinadas a mejorar la explicabilidad de los procesos de elegibilidad». 

La excelencia como objetivo

El European Research Council (ERC) es un organismo clave de la Unión Europea que impulsa la ciencia hacia nuevas áreas de investigación, tanto en el ámbito básico como en el aplicado. Durante su intervención en la jornada, José Manuel Fernández de Labastida, jefe de la unidad de apoyo del ERC, afirmó: “Nuestro único criterio de evaluación es la excelencia, tanto del proyecto de investigación como del investigador principal”. 

De acuerdo con lo expuesto por Fernández de Labastida, el ERC selecciona los mejores proyectos mediante un proceso de evaluación en dos fases. En la primera, se hace una valoración inicial del proyecto y del currículum del investigador principal. La evaluación la lleva a cabo un equipo de investigadores de alto nivel. Las propuestas preseleccionadas avanzan a una segunda fase, donde se realiza una revisión más detallada del proyecto y se lleva a cabo un debate para tomar una decisión final conjunta. 

Aunque el ERC reconoce que muchos investigadores, bajo su responsabilidad, utilizan la inteligencia artificial generativa en la preparación de las propuestas que quieren presentar, la revisión de los proyectos por parte del ERC siempre la llevan a cabo expertos humanos. 

Fernández de Labastida amplió su intervención con algunas reflexiones personales sobre el uso de la inteligencia artificial por parte de las organizaciones financiadoras en los procesos de evaluación: ¿Deberían programas como el ERC implementar un sistema basado en la inteligencia artificial para asistir a los solicitantes en la redacción de sus propuestas? ¿Y en la revisión de los documentos? ¿Se deberían desarrollar sistemas para optimizar la selección de revisores y mejorar la composición de los paneles de evaluación? Descubre sus respuestas en el vídeo completo:

Apostar por la colaboración y la transparencia

El objetivo último de la investigación es generar ideas innovadoras y obtener resultados de calidad para impulsar el avance científico. En este proceso acumulativo, la comunicación, la publicación y una revisión adecuada de las investigaciones desempeñan un papel fundamental. 

«Debemos avanzar hacia una evaluación por pares abierta, donde las revisiones sean públicas y se considere la reputación del revisor para ponderar su valor. Una reputación más precisa del revisor se traduce en una evaluación más precisa del artículo, lo cual impacta directamente en la reputación del autor. De esta forma, otorgamos un grado de credibilidad y reconocimiento más ajustado a cada artículo», explicó Carles Sierra, director del instituto de Investigación en Inteligencia Artificial del CSIC. 

Con la intención de mejorar el sistema actual y hacerlo más colaborativo y transparente, el Instituto de Investigación en Inteligencia Artificial del CSIC ha desarrollado un modelo de reputación académico automático, conocido como ARM. Este modelo va más allá del tradicional sistema de revisión por pares utilizado en las publicaciones científicas, ya que también tiene en cuenta la reputación de los revisores, la del autor y la de las propias revisiones. 

«Los objetivos del ARM son fomentar el intercambio de buenas ideas, promover la colaboración en pro de la calidad, desalentar el plagio, suscitar nuevos enfoques y versiones que añadan valor al trabajo publicado, reducir la carga de trabajo de revisión, impulsar la redacción de reseñas sobre los artículos y, sobre todo, fomentar las revisiones de alta calidad», recalcó Carles Sierra. 

Los dilemas éticos que plantea el uso de la inteligencia artificial

La jornada «Nuevos métodos de evaluación científica» se cerró con una mesa redonda moderada por Domènec Espriu en la que participaron los ponentes James Wilsdon, Carles Sierra y José Manuel Fernández de Labastida junto a Ignasi López Verdeguer y Nuria Sebastián Gallés. La sesión giró alrededor de los dilemas éticos asociados a la incorporación de la inteligencia artificial a los procesos de evaluación de la investigación, así como la importancia de impulsar modelos más colaborativos y responsables. 

Para Nuria Sebastián Gallés, los principales retos éticos asociados al uso de la inteligencia artificial residen en cómo garantizar la equidad y la transparencia en el proceso de evaluación de la investigación. La experta también enfatizó la necesidad de abordar todos los sesgos presentes en los algoritmos, especialmente aquellos relacionados con la representación de género, para garantizar prácticas de evaluación equitativas. En este sentido, Sebastián Gallés subrayó la importancia de desarrollar metodologías de evaluación de la investigación responsables e inclusivas. 

Por parte de la Fundación ”la Caixa”, Ignasi López Verdeguer abogó por el uso de herramientas de inteligencia artificial para mejorar los procesos de evaluación al mismo tiempo que resaltó la necesidad de ser conscientes en todo momento de las consideraciones éticas y los posibles sesgos involuntarios. Para López Verdeguer, mantener un equilibrio entre innovación y responsabilidad es crucial en la adopción de nuevos métodos de evaluación para optimizar la asignación de recursos y los resultados de la investigación. 

Por último, a modo de conclusión, James Wilsdon quiso destacar la importancia de llevar a cabo una experimentación responsable con las nuevas herramientas de inteligencia artificial, así como la necesidad de integrar los debates sobre esta tecnología en iniciativas más amplias como COARA. Para Wilsdon es fundamental mantener un enfoque equilibrado y orientado hacia el futuro, de manera que la evaluación de la investigación pueda aprovechar la innovación al tiempo que mantiene un compromiso firme con las prácticas éticas y transparentes. 

En el cierre de la jornada, Elisa Rivera, directora general de Planificación, Coordinación y Transferencia de Conocimiento del Ministerio de Ciencia, Innovación y Universidades, resaltó: «La prioridad del Ministerio es la transferencia de conocimiento y estamos convencidos de que la utilización de nuevas herramientas y la ayuda de la tecnología pueden aliviar las cargas burocráticas y hacer que seamos más ágiles. La inteligencia artificial puede ser de gran ayuda». 

 

****

The use of artificial intelligence tools can help us improve scientific assessment processes

“It is crucial to rethink the way in which both researchers and institutions are assessed, as well as research outcomes. The need is clear and urgent.”

With these words, James Wilsdon, executive director of the Research on Research Institute (RoRI), summarised one of the main challenges addressed during the conference entitled “New methods of scientific assessment”, held on 15 March and organised by the Spanish State Research Agency (AEI), an entity attached to the Ministry of Science, Innovation and Universities, in collaboration with the ”la Caixa” Foundation. During the meeting, experts from various fields shared their views on how artificial intelligence and other innovative approaches can help to significantly improve scientific assessment systems.

Along with James Wilsdon, the event was attended by Carla Carbonell, head of Project Evaluation at the ”la Caixa” Foundation, José Manuel Fernández de Labastida, head of the support unit of the European Research Council (ERC) and Carles Sierra, director of the CSIC Artificial Intelligence Institute. The debate culminated in a round table discussion in which Ignasi López Verdeguer, director of Relations with Research and Health Institutions of the ”la Caixa” Foundation, and Nuria Sebastián Gallés, member of the Scientific and Technical Committee of the State Research Agency, also took part.

We present below the key points of a conference which, in the words of Domènec Espriu, director general of the State Research Agency and host of the event, seeks to “stimulate debate in order to move towards a more responsible assessment of research, using new technologies, in particular artificial intelligence, with excellence as the objective and a commitment to collaboration and transparency. Furthermore, collaborating with the ”la Caixa” Foundation, a pioneer in some of these initiatives, brings great satisfaction. We will see when the new methods can be applied and how they will interact with the current ones”.

Javier Solana, President of the Scientific Committee of the ”la Caixa” Foundation, who, along with the director of the AEI, inaugurated the event attended by over 100 people, explained, “At the ”la Caixa” Foundation, we work tirelessly to uphold the highest international standards in evaluating scientific projects, aiming to maximize the quality and impact of the research we support”.

Towards a responsible assessment of research

Every year, public and private institutions that support research receive a large number of proposals. During the selection process, assessment systems are used that take into account both qualitative and quantitative elements to measure the performance and quality of scientific research. Among the latter are bibliometrics derived from academic publications.

In recent years, the field of scientific research has witnessed an intense debate on how to improve these assessment processes, moving away from an excessive focus on bibliometric indicators and towards a more accountable system. For James Wilsdon, a major step forward in this direction has been the creation of CoARA, a European initiative involving more than 800 institutions (81 of which are in Spain) which aims to reform the research assessment system.

“Responsible assessment should incentivise and recognise high-impact research while supporting diverse and inclusive practices,” says Wilsdon, who outlined the keys to a responsible assessment process:

• Prioritise quality of outcomes over quantity. There is a need to promote more balanced systems that consider multiple ways of presenting results and give greater weight to qualitative metrics. 
• Broaden the definition of excellence to include the societal impact of research.
• Develop new indicators and assessment criteria that are in line with current developments in scientific culture.
• Explore, cautiously but with an open mind, the potential of artificial intelligence to reduce bureaucratic burden and improve assessment processes. 

“The way research is conducted, funded and published is evolving rapidly, partly due to artificial intelligence and the rise of social media. This makes it all the more necessary to rethink assessment systems as well,” James Wilsdon added.

Hand in hand with artificial intelligence: the ”la Caixa” Foundation proposal

In the six editions of the CaixaResearch Health Calls, we have assessed more than 3,700 proposals, of which 171 have been selected. To carry out this selection process, we have different phases assisted by artificial intelligence. 

The system operates on two main fronts: 

1. Matching: Facilitating the process of assigning the most suitable reviewers for each project, based on their expertise and publication history. Given the volume of proposals received and their high granularity, it would be impossible to carry out this process manually. The use of AI tools ensures a thorough evaluation.
2. Content Eligibility: Identifying and tagging proposals with a lower probability of being selected, thus avoiding overburdening reviewers with immature proposals. Since 2023, after validating the data, training the algorithms, and conducting a pilot with very solid results, this process has been implemented, assisted by 3 AI algorithms and always ratified by 2 reviewers per proposal, explained Carla Carbonell, Project Evaluation Manager at the «la Caixa» Foundation.

“To ensure the widespread acceptance of artificial intelligence usage, processes must be based on transparency and human intervention”, she pointed out. The ”la Caixa” Foundation is joining the global movement to improve research assessment systems. “Our system has shown solid results and is paving the way for artificial intelligence to play a more significant role in improving these processes,” explained Carla. 

Looking to the near future, “we are also exploring the use of generative artificial intelligence to assist in the review and compilation of the various assessment reports received by candidates. We are also launching a project to study various options to improve the explainability of eligibility processes.” 

Excellence as the goal

The European Research Council (ERC) is a key body in the EU that drives science into new areas of research, both basic and applied. Speaking at the conference, José Manuel Fernández de Labastida, head of the ERC support unit, said: “Our only assessment criterion is the excellence of both the research project and the principal investigator.” 

In accordance with what Fernández de Labastida stated, the ERC selects the best projects through a two-stage assessment process. The first stage involves an initial evaluation of the project and the CV of the principal investigator. The assessment is conducted by a team of high-level researchers. Short-listed proposals proceed to the second stage, where a more detailed assessment of the project is carried out and a discussion takes place to reach a final joint decision. 

Although the ERC acknowledges that many of the researchers under its responsibility use generative artificial intelligence to prepare the proposals they wish to submit, the ERC’s review of projects is always conducted by human experts.

Fernández de Labastida expanded his presentation with some personal reflections on the use of artificial intelligence by funding organisations in the assessment processes: Should programmes such as the ERC implement a system based on artificial intelligence to assist applicants in drafting their proposals? And in reviewing the documents? Should systems be developed to optimise the selection of reviewers and improve the composition of assessment panels? Discover his answers in the full video:

Focus on collaboration and transparency

The ultimate goal of research is to generate innovative ideas and obtain quality outcomes to advance scientific progress. In this cumulative process, communication, publication and an appropriate review of the research play a key role.

“We must move towards open peer review, where reviews are public and the reputation of the reviewer is taken into account when weighing up their value. A more accurate reputation of the reviewer translates into a more accurate assessment of the article, directly impacting the reputation of the author. In this way, we give each article a more accurate degree of credibility and recognition,” explained Carles Sierra, director of the CSIC AI institute.

With the intention of improving the current system and making it more collaborative and transparent, the CSIC Artificial Intelligence Research Institute has developed an automatic academic reputation model, known as ARM. This model goes beyond the traditional peer review system used in scientific publications, as it also takes into account the reputation of the reviewers, the author and the reviews themselves.

“The objectives of the ARM are to foster the exchange of good ideas, promote collaboration for quality, discourage plagiarism, encourage new approaches and versions that add value to published work, reduce the review workload, boost the writing of reviews of articles and, above all, encourage high quality reviews,” emphasised Carles Sierra.

The ethical dilemmas posed by the use of artificial intelligence

The “New methods of scientific assessment” conference closed with a round table moderated by Domènec Espriu, in which the speakers James Wilsdon, Carles Sierra and José Manuel Fernández de Labastida participated, together with Ignasi López Verdeguer and Nuria Sebastián Gallés. The session focused on the ethical dilemmas associated with the integration of artificial intelligence into research assessment processes and the importance of promoting more collaborative and responsible models.

For Nuria Sebastián Gallés, the main ethical challenges associated with the use of artificial intelligence lie in how to ensure fairness and transparency in the research assessment process. The expert also emphasised the need to address all biases present in algorithms, especially those related to gender representation, in order to ensure equitable assessment practices. In this regard, Sebastián Gallés highlighted the importance of developing responsible and inclusive research assessment methodologies.

Ignasi López Verdeguer from the ”la Caixa” Foundation advocated the use of artificial intelligence tools to enhance assessment processes, while stressing the need to be aware at all times of ethical considerations and possible unintentional biases. According to López Verdeguer, maintaining a balance between innovation and accountability is crucial when adopting new assessment methods to optimise resource allocation and research outcomes.

Finally, by way of conclusion, James Wilsdon stressed the importance of conducting responsible experimentation with new artificial intelligence tools and the need to integrate discussions on this technology into broader initiatives such as COARA. For Wilsdon, it is essential to maintain a balanced and forward-looking approach, so that research assessment can take advantage of innovation while maintaining a strong commitment to ethical and transparent practices.

In closing the conference, Elisa Rivera, director general of Planning, Coordination and Knowledge Transfer of the Ministry of Science, Innovation and Universities, stressed that: “The Ministry’s priority is the transfer of knowledge and we are convinced that the use of new tools and the help of technology can reduce bureaucratic burdens and make us more agile. Artificial intelligence can be of great help.”