Skip to Content

¿Cómo se ha confeccionado?

1. Identificación y aplicación de los criterios de calidad editorial de las Agencias de Evaluación ANECA y CNEAI y del Sistema de Información LATINDEX para revistas científicas

 

Con el objetivo de poder ofrecer el perfil de calidad editorial de cada revista en el marco de la evaluación de las agencias y sistemas mencionados, el equipo de trabajo de RESH analizó y aplicó los criterios de valoración contemplados en los siguientes documentos de referencia:

  • Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). Programa Academia. Acceso a los Cuerpos Docentes Universitarios. Principios y orientaciones para la aplicación de los criterios de evaluación. V. 2.0 31/01/2008

http://www.aneca.es/Programas/ACADEMIA/Documentos-del-Programa

  • Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI). BOE. Resolución de 18 noviembre de 2009, de la Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación, 2009, pp. 102491-102505

http://www.boe.es/boe/dias/2009/12/01/pdfs/BOE-A-2009-19218.pdf y en http://www.educacion.gob.es/horizontales/ministerio/organismos/cneai/criterios-evaluacion.html

  • LATINDEX. Sistema Regional de Información para Revistas Científicas. Características editoriales para revistas impresas.

http://www.latindex.org/documentos/revistas_imp.html

  • LATINDEX. Características editoriales para revistas electrónicas.

http://www.latindex.org/documentos/revistas_elec.html

Estos documentos refieren un conjunto de indicadores que deben cumplir las revistas científicas. En el caso de las agencias de evaluación estos indicadores se establecen como requisitos de referencia para que una revista pueda ser considerada en los procesos de evaluación o acreditación. No obstante, esto no significa que todos los indicadores tengan el mismo peso para las agencias, por lo que pudiera darse el caso de que revistas que cumplan muchos criterios pero no estén cumpliendo alguno de los considerados fundamentales por las agencias, no resultaran bien valoradas por estas. RESH trabaja con indicadores de calidad indirecta. Sin embargo, son las agencias o las instituciones quienes toman las decisiones finales sobre el valor de las revistas.

En el caso del Sistema Latindex, los indicadores considerados se refieren fundamentalmente a la calidad editorial, no son comparables a los empleados por las agencias de evaluación, puesto que los objetivos de Latindex son otros distintos, y permiten a las revistas su ingreso o no en el Catálogo.

 

Para la CNEAI, el equipo de trabajo de RESH identificó un total de 19 criterios, para ANECA 22 y para Latindex 33 (revistas impresas) y 36 (revistas electrónicas). La relación completa de indicadores seleccionados y aplicados en RESH puede consultarse accediendo a este enlace.



Es necesario advertir que para el conjunto de criterios recogidos por las agencias de evaluación, en unos casos los indicadores se identifican específicamente y en otros se deducen del análisis pormenorizado de los documentos de referencia citados anteriormente. Por el contrario, en el caso del Sistema Latindex los indicadores se encuentran perfectamente tabulados en los criterios de características editoriales que debe cumplir una revista para el ingreso en el Catálogo.



Por otra parte, es necesario reseñar también que buena parte de los indicadores son coincidentes por completo entre los ámbitos o sistemas de evaluación considerados, otros son propios de cada uno de ellos, y otros, siendo aparentemente coincidentes, el modo de aplicación puede ser diferente en su contexto de aplicación. Con el objetivo de que RESH respondiera a los requerimientos específicos de cada sistema, la aplicación y/o actualización de los indicadores de calidad se ha realizado conforme a la definición que cada agencia y sistema hace en sus correspondientes documentos. Ese ejercicio ha supuesto, por una parte, poder aprovechar algunos de los indicadores que ya venían utilizándose en los distintos sistemas de EC3 y EPUC; en esos casos, se ha procedido a actualizar el valor de cada indicador. Por otra, se ha podido ampliar el conjunto de indicadores aplicados pues se han incorporado a la base de datos algunos que no se habían empleado hasta el momento y otros que se habían aplicado pero de forma diferente a la marcada por CNEAI, ANECA o Latindex.



RESH ofrece en sus tres primeras columnas de información el nivel de cumplimiento de criterios de cada revista con respecto a lo exigido por CNEAI, ANECA y Latindex. Pulsando en la cabecera de cada columna, los datos pueden ser ordenados en forma creciente o decreciente. El número de criterios cumplidos por cada revista debe ser puesto en relación con el número total de criterios establecidos por cada uno de los sistemas ya que los objetivos de cada uno de ellos son diferentes. El objetivo de RESH es establecer el nivel de calidad de las publicaciones atendiendo a las especificidades de cada sistema.

 

2. Difusión



Bajo el epígrafe “Difusión” el sistema RESH ofrece el número de bases de datos bibliográficas en que están indizadas o vaciadas las revistas. El número de bases de datos es un indicador del nivel de visibilidad de las publicaciones. Desde ese dato se puede enlazar con el nombre de las bases de datos específicas que recogen esa publicación, así como con las informaciones propias de la base de datos, tales como su productor, su cobertura temática y temporal o los criterios de selección de publicaciones que aplican.



El análisis de la presencia de las revistas en bases de datos bibliográficas fue realizado en 2010 a partir de los listados de revistas fuente que las bases de datos ofrecen y a partir de las consultas a las propias bases de datos. A medida que el equipo de trabajo de RESH ha tenido noticia de las actualizaciones realizadas por las bases de datos en cuanto a su cobertura de revistas españolas de Humanidades y Ciencias Sociales, se han ido incorporando los cambios en la web.



En total se han consultado 79 bases de datos bibliográficas especializadas y generalistas, todas ellas internacionales excepto ISOC e ICYT, cuya cobertura es la producción científica española.

 

3. Opinión de los expertos



El indicador relativo a opinión de expertos trata de sintetizar, mediante una puntuación, la evaluación de la calidad del contenido que hacen los especialistas españoles en Humanidades y Ciencias Sociales. Este indicador, por tanto, representa una valoración cualitativa de la calidad de las revistas.



En 2009, el equipo de trabajo de RESH envió una encuesta a más de 10.000 profesores universitarios e investigadores españoles de Humanidades y Ciencias Sociales, que cumplieran la condición de tener reconocido, al menos, un tramo de investigación por la CNEAI. La selección de esta población partió de los listados de profesores sorteables, hechos públicos por la ANECA.



El primer envío de la encuesta fue realizado en mayo de 2009 y a él le siguieron dos recordatorios, uno en el mes de junio y otro en septiembre. Las tres oleadas permitieron obtener una tasa de respuesta global más que satisfactoria: 45,6% (5368 respuestas).



En la encuesta se pidió a los investigadores que seleccionaran las tres revistas españolas más relevantes de su especialidad y que calificaran cada una de ellas con una puntuación entre 0 y 10. De este modo, para revista se recabaron tres variables: frecuencia con la que cada revista ha sido mencionada en primera, segunda o tercera posición de su especialidad y puntuación que cada sujeto ha dado a cada una de las revistas en cada posición.



Toda esta información ha formado parte del indicador que resume la valoración dada por los expertos a las revistas. El Indicador de Calidad según Expertos (ICE) parte de esta primera fórmula:

  • Xj sería la media de la puntuación que le han otorgado los encuestados en la posición j (primera, segunda o tercera)
  • Fj es la frecuencia con la que ha sido nombrada la revista en la posición j
  • y Wj, el peso específico que se le asigna a cada revista derivado de la posición en la que ha sido votada (3 puntos si aparece en primera posición, 2 si aparece en segunda y 1 si aparece en tercera).

Nota sobre el valor de W: La finalidad del indicador es organizar ordinalmente el conjunto de revistas. El valor de la variable Wj podría ser cualquier número, siempre que se cumpliera con la condición de que el peso asignado a la primera posición sea mayor que el asignado a la segunda, y este que el asignado a la tercera posición (W3 >W2>W1). Si bien los valores asignados (3, 2 y 1) son arbitrarios, las pruebas realizadas por el equipo de trabajo de RESH, aplicando otros pesos específicos matemáticamente más precisos, muestran que la posición de las revistas no varía, por lo que se ha optado por mantener los valores 3, 2 y 1 que resultan más claros e intuitivos para el usuario final de RESH.

 

El resultado de este producto se ha multiplicado por el total de votos para la revista (independientemente de la posición) y todo ello se ha dividido entre el número total de votos que se han dado a todas las revistas de un determinado área del conocimiento. El valor obtenido se ha expresado como porcentaje para obtener una escala de puntuaciones más fácil de interpretar.



4. Impacto



El indicador elegido para resumir el impacto científico de las revistas españolas de Humanidades, Ciencias Sociales y Jurídicas es la tasa de citación. Dicha tasa es el resultado de dividir el número de citas recibidas por las revistas españolas en el último quinquenio por el número de trabajos publicados en dichas revistas en ese mismo quinquenio. En el caso de Ciencias Sociales y Jurídicas se ha utilizado el quinquenio 2005-2009, y en Humanidades el quinquenio 2004-2008.



Las citas utilizadas para calcular la tasa de citación se han extraído de 417 revistas fuente (también denominadas revistas citantes, esto es, revistas de las cuales se han vaciado las referencias bibliográficas a revistas españolas de los artículos científicos que publican). Estas revistas se han seleccionado atendiendo a cuatro criterios:



1. Pervivencia o antigüedad: sólo aquellas revistas que tuviesen una antigüedad mínima de seis años y que hubiesen venido publicándose puntualmente en dicho período.

2. Calidad editorial, entendida como el empleo de un sistema de selección y evaluación de originales y de la existencia de una estructura editorial (editor y comités editoriales) de solvencia científica contrastada.

3. Opinión de los investigadores españoles medida a través de encuestas sobre la calidad percibida de las revistas de su especialidad que se han venido desarrollando en los últimos años en España.

4. Visibilidad e impacto científico nacional e internacional de las revistas españolas, medido a través de los recuentos de citas que se han realizado en trabajos anteriores.

 

Un prerrequisito para una construcción no sesgada -temáticamente hablando- de indicadores basados en citas estriba en conseguir que las principales disciplinas y especialidades estén representadas en la base de datos. Con este fin se han incluido como revistas fuente al menos dos revistas especializadas de cada área de conocimiento. El número de revistas fuente por disciplina se ha establecido atendiendo al tamaño del campo (número de revistas de cada especialidad y número de profesores por área).



El total de revistas citantes definitivamente seleccionadas fue de 417, lo que representa el 20% del universo de revistas españolas de Humanidades, Ciencias Sociales y Jurídicas. De ellas 159 corresponden a disciplinas de Ciencias Sociales, 64 a Ciencias Jurídicas y 184 a Humanidades.



Asimismo, se contabilizan en la tasa de citación las citas recibidas por todas las revistas españolas desde la base de datos Web of Science, que, actualmente, indiza unas 10.000 revistas científicas.