La Nueva España

La Nueva España

Contenido exclusivo para suscriptores digitales

Ángel Machado Cabezas

Meritocracia en investigación

Un sistema de evaluación que prima la cantidad sobre la calidad

La forma práctica de realizar la investigación científica es bastante diferente según el área de que se trate y la mayoría no usa laboratorios, experimentos, etc. Lograr un sistema que evalúe adecuadamente campos tan dispares del conocimiento no resulta fácil.

En España la mayoría de la producción científica se produce en la universidad. En enero de 1995 entró en vigor una norma que permite evaluar la actividad investigadora de profesores universitarios e investigadores de otros centros a partir de sus aportaciones científicas cada seis o más años denominados sexenios. Sus incentivos probablemente son los que han generado el importante incremento de publicaciones científicas de las universidades españolas en los últimos años. Entre 1996 y 2008 el aumento de la producción científica española fue mayor que en cualquier país europeo, Japón o Estados Unidos.

La norma anterior suele exigir que al menos dos de las cinco aportaciones evaluadas sean artículos publicados en revistas de relevancia significativa incluidas en el Journal Citation Reports (JCR). Dicha relevancia se mide con el Factor de Impacto (número de veces citado), que permite determinar de una manera sistemática y bastante objetiva la importancia de las principales revistas de investigación de todo el mundo comparando la trascendencia relativa de cada una en su campo científico.

Hace unos años hice un cálculo basado en hipótesis razonables, y por tanto subjetivas, para obtener el tiempo medio que se necesitaría a nivel mundial para cumplir el requisito de lograr dos trabajos de alto impacto (que estén en el primer cuartil) del JCR en el campo de la administración de empresas (Management, Business and Finance) y obtuve que de media se tardarían 400 años en publicar dos artículos, mientras que la norma española citada pide al menos dos en solo seis años. Es decir, si a nivel global todos los implicados tratasen de publicar los citados dos artículos, casi ningún profesor lograría un sexenio de investigación positivo pues necesitaría de media 400 años y no seis. Sin embargo, la mayoría de los profesores españoles que se lo proponga puede lograrlos porque otros muchos no se lo plantean ni en España ni sobre todo a nivel mundial.

En teoría, publicar en revistas del JCR supone cierta garantía de calidad, pues todas ellas tienen un sistema de evaluación anónimo realizado por especialistas que rechaza aquellos trabajos que no tienen la calidad requerida. De media en administración de empresas se estima que se rechazan más del 90% de los trabajos recibidos para su posible publicación, si bien es relativamente factible lograrlo.

A pesar de lo anterior, son conocidos los estudios sobre las manipulaciones, errores y sesgos de las revistas científicas (David H. Freedman, “Equivocados”, Empresa Activa, 2011). Por otro lado, los expertos solo suelen aceptar las opiniones concordantes que aparecen en los estudios ajenos, lo que se denomina efecto rebaño, por lo que al rechazar las opiniones críticas se pierde un potente sistema para mejorar el avance científico.

En las penúltimas tres décadas ha proliferado la publicación de multitud de técnicas de gestión de empresas, catalogadas por John Hartwick y Danny Miller en “Harvard Business Review” (Vol. 80 (10), 2002) después de examinar 1.700 trabajos sobre ellas de “sencillas, normativas, falsamente alentadoras y servir para todos”, lo que quiere decir que las novedades en gestión de empresas sirven de poco. Después de leer en los últimos años más de 600 artículos sobre administración de empresas, la gran mayoría publicados en revistas pertenecientes al JCR, estoy de acuerdo en que “solo una pequeña porción de la investigación en finanzas y contabilidad supera la prueba del tiempo y hace una contribución sustancial a la literatura” (cabría generalizar a administración de empresas) (Ryan, Scapens y Theobald, “Metodología de la Investigación en finanzas y contabilidad”, Deusto, 2004). Resumiendo, el principal problema al que se enfrenta la investigación en esta área no está en el rigor científico del método seguido en los trabajos, sino en que estos no cumplen bien el primer requisito exigido a una investigación de calidad de ser realmente útil para el avance del conocimiento científico.

Como decía Rohrer, premio Nobel de Física de 1988, “simplemente contando publicaciones hemos elegido el camino más fácil para nosotros, el más rentable para los editores y el más dañino para la ciencia”. En definitiva, estamos en un sistema que conduce a una orgía de publicaciones de calidad media decreciente de imposible lectura (Rolf Tarrach, “El país”, 13-4-2005). Sería mejor que se publicase menos pero más valioso, no haciendo perder tiempo inútilmente a muchos investigadores que dedican mucho tiempo a leer trabajos irrelevantes. Igualmente sería mejor que se publicase pensando más en la ciencia y menos en los méritos personales.

El sistema español de evaluación de la investigación es meritocrático y está mal enfocado pues en él priman la cantidad y el trabajo individual frente a la calidad y el trabajo en equipo que es como mejor avanza la ciencia. Esta meritocracia tiene efectos perversos para la ciencia pues erosiona la moral y los incentivos de muchos científicos que no están de acuerdo con un sistema principalmente basado en el número de publicaciones. El sistema de sexenios en gran medida se convierte en un fin en sí mismo, es decir, fomenta publicar para obtener dichos sexenios no para mejorar el conocimiento, beneficiando a los investigadores que lo usan pues conlleva retribuciones y méritos adicionales.

En psicología es bien sabido que las personas damos mayor importancia a no perder algo, sea material (dinero) o inmaterial (imagen, prestigio), que a la posibilidad de ganarlo. Esta asimetría se ha podido medir obteniéndose un valor medio aproximado de 2,5, es decir, de media se da 2,5 veces más importancia a perder algo que a ganar más de ese algo. Aplicando este hecho al incentivo de publicar ciencia (que es lo que parece pretender la norma española) probablemente se aumentaría significativamente el número de publicaciones mucho más eficazmente si en vez de premiar a los científicos y profesores que logren una evaluación positiva cada seis años, penalizara a quienes no la lograsen.

En España, al menos en lo que yo conozco, hay un vicio dañino en la forma de investigar consistente en tratar de dominar las herramientas que se usan en la investigación. En concreto, los programas estadísticos, que normalmente son bastante complejos, necesitan largos periodos de estudio para ser dominarlos, por lo que sería más lógico que los investigadores trabajasen en colaboración con quienes controlen bien estas herramientas ahorrándose así multitud de horas de trabajo pudiendo dedicarlo a su especialidad y teniendo además más garantías de la buena aplicación de dichas herramientas.

Compartir el artículo

stats