|
The peer review process is a key part of the gears that make up the scientific publication system. It ensures the quality, integrity, reproducibility and robustness of the papers submitted to scientific journals and it is a continuous object of study and discussion in the scientific community. Authors, editors and reviewers are all involved in this joint task. This involves multiple social processes that manifest as a negotiation between the different parts, despite the editor’s decision will remain the last one. In turn, the peer review process is the quality seal of the journals. Maintaining high standards and making the review system a constructive process for the submitted articles is a major objective of these journals in order to maintain their status and reputation.
This doctoral thesis proposes the use of data and text mining alongside the application of natural language processing techniques to characterise the peer review system and the review texts thereby generated, based on unique data sets obtained through different data sharing agreements with major scientific publishers.
One of the novelties of this work is the different linguistic characterisations of the review texts, analysing the type of language and comparing its use according to the recommendation or gender of the reviewer.
An overview of studies regarding the characterisation of the constructive value of the review process is also undertaken, analysing the type and amount of changes that articles undergo due to the reviewers’ comments and the effect that these have on the probability of being cited.
Finally, a metric is proposed to measure the constructive value and completeness of a review. Also, different population groups are compared according to gender, age and country, as well as the journal’s scientific area and its impact factor.El proceso de revisión por pares constituye una pieza clave de los engranajes que componen el sistema de publicación de la ciencia. Este vela por la calidad, integridad, reproducibilidad y robustez de los trabajos que se envían a las revistas científicas y es objeto continuo de estudio y discusión en la comunidad científica, involucrando a autores, editores y revisores en una tarea conjunta plagada de procesos sociales que se manifiestan a modo de negociación entre las diferentes partes, asumiendo el editor el papel de árbitro. A su vez, el proceso de revisión por pares es la insignia de calidad de las propias revistas. Mantener unos altos estándares y hacer del sistema de revisión un elemento constructivo para con los artículos que se envían es un objetivo primordial de las revistas para mantener su estatus y reputación.
Esta tesis doctoral propone el uso de la minería de datos y de textos, junto con la aplicación de técnicas de procesado de lenguaje natural para la caracterización del sistema de revisión por pares y de los textos de revisión que en él se generan, a partir de unos conjuntos de datos únicos conseguidos a través de diferentes acuerdos de compartición de datos con grandes editoriales científicas.
Por un lado, una de las novedades presentadas en este trabajo son las diferentes caracterizaciones lingüísticas sobre los textos de revisión, en los que se analiza el tipo de lenguaje empleado y se compara su uso según la recomendación o el género del revisor.
Por otro lado, se presentan diferentes trabajos sobre la caracterización del valor constructivo del proceso de revisión, analizando el tipo y la cantidad de cambios que sufren los artículos debido a los comentarios de quienes revisan y el efecto que estos tienen sobre la probabilidad de ser citados.
Por último, se propone una métrica para medir el valor constructivo y la completitud de una revisión y se comparan diferentes grupos poblacionales según género, edad o país, así como el área o el factor de impacto de la revista.
|