Editorial Éditorial Fixing peer review Comment corriger les lacunes de l’évaluation par les pairs Carlton Gyles
P
eer review is intended to ensure that the quality of published research and case reports meets certain standards and that the conclusions that are presented are justified (1). However, some scientists believe that we need to move away from the traditional format, involving 2 to 3 anonymous experts who advise the editor on the quality of articles and recommend publication or rejection. The major concerns expressed about the present system are: i) it is slow and delays publication, ii) it is usually secret, iii) it sometimes blocks ingenuity as indicated by ground-breaking research denied publication by several journals, iv) it is expensive on reviewers’ time as a single article may be successively reviewed by several journals, going from high to lower impact journal until it is accepted; v) it sometimes allows faulty research to be published. Do we attempt to repair what is perceived to be a broken system or do we try new systems? In response to the above concerns, some journals have instituted modifications to the existing review process. Delay in publication is being addressed by reducing turn-around times for reviews and by online publication immediately after acceptance of an article. The secret review is sometimes replaced by review in which the identity of the reviewers is made known to the authors. Blocking of ingenuity is not addressed by any modifications. The requirement for numerous referees during the downward cascade of papers from high to lower impact journals is being reduced by making use of previous reviews and the authors’ response to those reviews. Some journals make a decision on such a previously rejected article based on assessment by the Editor alone or in concert with 1 expert reviewer, rather than the usual 2 to 3 reviewers (2). A pilot project by one journal with this streamlined review process in use since 2007 showed that the rejection rate and the mean lifetime citations for streamlined review articles were 53% and 11.4, respectively, compared with 77% and 7.5 for other manuscripts (2).
L’
évaluation par les pairs vise à garantir que la qualité de la recherche et des rapports de cas publiés respecte des normes établies et que les conclusions présentées sont justifiées (1). Cependant, certains scientifiques croient que nous devons délaisser le format traditionnel en vertu duquel deux ou trois experts anonymes conseillent le rédacteur en chef sur la qualité des articles et en recommandent la publication ou le refus. Les principales préoccupations exprimées à propos du système actuel sont : i) qu’il est lent et retarde la publication, ii) qu’il est habituellement secret, iii) qu’il bloque parfois l’ingéniosité comme l’indique le refus de publier des travaux de recherche novateurs dans plusieurs revues, iv) qu’il est coûteux en temps pour les examinateurs car un seul article peut être évalué successivement par plusieurs revues, allant d’une revue à facteur d’impact élevé à une revue à faible facteur d’impact jusqu’à son acceptation; v) qu’il permet parfois la publication de travaux de recherche défectueux. Allons-nous tenter de réparer ce qui est perçu comme un système défectueux ou allons-nous mettre de nouveaux systèmes à l’essai? En réponse aux préoccupations soulevées précédemment, certaines revues ont modifié le processus d’évaluation actuel. Le délai pour la publication est abordé en réduisant le délai d’exécution des évaluations et en publiant en ligne dès l’acceptation d’un article. L’évaluation secrète est parfois remplacée par un examen où l’identité des lecteurs est communiquée aux auteurs. Aucune modification n’aborde toutefois le blocage de l’ingéniosité. L’exigence de nombreux lecteurs durant la cascade vers le bas des articles qui passent de revues à impact élevé à celles à faible impact est réduite en utilisant des évaluations antérieures ainsi que la réponse des auteurs à ces évaluations. Certaines revues prennent une décision sur de tels articles déjà refusés en se fondant uniquement sur l’évaluation du rédacteur en chef ou en collaboration avec un évaluateur expert, plutôt qu’en se basant sur le nombre habituel
Use of this article is limited to a single copy for personal study. Anyone interested in obtaining reprints should contact the CVMA office ([email protected]) for additional copies or permission to use this material elsewhere. L’usage du présent article se limite à un seul exemplaire pour étude personnelle. Les personnes intéressées à se procurer des réimpressions devraient communiquer avec le bureau de l’ACMV ([email protected]) pour obtenir des exemplaires additionnels ou la permission d’utiliser cet article ailleurs. CVJ / VOL 55 / APRIL 2014
299
É D I TO R I A L
Many argue that, although publication of faulty research often attracts much attention, this is not a knock on the present peer review system because the system consists of two parts: a rapid pre-publication review, and a long post-publication evaluation by the scientific community. This latter part includes comments and citations and is being facilitated by many journals that provide for online comments on published papers. F1000 has a different system in which post-publication review is layered on top of traditional peer review in an organized manner (1). Previously published biology and medicine papers are reviewed by experts, who select the most impressive ones and write their comments on these articles. The names of the experts accompany the comments. Some journals have moved to a completely new post- publication peer review. For example, F1000 Research carries out an in-house “sanity check” followed by immediate online publication of articles in biology and medicine (1). The published manuscript is then subjected to review by experts, whose reports and names are published on the website. Referees are asked to indicate whether the article reports good science and to identify possible improvements. Authors may respond to the comments of the referees and may revise their manuscript. The system is described as fast, fair, open and allowing all good science to be published quickly. The new approaches to peer review are possible because of the internet, which removes the limitation in volume inherent in a print publication system and provides immediate access and ease of interaction to individuals all over the world. However, the take-up on spontaneous post-publication reviews may be low. The journal Nature receives about 10 000 manuscripts annually, about 60% of which are rejected by the editors without external review, and about 7% of which are published (3). In 2006, Nature conducted a 4-month trial of open peer review. Authors of 79 (5%) of 1369 papers selected for traditional reviews agreed to submit their papers to simultaneous online comments from peers. Only 33 papers received any comments and the comments were not helpful to the editors. Nonetheless, efforts are being made to facilitate the process with a single site, PubMed Commons, at which users may comment on any of the 23 million research articles in the PubMed system (4). The new developments appear to usher in an era of enhanced openness and eagerness to engage in scientific conversations.
References 1. Hunter J. Post-publication peer review: Opening up scientific conversation. Frontiers in Computational Neuroscience 2012;6:article 63, 1–2. 2. Kanter-Schlifke I, Helsloot A. Streamlined peer review process piloted by several Elsevier journals. Available from: http://www.elsevier.com/__data/ assets/pdf_file/0004/168430/Reviewers-Update_17.pdf Last accessed January 20, 2014. 3. O verview: Nature’s peer review trial. Nature 2006;doi:10.1038/ nature05535. Available from: www.nature.com/nature/peerreview/ debate/nature05535.html Last accessed January 20, 2014. 4. Swartz A. Post-Publication Peer Review Mainstreamed: The launch of PubMed Commons highlights the pros and cons of re-reviewing published papers. October 22, 2013. Available from: http://www.the-scientist. com/?articles.view/articleNo/37969/title/Post-Publication-Peer-Review■ Mainstreamed/ Last accessed January 20, 2014.
300
de deux ou trois examinateurs (2). Un projet pilote réalisé par une revue ayant adopté un tel processus simplifié depuis 2007 a démontré que le taux de refus et les citations moyennes à vie pour les articles à évaluation simplifiée étaient de 53 % et de 11,4, respectivement, comparativement à 77 % et à 7,5 pour les autres manuscrits (2). Beaucoup font valoir que, même si la publication de travaux de recherche défectueux attire souvent beaucoup d’attention, cela ne représente pas une critique du système actuel d’évaluation par les pairs parce que le système se compose de deux étapes : un examen rapide avant la publication et une longue évaluation par la collectivité scientifique après la publication. Cette dernière étape inclut des commentaires et des citations et est facilitée par de nombreuses revues qui fournissent des commentaires en ligne sur des articles publiés. Or, F1000 possède un système différent où l’examen après la publication s’ajoute d’une manière structurée à l’évaluation traditionnelle par les pairs (1). Des articles déjà publiés dans les domaines de la biologie et de la médecine sont évalués par des experts, qui choisissent les plus impressionnants et rédigent des commentaires sur ces articles. Le nom des experts accompagnent les documents. Certaines revues sont passées à un type d’examen par les pairs complètement nouveau qui se fait après la publication. Par exemple, F1000 Research effectue une «évaluation du bienfondé» interne qui est suivie de la publication en ligne immédiate d’articles sur la biologie et la médecine (1). Le manuscrit publié est ensuite soumis à un examen par les experts, dont les rapports et les noms sont publiés sur le site Web. On demande aux examinateurs d’indiquer si l’article contient de la bonne science et d’identifier des améliorations possibles. Les auteurs peuvent répondre aux commentaires des examinateurs et ils peuvent réviser leur manuscrit. Le système est décrit comme étant rapide, équitable et ouvert et il permet à tous les bons travaux scientifiques d’être publiés rapidement. De nouvelles approches face à l’évaluation par les pairs sont possibles grâce à Internet, qui élimine les limites de volume inhérentes à un système de publication sur papier tout en fournissant l’accès immédiat et une interaction facile à des personnes partout dans le monde. Cependant, le recours aux évaluations spontanées après la publication peut être faible. La revue Nature reçoit environ 10 000 manuscrits chaque année, dont environ 60 % sont refusés par les rédacteurs sans passer à l’évaluation externe et dont environ 7 % sont publiés (3). En 2006, Nature a réalisé un essai de quatre mois en adoptant une évaluation par les pairs ouverte. Les auteurs de 79 (5 %) des 1369 articles choisis pour des évaluations traditionnelles ont accepté de soumettre leurs articles à des commentaires en ligne simultanés provenant des pairs. Seulement 33 articles ont reçu des commentaires et les commentaires ne présentaient pas d’utilité pour les rédacteurs. Néanmoins, des efforts sont déployés en vue de faciliter le processus sur un seul site, PubMed Commons, où les utilisateurs peuvent présenter des commentaires portant sur n’importe lequel des 23 millions articles de recherche conservés dans le système PubMed (4). Ces nouveaux progrès semblent inaugurer une ère de transparence accrue et signalent la volonté de participer à des conversations scientifiques. CVJ / VOL 55 / APRIL 2014
É D I TO R I A L
Renvois 1. HUNTER, J. «Post-publication peer review: Opening up scientific conversation», Frontiers in Computational Neuroscience, 2012, vol. 6, article 63, p. 1–2. 2. KANTER-SCHLIFKE, I. et A. HELSLOOT. Streamlined peer review process piloted by several Elsevier journals. Disponible au : http://www. elsevier.com/__data/assets/pdf_file/0004/168430/Reviewers-Update_17. pdf Dernière consultation le 20 janvier 2014.
302
3. «Overview: Nature’s peer review trial», Nature, 2006;doi:10.1038/ nature05535. Disponible au : www.nature.com/nature/peerreview/debate/ nature05535.html Dernière consultation le 20 janvier 2014. 4. SWARTZ, A. Post-Publication Peer Review Mainstreamed: The launch of PubMed Commons highlights the pros and cons of re-reviewing published papers. Le 22 octobre 2013. Disponible au : http://www.the-scientist. com/?articles.view/articleNo/37969/title/Post-Publication-Peer-ReviewMainstreamed/ Dernière consultation le 20 janvier 2014. ■
CVJ / VOL 55 / APRIL 2014
P
eer review is intended to ensure that the quality of published research and case reports meets certain standards and that the conclusions that are presented are justified (1). However, some scientists believe that we need to move away from the traditional format, involving 2 to 3 anonymous experts who advise the editor on the quality of articles and recommend publication or rejection. The major concerns expressed about the present system are: i) it is slow and delays publication, ii) it is usually secret, iii) it sometimes blocks ingenuity as indicated by ground-breaking research denied publication by several journals, iv) it is expensive on reviewers’ time as a single article may be successively reviewed by several journals, going from high to lower impact journal until it is accepted; v) it sometimes allows faulty research to be published. Do we attempt to repair what is perceived to be a broken system or do we try new systems? In response to the above concerns, some journals have instituted modifications to the existing review process. Delay in publication is being addressed by reducing turn-around times for reviews and by online publication immediately after acceptance of an article. The secret review is sometimes replaced by review in which the identity of the reviewers is made known to the authors. Blocking of ingenuity is not addressed by any modifications. The requirement for numerous referees during the downward cascade of papers from high to lower impact journals is being reduced by making use of previous reviews and the authors’ response to those reviews. Some journals make a decision on such a previously rejected article based on assessment by the Editor alone or in concert with 1 expert reviewer, rather than the usual 2 to 3 reviewers (2). A pilot project by one journal with this streamlined review process in use since 2007 showed that the rejection rate and the mean lifetime citations for streamlined review articles were 53% and 11.4, respectively, compared with 77% and 7.5 for other manuscripts (2).
L’
évaluation par les pairs vise à garantir que la qualité de la recherche et des rapports de cas publiés respecte des normes établies et que les conclusions présentées sont justifiées (1). Cependant, certains scientifiques croient que nous devons délaisser le format traditionnel en vertu duquel deux ou trois experts anonymes conseillent le rédacteur en chef sur la qualité des articles et en recommandent la publication ou le refus. Les principales préoccupations exprimées à propos du système actuel sont : i) qu’il est lent et retarde la publication, ii) qu’il est habituellement secret, iii) qu’il bloque parfois l’ingéniosité comme l’indique le refus de publier des travaux de recherche novateurs dans plusieurs revues, iv) qu’il est coûteux en temps pour les examinateurs car un seul article peut être évalué successivement par plusieurs revues, allant d’une revue à facteur d’impact élevé à une revue à faible facteur d’impact jusqu’à son acceptation; v) qu’il permet parfois la publication de travaux de recherche défectueux. Allons-nous tenter de réparer ce qui est perçu comme un système défectueux ou allons-nous mettre de nouveaux systèmes à l’essai? En réponse aux préoccupations soulevées précédemment, certaines revues ont modifié le processus d’évaluation actuel. Le délai pour la publication est abordé en réduisant le délai d’exécution des évaluations et en publiant en ligne dès l’acceptation d’un article. L’évaluation secrète est parfois remplacée par un examen où l’identité des lecteurs est communiquée aux auteurs. Aucune modification n’aborde toutefois le blocage de l’ingéniosité. L’exigence de nombreux lecteurs durant la cascade vers le bas des articles qui passent de revues à impact élevé à celles à faible impact est réduite en utilisant des évaluations antérieures ainsi que la réponse des auteurs à ces évaluations. Certaines revues prennent une décision sur de tels articles déjà refusés en se fondant uniquement sur l’évaluation du rédacteur en chef ou en collaboration avec un évaluateur expert, plutôt qu’en se basant sur le nombre habituel
Use of this article is limited to a single copy for personal study. Anyone interested in obtaining reprints should contact the CVMA office ([email protected]) for additional copies or permission to use this material elsewhere. L’usage du présent article se limite à un seul exemplaire pour étude personnelle. Les personnes intéressées à se procurer des réimpressions devraient communiquer avec le bureau de l’ACMV ([email protected]) pour obtenir des exemplaires additionnels ou la permission d’utiliser cet article ailleurs. CVJ / VOL 55 / APRIL 2014
299
É D I TO R I A L
Many argue that, although publication of faulty research often attracts much attention, this is not a knock on the present peer review system because the system consists of two parts: a rapid pre-publication review, and a long post-publication evaluation by the scientific community. This latter part includes comments and citations and is being facilitated by many journals that provide for online comments on published papers. F1000 has a different system in which post-publication review is layered on top of traditional peer review in an organized manner (1). Previously published biology and medicine papers are reviewed by experts, who select the most impressive ones and write their comments on these articles. The names of the experts accompany the comments. Some journals have moved to a completely new post- publication peer review. For example, F1000 Research carries out an in-house “sanity check” followed by immediate online publication of articles in biology and medicine (1). The published manuscript is then subjected to review by experts, whose reports and names are published on the website. Referees are asked to indicate whether the article reports good science and to identify possible improvements. Authors may respond to the comments of the referees and may revise their manuscript. The system is described as fast, fair, open and allowing all good science to be published quickly. The new approaches to peer review are possible because of the internet, which removes the limitation in volume inherent in a print publication system and provides immediate access and ease of interaction to individuals all over the world. However, the take-up on spontaneous post-publication reviews may be low. The journal Nature receives about 10 000 manuscripts annually, about 60% of which are rejected by the editors without external review, and about 7% of which are published (3). In 2006, Nature conducted a 4-month trial of open peer review. Authors of 79 (5%) of 1369 papers selected for traditional reviews agreed to submit their papers to simultaneous online comments from peers. Only 33 papers received any comments and the comments were not helpful to the editors. Nonetheless, efforts are being made to facilitate the process with a single site, PubMed Commons, at which users may comment on any of the 23 million research articles in the PubMed system (4). The new developments appear to usher in an era of enhanced openness and eagerness to engage in scientific conversations.
References 1. Hunter J. Post-publication peer review: Opening up scientific conversation. Frontiers in Computational Neuroscience 2012;6:article 63, 1–2. 2. Kanter-Schlifke I, Helsloot A. Streamlined peer review process piloted by several Elsevier journals. Available from: http://www.elsevier.com/__data/ assets/pdf_file/0004/168430/Reviewers-Update_17.pdf Last accessed January 20, 2014. 3. O verview: Nature’s peer review trial. Nature 2006;doi:10.1038/ nature05535. Available from: www.nature.com/nature/peerreview/ debate/nature05535.html Last accessed January 20, 2014. 4. Swartz A. Post-Publication Peer Review Mainstreamed: The launch of PubMed Commons highlights the pros and cons of re-reviewing published papers. October 22, 2013. Available from: http://www.the-scientist. com/?articles.view/articleNo/37969/title/Post-Publication-Peer-Review■ Mainstreamed/ Last accessed January 20, 2014.
300
de deux ou trois examinateurs (2). Un projet pilote réalisé par une revue ayant adopté un tel processus simplifié depuis 2007 a démontré que le taux de refus et les citations moyennes à vie pour les articles à évaluation simplifiée étaient de 53 % et de 11,4, respectivement, comparativement à 77 % et à 7,5 pour les autres manuscrits (2). Beaucoup font valoir que, même si la publication de travaux de recherche défectueux attire souvent beaucoup d’attention, cela ne représente pas une critique du système actuel d’évaluation par les pairs parce que le système se compose de deux étapes : un examen rapide avant la publication et une longue évaluation par la collectivité scientifique après la publication. Cette dernière étape inclut des commentaires et des citations et est facilitée par de nombreuses revues qui fournissent des commentaires en ligne sur des articles publiés. Or, F1000 possède un système différent où l’examen après la publication s’ajoute d’une manière structurée à l’évaluation traditionnelle par les pairs (1). Des articles déjà publiés dans les domaines de la biologie et de la médecine sont évalués par des experts, qui choisissent les plus impressionnants et rédigent des commentaires sur ces articles. Le nom des experts accompagnent les documents. Certaines revues sont passées à un type d’examen par les pairs complètement nouveau qui se fait après la publication. Par exemple, F1000 Research effectue une «évaluation du bienfondé» interne qui est suivie de la publication en ligne immédiate d’articles sur la biologie et la médecine (1). Le manuscrit publié est ensuite soumis à un examen par les experts, dont les rapports et les noms sont publiés sur le site Web. On demande aux examinateurs d’indiquer si l’article contient de la bonne science et d’identifier des améliorations possibles. Les auteurs peuvent répondre aux commentaires des examinateurs et ils peuvent réviser leur manuscrit. Le système est décrit comme étant rapide, équitable et ouvert et il permet à tous les bons travaux scientifiques d’être publiés rapidement. De nouvelles approches face à l’évaluation par les pairs sont possibles grâce à Internet, qui élimine les limites de volume inhérentes à un système de publication sur papier tout en fournissant l’accès immédiat et une interaction facile à des personnes partout dans le monde. Cependant, le recours aux évaluations spontanées après la publication peut être faible. La revue Nature reçoit environ 10 000 manuscrits chaque année, dont environ 60 % sont refusés par les rédacteurs sans passer à l’évaluation externe et dont environ 7 % sont publiés (3). En 2006, Nature a réalisé un essai de quatre mois en adoptant une évaluation par les pairs ouverte. Les auteurs de 79 (5 %) des 1369 articles choisis pour des évaluations traditionnelles ont accepté de soumettre leurs articles à des commentaires en ligne simultanés provenant des pairs. Seulement 33 articles ont reçu des commentaires et les commentaires ne présentaient pas d’utilité pour les rédacteurs. Néanmoins, des efforts sont déployés en vue de faciliter le processus sur un seul site, PubMed Commons, où les utilisateurs peuvent présenter des commentaires portant sur n’importe lequel des 23 millions articles de recherche conservés dans le système PubMed (4). Ces nouveaux progrès semblent inaugurer une ère de transparence accrue et signalent la volonté de participer à des conversations scientifiques. CVJ / VOL 55 / APRIL 2014
É D I TO R I A L
Renvois 1. HUNTER, J. «Post-publication peer review: Opening up scientific conversation», Frontiers in Computational Neuroscience, 2012, vol. 6, article 63, p. 1–2. 2. KANTER-SCHLIFKE, I. et A. HELSLOOT. Streamlined peer review process piloted by several Elsevier journals. Disponible au : http://www. elsevier.com/__data/assets/pdf_file/0004/168430/Reviewers-Update_17. pdf Dernière consultation le 20 janvier 2014.
302
3. «Overview: Nature’s peer review trial», Nature, 2006;doi:10.1038/ nature05535. Disponible au : www.nature.com/nature/peerreview/debate/ nature05535.html Dernière consultation le 20 janvier 2014. 4. SWARTZ, A. Post-Publication Peer Review Mainstreamed: The launch of PubMed Commons highlights the pros and cons of re-reviewing published papers. Le 22 octobre 2013. Disponible au : http://www.the-scientist. com/?articles.view/articleNo/37969/title/Post-Publication-Peer-ReviewMainstreamed/ Dernière consultation le 20 janvier 2014. ■
CVJ / VOL 55 / APRIL 2014
