Annales de dermatologie et de vénéréologie (2014) 141, 531—535
Disponible en ligne sur
ScienceDirect www.sciencedirect.com
REGARDS SUR LA RECHERCHE
Modèle de valorisation des publications médicales scientifiques : le logiciel SIGAPS SIGAPS: A software package for the evaluation of medical publications C. Derancourt a,∗, P. Devos b, N. Moore c, J.-L. Rouvillain a a
Délégation à la recherche clinique et à l’innovation, CHU de Martinique, 97229 Fort-de-France cedex, Martinique b EA2694, délégation à la recherche clinique et à l’innovation, université de Lille II, CHRU de Lille, 59037 Lille cedex, France c CIC1401, CHU de Bordeaux, 33076 Bordeaux, France Rec ¸u le 27 janvier 2014 ; accepté le 20 juin 2014 Disponible sur Internet le 5 aoˆ ut 2014
MOTS CLÉS Bibliométrie ; Publications ; Facteur d’impact ; SIGAPS ; Valorisation
KEYWORDS Bibliometry; Publications; Impact factor; SIGAPS; Evaluation ∗
Résumé Le système d’interrogation, de gestion et d’analyse des publications scientifiques SIGAPS est un outil bibliographique de conception franc ¸aise, innovant, qui permet le recensement et l’analyse des références bibliographiques produites par un chercheur ou une unité, à partir de la base Medline (Pubmed). Cette mesure prend en compte le rang de signature de l’auteur, ainsi que le niveau de la revue selon son facteur d’impact dans la discipline. Les limites sont celles du facteur d’impact. Les analyses produites par SIGAPS permettent une valorisation financière des établissements hospitaliers. © 2014 Elsevier Masson SAS. Tous droits réservés.
Summary The ‘‘système d’interrogation, de gestion et d’analyse des publications scientifiques’’ (System for Identification, Management and Analysis of Scientific Publications), or SIGAPS, is an innovative tool of French design that enables the identification and analysis of bibliographic references produced by a given researcher or unit using the Medline database
Auteur correspondant. Adresses e-mail : [email protected], [email protected] (C. Derancourt).
http://dx.doi.org/10.1016/j.annder.2014.06.025 0151-9638/© 2014 Elsevier Masson SAS. Tous droits réservés.
532
C. Derancourt et al. (PubMed). This evaluation takes into account the author’s rank of signature and the impact factor of the journal of publication within the discipline in question. The limits are those of the impact factor. Analyses produced by SIGAPS enable financial assessment to be made by hospitals. © 2014 Elsevier Masson SAS. All rights reserved.
Les activités de recherche des centres hospitalouniversitaires (CHU) ont longtemps été rémunérées de manière forfaitaire, à hauteur de 10,5 à 13 % à du budget du CHU. En 2007 est apparu en France un nouveau modèle de financement des activités de recherche et d’enseignement, le modèle « MERRI » : missions d’enseignement, de recherche, de référence et d’innovation, auxquelles sont éligibles les CHU ainsi que les établissements hospitaliers non universitaires ayant une activité de recherche importante. Ce modèle comprend un socle fixe, une part modulable et une part variable. La part modulable a été déterminée sur la base de quatre indicateurs : publications scientifiques, essais cliniques, étudiants et brevets. Pour le calcul de l’indicateur « Publications », le ministère de la Santé a choisi d’utiliser un logiciel de bibliométrie élaboré par le CHU de Lille en 2002 : il s’agit du système d’interrogation, de gestion et d’analyse des publications scientifiques SIGAPS [1—3] (Fig. 1). Le principe de cet outil est l’automatisation du recensement et de l’analyse des références bibliographiques produites par une unité (établissement, pôle, service, individu), à partir de la base Medline (Pubmed). L’objectif principal est le recensement de la production scientifique réalisée au sein d’un établissement de manière quantitative et qualitative, en temps réel. On peut également utiliser cet outil à d’autres fins : l’analyse des collaborations ou de l’évolution de la production au cours du temps, ce qui permet de mieux connaître l’activité de recherche d’un établissement, son maillage (équipes émergentes, collaborations).
Principes de fonctionnement Le logiciel SIGAPS fonctionne à partir de l’interrogation de la base de données bibliographiques Medline, via le serveur Pubmed. Chaque chercheur est identifié par son nom de famille et l’initiale de son prénom et, à partir de ces renseignements, le logiciel va télécharger l’ensemble des publications correspondant à cette identité. Une première validation automatique est effectuée par le logiciel qui retiendra, de manière large, les publications dont l’adresse de l’auteur est celle de l’établissement, ou faisant état de collaborations avec d’autres auteurs de l’établissement, ou encore ayant un nom unique, éliminant d’emblée un certain nombre de publications intruses. Il est ensuite demandé à chaque établissement de procéder annuellement à une validation par l’auteur présumé ou à défaut une validation externe (administrateur du système) à partir de la liste de publications présélectionnées de manière automatique : le chercheur validera la publication dont il est bien l’auteur et exclura les autres. La validation par le chercheur
lui-même est le garant de la meilleure fiabilité. L’auteur peut être amené à prendre contact avec les administrateurs de l’établissement en cas de désaccord, d’articles n’apparaissant pas dans la sélection automatique (articles ayant des collaborations insolites, erreurs ou changement de nom de l’auteur. . .). Dans un second temps, le logiciel va permettre l’établissement d’un score pour l’établissement, le service, le chercheur. Le score, actualisé tous les ans, est basé sur le nombre et la qualité des publications, et la position de l’auteur sur chaque publication. La qualité se fondera sur le concept de facteur d’impact « relatif » au sein de la spécialité. Dans chaque discipline (au nombre de 170 environ), les revues sont classées selon leur facteur d’impact respectif en 5 groupes ABCDE, certaines revues étant non classées (NC). Cette classification est basée sur les données du JCR : Journal Citation Reports (http://www.thomsonreuters. com/journal-citation-reports/). Les catégories de A à E sont déterminées en fonction des percentiles du facteur d’impact dans la spécialité (Fig. 2). Chaque catégorie est affectée d’une pondération, qui est en 2013 : 8 points pour les revues A, 6 points pour les revues B, 4 points pour les revues C, 3 points pour les revues D, 2 points pour les revues E et un point pour les revues NC. Une seconde pondération intervient en fonction du rang de signature de l’auteur : en 2013, cette pondération est de 4 points pour le premier et le dernier auteur, 3 points pour le second auteur, 2 points pour le troisième auteur et l’avant-dernier auteur et 1 point pour les autres positions de signature. À partir de 2008, le score SIGAPS a été calculé par multiplication de ces deux coefficients, ce qui fournit, pour chaque article, un score de 1 à 32. Par exemple, un article A en premier auteur a donc un score de 32 (8 × 4), un article NC en cinquième auteur (non dernier ou avantdernier), 1 point (1 × 1). Le score d’une équipe ou d’un chercheur est la somme des scores de tous ses articles. Si un article contient plusieurs auteurs de la même équipe, le score retenu pour l’article correspond au score de l’auteur le mieux placé. Ainsi, une publication n’est comptabilisée qu’une fois par entité (service, pôle ou établissement). En revanche, lorsque deux personnes appartiennent par exemple à des pôles différents du CHU et participent à une même publication, cette publication est comptabilisée pour chacun des pôles, mais elle n’est comptabilisée qu’une seule fois au titre du CHU et c’est le meilleur score qui est retenu par le système. La somme des scores individuels ou des pôles est donc supérieure à la somme des scores de l’établissement. Les modalités de calcul du score SIGAPS ayant plusieurs fois évoluées, on ne peut pas comparer directement les scores d’année en année, en particulier avant et après 2008.
Modèle de valorisation des publications médicales scientifiques : le logiciel SIGAPS
Figure 1.
533
Exemple de feuille « SIGAPS » de validation des publications.
À titre d’exemple, dans le budget MERRI 2013 correspondant à l’export 2012 (période 2008—2011), un article dans une revue de rang A comptabilisant 32 points SIGAPS (pour le premier ou dernier auteur) correspondait à un financement de l’ordre de 24 000 euros, en sachant que cette même publication sera comptabilisée pendant 4 ans. Il s’agit là du score pour l’établissement. Il n’est pas possible d’appliquer ce même financement aux scores individuels, par exemple. Le problème de l’attribution des scores à tel ou tel service ou pôle dans un établissement est difficile à résoudre : faire une quote-part relative où un score est distribué sur l’ensemble des services ou retenir pour chaque article et score la personne (et donc le pôle) le mieux placé dans l’article. IF2012 (Ann Derm) =
Limites de l’outil Les limites du score SIGAPS sont liées à celles du facteur d’impact (impact factor), qui contribue à son calcul [4—6]. Le facteur d’impact d’un journal pour une année donnée est le nombre moyen de citations de chaque article publié dans ce journal par les autres journaux indexés dans le Science Citation Index (SCI) de Thomson Reuters pendant les deux années précédentes. Par exemple, un journal aura un facteur d’impact de 3 en 2013 si ses articles de 2011 et 2012 sont cités en moyenne trois fois chacun en 2013 par l’ensemble des journaux indexés dans le SCI. Par exemple, pour la revue Annales de dermatologie, nous obtenons :
Nombre de citations, en 2012, des articles parus en 2010 et 2011 196 = = 0, 611 Nombre d’articles publié s en 2010 et 2011 321 Le facteur d’impact pour l’évaluation des revues est reconnu de longue date mais est cependant controversé. En
Max 0 P90
A
- A : revues ayant un facteur d’impact supérieur au 90 ème percentile B
- B : revues ayant un facteur d’impact entre le 3ème quartile (75%) et
Q3
+
C
le 90ème percentile.
D
- C : revues ayant un facteur d’impact entre la médiane et le 3ème
E
quartile.
Médiane
Q1
- D : revues ayant un facteur d’impact entre le 1er quartile et la
Min
Non Classé par l’ISI
N C
médiane. - E : revues ayant un facteur d’impact inférieur au 1er quartile
Figure 2.
Catégories des revues en fonction de l’impact factor.
534 effet, cette classification désavantage les revues publiées dans une autre langue que l’anglais. Cependant, l’impact factor reste un système de cotation des revues qui correspond grosso modo à la hiérarchie reconnue des revues, et à la diffusion effective des résultats de la recherche. Ceci est d’autant plus vrai que dans SIGAPS l’impact factor n’est pas jugé globalement, mais par groupe de disciplines. De plus, l’impact factor est une mesure objective dont le calcul est transparent et parfaitement connu. Les revues ont bien sûr des moyens d’augmenter leur facteur l’impact, comme la publication de revues générales ou de sujets à la mode. D’autres modes d’évaluation des revues sont en discussion, notamment à partir de la base des données SCOPUS, pour l’instant inaccessible au SIGAPS. L’utilisation d’autres indicateurs bibliométriques visant à mesurer directement l’impact des publications comme le facteur « H » devrait être intéressante [7]. Cet indice tient compte du nombre de publications d’un chercheur mais également des citations : un index « H » de 10 signifie que le chercheur à produit 10 publications citées chacune au moins 10 fois. Cet indice n’est malheureusement pas adapté aux jeunes chercheurs, est cumulatif (effet « rente ») et ne tient pas compte de la position parmi les auteurs. De plus, il favorise considérablement les disciplines à la mode à fort taux de citation par rapport aux disciplines plus confidentielles, dont à la fois l’impact factor et le nombre de citations n’atteindront pas les scores de certaines revues de médecine interne (New Engl J Med, Lancet, JAMA) ou de disciplines telles l’immunologie, la génétique ou l’oncologie. L’absence de correspondance entre les disciplines scientifiques de l’Institute for Scientific Information de Thomson Scientific et les sous-sections du Conseil national des universités franc ¸aises est également une limite de l’outil. Ainsi, pour les revues n’appartenant pas exclusivement à une discipline, le calcul de la catégorie SIGAPS dépend des multiples disciplines dans lesquels le journal est affecté. Ce calcul peut avoir un impact sur la catégorie finale, éventuellement non représentative de la reconnaissance de la revue par la communauté scientifique d’une discipline. Dans un objectif purement comptable, il pourrait être plus efficace pour les auteurs de viser directement un journal facile d’accès, en franc ¸ais, indexé dans la base Medline, avec un article de format court (cas clinique), ce qui est en contradiction avec un objectif d’excellence de la recherche [8,9]. C’est d’ailleurs pour cette raison qu’on est passé d’un score additif à un score multiplicatif, qui encourage la publication en bonne place dans les revues à fort impact dans sa discipline, plutôt que dans des revues confidentielles en franc ¸ais. Une évaluation toute récente montre qu’au CHU de Rouen, il y a de fait une corrélation inverse entre le score SIGAPS et la proportion d’articles publiés en franc ¸ais [10]. Les publications multicentriques sont finalement plus onéreuses pour la collectivité car chaque établissement sera financé en fonction du meilleur rang de signature de ses auteurs, ce qui amène à une réflexion sur la distribution des places dans les rangs de signatures. Enfin, dans son utilisation actuelle en France, la valorisation des publications n’est effective que pour les établissements de santé ayant accès à la valorisation MERRI variable, c’est-à-dire les CHU et quelques établissements hospitaliers non universitaires, cette valorisation étant conditionnée par un seuil minimal de production, de
C. Derancourt et al. 200 000 euros en 2012, revu annuellement. Ces notions de seuil, relevant d’une politique nationale et d’une volonté de ne pas « saupoudrer » l’argent de la recherche, pourraient être sujettes à discussion, pour ce point précis de financement d’aval de la recherche, sur résultats. Malgré ces limites, l’outil SIGAPS représente un outil original d’estimation de la production de publications indexées Medline, de conception franc ¸aise, de bonne reproductibilité [11], aux applications nombreuses. Il a notamment été adopté par la grande majorité des sous-sections du Conseil national des universités franc ¸aises dans l’évaluation des candidats aux fonctions de professeur des universités, et il est utilisé dans des évaluations d’ensemble d’hôpitaux ou de spécialités [12—14]. Il reste cependant dans ces cas à bien définir la période d’application : un score SIGAPS ne peut s’interpréter qu’accompagné de la période sur laquelle il a été calculé. Pour les chercheurs, plus qu’un score cumulé ou absolu, ce sera probablement la variation au cours du temps de ce score qui donnera la meilleure vision de l’activité de recherche passée, lorsque le mode de calcul du score sera stabilisé.
Déclaration d’intérêts Les auteurs n’ont pas transmis de déclaration de conflits d’intérêts.
Références [1] Devos P, Dufresne E, Renard JM, Beuscart R. SIGAPS: a prototype of bibliographic tool for medical research evaluation. Stud Health Technol Inform 2003;95:721—6. [2] Devos P, Lefranc H, Dufresne E, Beuscart R. From bibliometric analysis to research policy: the use of SIGAPS in Lille University Hospital. Stud Health Technol Inform 2006;124: 543—8. [3] Devos P. De la bibliométrie au financement : le logiciel SIGAPS. J Neuroradiol 2008;35:31—3. [4] Seglen PO. Why the impact factor of journals should not be used for evaluating research. Br Med J 1997;314:497. [5] Brown H. How impact factors changed medical publishing-and science. Br Med J 2007;334:561—4. [6] Saha S, Saint S, Christakis DA. Impact factor: a valid measure of journal quality? J Med Libr Assoc 2003;91:42—6. [7] Hirsch JE. An index to quantify an individual’s scientific research output. Proc Natl Acad Sci U S A 2005;102: 16569—72. [8] Mancini J, Darmoni S, Chaudet H, Fieschi M. The paradox of bibliometric activity-based funding (T2A) SIGAPS: a risk of deleterious effects on French hospital research? Presse Med 2009;38:174—6. [9] Sabourin JC, Darmoni S. Avec le score SIGAPS : c’est le moment de publier dans les Annales de Pathologie. Ann Pathol 2008;28:77—8. [10] Griffon N, Devos P, Gehanno JF, Darmoni SJ. Existe-t-il une cor¸ais ? rélation entre le score SIGAPS et les publications en franc Presse Med 2012;41:e432—5. [11] Darmoni SJ, Ladner J, Devos P, Gehanno JF. Robustesse du score SIGAPS, critère bibliométrique pour valoriser les publications des établissements de santé. Presse Med 2009;38:1056—61. [12] Lefèvre JH, Faron M, Drouin SJ, Glanard A, Chartier-Kastler E, Parc Y, et al. Évaluation comparative et objective de la production scientifique des services hospitaliers au sein de
Modèle de valorisation des publications médicales scientifiques : le logiciel SIGAPS l’Assistance Publique—Hôpitaux de Paris : analyse des scores SIGAPS. Rev Med Interne 2013;34:342—8. [13] Ruffion A, Descotes JL, Kleinclauss F, Zerbib M, Dore B, Saussine C, et al. Is SIGAPS score a good evaluation criteria for university departments? Prog Urol 2012;22:195—6.
535
[14] Rouprêt M, Drouin SJ, Faron M, Glanard A, Bitker MO, Richard F, et al. Analysis of the bibliometrics score of surgical department from the academic hospitals of Paris: what is the rank of urology? Prog Urol 2012;22:182—8.
Disponible en ligne sur
ScienceDirect www.sciencedirect.com
REGARDS SUR LA RECHERCHE
Modèle de valorisation des publications médicales scientifiques : le logiciel SIGAPS SIGAPS: A software package for the evaluation of medical publications C. Derancourt a,∗, P. Devos b, N. Moore c, J.-L. Rouvillain a a
Délégation à la recherche clinique et à l’innovation, CHU de Martinique, 97229 Fort-de-France cedex, Martinique b EA2694, délégation à la recherche clinique et à l’innovation, université de Lille II, CHRU de Lille, 59037 Lille cedex, France c CIC1401, CHU de Bordeaux, 33076 Bordeaux, France Rec ¸u le 27 janvier 2014 ; accepté le 20 juin 2014 Disponible sur Internet le 5 aoˆ ut 2014
MOTS CLÉS Bibliométrie ; Publications ; Facteur d’impact ; SIGAPS ; Valorisation
KEYWORDS Bibliometry; Publications; Impact factor; SIGAPS; Evaluation ∗
Résumé Le système d’interrogation, de gestion et d’analyse des publications scientifiques SIGAPS est un outil bibliographique de conception franc ¸aise, innovant, qui permet le recensement et l’analyse des références bibliographiques produites par un chercheur ou une unité, à partir de la base Medline (Pubmed). Cette mesure prend en compte le rang de signature de l’auteur, ainsi que le niveau de la revue selon son facteur d’impact dans la discipline. Les limites sont celles du facteur d’impact. Les analyses produites par SIGAPS permettent une valorisation financière des établissements hospitaliers. © 2014 Elsevier Masson SAS. Tous droits réservés.
Summary The ‘‘système d’interrogation, de gestion et d’analyse des publications scientifiques’’ (System for Identification, Management and Analysis of Scientific Publications), or SIGAPS, is an innovative tool of French design that enables the identification and analysis of bibliographic references produced by a given researcher or unit using the Medline database
Auteur correspondant. Adresses e-mail : [email protected], [email protected] (C. Derancourt).
http://dx.doi.org/10.1016/j.annder.2014.06.025 0151-9638/© 2014 Elsevier Masson SAS. Tous droits réservés.
532
C. Derancourt et al. (PubMed). This evaluation takes into account the author’s rank of signature and the impact factor of the journal of publication within the discipline in question. The limits are those of the impact factor. Analyses produced by SIGAPS enable financial assessment to be made by hospitals. © 2014 Elsevier Masson SAS. All rights reserved.
Les activités de recherche des centres hospitalouniversitaires (CHU) ont longtemps été rémunérées de manière forfaitaire, à hauteur de 10,5 à 13 % à du budget du CHU. En 2007 est apparu en France un nouveau modèle de financement des activités de recherche et d’enseignement, le modèle « MERRI » : missions d’enseignement, de recherche, de référence et d’innovation, auxquelles sont éligibles les CHU ainsi que les établissements hospitaliers non universitaires ayant une activité de recherche importante. Ce modèle comprend un socle fixe, une part modulable et une part variable. La part modulable a été déterminée sur la base de quatre indicateurs : publications scientifiques, essais cliniques, étudiants et brevets. Pour le calcul de l’indicateur « Publications », le ministère de la Santé a choisi d’utiliser un logiciel de bibliométrie élaboré par le CHU de Lille en 2002 : il s’agit du système d’interrogation, de gestion et d’analyse des publications scientifiques SIGAPS [1—3] (Fig. 1). Le principe de cet outil est l’automatisation du recensement et de l’analyse des références bibliographiques produites par une unité (établissement, pôle, service, individu), à partir de la base Medline (Pubmed). L’objectif principal est le recensement de la production scientifique réalisée au sein d’un établissement de manière quantitative et qualitative, en temps réel. On peut également utiliser cet outil à d’autres fins : l’analyse des collaborations ou de l’évolution de la production au cours du temps, ce qui permet de mieux connaître l’activité de recherche d’un établissement, son maillage (équipes émergentes, collaborations).
Principes de fonctionnement Le logiciel SIGAPS fonctionne à partir de l’interrogation de la base de données bibliographiques Medline, via le serveur Pubmed. Chaque chercheur est identifié par son nom de famille et l’initiale de son prénom et, à partir de ces renseignements, le logiciel va télécharger l’ensemble des publications correspondant à cette identité. Une première validation automatique est effectuée par le logiciel qui retiendra, de manière large, les publications dont l’adresse de l’auteur est celle de l’établissement, ou faisant état de collaborations avec d’autres auteurs de l’établissement, ou encore ayant un nom unique, éliminant d’emblée un certain nombre de publications intruses. Il est ensuite demandé à chaque établissement de procéder annuellement à une validation par l’auteur présumé ou à défaut une validation externe (administrateur du système) à partir de la liste de publications présélectionnées de manière automatique : le chercheur validera la publication dont il est bien l’auteur et exclura les autres. La validation par le chercheur
lui-même est le garant de la meilleure fiabilité. L’auteur peut être amené à prendre contact avec les administrateurs de l’établissement en cas de désaccord, d’articles n’apparaissant pas dans la sélection automatique (articles ayant des collaborations insolites, erreurs ou changement de nom de l’auteur. . .). Dans un second temps, le logiciel va permettre l’établissement d’un score pour l’établissement, le service, le chercheur. Le score, actualisé tous les ans, est basé sur le nombre et la qualité des publications, et la position de l’auteur sur chaque publication. La qualité se fondera sur le concept de facteur d’impact « relatif » au sein de la spécialité. Dans chaque discipline (au nombre de 170 environ), les revues sont classées selon leur facteur d’impact respectif en 5 groupes ABCDE, certaines revues étant non classées (NC). Cette classification est basée sur les données du JCR : Journal Citation Reports (http://www.thomsonreuters. com/journal-citation-reports/). Les catégories de A à E sont déterminées en fonction des percentiles du facteur d’impact dans la spécialité (Fig. 2). Chaque catégorie est affectée d’une pondération, qui est en 2013 : 8 points pour les revues A, 6 points pour les revues B, 4 points pour les revues C, 3 points pour les revues D, 2 points pour les revues E et un point pour les revues NC. Une seconde pondération intervient en fonction du rang de signature de l’auteur : en 2013, cette pondération est de 4 points pour le premier et le dernier auteur, 3 points pour le second auteur, 2 points pour le troisième auteur et l’avant-dernier auteur et 1 point pour les autres positions de signature. À partir de 2008, le score SIGAPS a été calculé par multiplication de ces deux coefficients, ce qui fournit, pour chaque article, un score de 1 à 32. Par exemple, un article A en premier auteur a donc un score de 32 (8 × 4), un article NC en cinquième auteur (non dernier ou avantdernier), 1 point (1 × 1). Le score d’une équipe ou d’un chercheur est la somme des scores de tous ses articles. Si un article contient plusieurs auteurs de la même équipe, le score retenu pour l’article correspond au score de l’auteur le mieux placé. Ainsi, une publication n’est comptabilisée qu’une fois par entité (service, pôle ou établissement). En revanche, lorsque deux personnes appartiennent par exemple à des pôles différents du CHU et participent à une même publication, cette publication est comptabilisée pour chacun des pôles, mais elle n’est comptabilisée qu’une seule fois au titre du CHU et c’est le meilleur score qui est retenu par le système. La somme des scores individuels ou des pôles est donc supérieure à la somme des scores de l’établissement. Les modalités de calcul du score SIGAPS ayant plusieurs fois évoluées, on ne peut pas comparer directement les scores d’année en année, en particulier avant et après 2008.
Modèle de valorisation des publications médicales scientifiques : le logiciel SIGAPS
Figure 1.
533
Exemple de feuille « SIGAPS » de validation des publications.
À titre d’exemple, dans le budget MERRI 2013 correspondant à l’export 2012 (période 2008—2011), un article dans une revue de rang A comptabilisant 32 points SIGAPS (pour le premier ou dernier auteur) correspondait à un financement de l’ordre de 24 000 euros, en sachant que cette même publication sera comptabilisée pendant 4 ans. Il s’agit là du score pour l’établissement. Il n’est pas possible d’appliquer ce même financement aux scores individuels, par exemple. Le problème de l’attribution des scores à tel ou tel service ou pôle dans un établissement est difficile à résoudre : faire une quote-part relative où un score est distribué sur l’ensemble des services ou retenir pour chaque article et score la personne (et donc le pôle) le mieux placé dans l’article. IF2012 (Ann Derm) =
Limites de l’outil Les limites du score SIGAPS sont liées à celles du facteur d’impact (impact factor), qui contribue à son calcul [4—6]. Le facteur d’impact d’un journal pour une année donnée est le nombre moyen de citations de chaque article publié dans ce journal par les autres journaux indexés dans le Science Citation Index (SCI) de Thomson Reuters pendant les deux années précédentes. Par exemple, un journal aura un facteur d’impact de 3 en 2013 si ses articles de 2011 et 2012 sont cités en moyenne trois fois chacun en 2013 par l’ensemble des journaux indexés dans le SCI. Par exemple, pour la revue Annales de dermatologie, nous obtenons :
Nombre de citations, en 2012, des articles parus en 2010 et 2011 196 = = 0, 611 Nombre d’articles publié s en 2010 et 2011 321 Le facteur d’impact pour l’évaluation des revues est reconnu de longue date mais est cependant controversé. En
Max 0 P90
A
- A : revues ayant un facteur d’impact supérieur au 90 ème percentile B
- B : revues ayant un facteur d’impact entre le 3ème quartile (75%) et
Q3
+
C
le 90ème percentile.
D
- C : revues ayant un facteur d’impact entre la médiane et le 3ème
E
quartile.
Médiane
Q1
- D : revues ayant un facteur d’impact entre le 1er quartile et la
Min
Non Classé par l’ISI
N C
médiane. - E : revues ayant un facteur d’impact inférieur au 1er quartile
Figure 2.
Catégories des revues en fonction de l’impact factor.
534 effet, cette classification désavantage les revues publiées dans une autre langue que l’anglais. Cependant, l’impact factor reste un système de cotation des revues qui correspond grosso modo à la hiérarchie reconnue des revues, et à la diffusion effective des résultats de la recherche. Ceci est d’autant plus vrai que dans SIGAPS l’impact factor n’est pas jugé globalement, mais par groupe de disciplines. De plus, l’impact factor est une mesure objective dont le calcul est transparent et parfaitement connu. Les revues ont bien sûr des moyens d’augmenter leur facteur l’impact, comme la publication de revues générales ou de sujets à la mode. D’autres modes d’évaluation des revues sont en discussion, notamment à partir de la base des données SCOPUS, pour l’instant inaccessible au SIGAPS. L’utilisation d’autres indicateurs bibliométriques visant à mesurer directement l’impact des publications comme le facteur « H » devrait être intéressante [7]. Cet indice tient compte du nombre de publications d’un chercheur mais également des citations : un index « H » de 10 signifie que le chercheur à produit 10 publications citées chacune au moins 10 fois. Cet indice n’est malheureusement pas adapté aux jeunes chercheurs, est cumulatif (effet « rente ») et ne tient pas compte de la position parmi les auteurs. De plus, il favorise considérablement les disciplines à la mode à fort taux de citation par rapport aux disciplines plus confidentielles, dont à la fois l’impact factor et le nombre de citations n’atteindront pas les scores de certaines revues de médecine interne (New Engl J Med, Lancet, JAMA) ou de disciplines telles l’immunologie, la génétique ou l’oncologie. L’absence de correspondance entre les disciplines scientifiques de l’Institute for Scientific Information de Thomson Scientific et les sous-sections du Conseil national des universités franc ¸aises est également une limite de l’outil. Ainsi, pour les revues n’appartenant pas exclusivement à une discipline, le calcul de la catégorie SIGAPS dépend des multiples disciplines dans lesquels le journal est affecté. Ce calcul peut avoir un impact sur la catégorie finale, éventuellement non représentative de la reconnaissance de la revue par la communauté scientifique d’une discipline. Dans un objectif purement comptable, il pourrait être plus efficace pour les auteurs de viser directement un journal facile d’accès, en franc ¸ais, indexé dans la base Medline, avec un article de format court (cas clinique), ce qui est en contradiction avec un objectif d’excellence de la recherche [8,9]. C’est d’ailleurs pour cette raison qu’on est passé d’un score additif à un score multiplicatif, qui encourage la publication en bonne place dans les revues à fort impact dans sa discipline, plutôt que dans des revues confidentielles en franc ¸ais. Une évaluation toute récente montre qu’au CHU de Rouen, il y a de fait une corrélation inverse entre le score SIGAPS et la proportion d’articles publiés en franc ¸ais [10]. Les publications multicentriques sont finalement plus onéreuses pour la collectivité car chaque établissement sera financé en fonction du meilleur rang de signature de ses auteurs, ce qui amène à une réflexion sur la distribution des places dans les rangs de signatures. Enfin, dans son utilisation actuelle en France, la valorisation des publications n’est effective que pour les établissements de santé ayant accès à la valorisation MERRI variable, c’est-à-dire les CHU et quelques établissements hospitaliers non universitaires, cette valorisation étant conditionnée par un seuil minimal de production, de
C. Derancourt et al. 200 000 euros en 2012, revu annuellement. Ces notions de seuil, relevant d’une politique nationale et d’une volonté de ne pas « saupoudrer » l’argent de la recherche, pourraient être sujettes à discussion, pour ce point précis de financement d’aval de la recherche, sur résultats. Malgré ces limites, l’outil SIGAPS représente un outil original d’estimation de la production de publications indexées Medline, de conception franc ¸aise, de bonne reproductibilité [11], aux applications nombreuses. Il a notamment été adopté par la grande majorité des sous-sections du Conseil national des universités franc ¸aises dans l’évaluation des candidats aux fonctions de professeur des universités, et il est utilisé dans des évaluations d’ensemble d’hôpitaux ou de spécialités [12—14]. Il reste cependant dans ces cas à bien définir la période d’application : un score SIGAPS ne peut s’interpréter qu’accompagné de la période sur laquelle il a été calculé. Pour les chercheurs, plus qu’un score cumulé ou absolu, ce sera probablement la variation au cours du temps de ce score qui donnera la meilleure vision de l’activité de recherche passée, lorsque le mode de calcul du score sera stabilisé.
Déclaration d’intérêts Les auteurs n’ont pas transmis de déclaration de conflits d’intérêts.
Références [1] Devos P, Dufresne E, Renard JM, Beuscart R. SIGAPS: a prototype of bibliographic tool for medical research evaluation. Stud Health Technol Inform 2003;95:721—6. [2] Devos P, Lefranc H, Dufresne E, Beuscart R. From bibliometric analysis to research policy: the use of SIGAPS in Lille University Hospital. Stud Health Technol Inform 2006;124: 543—8. [3] Devos P. De la bibliométrie au financement : le logiciel SIGAPS. J Neuroradiol 2008;35:31—3. [4] Seglen PO. Why the impact factor of journals should not be used for evaluating research. Br Med J 1997;314:497. [5] Brown H. How impact factors changed medical publishing-and science. Br Med J 2007;334:561—4. [6] Saha S, Saint S, Christakis DA. Impact factor: a valid measure of journal quality? J Med Libr Assoc 2003;91:42—6. [7] Hirsch JE. An index to quantify an individual’s scientific research output. Proc Natl Acad Sci U S A 2005;102: 16569—72. [8] Mancini J, Darmoni S, Chaudet H, Fieschi M. The paradox of bibliometric activity-based funding (T2A) SIGAPS: a risk of deleterious effects on French hospital research? Presse Med 2009;38:174—6. [9] Sabourin JC, Darmoni S. Avec le score SIGAPS : c’est le moment de publier dans les Annales de Pathologie. Ann Pathol 2008;28:77—8. [10] Griffon N, Devos P, Gehanno JF, Darmoni SJ. Existe-t-il une cor¸ais ? rélation entre le score SIGAPS et les publications en franc Presse Med 2012;41:e432—5. [11] Darmoni SJ, Ladner J, Devos P, Gehanno JF. Robustesse du score SIGAPS, critère bibliométrique pour valoriser les publications des établissements de santé. Presse Med 2009;38:1056—61. [12] Lefèvre JH, Faron M, Drouin SJ, Glanard A, Chartier-Kastler E, Parc Y, et al. Évaluation comparative et objective de la production scientifique des services hospitaliers au sein de
Modèle de valorisation des publications médicales scientifiques : le logiciel SIGAPS l’Assistance Publique—Hôpitaux de Paris : analyse des scores SIGAPS. Rev Med Interne 2013;34:342—8. [13] Ruffion A, Descotes JL, Kleinclauss F, Zerbib M, Dore B, Saussine C, et al. Is SIGAPS score a good evaluation criteria for university departments? Prog Urol 2012;22:195—6.
535
[14] Rouprêt M, Drouin SJ, Faron M, Glanard A, Bitker MO, Richard F, et al. Analysis of the bibliometrics score of surgical department from the academic hospitals of Paris: what is the rank of urology? Prog Urol 2012;22:182—8.
