Télécharger la brochure

1
La bibliométrie
à l’Inserm :
une aide à l’évaluation
et un outil de stratégie
Au sein du Département de l’évaluation et du suivi
des programmes (DESP), la cellule Mesures,
indicateurs, bibliométrie (MIB) réalise des analyses
bibliométriques de la production scientifique des
chercheurs et structures de recherche, à l’attention
de la direction générale, des instituts thématiques et
des différents départements d’accompagnement de
la recherche. La cellule MIB effectue également des
études bibliométriques à l’attention de structures ou
organismes extérieurs pour quantifier l’impact de leurs
travaux dans un contexte international.
2
L’impact de la Science :
mesurer et optimiser
la valeur de la recherche
Notre société est devenue de plus en plus attachée
aux indicateurs de performance. L’efficience et les
retombées de la recherche sont au cœur des préoccupations politiques. L’implication croissante des universités, des écoles et des organismes
de recherche dans le processus
d’innovation exige une plus grande
transparence envers les multiples
ité
iv
t
c
a
l’
e
parties prenantes (gouvernance
d
e
La mesur
n
européenne, gouvernements natioie
c
rche s
e
h
c
e
r
naux, tutelles, partenaires industriels)
la
de
ct
a
p
im
l’
au regard de leur contribution à la
e
d
tifique et
société.
le
dans
x
des travau rnational
inte
contexte
u
ue un enje e
n
e
v
e
d
t
s
e
d
en raison
e
u
iq
g
é
t
stra
nomique
o
c
é
n
io
s
la pres
e, et de la
et politiqu
ation.
mondialis
L’activité de la recherche scientifique ne se limite pas aux publications, cependant ce support est
indispensable pour transmettre
le savoir. Les publications permettent d’alimenter les débats et
de fournir le tissu nourricier des
découvertes futures. Elles sont
soumises, dans un premier
temps, à un système d’approbation ou de rejet par les pairs
(reviewing). Une fois éditées par des revues scientifiques, elles sont soumises à l’appréciation de toute la
communauté scientifique qui peut se traduire par l’utilisation des données d’une publication dans une autre,
sous forme de citation référencée.
3
La mesure de l’impact des recherches
repose non seulement sur le nombre de
publications et la notoriété des journaux
dans lesquels elles sont éditées, mais
aussi sur les citations des articles, qui reflètent leur utilisation.
Analyse bibliométrique des unités
de recherche Inserm : étude des
réseaux de collaborations nationales
et internationales
La bibliométrie, à travers l’exploitation
statistique des données issues des
publications scientifiques, élabore des
indicateurs qui constituent des points
de repères pour situer la production
scientifique au niveau national et international. Ils sont principalement fondés sur
le nombre de publications, le nombre
de citations et la notoriété des journaux
dans lesquels sont éditées ces publications (Impact Factor, IF). Chaque
indicateur procure un éclairage différent
de la production scientifique et seule la
convergence de plusieurs d’entre eux
permet d’atteindre une vision globale et
réaliste de l’impact de la recherche, de
mettre en évidence des réseaux de collaborations académiques ou industrielles
Qu’est-ce que
la bibliométrie ?
et de révéler des tendances (émergence
de domaines de recherche, positionnement scientifique d’un pays...).
aluation, la
Dans le cadre des processus d’év
quantition
récia
app
une
orte
app
trie
omé
bibli
luation
l’éva
à
ire
enta
plém
tative objective com
mais
pairs
les
par
e
itativ
qual
ue
ntifiq
scie
nir de
ne doit ni se substituer à elle, ni four
ent.
sem
clas
4
La bibliométrie
à l’Inserm
Dans le cadre de ses missions institutionnelles, la cellule MIB réalise des
analyses bibliométriques qui tiennent
compte de la spécificité des activités
de recherche de l’Institut. Ces analyses
répondent à un besoin formulé par la
direction générale, les instances d’évaluation, les instituts thématiques, les
différents départements d’accompagnement de la recherche et les structures
de recherche. Les présentations des
analyses sont variées et dépendent des
besoins exprimés.
» La cellule MIB fournit aux membres
des commissions scientifiques spécialisées, des commissions ad hoc et
du conseil scientifique de l’Inserm, des
synthèses bibliométriques pour soutenir leur expertise lors de l’évaluation
soit des formations de recherche, soit
des chercheurs, au cours du processus
d’obtention de la prime d’encadrement
doctoral et de recherche (PEDR) ou des
concours DR ou par la voie promotionnelle DR1, DRE.
» Son expertise est également sollicitée
pour positionner la visibilité internationale des chercheurs candidats aux
programmes de soutien gérés par le
Conseil européen de la recherche (ERC)
Equipe
Produ
Chercheurs
Sans do
Nbre
ETP
Age
moyen
Nbre
Pub
Articles originaux
8
4.3
44
129
Autres publications
8
4.3
44
31
Pub non anglophones
8
4.3
44
16
ou susceptibles d’être distingués par
des prix scientifiques de notoriété internationale.
» Enfin, la cellule MIB épaule le Département des partenariats et des relations
extérieures de l’Inserm (DPRE) dans la
mise en œuvre de la politique de coopération internationale de l’Institut, par
l’analyse des activités de recherche
notamment biomédicale dans des pays
ciblés.
Au-delà de ses missions institutionnelles, la cellule MIB met également ses
compétences au profit de la réalisation
d’études bibliométriques de la production scientifique des grands instituts de
recherche (Imagine, Institut du cerveau
et de la moelle épinière...), des Instituts
thématiques multi-organismes dans le
cadre d’Aviesan, des pôles de compétitivité (Medicen, Canceropôles) et
contribue par ses analyses à l’évaluation
de l’impact des plans stratégiques de
recherche (Plan Cancer, Alzheimer).
5
études bibliométriques de
la production scientifique
des chercheurs, des
équipes de recherche et
des candidats de l’Inserm
(valorisation de carrière,
postulants ERC, prix...)
uction
oublons
Annuelle
par ETP
Visibilité des travaux
Indice de
citation
normé
moyen
5
1,96
1,2
1,07
0,6
0,07
Notoriété des journaux
Pub Top 10%
Nbre
Prestige
Pub dans IF Top 10 des Journaux
IF normé
(1)
Part
Nbre Nbre PDC
moyen
des pub
dans
le
(1)
PDC
Top 10%
Top 10%
Nbre
Part
des pub
IF Top 10
Nb de pub PDC(1)
Nbre
PDC(1)
Part
PDC(1)
IF
Top 10
dans Journaux
de prestige(2)
31
24
15
48,4
1,94
58
45
25
43,1
19
3
9,7
2
66,7
2,43
15
48,4
14
93,3
7
0
0,0
0
-
0,10
0
0,0
0
-
0
Health
(1) PDC : publication pour laquelle au moins un chercheur de l’équipe est Premier, Dernier ou Corresponding author
parmi les auteurs.
(2) Sélection de journaux généralistes dont l’IF>20 : Nature Biotechnology, Cell Stem Cell, Nature Methods, New England Journal of Medicine, Lancet, JAMA, Nature Medicine, Nature Genetics, Cell, Nature Cell Biology, Nature, Science
+ Journaux IF Top 1% de chaque spécialité...
nt
e
m
m
Co
er ?
d
é
c
pro
Les études bibliométriques s’appuient sur une méthodologie rigoureuse et leur interprétation exige beaucoup de
prudence. Celle employée par la cellule MIB pour le calcul
des indicateurs est conforme aux principes préconisés
pour l’évaluation des grandes institutions internationales,
décrite par le Manifeste de Leiden (Nature 2015, 520)
et a été certifiée ISO 9001 en 2011, puis en 2015.
6
Le Web of Science - Core Collection
(WoS) est la base de données bibliographiques de référence. Elle constitue la
source d’informations à partir de laquelle
sont établis les indicateurs bibliométriques. Les publications y sont réparties,
en fonction des journaux dans lesquels
elles sont publiées, dans 22 grands domaines ou 251catégories thématiques.
L’analyse bibliométrique tient compte des
spécificités des disciplines. Le nombre de
Il n’est donc pas possible de comparer
l’impact de deux articles provenant de
deux domaines sur la base du nombre
absolu de citations reçues. Pour apprécier
la visibilité des publications de domaines
différents, il est nécessaire au préalable
de rapporter le nombre absolu de citations
de chaque publication au nombre moyen
de citations du domaine reçues l’année de
parution. Ce rapport définit l’indice de citations normé (ICn).
citations des publications dépend fortement de la discipline, notamment de la
taille de la communauté de chercheurs
engagés dans celle-ci et qui sont en mesure de citer les travaux de leurs pairs.
Ce nombre dépend aussi des pratiques
de la discipline, du délai que prend un
article pour révéler sa visibilité, de sa
période d’influence dans la communauté, de la reconnaissance de la discipline
elle-même.
De même, comme le facteur d’impact
(Impact Factor, IF) d’une revue est calculé à partir du nombre de citations reçues
par les publications éditées dans celle-ci,
il varie en fonction des spécialités. Pour
Enfin, le nombre de citations varie aussi
en fonction du temps. Plus une publication est ancienne, plus elle a eu le temps
d’être citée.
L’ICn et l’IFn sont normés par rapport à
une référence que l’on choisit, et qui peut
être mondiale, nationale ou « locale » (ex. :
par commission scientifique spécialisée).
comparer la notoriété des revues de
domaines différents, il est également nécessaire de rapporter ce facteur à l’impact
moyen des publications de la spécialité.
Ce rapport définit le facteur d’impact normé (IFn).
Quels sont nos indicateurs bibliométriques ?
» Le volume de la production scientifique (nombre d’articles originaux, nombre de
revues, etc.)
»
»
Le positionnement de l’auteur dans la publication
»
La notoriété des journaux appréciée par le facteur d’impact normé (IFn). Le nombre de
publications éditées dans des journaux les mieux classés complète cet indicateur
La visibilité de la production scientifique appréciée d’une part, par l’indice de citations
normé (ICn) et, d’autre part, par le nombre de publications classées parmi les plus
citées dans le monde (Top 1% ou Top 10 %)
les
p
m
e
s ex
e
r
t
u
A
lisées
a
é
r
des
u
t
é
’
d
MIB
a
l
r
a
p
h & Therapy
er's Researc
llon et al. Alzheim
Haeffner-Cavai
44-z
/s13195-015-01
DOI 10.1186
7
(2015) 7:60
Open Access
H
RESEARC
n: analysis of the
Alzheimer Pla
ve on
The Third French ional public health initiati
nat
influence of a ch productivity and impact
ear
res
rd
fic
Ména
Joël
scienti
Ledoux and
Devos , Sylvie
1*
er-Cavaillon
Nicole Haeffn
, Patrick
4,5
3
2
that
initiative in Francethis study
public health
The aim of
was a major
disorders (AD). plan.
Plan (2008–2012)
Abstract
and related
al Alzheimer
mer disease
entation of the
: The Third Nation g for research in Alzhei
ing the implem
ns) of French
Introduction
in AD follow
article citatio
million of fundin
mic output
ared the 5-year
ific impact (i.e.,
included €200
French acade
s) and scient
Analyses comp made with
ent trends in
of original article core collection database.
was to docum
arisons were
(i.e., number
Comp
.
t
edge
plan.
outpu
mic
within France
Web of Knowl 2013) initiation of the
Methods: Acade
and regionally
ed from the
were obtain
ries worldwide
increased by
and after (2009–
research in AD
(2004–2008)
leading count
and 2009–2013 te
es in the 14
diately before
s 2004–2008
st. The absolu
period imme
en the period
AIDS, and diabet
son disease,
fic articles betwe increase and Japan the smalleor diabetes. Globally,
stroke, Parkin
original scienti
AIDS,
d the largest
production of
(1.9-fold).
son disease,
showe
wide
China
Parkin
,
China
World
and
%.
stroke
ld)
for
Results:
sed by 46
India (2.5-fo
larger
larger than that
for AD increa
behind only
ly most cited,
(54.6 %) was
39 %, and that
AD (1.7-fold),
top 1 % global
als
output on AD
in output in
articles in the
university hospit
increase in French largest relative increase
of French AD
national level,
third
the proportion AIDS, or diabetes. At the
d marked
France had the
d increase in
demonstrate 2 0.70), but not
son disease,
aphical area
relative 2.3-fol
=
There was a
on stroke, Parkin ations. Analyses by geogr
e of outpu2t (R
g and volum
French articles
public
= 0.03).
than that for
of French AD
en level of fundin
; correlation R
in nearly 50 %
correlation betwe 10 % globally cited articles
Third National
the
strong
by
participated
a
ed
ed
rtion of top
y. We observ
funding provid d the top 1 % globally
heterogeneit
impact (propo
e impact of the
by 2.3-fol
g and article
ation for policy
of a specific positivfic output and increasing
between fundin
es evidence
transparent inform
scienti
: Our study provid ng the global academic
e objective and
Conclusions
analyses provid
in nearly doubli
Our bibliometric
ic output.
Alzheimer Plan
AD research.
g and academ
of France in
in which
en research fundin
cited articles
2008 to 2013,
relationship betwe
Republic from time as one of the three
makers on the
French
of the
the first
ue
to cure, to
included for
understand,
émiq
research was
ch
the plan: “to
between resear
n
politically driven
objectives of
n acad le Monde
plan is a
AD was shared n), and medicon major
Introductio
uctio
Funding for
ial and huma
public health
millio
[1].
ns
al
financ
(€200
of
care”
nation
was
A
es.
al care
ization
ch funding
la prod ce et da
at the mobil
selected diseas
million), medic
). The resear
choice aimed
burden of
ries, (€200
al Agency forlace de
rt (€1.2 billion
Fran
reduce the
l other count
: the Nation
13
P
social suppo
resources to
with severa
major bodies
r Education
rm en 04 - 20
national plans
France, along
ted by three
try of Highe
se
three
alloca
Minis
ch
d
the
Since 2001,
mente
20
al Resear
; under
disorders (AD).
de l’In
sively imple
m for Clinic
Research (ANR
has succes
e and related
Hospital Progra
and Health),
imer diseas
was the Third
Research), the
of Social Affairs implement
against Alzhe
comprehensive the presidency and
the Ministry
d to
recent and
ation (create
(PHRC; under
s)
directly by
The most
mer Plan Found
hospitals (CHU
imer Plan, driven
and the Alzhei ve). Whereas university
in
National Alzhe
universities
the overall initiati t from PHRC funds,
benefi
preferentially
r
Rue
ique
adém
ion ac s le Monde
roduct
an
de la p rance et d
F
Place
3
en
1
serm 2004 - 20
de l’In
inserm.f
tric Unit, 101
e: nicole.haeffner@
on, Bibliome
n
* Correspondenc ent of Scientific Evaluati
Commons Attributio
the Creative
1
on, and
INSERM, Departm
the terms of
the article
ted use, distributi
to
Paris, France
at the end of
distributed under
provide a link
This article is by/4.0/), which permits unrestric
Tolbiac, F-75014 information is available
and the source,
Open Access
n waiver
Cavaillon et al. eativecommons.org/licenses/credit to the original author(s)s Public Domain Dedicatio e stated.
Full list of author
2015 Haeffnerte
©
unless otherwis
Creative Common
give appropria
nal License (http://cr
4.0 Internatio any medium, provided you if changes were made. The made available in this article,
in
data
and indicate
reproduction
applies to the
Commons license,
main/zero/1.0/)
the Creative
mons.org/publicdo
(http://creativecom
Nombre de co-publications
70
62
60
50
Nombre de citations
1 800
57
38
40
1 365
1 400
43
1 200
20
800
655
600
200
2006
2007
2008
2009
2010
2011
2012
0
20
392
400
10
987
938
1 000
28
20
0
57
1 600
46
30
1 990
2 000
115
2006
2007
2008
2009
2010
2011
Étude bibliométrique stratégique :
évaluation de la collaboration
de l’Inserm avec des organismes
internationaux (exemple : collaboration Max Planck Institute / Inserm)
2012
Notoriété des journaux
d’édition des publications
associées aux sousdomaines de médecine
clinique en fonction de la
visibilité de celles-ci.
CIC
CIC - A
CIC - B
CIC - C
Publications globales
Publications au Top 10%
2005 à 2009
2010 à 2014
Augmentation 2005 à 2009
23
181
687 %
1
20
1 900 %
15
17
68
114
353,3 %
570,6 %
1
4
9
39
800 %
875 %
Analyse bibliométrique des centres d’investigation clinique (CIC)
2010 à 2014
Augmentation
Pour en savoir plus
contactez- nous :
Cellule MIB
Département de l’évaluation
et du suivi des programmes DESP
Inserm
101, rue de Tolbiac
14e étage
75013 Paris
[email protected]
© Inserm - Disc/Desp - Crédits photo : Inserm/Matho, Katie/LOB, Ecole polytechnique - Légende : axones et synapses de neurones observés dans le tronc cérébral de souris
8