Journal impact factors: important, useful or objectionable? Les

Journal impact factors: important,
useful or objectionable?
Les facteurs d’impact des revues :
importants, utiles, criticables ?
GILBERT ROELANTS, Librarian, ITM, Antwerp
Citation analysis
Analyse des citations
According to rough estimates some 100,000 scientific
journals are being published today, among which about
25,000 are broadly related to the biomedical field. Every
year they produce a few millions of articles written by
thousands of authors all of whom feel that their papers
contribute to the advancement of scientific knowledge:
that is in fact, or should be, the sole motive for
publication.
Each article certainly adds something to the existing
core of knowledge but it goes without saying that not all
papers are equally important in this respect, especially
when considered on an international scale or in reference
to broad specialties: immunology, malariology,
community health care, etc. The only objective and
workable criterion to measure the importance or
“impact” of published material is to count for each
article, author, institution or even country or continent
(identified by means of the authors’ addresses) how many
times they are cited in the literature. Having been cited
means at least having been read which is the primary
condition allowing for any “impact”. Having been cited
means in addition that the contents and the message have
been judged sufficiently important or useful to refer to. It
is not surprising then that numerous statistics are
continuously being presented (some would call them hitparades) comparing the number of citations received by
individual papers, authors, institutions, countries, etc.
during a given period of time and with respect to science
in general or subdivided by scientific disciplines.
Selon des estimations grossières, environ 100.000 revues
scientifiques sont publiées aujourd’hui, parmi lesquelles environ
25.000 sont liées d’une manière ou d’une autre au domaine biomédical. Chaque année, elles produisent quelques millions
d’articles écrits par des milliers d’auteurs qui pensent tous que
leur article contribue à l’avancement de la connaissance
scientifique: cela est, ou devrait être, d’ailleurs le seul motif
pour publier.
Certainement, chaque article ajoute un petit quelque chose à
la somme des connaissances existantes, mais il va sans dire que
tous les articles ne sont pas égaux quant à cet aspect, surtout
quand on les considère à l’échelle internationale ou en regard
des spécialités dans leur sens large: immunologie, malariologie,
santé communautaire, etc. Le seul critère objectf et exploitable
pour mesurer l’importance ou “l’impact” du matériel publié est
de compter pour chaque article, combien de fois l’auteur,
l’institution ou même le pays ou le continent (identifiés grâce à
l’adresse de l’auteur) sont cités dans la littérature. Avoir été cité
signifie au moins avoir été lu ce qui est une condition essentielle
pour avoir un quelconque “impact”. Avoir été cité signifie en
plus que le contenu et le message ont été jugés suffisamment
importants ou utiles pour y référer. Ce n’est pas surprenant
quand alors que quantités de statistiques sont continuellement
produites (certains les appelle même des hit-parades),
comparant les nombres de citations accumulées par les articles
individuels, les auteurs, les institutions, les pays, etc. durant une
période de temps donnée et dans le domaine de la science en
général ou subdivisées par disciplines scientifiques.
The reasons for such ratings are not merely academic.
They have great influence on policy making. Some
authors, institutions or countries are scoring very high
and others are scoring below average. It is sound policy
for the latter to try and do something about this.
Research funds are not awarded for keeping scientists
busy but should ultimately pay off for the benefit of the
community.
Les raisons de telles mesures ne sont pas simplement
académiques. Elles ont une grande influence sur la formulation
des politiques. Certains auteurs, institutions ou pays sont
évalués à un niveau très élevé et d’autres à un niveau endessous de la moyenne. C’est une saine politique que d’essayer
et de faire quelque chose à ce propos. Les fonds de recherche
ne sont pas accordés pour maintenir des scientifiques occupés
mais devraient en fin de compte apporter des bénéfices à la
communauté.
Journal impact factors
Facteurs d’impact des revues
Counting the number of citations received by
individual papers, authors, etc. is a formidable task,
involving access to a database which registers cited
references. Only one such database exists, including
hundreds of millions of cited references and source
papers. Its use is not only very expensive but the results
of citation counting are also subject to computerized
statistical analysis. Only high-brow specialised research
teams are able to do so.
Compter le nombre de citations faites par article, auteur, etc.
est une tâche énorme, impliquant l’accès à une base de données
qui enregistre les références citées. Il n’existe qu’une seule de
ces bases de données comprenant des centaines de millions de
références citées et de sources pour les articles. Son utilisation
est très chère mais les résultats des citations comptabilisées font
l’objet d’une analyse statistique computerisée. Seules des
équipes de chercheurs particulièrement brillants sont capables
de le faire.
A much easier method of citation analysis is provided
by journal citations, instead of paper citations, author
citations, etc. Ranking the number of citations which
Une méthode d’analyse des citations plus facile est fournie
par les citations des revues, au lieu des citations des articles, des
citations d’auteurs, etc. Classer par ordre le nombre de citations
INFI Newsletter December 1999 - Page 22 - Lettre du RIAC Décembre 1999
scientific journals receive e.g. in a given year would
certainly give a good idea of their comparative
importance. This would however favour the journals of
either long existence or frequent periodicity or both (as
these contain a larger body of citable papers). In order
to remedy this problem counting the number of
citations received by a given journal in a given year is
being restricted to the two previous years only and the
outcome is finally divided by the number of articles it
published during the same two-year period. The result
of this formula is called the “journal impact factor”.
que les revues reçoivent, par exemple durant un an, donnerait
certainement une bonne idée de leur importance comparative.
Ceci cependant favoriserait les revues dont l’ancienneté est la plus
longue, ou celles qui paraissent le plus fréquemment ou bien les
deux à la fois (d’autant qu’elles contiennent un grande quantité
d’articles que l’on peut citer). De façon à remedier à ce problème,
le décompte du nombre de citations reçues par une revue donnée
pour une année donnée est restreint seulement aux deux années
précédentes et le résultat est divisé à la fin par le nombre d’articles
elle a publié durant la même période de deux années. Le résultat
de cette formule est appelé “facteur d’impact de la revue”.
Journal Impact Factor: Average number of times
articles published in a specific journal in the two
previous years were cited in a particular year.
Example: A particular journal publishes 100 articles
in the years 1996 and 1997 combined; these articles are
being cited together 200 times during 1998 by other
journals and by itself; that particular journal’s impact
factor would then be 200 : 100 = 2.
Facteur d’Impact de la Revue: Nombre moyen de fois que des
articles publiés dans une revue spécifique les deux dernières
années ont été cités durant une année particulière.
Exemple: Admettons qu’une revue ait publié au total 100 articles
au cours des années 1996 et 1997; cet ensemble d’articles ont été
cités 200 fois par d’autres revues et par la même revue durant
l’année 1998; le facteur d’impact de cette revue est dès lors
200:100=2.
The impact factors of nearly 5,000 international science
journals are calculated and published every year by the
Institute for Scientific Investigation in Philadelphia.
Not only the rankings for all journals - whatever their
specialty - are given, but they are also made available
per subject category (e.g. internal medicine, infectious
diseases, gynecology & obstetrics, etc.). As such they
may be used by librarians for instance to select the
most important journals in the fields they are supposed
to cover. They may also be used by researchers aiming at a wide and appropriate audience - to identify
the journals which should be the most suitable for
submission of their manuscripts. Table 1 shows as an
Les facteurs d’impact de presque 5.000 revues internationales de
science sont calculés et publiés chaque année par l’Institute for
Scientific Investigation in Philadelphia. Non seulement on donne le
rang de toutes les revues – quelle que soit leur spécialité – mais on
peut aussi les obtenir par catégorie de sujet (par exemple, la
médecine interne, les maladies infectieuses, la gynécologie et
l’obstétrique, etc.). Ils peuvent être utilisés comme tels par les
bibliothécaires, par exemple pour sélectionner les revues les plus
importantes dans le domaine qu’elles sont supposées couvrir. Ils
peuvent aussi être utilisés par les chercheurs cherchant à obtenir
une audience large et adaptée à leur sujet pour identifier les revues
qui devraient être les plus appropriées pour soumettre leur
manuscrit. Le tableau 2 montre un exemple des 15 revues les plus
Table 1.Top-15 journals in the combined Internal Medicine and Infectious Diseases categories arranged by
Impact Factor
Journal Rankings
Rank
Journal Abbreviation
ISSN
1997 Total
Cites
Impact
Factor
Immediacy
Index
1997
Articles
Cited Halflife
1
NEW ENGL J MED
0028-4793 119278
27.766
5.726
379
6.5
2
LANCET
0140-6736 98372
16.135
2.421
983
6.7
3
ANN INTERN MED
0003-4819 36148
12.047
2.235
234
7.2
4
JAMA
0098-7484 53250
9.258
2.702
573
6.4
5
I INVEST MED
1081-5589 531
5.216
0.769
52
2.1
6
J INFECT DIS
0022-1899 26138
5.099
0.667
570
5.8
7
AIDS
0269-9370 8501
5.050
1.077
259
4.2
8
BRIT MED J
0959-8138 44864
4.994
2.092
846
7.4
9
ARCH INTERN MED
0003-9926 16883
4.781
0.992
258
7.6
10
MEDICINE
0025-7974 4684
4.483
0.273
33
>10.0
11
AM J MED
0002-9343 22623
4.237
0.434
182
>10.0
12
ANNU REV MED
0066-4219 1945
4.161
0.595
42
6.5
13
INFECT IMMUN
0019-9567 30603
3.713
0.544
803
5.8
14
EMERG INFECT DIS
1080-6040 336
3.482
0.506
77
1.6
15
AIDS RES HUM RETROV
0889-2229 4485
3.069
0.347
202
3.9
INFI Newsletter December 1999 - Page 23 - Lettre du RIAC Décembre 1999
example the impact factors of the top-15 journals in the
categories of Internal Medicine and Infectious Diseases
combined. The median impact factor of the above
mentioned 5,000 journals has for years remained steady
around 0.6; the mean impact factor is probably situated
around 1. There is no convention about this but a
journal impact factor of 1 or more may, in my opinion,
be considered as a strong indication for good
international quality.
Applications of the journal impact factors are not
limited to comparing the performance of journals but
may also include the comparison of individual papers,
authors, institutions, etc. These ratings are based on the
assumption that the papers published in each journal
have the same impact as the journal itself. This is not
always true of course, in fact this is almost never true.
The reason why journal impact factors are nevertheless
being used for rating the scientific performance of
investigators, institutions, etc. is easy to understand: one
may readily expect that journals with high impact factors
generally attract and publish important ground-breaking
articles, and that journals with lower impact factors
attract and publish papers which are of less important
(mainly domestic) usefulness only.
haut classées selon leur facteur d’impact dans les catégories
combinées Médecine Interne et Maladies Infectieuses. La valeur
médiane des facteurs d’impact des 5.000 revues mentionnées cidessus est restée stable pendant des années autour de 0,6; la
valeur moyenne se situe probablement autour de 1. Il n’y a pas
de convention à ce propos mais un facteur d’impact d’une revue
qui a pour valeur 1 ou plus peut, à mon avis, être considéré
comme une indication forte qu’il s’agit d’une revue de bonne
qualité au niveau international.
Les applications possibles des facteurs d’impact des revues ne
sont pas limitées à la comparaison des performances entre les
revues mais incluent aussi la comparaison entre les articles
individuels, les auteurs, les institutions, etc. Ces mesures sont
basées sur le postulat que les papiers publiés dans chaque journal
ont le même impact que le journal lui-même. Ceci n’est pas
toujours vrai bien entendu, en fait ceci n’est même presque
jamais vrai. La raison pour laquelle les facteurs d’impact des
revues sont néanmoins utilisés pour évaluer les perfomances
scientifiques des checheurs, des institutions, etc. est facile à
comprendre: on peut raisonnablement s’attendre à ce que les
revues qui ont un facteur d’impact élevé attirent et publient
généralement des articles innovateurs, et que les revues dont le
facteur d’impact est plus faible attirent et publient des articles de
moindre importance ou seulement importants localement.
Journal impact factors are indeed being widely used to
assess the international scientific value (with emphasis
on the adjective “international”) of the research papers
published in the journals, of the authors publishing in
them, of the institutions employing the authors, of the
countries where the institutions are situated, etc. For
these particular applications the impact factors of
journals are being extrapolated to measure
“performances” they initially were not meant to
measure. Sometimes promotions of individual
researchers or budgeting decisions with respect to
individual research institutions depend on them.
Les facteurs d’impact des revues sont en fait largement utilisés
pour évaluer la valeur scientifique (avec un accent particulier sur
l’adjectif “international”) des articles publiés, des auteurs qui les
publient, des institutions qui emploient les auteurs, des pays dans
lesquels sont situées les institutions, etc. Pour ces applications
particulières, les facteurs d’impact sont extrapolés pour mesurer
la “performance” qu’ils ne sont pas supposés mesurer au départ.
Parfois, la promotion des chercheurs ou des décisions
budgétaires concernant des institutions de recherche dépendent
de ces facteurs.
Example: Two scientists (or institutions) working in the
same field each published 10 articles during the last 5
years. One reaches a sum total journal impact factor of
40, the other one “only” reaches 10, so the first one is
being promoted and the second one has to wait a while
longer (and is angry). But what to do when the first one
only published 2 articles with a sum total of 40, and the
second one 20 articles with a some total of 10? It seems
obvious that the journal impact factor method for
scientific evaluation cannot, in most if not all instances,
be decisive by itself.
Objections?
There is no doubt that journal impact factors are
useful as long as they are being handled with care and
caution. They should not be used to compare the
performance of journals, authors or institutions dealing
with different areas of research. Indeed, one may expect
that popular research areas (with many thousands of
papers, authors, and citations) get higher impact factors
Exemple: deux scientifiques (ou institutions) travaillant dans le
même champ de recherche ont publié 10 articles durant les 5
dernières années. Le premier atteint un score de facteur d’impact
de 40, l’autre n’atteint qu’un score de 10, de telle sorte que le
premier est promu et le second devra attendre encore un long
moment avant de l’être (et en est mécontent). Mais que faire
quand le premier n’a publié que 2 articles avec une score total de
40 et le second 20 articles avec un score total de 10? Il semble
évident que la métode utilisant les facteurs d’impact pour
l’évaluation scientifique ne peut pas dans la plupart des cas sinon
dans tous les cas être décisive à elle seule.
Objections?
Il n’y a pas de doute que les facteurs d’impact des revues sont
utiles aussi longtemps qu’ils sont manipulés avec soin et
précaution. Ils ne devraient pas être utilisés pour comparer la
performance des revues, des auteurs ou des institutions
s’occupant de champs de recherche différents. En effet, on peut
s’attendre à ce que les champs de recherche à la mode (avec des
milliers d’articles, d’auteurs et de citations) obtiennent des
facteurs d’impact plus élevés que les champs de recherche moins
connus (avec bien moins d’articles, d’auteurs et de citations).
INFI Newsletter December 1999 - Page 24 - Lettre du RIAC Décembre 1999
than less popular research areas (with far less papers,
authors, and citations). One deplorable consequence of
this might be that scientists - for improving their status
and/or funding – would be tempted to neglect or
abandon altogether the less popular research topics at the
advantage of more rewarding ones. This would lead to an
impoverishment of scientific knowledge in lots of
virtually interesting domains. One must admit, however,
that many of the papers published in high-impact journals
such as Science or Nature are dealing with apparently rather
esoteric research topics. So, “borderline” scientists do not
always need to despair.
Even when scientists dealing with the same subject are
being compared in terms of journal impact factor rating,
it is worthwhile to keep in mind that this comparison may
not always be foolproof. The English language bias is one
element which may advantage or disadvantage the one or
the other. Publishing in English will, in many cases, be an
asset, although not always as there are numerous Englishlanguage medical journals for instance with very low
impact factors.
Medical doctors generally and fortunately do other
things than performing research. They are dealing with
patients, they lecture, they have administrative duties, etc.
Every now and then they publish, for the sake of specific
audiences, more or less original findings or viewpoints.
One cannot expect that they would enter - with these
“publications” - into competition with full-time
professional research scientists. Indeed, journal impact
factors have not been constructed and citation analysis
has not been devised for such competitions. When
properly used, they are tools for evaluation, they do not
evaluate by themselves. The merits of publications and of
the people who write them especially are extremely
difficult to measure and depend on so many divergent
circumstances that quantification - certainly when
“quality” is being measured - will always be a matter of
discussion and uneasiness. Impact factors only lend a
helping hand and the larger the sample the more useful
they will be; in “small” comparative evaluations, however,
their usefulness will always be challenged.
Much is being written about citation analysis. It has
become a research subject on its own merit. The
following paper gives a comprehensive introduction to
the field : Schoonbaert D, Roelants G. Citation analysis
for measuring the value of scientific publications: quality
assessment tool or comedy of errors? Trop Med Int
Health 1996; 1: 739-752.
The Institute for Scientific Investigation’s website is to
be found at http://www.isinet.com.
Une conséquence déplorable de cet état de fait pourrait être
que les scientifqiues – de manière à améliorer leur statut et/ou
leur financement – soient tentés de négliger ou d’abandonner
les thèmes de recherche moins populaires au profit de thèmes
plus rentables. Cela mènerait à un apauvrissement de la
connaissance scientifique dans bien des domaines virtuellement
intéressants. Il faut cependant admettre que beaucoup d’articles
publiés dans des revues à facteurs d’impact élevés, telles que
Science ou Nature ont trait à des thèmes de recherche
apparemment plutôt ésotériques. Dès lors, les scientifiques qui
travaillent sur des sujets “à la limite” ne doivent pas désespérer.
Même quand les scientifiques travaillant sur le même sujet
sont comparés sur base de leur score de facteurs d’impact de
revue, il est important de garder à l’esprit que cette
comparaison n’est pas toujours à toute épreuve. Le biais lié à la
langue anglaise est un des éléments qui peut avantager ou
déavantager l’un ou l’autre. Publier en anglais sera dans bien des
cas un atout, même si ce n’est pas toujours le cas car il y a
quantité de revues médicales anglophones dont le facteur
d’impact est très bas.
Les médecins font généralement, et fort heureusement,
d’autres choses que de la recherche. Ils s’occupent de patients,
ils enseignent, ils ont des tâches administratives, etc. De temps
à autre, ils publient, pour l’intérêt d’une audience spécifique,
des résultats plus ou moins originaux ou des points de vue. On
ne peut pas s’attendre – avec ce genre de publications - à ce
qu’ils entrent en compétition avec les chercheurs scientifiques
professionnels. En effet, les facteurs d’impact des revues et les
analyses de citations n’ont pas été construits pour de telles
compétitions. Lorsqu’ils sont utilisés de manière appropriée, ce
sont des outils d'évaluation mais pas en eux-mêmes ils ne
constituent pas une évaluation. Le mérite des publications, et
surtout des gens qui les écrivent, est extrêmement difficile à
mesurer et dépend de tant de circonstances divergentes que la
quantification – certainement quand la “qualité” doit être
mesurée – sera toujours malaisée et matière à discussion. Les
facteurs d’impact, certes utiles, ne représentent que des outils
d’appoint et plus l’échantillon sur lequel ils se basent est grand
et plus ils seront utiles; dans de “petites” évaluations
comparatives, cependant, leur utilité sera toujours mise en
question.
Beaucoup a été écrit sur l’analyse de citation. C’est devenu un
sujet de recherche sur son propre mérite. L’article suivant
donne une introduction générale à ce domaine: Schoonbaert D,
Roelants G. Citation analysis for measuring the value of
scientific publications: quality assessment tool or comedy of
errors? Trop Med Int Health 1996; 1: 739-752.
On peut trouver le site internet de l’Institute for Scientific
Investigation’s à l’adresse suivante: http://www.isinet.com.
INFI Newsletter December 1999 - Page 25 - Lettre du RIAC Décembre 1999