Navigation – Plan du site
Dossier

La scientométrie : une méthode d’évaluation de la recherche ?

Marie-Gabrielle Suraud

Résumés

Le développement des outils et des méthodes scientométriques représente actuellement un enjeu considérable pour l’évaluation de la recherche. Fondée sur l’analyse statistique de grandes séries de références bibliographiques issues des bases de données, la démarche scientométrique soulève deux problèmes : celui de l’adéquation entre les méthodes utilisées et les objectifs à atteindre d’une part, et celui de la pertinence d’un modèle scientifique inhérent à cette discipline d’autre part. Une double étude empirique menée sur les conditions d’émergence d’un concept en sciences physiques fonde les critiques apportées à la démarche et aux méthodes scientométriques1.

Haut de page

Texte intégral

Introduction

1Un demi-siècle après l’avènement de la « Big science » (Schweber, 1993), l’analyse des sciences et des techniques constitue un pôle de recherche à part entière. Des disciplines comme la sociologie des sciences, l’histoire des sciences, l’anthropologie des sciences ou les sciences de l’information développent des programmes de recherche ambitieux, centrés sur les contenus scientifiques et sur les conditions de sa production (Kuhn, 1972 ; Bloor, 1982 ; Callon et al., 1991 ; Latour et al., 1988). Se situant plus spécifiquement dans le domaine de la sociologie des sciences, la scientométrie, fondée sur l’utilisation d’outils mathématiques, et plus particulièrement sur l’analyse statistique de longues séries d’indices réputés objectifs, s’étend peu à peu. « La sociologie des sciences a exploité certaines possibilités qu’offrent aujourd’hui les mathématiques et les outils informatiques pour proposer de nouveaux outils d’analyse (analyse bibliométrique, méthode des cocitations, méthode des mots associés…) autour desquels une discipline nouvelle s’est constituée : la scientométrie » (Vinck, 1991). Cette discipline, dont d’aucuns disent qu’elle est munie « d’outils prospectifs capables de rendre compte de l’évolution future d’un domaine de recherche » (Trouvé, 1989), cherche à caractériser la science par la constitution des lois objectives de son développement. Il en ressort que la scientométrie trouve ses fondements d’une part dans la qualité des outils qu’elle manipule et d’autre part dans le modèle de la science sur lequel elle s’appuie.

2Les enjeux de la création d’une telle discipline se situent principalement au niveau de la définition des politiques scientifiques. Les analyses de la production scientifique constituent en effet des références incontournables pour déterminer des orientations de recherche. En proposant des outils d’évaluation de la recherche scientifique, la scientométrie revendique ainsi le statut de « science de la science ».

Une double interrogation

3Le travail présenté ici propose à la fois une analyse des méthodes utilisées en scientométrie pour évaluer la recherche scientifique et une réflexion sur la validité du modèle de la science en vigueur dans cette discipline. Deux questions s’imposent. Dans quelle mesure les outils scientométriques fondés sur l’exploitation des systèmes d’information automatisés sont-ils adaptés aux finalités mentionnées ci-dessus ? Quelle est la compatibilité entre le modèle du développement de la production scientifique suggéré par ces outils et ceux en vigueur dans d’autres champs disciplinaires ?

4La première question porte sur la cohérence entre les objectifs et les méthodes mises en œuvre, et particulièrement sur les conditions d’utilisation des outils mathématiques et statistiques. Cette interrogation est d’autant plus radicale que la scientométrie légitime totalement la scientificité de ses analyses par l’utilisation même des outils statistiques et des technologies qui leur sont rattachées. La technique contient alors intrinsèquement les conditions de validation et de justification. La seconde question propose de juger la pertinence du modèle de la science adopté en scientométrie en le confrontant à celui élaboré en sociologie des sciences. Cette confrontation est justifiée par l’absence d’un consensus autour de la définition de la science, et des déterminants de la formation de ses concepts. Selon les différents courants de pensée, ces déterminants relèvent soit directement d’une activité logico-rationnelle soit au contraire des pratiques et des structures sociales. Inspirés par les travaux de Kuhn (1972), pour qui la vie scientifique n’est pas aussi rationnelle ni surtout aussi constamment critique (science normale /révolution paradigmatique) que la plupart des logiciens tels que Popper (1978) ou Lakatos (1970) la proposent, les sociologues des sciences, s’engageant fortement dans cette nouvelle voie, font intervenir les facteurs sociaux au cœur même de la constitution des énoncés scientifiques.

5Ces réflexions présentent de fortes analogies avec celles qui concernent le rôle de la technique dans la communication où l’outil est le principal déterminant de cette communication et des formes qu’elle prend, ce qui implique en outre un parti pris conceptuel du modèle de « communication scientifique ». Il s’agit notamment des débats relatifs à la formalisation, à l’organisation, à l’acquisition et à la circulation des informations scientifiques ainsi qu’à l’élaboration des supports liés à ces activités (hypertextes, banques de données…). Certaines recherches placent en effet les techniques au rang de déterminants clés de la communication ou de la production des informations scientifiques. Pour les plus déterministes, les dimensions socio-historiques de l’élaboration des connaissances et des conditions de leur circulation disparaissent au profit d’une détermination technique face à laquelle l’individu est réduit à l’état d’utilisateur passif et désocialisé. Dans les domaines de l’information et de la communication scientifiques, la conception d’hypertextes fournit un exemple de la façon dont le problème est posé. Les hypertextes sont conçus pour être des outils d’aide au raisonnement, à la discussion, à la conception ou à l’organisation. « Avec les collecticiels, le débat se ramène à la construction Progressive d’un réseau argumentaire et documentaire dépersonnalisé, toujours présent aux yeux de la communauté, maniable à tout instant » (Lévy, 1991, p. 63).

6Ainsi disparaissent totalement les conditions de production des connaissances, ainsi que les conditions de leur insertion et de leur mise en forme dans le réseau technique. Les données électroniques « collectivées », par leur aspect désynchronisé, ordonné et objectif, seraient en mesure de proposer d’une manière cohérente un ensemble de connaissances directement exploitables par les scientifiques. Tout décalage intellectuel serait donc supprimé puisque l’outil fournit une connaissance disponible à tout instant circulant dans un univers rendu totalement transparent et homogène. « ...[L]e décalage intellectuel entre les membres de l’équipe est annulé, les uns immédiatement informés dès que les autres avaient découvert une nouvelle idée, un nouveau procédé ou une référence essentielle à leurs travaux. » (Lévy, 1991, p. 63). La décontextualisation de la production des connaissances par la technique devient alors une condition suffisante de leur validité. « L’attachement des idées aux personnes s’estompe. » (Lévy, 1991, p. 63). Une des principales fonctions de la technique est liée à sa capacité à mettre à distance le savoir et sa genèse. Cette distanciation est la condition primordiale d’une possible objectivation des connaissances constituant ainsi le fondement « du savoir commun ». C’est sur de telles conceptions de la formation des connaissances scientifiques que se fonde également la démarche scientométrique.

7Pour sa part, ce texte défend un point de vue différent en montrant que ni les technologies d’information et de communication ni les outils statistiques de traitement de l’information ne sont par eux-mêmes les déterminants de l’élaboration des connaissances ou de leur circulation. À lui seul, l’outil n’est pas apte à construire une « intelligence collective » par un partage objectivé de connaissances. La formalisation et la circulation des connaissances sont au contraire fortement corrélées à leur mode de production. Les pratiques de recherche et les institutions scientifiques dans lesquelles elles s’insèrent sont autant de facteurs des conditions d’appropriation des connaissances. Ces facteurs sont les clés indispensables à la transmission effective des savoirs. En conséquence, on ne peut réduire le modèle de la communication des connaissances scientifiques à une question strictement technique. En outre, la communication des connaissances dépasse le simple « enjeu de la discussion ». Les modes de transmission des connaissances sont directement corrélés aux conditions de construction des savoirs scientifiques.

L’analyse empirique : un concept en sciences physiques

8Une étude empirique permet d’étayer les deux aspects de la critique relatifs à la méthode et au modèle de la science. Elle s’appuie pour cela sur des recherches menées en sciences physiques sur le concept de « fragmentation » et a pour objectif de rendre compte de son émergence. Elle vise donc à établir un bilan de l’avancement des travaux en physique et à repérer les chercheurs concernés par ces travaux. Deux voies d’investigation ont été suivies. La première est de type scientométrique. La seconde est constituée par une série d’entretiens menés auprès des physiciens de la fragmentation et s’inspire directement des travaux issus de la sociologie des sciences. Les résultats obtenus lors de cette seconde étude servent d’étalon aux résultats de la première. La confrontation permet ainsi d’examiner la pertinence des méthodes scientométriques.

9De façon générale, la scientométrie choisit comme terrain d’étude les sciences de la nature, de nombreuses études ont été ainsi faites dans le champ de la chimie ou de la physique. Il est possible d’envisager que les mêmes outils et les mêmes méthodes d’analyse soient utilisés dans d’autres domaines d’application et en particulier dans ceux des sciences humaines et sociales. S’il est question de repérer et d’évaluer les développements et les orientations de la recherche scientifique, la « fragmentation » constitue un terrain approprié. Ce concept en émergence est en effet à l’origine de controverses et d’importants débats dans plusieurs sous-disciplines de physique.

Le concept de fragmentation

10La fragmentation peut être définie comme la brisure d’un système composite en plusieurs sous-systèmes eux-mêmes composites. C’est une notion générale relative aussi bien à la brisure d’un noyau atomique au cours d’une collision nucléaire qu’à la répartition des galaxies dans l’univers, suite à son explosion primordiale. Entre ces deux extrêmes, d’autres systèmes physiques microscopiques, mésoscopiques ou macroscopiques sont susceptibles d’être fragmentés ; citons le cas des polymères en solution ou celui de la fracture des matériaux.

11Jusqu’à présent, les études sur la fragmentation se sont développées dans les multiples sous-disciplines de la physique, indépendamment les unes des autres, et peu de liens ont été établis entre elles. Si un processus dit de « fragmentation » existe dans chaque sous-discipline, le concept générique de fragmentation, qui reconnaîtrait une forme d’universalité dans ces phénomènes, n’a pas encore émergé. Récemment, certains physiciens ont pris conscience des similarités qui pourraient exister entre « les différentes fragmentations » des sous-disciplines de physique. La question centrale porte sur l’unicité d’un concept de fragmentation s’habillant de spécificités propres à chaque sous-discipline. L’enjeu de ces études est de montrer qu’il existe bien un principe d’universalité, se démarquant par essence des travaux à caractère plus spécifique et pouvant ouvrir la voie à un nouveau paradigme.

12Dans le cas de la physique nucléaire, ces approches pluridisciplinaires suggèrent d’analyser et de décrire les noyaux atomiques avec des modèles qui n’avaient jamais été utilisés en physique nucléaire. Les premiers résultats expérimentaux sur la fragmentation en physique nucléaire furent associés à la problématique des transitions de phase. Le système en se fragmentant était supposé passer de l’état liquide à l’état liquide-gaz. À partir de modèles génériques de transition de phase certaines « observables » (grandeurs physiques) ont été isolées pour être confrontées avec succès aux résultats expérimentaux de physique nucléaire. L’argumentation développée ici se limitera à des exemples en physique nucléaire.

13La particularité de ce terrain d’analyse tient, d’une part, au caractère horizontal du concept de fragmentation puisqu’il concerne plusieurs sous-disciplines de physique et, d’autre part, au fait que ce concept est récent et ne fait pas encore l’objet d’un véritable consensus. C’est ce qui fait sa spécificité et son intérêt pour le travail présent.

De la pertinence des outils scientométriques

L’analyse scientométrique

14L’objectif de l’analyse scientométrique est d’identifier les différents groupes de chercheurs travaillant sur la fragmentation et d’évaluer l’état d’avancement de leurs recherches. Ce travail est destiné aux physiciens eux-mêmes désirant définir des stratégies de développement. Dès lors, cette étude s’inscrit totalement dans le cadre d’une problématique sur les évaluations stratégiques et les prospectives d’un domaine scientifique.

15Les sources informatives exploitées en scientométrie sont des bases de données scientifiques. C’est la base de données scientifique INSPEC de Physical Abstract, spécialisée en électronique, informatique, physique et technologie de l’information, qui a fourni les informations nécessaires au traitement. En recensant plus de 4200 revues scientifiques, Physical Abstract regroupe les principaux périodiques de physique. L’analyse a porté sur les années 1990 à 1993 incluse, toutes sous-disciplines de physique confondues, et a été restreinte à l’activité française. Le détail de l’analyse scientométrique et ses résultats ont fait l’objet de deux publications (Suraud et al, 1994 ; Suraud et al., 1995).

Résultats et discussion

Repérer l’origine des recherches sur la fragmentation ?

16En physique nucléaire l’origine des recherches sur la fragmentation se situe dans la première moitié des années 1980 (Gross, 1990). Dès 1985, certains résultats se sont avérés fondamentaux dans une optique pluridisciplinaire (Campi et al., 1985 ; Campi, 1986 ; Campi, 1988a). Le petit groupe de scientifiques (deux ou trois personnes) à l’origine de ces initiatives et de ces recherches prometteuses est constitué de physiciens théoriciens français. Les résultats obtenus par ce groupe ont fait l’objet de deux publications seulement, entre 1985 et 1990 (Campi, 1986 ; Campi, 1988b).

17Dès leur publication, ces travaux ont été soumis à forte controverse de la part de la communauté des physiciens nucléaires. Cependant, un lent processus de maturation jalonné d’interventions ponctuelles de type « organisation de congrès « ou » participation à des écoles » (Campi, 1988b) a été engagé. Au début des années 1990, ces premiers travaux ont finalement réuni une large adhésion et ont obtenu une reconnaissance internationale qui a généré et inspiré de nombreuses recherches tant sur le plan expérimental que théorique (Bowman et al., 1991 ; Ogilvie et al., 1991 ; Gross, 1990). Pour diverses raisons (sans relations avec ce propos), les chercheurs à l’origine de ces travaux importants continuent de publier très peu. Bien que l’essentiel de leur activité soit toujours consacré à la fragmentation, seules deux nouvelles publications font référence à ce thème entre 1990 et 1993 (Campi et al., 1992a ; Campi et al., 1992b).

18Or, l’analyse scientométrique, fondée sur le décompte des publications, n’a pu rendre compte de l’importance scientifique de ce groupe. En effet, la scientométrie hiérarchise la production scientifique, en jaugeant la qualité de la production ou la pertinence des recherches à l’aune de la quantité de publications. En outre, le traitement statistique, appliqué au corpus de publications, obtenu par interrogation de la base INSPEC et comportant plus de 2000 références, a totalement « noyé » les deux articles. Pourtant, du point de vue des chercheurs en fragmentation, les physiciens évoqués sont de toute évidence « incontournables ». Ils représentent actuellement le « groupe phare » dont les travaux servent de référence aux recherches en fragmentation nucléaire.

Apprécier la pertinence scientifique des recherches en physique ?

19À l’inverse, le nombre de publications ne reflète pas nécessairement la pertinence scientifique. Un autre groupe de physiciens théoriciens, plus important sur le plan numérique que le précédent, a témoigné, durant ces dernières années, d’une large production scientifique.

20L’analyse scientométrique a révélé en effet une forte activité en fragmentation pour cette équipe. À première vue, l’importance du nombre de publications « étiquetées » fragmentation place ces physiciens parmi les plus actifs dans le domaine et donc parmi les plus importants. Pourtant les travaux de ce groupe ne concernent pas directement la fragmentation. En effet, ces physiciens justifient les études qu’ils mènent actuellement par le développement d’outils théoriques importants, qui permettraient une application éventuelle à la fragmentation. Leurs travaux sont en effet reconnus, par les physiciens de la fragmentation, comme n’ayant qu’un rapport très indirect avec la fragmentation et peuvent même s’avérer totalement indépendants. C’est pour des raisons en partie stratégiques – s’insérer dans un axe de recherche perçu comme étant prometteur par la communauté des physiciens – que la référence à la fragmentation est constante dans leurs publications.

21Outre le problème lié à la notion de quantité de publications se pose celui, crucial, de l’indexation des documents scientifiques. Comment rendre compte à l’aide de quelques mots clés » du contenu d’un document ? Très souvent, les mots clés utilisés permettent, au mieux, de replacer le document par rapport au secteur d’activité auquel il se réfère. De plus, le secteur d’activité lui-même peut être défini de façon plus ou moins précise, en fonction du degré de sophistication de la classification existante. Dans le cas référencé ici, l’inadéquation entre l’importance accordée à ce groupe par l’analyse scientométrique et la place réelle qu’il tient en physique de la fragmentation est due tant à l’absence d’indexation spécifique dans la base de données et aux techniques d’indexation elles-mêmes qu’à la volonté des chercheurs poussés à mentionner le concept de fragmentation pour les raisons stratégiques signalées. Une enquête auprès de la communauté des physiciens nucléaires, ainsi que la lecture des publications de physique de la fragmentation, a permis d’affirmer que les travaux du groupe de physiciens auquel il est fait référence dans ce présent paragraphe ne sont pas des travaux directement liés aux recherches sur la fragmentation. Il faut noter que, compte tenu du degré de spécialisation des recherches menées en physique, les communautés travaillant sur un sujet précis concernent peu de physiciens ; dans ce cas les travaux de fragmentation sont aisément repérables.

22De fait, dans la majorité des cas, les mots clés ne précisent pas cette partie du contenu de l’article scientifique qui justifie son existence dans ce qu’il apporte d’original. Pour évaluer une activité scientifique et sa production, il ne suffit pas d’identifier le secteur d’activité auquel elle appartient, mais bien la connaissance scientifique nouvelle qu’elle produit. Suivre la voie balisée des indexations, auxquelles sont soumises les publications répertoriées dans les banques de données, ne semble guère fécond. La modélisation du contenu des documents fait l’objet de recherches qui révèlent l’existence de partis pris se dissimulant dans ce type d’opération (Chaskiel et al., 1993 ; Royauté et al., 1992).

Analyser l’absence de publications en fragmentation ?

23A priori, l’absence de publications semble un résultat sans appel : elle traduit l’inexistence scientifique d’un groupe de recherche. Pourtant, il peut y avoir confusion entre absence d’activité publique/extérieure et absence d’activité tout court. C’est le cas des recherches expérimentales faites sur les appareillages techniques. Le développement et la mise au point d’outils expérimentaux peuvent être difficiles à identifier puisqu’ils se manifestent par des publications non académiques.

24En effet, pour la réalisation de certaines expériences, les physiciens sont amenés à concevoir et à construire un ou plusieurs appareillages de mesure spécifiques. Il s’agit à chaque fois de prototypes dont la réalisation constitue une part importante de l’activité des chercheurs. L’exemple typique de telles constructions est celui de l’accélérateur LEP du CERN (Conseil européen de recherche nucléaire à Genève) conçu en parallèle avec ses quatre détecteurs dont la conception et la réalisation ont nécessité l’investissement de centaines de chercheurs pendant plus de dix ans. Les mesures expérimentales elles-mêmes n’ont pu débuter qu’au terme de cette gigantesque entreprise. À moindre échelle, le cas de la fragmentation en physique nucléaire est similaire. Les expériences concernant ce thème de recherche nécessitent l’utilisation d’appareillages nouveaux et spécifiques (détecteurs de particules), dont le développement a fait l’objet, ces dernières années, d’un effort important.

25Ainsi, une cinquantaine de physiciens ont participé à un projet français pendant quatre ans. Le détecteur est opérationnel depuis 1993, date à laquelle ont commencé les premières expériences sur la fragmentation elle-même. Les physiciens ayant participé à ce travail n’ont donc pas publié d’articles de physique au titre du projet « fragmentation » durant les quatre années de mise au point de cet appareillage. Leurs publications ont porté sur des questions techniques, concernant la mise au point de leur appareil, et se sont très souvent réduites à des lettres d’intention relatives aux simulations du détecteur. Il existe ainsi une « littérature grise », difficilement accessible, diffusée par des voies restreintes et ne donnant pas lieu à publication, au sens académique du terme. Cette littérature ne remplit pas les critères habituels des revues à comité de lecture. En effet, pour utiliser un accélérateur, les physiciens sont soumis à une commission d’experts. C’est à l’occasion de ces demandes qu’ils rédigent des lettres d’intention dans lesquelles ils exposent, de manière prospective, le travail qu’ils souhaitent effectuer. Dans le cas de la mise au point d’un détecteur, les lettres d’intention concernent seulement des tests de l’appareillage. La mise au point finale et, en conséquence, les publications « officielles » peuvent être fortement différées.

26Durant cette période de gestation « expérimentale », le groupe de physiciens n’est pas représenté en tant que tel dans la base de données en physique de la fragmentation, alors que ce projet expérimental est reconnu actuellement sur le plan scientifique comme l’un des plus importants du domaine (Plagnol, 1990a ; Plagnol, 1990b).

27Fondée sur le seul comptage des publications et sur leur sélection dans une banque de données, l’évaluation scientométrique ne permet plus, par conséquent, de saisir l’activité liée à la mise au point d’appareillages importants. Une situation analogue se retrouve dans le cas de la conception de modèles théoriques sophistiqués, pouvant eux aussi conduire à des investissements longs, avec par exemple la conception de programmes informatiques lourds. Dans la mesure où l’objectif est de repérer l’innovation ou l’importance de l’évolution de certains secteurs de recherche, l’analyse scientométrique n’aura donc pas accès à des pans entiers de travaux qui, pourtant, sont les indicateurs d’une recherche active et en expansion. Les phases de préparation d’importants projets sont non seulement partie intégrante des recherches et de leur avancement, mais se révèlent cruciales.

Résoudre les problèmes terminologiques ?

28Lors de la sélection des références dans une banque de données, on ne peut manquer de s’inquiéter de l’existence de difficultés terminologiques, difficultés par ailleurs inéluctables lorsqu’un nouveau concept se met en place.

29Ainsi, il s’avère que le terme « fragmentation » existait auparavant en physique nucléaire, mais avec un sens différent de celui considéré ici. Dans le cas des études antérieures se référant à la fragmentation, il s’agissait d’un phénomène « classique », parfaitement identifié, se rapportant au comportement du projectile dans les collisions nucléaires.

30L’ambiguïté a été levée récemment, par l’utilisation de deux termes légèrement différents : « fragmentation du projectile » d’une part et « multifragmentation » d’autre part ; le deuxième terme exprime le nouveau concept dont il est question ici. Bien que les deux terminologies se soient affirmées progressivement au sein des communautés concernées et aient fait l’objet d’une distinction de mieux en mieux identifiée, l’utilisation du seul terme « fragmentation » est encore très courante dans les publications. Une interrogation sur banque de données doit donc veiller à utiliser non seulement le terme de fragmentation mais aussi ceux de multifragmentation et de fragmentation du projectile. Cela conduit, bien évidemment, à l’obtention d’un corpus de publications fort « pollué » par les travaux concernant la fragmentation du projectile. En 1992, une mise à jour au niveau de l’indexation dans la base INSPEC a explicitement intégré l’expression « multifragmentation nucléaire », ce qui confirme l’utilisation de plus en plus large de cette terminologie en physique nucléaire. À terme, le concept sera très certainement associé systématiquement à cette terminologie spécifique ; ce qui supprimera toute ambiguïté. Rappelons que les premiers travaux significatifs sur la fragmentation datent de 1985. Or, dix ans après, la situation n’est pas encore stabilisée… S’il paraît logique que l’indexation s’adapte à la science avec un certain temps de latence, on est en droit de s’interroger sur l’épaisseur des études scientométriques prospectives !

31Cette première étape dévoile les faiblesses internes de certains des aspects essentiels de la démarche scientométrique. Elle révèle les dissonances entre les résultats obtenus et leur confrontation avec les physiciens et elle met en cause l’utilisation d’un outil statistique et informatique lorsqu’il s’agit d’analyser la science en cours.

Le modèle de la science en scientométrie

32Poursuivant la discussion sur la validité et les limites de la scientométrie, un second type d’interrogation peut et doit être envisagé. En effet, se fixant pour objectif l’évaluation de la recherche, la scientométrie réunit des outils d’analyse (quantitatifs, mathématisés et informatisés) qui suggèrent inévitablement l’adoption d’un modèle de l’activité scientifique. Bien sûr cela n’est pas inhérent à la seule scientométrie. Tout choix d’outils d’analyse de quelque processus que ce soit reflète nécessairement des présupposés sur les conditions de son fonctionnement et sur les contours du modèle qu’il décrit. Les outils utilisés ne sont qu’une conséquence du modèle choisi pour décrypter le processus analysé. La question est alors de déterminer les présupposés et les limites du modèle sur lesquels se fonde la recherche.

33La scientométrie entend, à l’instar de la sociologie des sciences, participer à la caractérisation des processus d’élaboration des savoirs. Les objectifs et les problématiques de ces deux champs de recherche sont similaires. Cependant, les démarches et la méthodologie diffèrent fortement dans chacun d’entre eux. La sociologie des sciences adopte des méthodes d’investigation où sont privilégiées les recherches de terrain permettant de rendre compte des pratiques scientifiques (Latour, 1989 ; Bijker et al., 1992 ; Knorr-Cetina et al., 1981 ;Vinck 995).

34Ces analyses fournissent un essai de description du processus même de conception et amènent à réfléchir sur les caractéristiques du modèle de communication propre au champ scientifique. La science n’est plus conçue comme une simple accumulation de connaissances. il s’agit au contraire d’insister sur les attitudes critiques, en repérant les techniques de persuasion utilisées dans les discussions scientifiques, et de tenir compte des conditions sociales et historiques dans lesquelles se déroule l’activité scientifique. Dans ce cas, les paradigmes ne peuvent être acceptés que par l’intermédiaire d’une persuasion rhétorique. L’invention conceptuelle doit faire apparaître, outre le pouvoir des concepts, celui d’une communauté. La notion de réseau sociotechnique est au cœur du processus de construction des connaissances.

35C’est cette perspective qui a guidé la deuxième étape de notre recherche, qui n’est plus de repérer l’émergence du concept de fragmentation par l’analyse statistique des publications, mais d’y parvenir par une étude auprès des chercheurs concernés.

Etude de terrain

36Le thème de la fragmentation a fait l’objet d’une demande de création d’un GDR (Groupement de recherches) du CNRS. Ce GDR regrouperait autour de ce thème plusieurs communautés de physiciens appartenant à des sous-disciplines différentes. La mise en commun et la confrontation des savoirs et des savoir-faire construits indépendamment dans chacune des communautés devraient conduire à l’élaboration d’une problématique générique en physique. Dans cette perspective, plus de quarante physiciens représentant une dizaine de laboratoires français (de physique nucléaire, physique atomique, physique de la matière condensée, astrophysique, physique des polymères et physique théorique) ont organisé des rencontres à Paris. Dans ce cadre, des entretiens ont été menés avec les physiciens de la fragmentation.

37En développant les caractéristiques conceptuelles adoptées en sociologie des sciences d’une part, et en scientométrie d’autre part, il est possible d’ébaucher une confrontation de leurs modèles scientifiques divergeant en plusieurs points. Bien qu’ils ne traitent pas de cette question dans sa globalité, les résultats obtenus ouvrent néanmoins des pistes pour une recherche future.

Qu’apporte la sociologie des sciences ?

38Depuis plusieurs années, de nombreuses études ont été menées analysant, a posteriori, l’émergence de concepts et/ou de nouvelles technologies. Ces premiers travaux, marqués par une recherche rétrospective, ont défini l’activité de recherche scientifique par la rationalité de sa démarche et par la logique de ses raisonnements et de ses démonstrations (Popper, 1978 ; Bachelard, 1977). Cette conception des sciences entendait se démarquer de l’épistémologie classique sans procéder pour autant à une critique de la méthode scientifique elle-même. Bien qu’introduisant les facteurs sociaux dans la construction des connaissances, elle distinguait encore nettement production cognitive et contexte social ; ce dernier pourrait infléchir ou influencer la production cognitive sans déterminer pour autant le cœur de son contenu.

39Dans la lignée des travaux mettant en évidence les différentes circonstances qui affectent la production scientifique (traditions, idéologie, intérêt personnel…), les sociologues des sciences franchissent aujourd’hui une nouvelle étape en affirmant que le social intervient au cœur même des contenus scientifiques. Un regard nouveau est porté sur l’énoncé scientifique dont l’identité ne dépend plus de son existence dans un absolu logico-rationnel mais du réseau socioculturel dans lequel il s’insère. L’élaboration des connaissances ne procède plus de méthodes universelles caractérisées par une neutralité objective prenant leur source dans une logique cognitive. Il s’agit de s’opposer à l’idée d’une rationalité « non sociale » qui s’inscrirait dans un rapport d’extériorité par rapport au scientifique. Ainsi, s’intéressant au contenu scientifique lui-même, les sociologues des sciences proposent de repenser le statut de la science par l’apport de nouveaux critères de validation et de scientificité de sa production. Un énoncé n’acquiert le statut de fait scientifique que s’il est accepté et reconnu en tant que tel a posteriori par la communauté concernée. Les conditions de cette reconnaissance reposent donc sur la qualité de l’argumentation proposée par les auteurs de la recherche, sur l’autorité scientifique de ces derniers, ainsi que les réseaux de soutien et d’appui qu’ils ont été à même de construire. Il n’existe donc pas de caractéristique d’ordre logico-rationnelle, intrinsèque à l’énoncé, et repérable d’emblée par ses qualités. Le succès d’une recherche est ainsi lié au réseau de relations que le scientifique ou le groupe de scientifiques saura établir pour soutenir ses travaux et obtenir une large adhésion. Adopter ce point de vue, c’est reconnaître deux fonctions essentielles à l’activité scientifique : la transformation et le compromis. « Négocier des connaissances c’est presque toujours en modifier le contenu. » (Callon et al., 1991 : 30).

40« D’autres, les épistémologues, parlent de la science, de sa solidité, de ses fondations, de son développement ou de ses dangers ; malheureusement ils ne s’intéressent pratiquement jamais à la science en train de se faire.» (Latour, 1989, p. 27). Ce parti pris d’une observation directe des mécanismes de production scientifique suggère l’importance accordée à la construction non linéaire des connaissances, à la fois insérées et dépendantes du contexte social qui les engendre. L’évolution d’une recherche dépend de nombreux facteurs, souvent contradictoires, ne répondant pas à une logique parfaitement identifiée, et qui sont là comme des faisceaux de contingences face auxquelles l’individu ou le groupe prend position. Tout se passe comme si le devenir d’un énoncé était a priori inconnu. Ces travaux reposent donc sur le refus d’une prédominance entre « internaliste et externaliste, entre les dogmes qui affirment l’irréductibilité du noyau dur ou la détermination par les forces sociales » (Callon et al., 1991, p. 21). L’analyse de « l’état final » – ici la production écrite exploitée en scientométrie – renseigne donc peu sur les conditions socioculturelles d’acceptation ou de refus, sur les facteurs techniques, scientifiques, économiques ou politiques qui ont infléchi les décisions selon certains axes.

41Autrement dit, les théories de la sociologie des sciences insistent sur la construction sociale des faits scientifiques et sur la prégnance du facteur « force de l’argumentation » des chercheurs. Elles se focalisent ainsi sur la pertinence des réseaux que ces derniers sauront tisser et organiser pour faire valoir leur recherche dans un contexte souvent plus large que le seul contexte scientifique.

Le modèle de la science sous-jacent à la scientométrie

42On ne se livrera pas à une description exhaustive du modèle scientifique fondant la scientométrie mais plutôt à une présentation des aspects de ce modèle contradictoires avec les résultats exposés précédemment.

43Fondée sur l’utilisation et l’exploitation des publications scientifiques, la scientométrie utilise principalement l’outil bibliométrique. Une première option est donc affichée d’emblée, celle de rendre compte de l’état ou de l’évolution d’une recherche par ses écrits. « La scientométrie se fait à partir des indicateurs qui expriment l’activité scientifique. S’agissant de la recherche, ces indicateurs sont bien connus : il s’agit des Publications. » (Courtial, 1990, p. 12). Or, la retranscription d’une recherche dans ses publications occulte nécessairement les aléas, les indécisions, les contraintes d’ordre social qui interviennent dans les décisions et dans les choix d’orientation scientifique. « Dans ce modèle (celui de la bibliométrie) la publication est considérée indépendamment de ses conditions de production. Par exemple, la bibliométrie ne tiendra aucun compte du fait que l’acte d’écrire revient à prendre position dans un champ scientifique qui se caractérise par des conflits, des structures dominantes, des écoles de pensées. Il assimilera l’augmentation du nombre de publications à l’accumulation d’un stock de connaissances, chaque publication étant considérée comme la pierre qu’un individu ou une équipe ajoute à la construction de l’œuvre collective de la science. » (Turner, 1991). Depuis les premiers travaux de Kuhn, confirmés par les récents développements de la sociologie des sciences, la connaissance scientifique n’est plus considérée comme l’accumulation de savoirs qui viendraient se superposer les uns aux autres. Le cas de la fragmentation nucléaire en est un exemple puisque le modèle théorique proposé par X. Campi présente une relative rupture par rapport aux théories couramment utilisées en physique nucléaire. Par ailleurs, il est difficile de prévoir a priori le succès de ce modèle, c’est-à-dire avant que celui-ci ne soit reconnu et accepté par les physiciens. Bien qu’il se soit produit un mouvement de reconnaissance dans le milieu scientifique et que le nombre de travaux effectués dans cette nouvelle voie ait augmenté, les équipes de recherche ne sont pas encore totalement en mesure de se réorienter. En effet, cela nécessite des transformations importantes comme l’acquisition de programmes informatiques, l’investissement dans l’étude de nouveaux modèles théoriques…. Quelques années seront encore nécessaires avant qu’il y ait publication massive sur le « marché ». Or, n’est ce pas à cette dernière condition qu’une étude quantitative sur publications pourrait s’envisager ? Si, comme le suggère la sociologie des sciences, l’énoncé scientifique n’a pas de réalité objective en soi mais dépend du contexte socioculturel qui le porte, comment la publication scientifique pourrait-elle à elle seule rendre compte du devenir d’un énoncé ?

44Cette première hypothèse, fondée sur l’étude de la science par le biais de ses publications uniquement, est nécessairement réductrice et engendre une vision décalée et surtout altérée de la science en cours.

45Une seconde option dans la démarche scientométrique, s’avérant problématique, est celle des moyens de sélection des publications à traiter. Comment réunir les articles porteurs d’une information pertinente permettant de caractériser l’activité scientifique dans un domaine donné ? La scientométrie exploite dans ce but les banques de données spécialisées qui répertorient une partie (plus ou moins importante selon les bases) des publications scientifiques. La sélection des publications dépend ainsi totalement des conditions de conception de ces bases. Il n’y a pas de recherche préalable concernant la communauté scientifique susceptible de développer telle ou telle activité, qui pourrait pondérer ou guider les choix concernant la constitution du corpus de publications à traiter. Or, « la constitution des plans de classement par la réalisation d’une indexation documentaire [... fait partie] sont des pratiques subjectives. Il est très difficile de mesurer l’impact de cette subjectivité sur la qualité des fichiers thématiques » (Turner, 1991). Ainsi que le montre l’exemple développé antérieurement, les lexiques préalablement établis ne sont pas totalement adaptés au langage de la science en action. L’activité scientifique est ainsi appréhendée au travers d’un « deuxième filtre » dont l’existence tient à l’inévitable nécessité de normaliser et de modéliser le document.

46Ce n’est donc pas le document lui-même qui fait l’objet d’une sélection puis d’un traitement, mais les termes utilisés pour son indexation. C’est là un point crucial. En procédant de la sorte, ce n’est pas le contenu de l’article qui est traité, c’est-à-dire la connaissance scientifique dont il est le reflet, mais les termes supposés la caractériser. Autrement dit, ce n’est pas la connaissance ou l’information scientifique qui est appréhendée mais la représentation qui en est donnée par l’indexation dont elle fait l’objet.

47Enfin, l’interrogation de ces bases de données conduit généralement à sélectionner des masses importantes de documents secondaires. L’accès au contenu intégral des documents est bien évidemment impossible, d’une part, en raison de leur nombre et, d’autre part, parce que le traitement de ces documents n’est pas assuré par les chercheurs du domaine scientifique étudié. À ce sujet, il faut noter qu’une des motivations de la scientométrie est précisément de « s’affranchir » de l’intervention des scientifiques pour l’évaluation des thèmes de recherche en cours. L’hypothèse sous-jacente à cette condition ferait référence à une « impossibilité » des chercheurs à rendre compte avec « objectivité » du développement de leur domaine de recherche. La scientométrie se propose donc de concevoir un outil analysant la recherche indépendamment des chercheurs qui la font.

48Le corpus de documents, constitué par interrogation de banques de données, subit ensuite des traitements statistiques. Le traitement statistique, comme la constitution du corpus de publications, se fait à partir des termes de l’indexation des documents. Le cas discuté dans la section 3°) b) est explicite : la référence « massive » à la fragmentation dans des publications étrangères à l’étude de ce phénomène, due à une volonté d’insertion dans un réseau naissant et prometteur, constitue un indice de l’existence de motivations stratégiques guidant l’orientation de certains écrits.

49Pour résumer, trois présupposés de l’analyse scientométrique doivent être remis en question. Ces trois présupposés sont les suivants :

50• évaluer les développements de la recherche scientifique par le seul biais de ses publications implique que le contenu des publications soit effectivement le reflet du processus d’élaboration des connaissances ;

51• sélectionner les publications à l’aide des banques de données scientifiques implique que l’on puisse traiter le contenu d’un document par le biais de sa formalisation et de son indexation ;

52• rendre compte du développement et/ou de l’émergence de certains thèmes de recherche par le nombre et le traitement statistique des publications s’y référant implique l’acceptation de la « fameuse règle du publish or perish qui conduit les chercheurs à publier au maximum et si possible dans les revues les plus cotées dans la communauté scientifique » (Courtial, 1990, p. 15).

53Ces trois principes forts apparaissent pourtant comme autant de points de faiblesse dès lors qu’il s’agit de les mettre en œuvre de manière précise dans un domaine particulier.

Conclusion

54S’il s’agit de repérer les innovations ou les recherches ouvrant la voie à de nouvelles perspectives théoriques ou techniques, il semble indispensable de prendre en compte le long travail de maturation et de réaménagement auquel elles sont nécessairement soumises et dont la publication porte difficilement la marque. Une recherche en « rupture », à l’image des recherches en scientométrie, se démarquant des travaux qui la précèdent, ne manifeste pas d’emblée des signes caractéristiques d’une identification spécifique lorsque le document fait l’objet d’une intégration dans un système de banques de données. Le cas de « l’équipe Campi » tend à le confirmer. Par contre, une étude plus qualitative, procédant par immersion plus ou moins importante dans le milieu scientifique, telle qu’elle a été ébauchée ici, en recourant aux moyens d’investigation de la sociologie des sciences, a fourni quelques indicateurs ayant permis de jalonner et d’identifier les recherches tant théoriques qu’expérimentales sur la fragmentation nucléaire.

55Les résultats présentés dans ce texte tendent à préciser les limites de l’utilisation des méthodes quantitatives (statistiques et informatiques) et les technologies de l’information Pour identifier les axes de recherches et suivre l’évolution de ces derniers. Les facteurs d’inadéquation relevés concernant la physique nucléaire imposent des réserves dans l’interprétation des résultats, en particulier quand il s’agit de l’émergence d’un concept ou de la détection de recherches en forte expansion. Ces réserves importent d’autant plus qu’est préconisé un rapport plus étroit entre le secteur industriel et la recherche scientifique, pouvant contraindre cette dernière à envisager de nouvelles stratégies adaptées à cette demande. « En somme, l’analyse stratégique, l’évaluation et la prospective sont devenues des fonctions essentielles pour la politique scientifique et technologique. » (Barre, 1993). Dans cette perspective, les décideurs se saisissent des opportunités offertes par les outils dits « d’évaluation et de caractérisation » de l’activité scientifique pour légitimer les choix en les parant de la rigueur du quantitatif.

56L’exemple analysé ici montre qu’une telle politique risque fort de conduire à des dérives non maîtrisées, voire à une impasse. Il serait donc judicieux de réfléchir, avant qu’il ne soit trop tard, aux dangers du « quantitativisme » qui atteint le domaine.

57Je remercie Patrick Chaskiel pour l’attention qu’il a porté e à ce travail et les conseils qu’il a abondamment prodigués.

Haut de page

Bibliographie

BACHELARD G., La formation de l’esprit scientifique, Paris, Vrin, 1977.

BARRE R., ZITT M., « Science applicable et technologies intensives en science : indicateurs globaux pour quelques grands pays », Les Cahiers de l’ADEST, 1993.

BIJKER et al., Shaping technology/building society, The MIT Press, 1992.

BLOOR D., Sociologie de la logique ou les limites de l’épistémologie, Paris, Pandore, 1982.

BOWMAN D.R., PEASLEE G.F., de SOUZA R.T., CARLIN N., GELBKE K., GONG W.G., KIM Y.D., LISA M.A., LYNCH W.G., PHAIR L., TSANG M.B., WILLIAMS C., COLONNA N., HANOLD K., Mcmahan M.A., WOZNIAK G.J., MORETTO L.G. et FRIEDMAN W.A., 1991, Phys. Rev. Lett. 67, (1527).

GALLON M. et LATOUR B. (sous la direction de), La science telle qu’elle se fait, Paris, La Découverte, 1991.

CAMPI X., DESBOIS J., Proceedings of the XXIII Inter. Wint. Meet. on Nucl Phys. Bormio, 1985.

CAMPI X., /. Phys. A19, (L917), 1986.

CAMPI X., KRIVINE H., Nucl. Phys., A545, (161c), 1992.

CAMPI X., KRIVINE H., Z. Phys A, (341), 1992.

CAMPI X., Phys. Letters B208, (351), 1988.

CAMPI X., The chemical physics of atomic and molecular Physics clusters, Int. School of Physics E. Fermi. Varenna, 1988.

CHASKIEL P. et LACOTE-GABRYSIAK L., « Le traitement de l’information sociale factuelle : aspects technologiques et stratégiques », Communication pour l’IAMCRC Europe in tur-moil : Global Perspective, Dublin, 1993.

COURTIAL J.P., Introduction à la scientométrie. De la bibliométrie à la veille technologique, Anthropos-Economica, 1990.

CAMPI X., (Ed.), Fragmentation physics, Les Houches, 1993

GROSS D., Rep. Prog. Phys. 53, 1993.

KNORR-CETINA K., Advances in social theory and methodology, Routledge and Kegan Paul, Boston, 1981.

KUHN T., La structure des révolutions scientifiques, Paris, Flammarion, 1972.

LAKATOS I., MUSGRAVE A., Criticism and the growth of knowledge, Cambridge University Press, Cambridge, 1970.

LATOUR B. et WOOLGARS W., La vie de laboratoire, Paris, La Découverte, 1988.

LATOUR B., La science en action, Paris, La Découverte, 1989.

LEVY P., « L’hypertexte, instrument et métaphore de la communication », Réseaux, n° 46-47, CNET, 1991.

OGILVIE C.A., ADLOFF J.C, BEGEMANN-BLAICH M., BOUISSOU P., HUBELE J., IMME G., IORI I., KREUTZ P., KUNDE G.J., LERAY S., LINDENSTRUTH V., LIU Z., LYNEN U., MEIJER R. J., MILKAU U., MÜLLER W.F, NGO C., POCHODZALLA J., RACITI G., RUDOLF G., SANN H., SCHÜTTAUF A., SEIDEL W., STUTTGE L., TRAUTMANN W. et TUCHOLSKI A. Phys. Rev. Lett. 67, (1214), 1991.

PLAGNOL E., Proceedings of the XXVIII Inter. Wint. Meet. on Nucl Phys. Bormio, 1990.

PLAGNOL E., Second IN2P3 Riken symposium on Heavy Ion Collision, Obernai, France, World Scientific, 1990.

POPPER K., La logique de la découverte scientifique, Paris, Payot, 1978.

ROYAUTE J., SCHMITT L. et Olivetan E., Les expériences d’indexation à l’INIST, Actes du 15e Colloque international en linguistique informatique, Vol III, Nantes, 1992.

SCHWEBER S.S., Physics, « Community and the crisis in physical theory », Physics Today, réf., 1993.

SURAUD M.-G., QUONIAM L., ROSTAING H. et DOU H., « An example of a large scale bibliométric investigation in funda-mental physic », Scientometrics, vol. 33, 1995, n° 1.

SURAUD M.-G., QUONIAM L., ROSTAING H. et DOU H., « Analyse bibliométrique appliquée au cas de l’émergence d’un concept en physique fondamentale », Société Française de Bibliométrie Appliquée, 1994.

TROUVE J.-M., « Modèles de croissance et d’évolution de la connaissance scientifique et technologique », Deuxièmes journées d’étude sur les systèmes d’information élaborés, Paris, 1989.

TURNER W.A., « Des axes de recherche pour un programme infométrique de veille scientifique et technique », Rapport du CNRS dans Société française de bibliométrie appliquée, 1991.

VINCK D., (sous la direction de) Gestion de la recherche, Bruxelles, De Boeck, 1991.

VINCK D., Sociologie des sciences, Armand Colin, Paris,1995.

Haut de page

Notes

1  Le terme « bibliométrie » est employé dans cette citation dans un sens équivalent àcelui de « scientométrie ».

Haut de page

Pour citer cet article

Référence électronique

Marie-Gabrielle Suraud, « La scientométrie : une méthode d’évaluation de la recherche ? », Communication et organisation [En ligne], 10 | 1996, mis en ligne le 26 mars 2012, consulté le 22 novembre 2017. URL : http://communicationorganisation.revues.org/1881 ; DOI : 10.4000/communicationorganisation.1881

Haut de page

Auteur

Marie-Gabrielle Suraud

Marie-Gabrielle Suraud est chercheur au LERASS (Laboratoire d’études et de recherches appliquées en sciences sociales), maître de conférences en sciences de l’information et de la communication à l’université Paul-Sabatier, Toulouse 3.

Haut de page

Droits d’auteur

© Presses universitaires de Bordeaux

Haut de page
  • Logo Presses universitaires de Bordeaux
  • Logo Laboratoire MICA : Médiation, Information, Communication, Art
  • Revues.org