Article publié dans:
Référencement, moteurs de recherche, classements internationaux
le vendredi 22 septembre 2006 à 17:37
par
Samantha
Lu 5185 fois
| 2 commentaire(s)
Sur le web : Site du classement
Bien que ce classement mondial soit plus axé ’sciences dures’, j’ai été amenée pour le labo à jeter un coup d’oeil aux critères d’évaluation du classement Shanghai. Pour info : l’ENS de Paris est 99ème, l’ENS de Lyon est dans les "top 500" et l’ENS LSH, 1500ème apparemment.
Voici donc les critères du classement, avec, plus bas, des explications & questions quant aux méthodes d’évaluation des chercheurs et des publications d’une institution (point 3 et 5) :
Critères d’évaluation du classement (tels qu’ils apparaissent sur le site du classement)
Qualité de l’éducation : [point 1] (nombre d’élèves de l’institution qui gagnent un prix Nobel ou une médaille Fields [récompense en mathématiques] ) : 10%
Qualité de l’institution :
Production Recherche :
Taille de l’institution : [point 6] (performance académique par rapport à la taille de l’institution) : 10%
Explications et questions sur l’évaluation des chercheurs, sur le système de citations et la sélection des revues :
[point 3 et 5] : ce que le classement de Shanghai appelle "les chercheurs les + cités (HiCi)", ce ne sont pas les chercheurs les plus cités sur le web mais les chercheurs les plus cités par leurs pairs dans les revues scientifiques référencées par l’ISI. Comme pour le Social Science Citation Index http://scientific.thomson.com/products/ssci/ , c’est donc l’ISI, enfin son service "HighlyCited.com" http://hcr3.isiknowledge.com/home.cgi qui s’occupe de cette étude. C’est une initiative de ThomsonScientific. Ces études de "repérage des chercheurs les + cités" sont faites sur 20 ans, sur des périodes du type 1982-2001, puis 1983-2002, 1984-2003, etc. Une fois un chercheur étant identifié comme "hautement cité" dans les revues scientifiques dont je donne la liste + bas, on lui demande un dossier (avec publi, etc.) pour évaluation. Le référencement des citations est un point de départ, mais le dossier scientifique du chercheur est également évalué.
Là où l’évaluation est faussée c’est que le choix des revues en SHS me parait un peu arbitraire. Par exemple les revues les plus reconnues en HPE (les membres HPE de l’ISH en tout cas) ne sont pas référencées dans la liste de revues en économie utilisée par l’ISI. On remarque par contre une nette prédominance des revues américaines.
Les revues africaines, asiatiques et européennes sont-elles écartées par l’ISI ? ou négligent-elles (par manque d’info peut-être ?) de se faire référencer par l’ISI ?
Du côté des sciences dures, les listes de revues de l’ISI semblent elles plus représentatives ; par exemple on me fait savoir à l’LCSM, UMR7555, (merci à Mme Palissat !), qu’en chimie, en physique et en sciences de la matière, les labos publient bel et bien dans les revues sélectionnées par l’organisme. Par contre les chercheurs les plus renommés dans ce secteur semblent eux-aussi absents des "HighlyCited"... Les chercheurs français citent-ils moins leurs confrères ou publient-ils moins que ne le font les chercheurs américains ?
Mme Palissat me répond en me proposant un autre point de vue, vraiment intéressant : "Une autre explication possible est le fait qu’en France la recherche fondamentale est en perte de vitesse (et c’est elle qui permet d’obtenir un plus grand nombre de publications...) par rapport à la recherche appliquée (contrats industriels et donc confidentialité et peu de publications/ an). Le désengagement financier de l’état français y serait-il pour quelquechose ?"
...
Définitions (classements, bibliométrie, etc.) dans Wikipédia ou autres :
http://en.wikipedia.org/wiki/Academic_Ranking_of_World_Universities
http://en.wikipedia.org/wiki/College_and_university_rankings
http://fr.wikipedia.org/wiki/Bibliom%C3%A9trie
http://artist.inist.fr/article.php3?id_article=105
http://www.chu-rouen.fr/ssf/info/bibliometrie.html
Université de Shanghai :
http://en.wikipedia.org/wiki/Shanghai_Jiao_Tong_University
http://ai.ijs.si/mezi/iassatena/shanghai-relative.html
ftp://ftp.cordis.europa.eu/pub/indicators/docs/3rd_report_snaps10.pdf
état de la biblio :
Les articles sont pour l’instant en grande partie issus de 3 revues seulement (manque de tps) : les vol. 62, 63 , 64 et 69 (2005-2006) de la revue Scientometrics, le n°69 (2005) de Methematics and computers in simulation, le n° du 23 juin 2006 de Physica A. Quelques ajouts le 09/10/2006 : [15] et suivants.
Pour l’instant les articles sont classés dans l’ordre d’apparition.
pourquoi cette biblio :
Le classement de Shanghai nous a conduit à l’ISI. Est-ce que l’ISI est le seul organisme à utiliser ces méthodes de classement et d’évaluation (évaluation des chercheurs, des établissements, du "dynamisme" de la recherche d’un pays, etc.) ? Sur quoi fonde-t-il ses analyses : quelles recherches, quelles pratiques, quelles procédures ? Qui évalue le travail/la production scientifique des chercheurs ? Des pairs ? etc.
Dans les articles qui suivent on trouve un début de réponse à ces questions et différents points de vue (cependant la biblio n’est pas finie, on a là surtout des articles axés "bibliométrie/scientométrie" (voir également (Godin : 16) pratiquement tous tirés de la même revue).
Certains auteurs analysent ou remettent en question les résultats de l’ISI ou les méthodes bibliometriques en en étudiant l’emploi et les conséquences sur la recherche [ex articles (2), (12)]. Certains prônent l’utilisation de labibliométrie [(3)Wagner-Döbler (Roland) : « Science has become an industry ; and big science has become a big industry. [aïe ...] Every enterprise and almost every organization or corporation is confronted with the task to monitor and evaluate the performance of its individuals, of its tems, or of the whole unit. [...] To monitor and evaluate in this sense is especially difficult and arduous in science. Here the bibliometrics was coming in. [...] Bibliometric is the quantitative study of the written output of science. » ]. La suite plus tard.
[1] Weingart (Peter), Impact of bibliometrics upon the science system : Inadvertent consequences ? Scientometrics, Vol. 62, No.1, (2005), P.117-131. Lien vers la fiche descriptive sur SpringerLink
[2] Van Raan (Anthony F. J.), Fatal attraction : Conceptual and methodological problems in the ranking of universities by bibliometric methods, Scientometrics, Vol. 62, No.1, (2005), P.133-143. Lien vers la fiche descriptive sur SpringerLink
[3] Wagner-Döbler (Roland), The system of research and development indicators : Entry points for information agents, Scientometrics, Vol. 62, No.1, (2005), P.145-153. Lien vers la fiche descriptive sur SpringerLink)
[4] Bayers (Nancy K.), Using ISI data in the analysis of German national and institutional research output, Scientometrics, Vol. 62, No.1, (2005), P.155-163. Lien vers la fiche descriptive sur SpringerLink)
[5] Adams (Jonathan), Early citation counts correlate with accumulated impact, Scientometrics, Vol. 63, No.3, (2005), P.567-581. Lien vers la fiche descriptive sur SpringerLink
[6] Gómez Benito (Juana), Hidalgo Montesinos (María Dolores), Guilera Ferré (Georgina) and Moreno Torrente (Macarena), A bibliometric study of differential item functioning, Scientometrics, Vol. 64, No.1, (2005), P.3-16. Lien vers la fiche descriptive sur SpringerLink
[7]Gauffriau (Marianne) and Olesen Larsen (Peder), Counting methods are decisive for rankings based on publication and citation studies, Scientometrics, Vol. 64, No.1, (2005), P.85-93. Lien vers la fiche descriptive sur SpringerLink
[8] Podlubny (Igor), Comparison if scientific impact expressed by the number of citation in different fields of science, Scientometrics, Vol. 64, No.1, (2005), P.95-99. Lien vers la fiche descriptive sur SpringerLink
[9] Liu (Nian Cai), Cheng (Ying) and Liu (Li), Academic ranking of world universities using scientometrics - A comment to the “Fatal Attraction”, Scientometrics, Vol. 64, No.1, (2005), P.101-109. (tous les 3 à l’Université de Shanghai) Lien vers la fiche descriptive sur SpringerLink
[10] Van Raan (Anthony F. J.), Reply to the comments of Liu et al., Scientometrics, Vol. 64, No.1, (2005), P.111-112. Lien vers la fiche descriptive sur SpringerLink
[11] Bollen (Johan), van de Sompel (Herbert), Mapping the structure of science through usage, Scientometrics, Vol.69, No.2, (2006), P.227-258. Lien vers la fiche descriptive sur SpringerLink
[12] JUAN MIGUEL CAMPANARIO, LIDIA GONZÁLEZ, Journal self-citations that contribute to the impact factor : Documents labeled “editorial material” in journals covered by the Science Citation Index, Scientometrics, Vol. 69, No.2, (2006), P.365-386. Lien vers la fiche descriptive sur SpringerLink
[13] Smith (K.), Marinova (D.), Use of bibliometric modeling for policy making, Mathematics and computers in simulation, (march 2005). Lien vers la fiche descriptive sur ScienceDirect
[14] Xie (Huafeng), Yan (Koon-Kiu), Maslov (Sergei), Optimal ranking in networks with community structure, Physica A, april 2006. Lien vers la fiche descriptive sur ScienceDirect
ajouts du 9/10/2006 :
[15] Salaün (Jean-Michel), Lafouge (Thierry), Boukacem (Chérifa), Demand for scientific articles and citations, Scientometrics, Vol.47, No.3, P.561-588. Lien vers la Fiche descriptive de HAL SHS et vers le PDF de l’article
[16] Godin (Benoît), On the origins of bibliometrics, Project on the history and sociology of S&T Statistics. Working Paper. En ligne
Je voudrais signaler deux courts textes de la Maison des universités (Agence de Mutualisation des Universités et Établissements : http://www.amue.fr/Default.asp) . Le site de l’AMUE ayant été totalement remis à jour, je n’ai pas retrouvé les liens que j’avais visité il y a quelques mois, c’est pourquoi j’utiliserai le système d’archivage du web pour donner accès à ces textes.
A cette adresse (http://www.amue.fr/ActU/Actu.asp?Id=1024&Inst=AMUE ) vous trouverez un texte concernant les deux principaux systèmes de classement mondial des universités qui sont en passe de se généraliser, dont le classement de Shangai. Concernant le premier de ces systèmes de classement, issu d’un "groupe de travail" américain, il est affirmé qu’en aucun cas, ce classement aux critères très flous et à la méthodologie fragile, ne constitue un classements d’établissements. Il concerne seulement le "web ranking" des établissement, c’est à dire la visibilité SUR LE NET des universités.
Le "web ranking", c’est un peu l’applaudimètre des universités... Ca repose souvent sur des statistiques effectuées sur le nombre de liens pointant vers des sites web d’universités qui sont activés lors des "clics" des internautes : ça ne dit donc rien du tout de l’excellence des formations ni des recherches qui y sont menées. C’est à peu près aussi pertinent pour évaluer une université que si on calculait la production industrielle d’un pays sur la base du nombre de plaquettes publicitaires émises par ce pays...
Voici un autre lien, portant spécifiquement sur le classement de Shangai : http://www.amue.fr/Actu/Actu.asp?Id=1019&Inst=AMUE
Le classement de Shangai, lui, est un peu différent puisqu’il ne repose pas sur du web ranking mais sur les critères suivants :
le nombre de lauréats du prix Nobel en physique, chimie, médecine ou économie
Le nombre de chercheurs de haut niveau
Le nombre d’articles parus dans Nature and Sciences
Le nombre d’articles parus dans L’Index étendu des citations scientifiques et dans l’Index des citations en sciences sociales.
La performance universitaire par faculté.
Voici un extrait de la position de la maison des universités :
"Malgré sa faiblesse méthodologique reconnue (difficulté/absence de notation pour les sciences humaines), le classement de Shanghai n’en finit pas de faire parler de lui, chaque année. Tous les journalistes spécialisés se doivent de relayer cette information parce que le tableau d’honneur, aussi peu précis soit il, intéresse. Les premiers bénéficiaires en sont évidemment les auteurs. Qui ne connaît pas l’université de Shanghai par le biais de cette publication ? Formidable opération de communication, à moindre frais."
Pour donner un exemple précis, voilà les critères retenus par le classement de Shangaï : http://ed.sjtu.edu.cn/rank/2004/Methodology.htm
On y lit que le critère "Quality of Education" repose sur l’indicateur "Alumni of an institution winning Nobel Prizes and Fields Medals" corrélé à un poids arbitraire exprimé en pourcentage : 10% du total de l’ensemble des critères est attribué à la "qualité de l’enseignement". Pourquoi 10 % ? Pourquoi l’obtention de la médaille Fields ou du prix Nobel sont-ils considérés comme des critères de "qualité de l’enseignement" ? Mystère...
Que ces divers classements soient pris en considérations par des chercheurs et des responsables d’établissement, et que des politiques d’établissement et des normes du travail scientifique en soit induites, voilà qui est proprement sidérant. On nage en pleine irrationalité.
Concernant le classement de Shangai, il me semble inévitable et nécessaire d’adopter une position "morale", plus que pragmatique. En effet, d’où procède ce classement ? D’une dictature qui a bien montré l’intérêt qu’elle porte pour ses étudiants et pour le dialogue avec ses élites intellectuelles lors des "incidents" de la place Tien An Men... C’est quand même de ça, dont on parle ! Pas d’un système technique abstrait qu’on pourrait se contenter d’analyser en fonction de ses performances ou de la validité de ses critères : en tant que chercheurs intéressés aux relations entre science et société, et ayant un minimum de culture en sociologie et en histoire des sciences, pouvons nous réellement faire l’économie d’une prise en compte du contexte idéologique de ce classement, c’est à dire de son inscription dans une logique totalitaire, dans un système de répression politique brutale et de déni des libertés publiques fondamentales, de censure des médias et du web, et dans le cortège macabre de la purge des intellectuels ?
En ce qui me concerne, si la seule justification de l’application de nouvelles normes bibliographiques et de procédures de recrutement m’est présentée, comme c’est de plus en plus le cas actuellement, comme reposant sur un système d’évaluation du savoir émanant d’une dictature, alors je me refuserai par principe à l’appliquer, car je ne vois pas comment on peut déconnecter autant la production des savoirs d’une sorte de "morale" démocratique de base. Je pense qu’il y a un enjeu à prendre position et à analyser l’accumulation effrayante des procédures bureaucratiques que nous subissons un peu plus chaque jour, et ceci d’autant plus dans le cas du classement de Shangaï.
Cordialement.
RSS 2.0