U-Multirank : un projet ambitieux pour comparer les universités

Lancé le 13 mai dernier, le site U-Multirank permet d'évaluer et de comparer plus de 850 universités dans le monde. Soutenu financièrement et politiquement par l'Union Européenne, l'outil propose une recherche personnalisée et des indicateurs de performance variés. Complexe et parfois imprécise, la première version de ce projet innovant, pensé comme une antithèse du classement académique classique, n'est pourtant pas exempte de défauts.

This article also exists in English: U-Multirank: An Ambitious Project to Compare Universities.

N'attendez pas un tableau définitif des 100 meilleures universités, l'objectif de U-Multirank est de mettre en lumière les forces et les faiblesses de chaque institution. Puisque le projet vise notamment les étudiants, il ne s'agit donc pas de trouver le cursus suprême, l'enseignement absolument supérieur, mais plutôt la formation la plus adaptée à ses besoins et ses intérêts. Le site est avant tout un outil, il est possible d'effectuer une recherche personnalisée, entre deux écoles de même type, dans un domaine particulier, ou de limiter la recherche à quelques critères.

Comme n'importe quel classement, U-Multirank a pour vocation de lister et noter les universités, à l'aide d'indicateurs, par exemple le nombre de brevets, de contrats post-doctoraux, la mobilité des étudiants à l'international, ou encore le nombre de stages réalisés dans la région. L'approche multidimensionnelle est en revanche une nouveauté, avec des indicateurs qui ne concernent pas seulement la recherche mais reflètent aussi la qualité de l'enseignement et l'engagement local des universités. Cinq domaines ont finalement été identifiés pour regrouper ces indicateurs : enseignement, recherche, transfert, intrrnationalisation et implantation régionale, avec des notes de A à E attribuées à chaque critère. L’intérêt est donc moins dans le classement des universités que dans leur comparaison.

Bien que l'utilisateur soit invité à jouer avec l'outil, les créateurs de ce classement à plusieurs dimensions mettent en garde depuis son lancement contre une mauvaise utilisation des données du site, et s'insurgent particulièrement contre l'idée de réaliser un tableau de classement global en additionnant les différents scores. 

Those who make league tables with our data run the risk of making serious methodological mistakes & misinforming their audiences. (2of2)

— U-Multirank (@UMultirank) May 16, 2014

« Etablir des classement à partir de nos données c'est prendre le risque de faire de graves erreurs méthodologiques, ainsi que d'induire le public en erreur »

Le consortium à l'origine du projet est piloté par le Pr Frank Ziegele du Center for Higher Education (CHE) de Gütersloh en Allemagne et le Pr Frans van Vught du Center for Higher Education Policy Studies (CHEPS) de l'université de Twente aux Pays-Bas. La raison initiale de U-Multirank, soutenu à hauteur de 2 millions d'euros par la Commission européenne : il n'y a pas d'argument théorique qui viendrait justifier un classement définitif à une dimension, comme le classement de Shanghai par exemple, dans lequel les universités européennes sont d'ailleurs régulièrement mal classées.

Innovant, surprenant, et faisant écho à de nombreuses critiques des classements précédents, U-Multirank n'est cependant pas parfait. Bien que le design du site internet soit fluide et coloré, la prise en main peut sembler abrupte. L'utilisateur est vite submergé par la quantité de chiffres, de critères pas toujours évidents à comprendre (malgré la présence d'un glossaire). C'est le prix à payer pour un outil transparent, l'internaute est moins pris par la main. Les possibilités sont grisantes, mais la complexité peut être rebutante. À ce titre, on peut également regretter qu'aucun travail de traduction n'ait été accompli : la compréhension de l'anglais est impérative. En somme, ces difficultés sont surmontables à condition qu'un effort de pédagogie soit fait, ce qui peut être le rôle des universités.

 Nous avons tenté de comparer l'Université Paris-Sud avec des facs équivalentes. Beaucoup de données manquent, notamment liées à la qualité de l'enseignement.

La fiabilité des données pose cependant un problème plus grave : dans quelques cas, les informations recueillies par U-Multirank sont erronées. Le taux de réussite en master (Masters graduation rate) a attiré notre attention : 11,74% pour Agro ParisTech par exemple, ou encore 6,8% pour l'université de technologie de Belfort-Montbéliard. Contactées par téléphone, ces deux institutions ont réfuté ces taux aberrants (une petite pensée pour l'université de médecine de Gdansk en Pologne, et ses 0,64% de diplômés). Sur les 850 universités, un peu plus de 500 ont répondu au questionnaire en ligne afin de fournir directement certaines informations. Pour les autres, les données ont donc été récoltées par des sources indirectes, ce qui explique probablement ces erreurs (nous avons contacté l'équipe de U-Multirank et attendons leur réponse).

Mise à jour (26/05/2014) : les données incorrectes pour les taux de réussite en master ont disparu des fiches U-Multirank d'Agro ParisTech et de l'UTBM, après quelques heures d'indisponibilité du site en début de journée. L'université de médecine de Gdansk peut quant à elle toujours être fière d'afficher un taux de réussite incroyablement faible.

Le développement et la méthodologie du projet U-Multirank sont détaillés par Frank Ziegele et Frans van Vught dans l'ouvrage Multidimensional Ranking, paru en 2012. Leur démarche s'inscrit dans une volonté de transparence, en réponse à une remarque souvent faite à l'approche statistique : les nombres donnent l'illusion de l'objectivité, mais le choix de mesurer tel critère plutôt qu'un autre est forcément subjectif. Les auteurs proposent donc une approche participative de l'évaluation des universités, dont la logique est d'impliquer les premiers bénéficiaires de l'outil (universités et étudiants) dans le choix des indicateurs et la récolte des données. Pour que cela fonctionne, il faut que les parties coopèrent d'abord en amont du projet, en répondant aux formulaires et aux enquêtes. Une fois le produit rendu, le retour d'information doit enfin servir à affiner les critères précédents.

Les données manquantes ou erronées sont ainsi autant d'appels à plus de collaboration de la part des universités afin d'éviter les déconvenues statistiques, et d'aboutir à un produit efficace, pointu, fiable. Il est donc dans la nature de ce classement de ne pas être final, mais constamment perfectionné. La prochaine version de U-Multirank est prévue pour mars 2015, gageons que ce classement multidimensionnel saura trouver son public, et ainsi s'améliorer.