L'évaluation de la qualité de la formation et du système d'évaluation universitaire: le point de vue des diplômés

Evaluation of the quality of higher education and its evaluation system from the graduates' point of view

Abstracts

Les recherches sur l'évaluation des acquis professionnels des jeunes diplômés (ROMAINVILLE, 2002 ; DE KETELE, 1997, 1999, 2000; FRANCE, 2003) ; Avis du Haut Conseil de l'Evaluation de l'Ecole, 2003) gravitent autour de quatre thèmes : les compétences des étudiants à l'entrée des études, leur perception des compétences acquises à la sortie, leurs compétences méthodologiques et les effets généraux de l'enseignement supérieur. Cependant, peu d'études fournissent des indicateurs précis sur les compétences professionnelles mesurées et sur les critères exigés par le marché de l'emplois. Cette étude porte sur une évaluation rétrospective de la qualité de formation universitaire par des diplômés ayant une expérience de la vie professionnelle. Les résultats par questionnaire sur un échantillon de 158 étudiants, montrent la difficulté de l'université à mettre en œuvre des évaluations pertinentes et valides qui favorisent le développement des compétences nécessaires au devenir professionnel.

Qualité; Évaluation; Objectifs; Compétences professionnelles; Validité; Pertinence

L'évaluation de la qualité de la formation et du système d'évaluation universitaire: le point de vue des diplômés

Evaluation of the quality of higher education and its evaluation system from the graduates' point of view

Hallouma Boussada^I; Jean-Marie De Ketele^II

^IISEFC-Tunis UCL-PSP, Louvain-la-Neuve, 1348. E-mail : [e-mail]

^IIUCL-PSP, Louvain-la-Neuve, 1348, Chaire UNESCO-Dakar. E-mail : [e-mail]

RESUME

Les recherches sur l'évaluation des acquis professionnels des jeunes diplômés (ROMAINVILLE, 2002 ; DE KETELE, 1997, 1999, 2000; FRANCE, 2003) ; Avis du Haut Conseil de l'Evaluation de l'Ecole, 2003) gravitent autour de quatre thèmes : les compétences des étudiants à l'entrée des études, leur perception des compétences acquises à la sortie, leurs compétences méthodologiques et les effets généraux de l'enseignement supérieur. Cependant, peu d'études fournissent des indicateurs précis sur les compétences professionnelles mesurées et sur les critères exigés par le marché de l'emplois. Cette étude porte sur une évaluation rétrospective de la qualité de formation universitaire par des diplômés ayant une expérience de la vie professionnelle. Les résultats par questionnaire sur un échantillon de 158 étudiants, montrent la difficulté de l'université à mettre en œuvre des évaluations pertinentes et valides qui favorisent le développement des compétences nécessaires au devenir professionnel.

Mots clés: Qualité. Évaluation. Objectifs. Compétences professionnelles. Validité. Pertinence.

ABSTRACT

Research on the assessment of the professional abilities of higher education graduates (ROMAINVILLE, 2002; DE KETELE, 1997, 1999, 2000; FRANCE, 2003; Opinion of the High Council of the evaluation of the school, 2003) focuses on four issues: skills that students have prior to their higher education studies; student's perceptions of acquired skills at the end of their studies; transferable skills and the higher education effectiveness on developing professional skills. However, few studies provide good indicators on the measured professional skills and on which criteria will be assessed by the job market. In this study, graduates who are active in the job market evaluate retrospectively the quality of their academic curriculum. The results of questionnaire taken by 158 graduates showed the university's difficulty to implement a relevant and valid assessment system that promotes the development of the necessary professional skills.

Key words: Quality. Assessment. Objectives. Professional competences. Validity. Relevance.

Introduction

Notre contribution s'inscrit dans le cadre d'une recherche que nous avons menée auprès des enseignants de l'Université de Tunis ayant pour thème « L'évaluation comme indicateur de la qualité de la formation universitaire : Etude empirique dans le cadre d'un Mastère de didactique spécialisé¹. Nous présentons dans cette communication les points de vue de diplômés de l'Université de Tunis sur la formation dispensée et le système d'évaluation des acquis des étudiants.

Plusieurs auteurs ont montré que les recherches sur l'évaluation des acquis professionnels des jeunes diplômés sont rares dans la littérature pédagogique consacrée à l'enseignement universitaire (ROMAINVILLE, 2002 ; DE KETELE, 1997, 1999, 2000, 2005 ; FRANCE, 2003; Avis du Haut Conseil de l'Evaluation de l'Ecole, 2003; BOUSSADA DE KETELE, 2005). Les rares études qui traitent de la question des acquis des étudiants gravitent autour de quatre thèmes : les compétences des étudiants à l'entrée des études (comme l'étude interuniversitaire belge « Mohican » coordonnée par Leclercq, 2003), leur perception des compétences acquises à la sortie (comme celle de HEYWOOD, 1985), leurs compétences méthodologiques (comme celle de DE KETELE, DE KETELE, DRAIME et VOGLAIRE, 1987) et les effets généraux de l'enseignement supérieur (comme celle de PAUL ; SULLEMAN, 2005). Cependant, aucune des études n'a fourni des indicateurs sur les compétences mesurées et sur les critères sur la base desquels les acquis des étudiants sont appréciés.

Quelques travaux réalisés fournissent des aperçus fragmentaires sur ce que sont les acquis des étudiants. Ils permettent également de s'interroger sur la perception de ce que sont ou devraient être ces acquis. Ainsi, Drew (1998) a mené une étude sur la conception qu'ont les étudiants des compétences qu'ils estiment avoir développées au cours de leur formation universitaire². Les résultats de cette étude mettent en évidence l'écart entre ce qui est directement mesuré par les examens universitaires traditionnels (la maîtrise des connaissances propres à une filière) et ce que les étudiants estiment avoir acquis ou ce qu'exige le marché de l'emploi.

Dans le contexte de l'évaluation des compétences perçues comme indispensables au devenir professionnel des étudiants, nous disposons de quelques études consacrées à la perception qu'ont les employeurs des compétences qu'ils estiment que les étudiants ont acquis ou devraient acquérir au terme de leur formation universitaire. Par contre, il existe un déficit de connaissances précises sur les perceptions que se font les étudiants de leurs acquis professionnels et sur l'idée qu'ils se font de la pertinence du système d'évaluation universitaire des acquis pour leur devenir professionnel.

Cette étude est une contribution pour pallier à ce déficit. Elle doit être considérée comme une évaluation rétrospective de la qualité de formation universitaire par des diplômés ayant une expérience de la vie professionnelle. Elle se focalise sur deux types de questions :

Dans quelle mesure la formation dispensée à l'université permet de développer des compétences de haut niveau, utilisables et utilisées dans la pratique professionnelle ?

Dans quelle mesure le système d'évaluation est-il pertinent et valide ?

Ces questions nous paraissent particulièrement importantes. En effet, les travaux dans le domaine de la pédagogie universitaire (voir les derniers colloques de l'Association Internationale de Pédagogie Universitaire) et plus largement dans le domaine de l'éducation, tentent de montrer (i) l'efficacité des nouvelles démarches axées sur l'apprentissage et l'évaluation des compétences³ au détriment des dispositifs axés exclusivement sur un ensemble d'objectifs spécifiques⁴, (ii) l'importance de la mobilisation des acquis dans des situations problèmes pour permettre un meilleur ancrage des acquis, (iii) la nécessité de répondre sans trop tarder aux exigences du marché de l'emploi et à l'employabilité.

C'est pourquoi notre étude, menée dans une université que l'on pourrait qualifier de « classique » dans son fonctionnement, s'articule autour de quatre questions problèmes et de quatre hypothèses :

Les questions problèmes

Les hypothèses

QP.1 : Quelle perception se font les diplômés de la qualité des contenus de la formation dispensée (connaissances théoriques et connaissances pratiques) et des compétences développées au cours des enseignements universitaires par rapport aux compétences recherchées dans le monde du travail ?

H.1 : Nous postulons que les diplômés estiment que les contenus de la formation universitaire (connaissances théoriques et connaissances pratiques) sont insuffisants et peu satisfaisants pour favoriser le développement des compétences requises par le marché de l'emploi.

QP.2 : Quelle perception se font les diplômés de la concordance entre les compétences maîtrisées et les compétences jugées importantes pour l'insertion professionnelle ?

H.2. La perception des compétences acquises au terme de la formation universitaire ne concorde pas avec la perception des compétences jugées importantes pour l'insertion dans la vie professionnelle, sauf en ce qui concerne les compétences d'analyse, de communication écrite et d'aptitude à apprendre.

QP.3 : Quelle perception se font les diplômés de la concordance entre les compétences évaluées et les compétences jugées importantes pour l'insertion professionnelle ?

H.3. Les diplômés estiment que les compétences évaluées ne sont pas celles requises par le monde du travail.

QP.4 : Quelle perception se font les diplômés de la qualité du système d'évaluation en ce qui concerne l'objet, l'objectivité et l'équité ?

H.4. Les diplômés de l'Université de Tunis estiment que le système d'évaluation n'est pas pertinent puisqu'il n'est pas objectif et il ne permet pas à tout le monde d'avoir les mêmes chances de réussite.

Le Dispositif Methodologique

L'échantillonnage

Notre échantillon porte sur 158 diplômés universitaires, ayant une expérience professionnelle mais suivant une formation à horaire décalé dans un Mastère spécialisé en didactique des disciplines à l'université de Tunis.

Nous avons travaillé avec deux sous-catégories de diplômés :

• Les littéraires : étudiants diplômés en langue arabe, en langue française, en histoire, en géographie⁵.

• Les scientifiques: étudiants titulaires d'un diplôme de science physique, de science biologique, de mathématique et de NTIC⁶.

Dans la présentation des résultats, nous faisons la distinction entre les littéraires et les scientifiques sans pour autant spécifier la discipline en question.

Un récapitulatif de l'échantillon des étudiants est présenté dans le tableau suivant :

L'échantillon est composé de plus d'hommes (60.8%) que de femmes (39.2%). Il se compose de diplômés issus de 9 universités de Tunis : Faculté des lettres La Manouba (7.6%), Faculté des lettres et des sciences humaines 9 avril (14.6%), Faculté des sciences de Tunis (13.9%), Faculté des sciences de Bizerte (14.6%), Institut de l'éducation et de la formation continue (20.3%), Faculté des sciences techniques de Sfax (7%), Faculté des sciences de Monastir (8.9%), Faculté des lettres Jendouba (3.2%), Faculté des lettres de Sfax (5.1%), l'INSET (5.1%). Les diplômés sont issus de cohortes étalées depuis 1980 à 2005 : 27 (17%) entre 1980 et 1988 ; 45 (28.5%) entre 1991 et 1999 ; 86 (54.5%) entre 2000 et 2005.

En ce qui concerne l'emploi exercé, le secteur de l'enseignement secondaire (85.4%) et le secteur de la formation des enseignants (14.6%) constituent les secteurs employeurs dominants dans l'échantillon des enquêtés. Ceci s'explique par le fait que les étudiants du Mastère spécialisée en didactique des disciplines ou en NTIC suivent leur formation à l'Institut Supérieur de l'Education et de la Formation Continue (ISEFC) de Tunis et sont majoritairement sélectionnés en référence au critère d'enseignement ou de formation.

La méthode de recueil des données

Presentation et Analyse des Reponses des Diplomes

1 La formation universitaire et l'insertion professionnelle

Pour recueillir les perceptions des diplômés de notre échantillon sur cette importante question, nous avons fait porter l'évaluation des étudiants sur plusieurs dimensions : leur degré de satisfaction par rapport à la formation universitaire, l'utilité de celle-ci et des connaissances enseignées, le caractère plus ou moins suffisant de celles-ci, le caractère plus ou moins indispensable des contenus enseignés et des compétences développées, et enfin la quantité de connaissances utilisées dans la vie professionnelle.

Le tableau n° 2 montre que l'insatisfaction domine tant pour la formation en général (69.6%) que pour les compétences acquises en vue de l'insertion professionnelle (80.3%). C'est surtout ce dernier point que le jugement est plus sévère de la part des diplômés : si 5.1% des étudiants sont tout à fait satisfaits de leur formation universitaire en général, aucun étudiant n'a choisi la modalité « tout à fait satisfait » pour ce qui concerne les compétences acquises en vue de l'insertion professionnelle.

Une analyse plus fine montre que l'insatisfaction est plus grande chez les diplômés des sciences expérimentales (51.89% contre 27.21% pour les sciences humaines) et pour les diplômés des cohortes de 2000 à 2005 (48.10%) par rapport aux cohortes de 1980-1988 (9.49%) et de 1991-1999 (22.78%).

L'insatisfaction vis-à-vis de la formation universitaire comme devant préparer l'insertion professionnelle ne signifie cependant pas que les diplômés rejettent unilatéralement la formation universitaire, comme les résultats du tableau 3 le montrent. En effet, un certain nombre d'entre eux estiment utile (assez bien, voire tout à fait utile) la formation universitaire pour l'insertion professionnelle (32.9%) et pour la culture générale (39.2%). Comme ils trouvent également utiles pour l'insertion professionnelle les connaissances théoriques (22.8%) et pratiques (8.8%) enseignées. Ces pourcentages d'utilité sont cependant faibles par rapport aux pourcentages d'inutilité. Tout se passe comme si les étudiants disaient : « nous ne sommes guère satisfaits car si la formation universitaire est un passage obligé, elle n'est guère utile pour nous préparer à la vie professionnelle ; tout au plus, elle nous donne un peu de culture générale, mais les connaissances théoriques et pratiques dispensées ne sont guère utiles pour notre emploi ». Dans les questions ouvertes reviennent constamment les expressions « culture académique », « manque d'ouverture sur la société », « manque d'ouverture sur les connaissances interdisciplinaires »

Une analyse plus fine des résultats montre ici encore que les diplômés de formation littéraire (LSH) affichent moins de réponses négatives concernant l'utilité de la formation pour l'insertion professionnelle (45.59%) et pour le développement d'une culture générale (30.50%). Cette divergence est encore plus importante chez les diplômés (LSH, SE) de la promotion 2000-2005 qui jugent la formation universitaire particulièrement inutile pour l'insertion professionnelle (59.35%) et peu utile pour le développement d'une culture générale (49.45%). Les arguments avancés pour justifier leur opinion se résument dans le caractère trop académique des enseignements dispensés au cours des études universitaires.

Cette explication est confortée par leur évaluation de l'utilité des connaissances théoriques. Les diplômés de SE et LSH (55.69%) estiment qu'elles sont peu utiles pour l'insertion dans la vie professionnelle contre (5.06%) qui pensent qu'elles sont très utiles. La promotion de 2000-2005 se montre ici encore la plus sévère à ce propos. En ce qui concerne l'utilité des connaissances pratiques dispensées par l'université, les appréciations sont encore plus négatives : (68. 35%) des diplômés des deux domaines de formation ne les estiment pas du tout utiles.

L'extrait suivant d'une réponse à une question ouverte synthétise assez fidèlement la position de la plupart des diplômés sur la dimension de l'utilité :

La formation universitaire n'était pas très utile pour moi car les connaissances que j'ai acquises au niveau de l'université m'ont permis simplement d'avoir le diplôme pour enseigner, mais ne m'ont pas permis d'avoir les méthodes pour adapter ce que j'ai appris à la réalité de la classe et aux exigences de la connaissance transmise au lycée qui est dans la majorité des cas loin de ce que j'ai appris à l'université.

Les diplômés déclarent les connaissances théoriques tout à fait insuffisantes (55.7%) ou insuffisantes (24.1%). Envers les connaissances pratiques, leur évaluation est plus négative encore puisque 70.3% des diplômés les déclarent également tout à fait insuffisantes et 23.4% insuffisantes. Cette insuffisance est due, selon certains diplômés, à l'absence de stages pratiques et de travaux pratiques ou d'ateliers de travail collectif. Le caractère trop académique est avancé une fois encore comme l'un des facteurs de l'échec de l'université et de la non-pertinence de ses finalités. Cette explication se remarque surtout chez les diplômés LSH qui déclarent inexistante la formation pratique sous prétexte que les littéraires sont « des hommes de réflexion et de contemplation.

L'évaluation des diplômés est plus nuancée en ce qui concerne le caractère plus ou moins indispensable des contenus enseignés pour l'insertion professionnelle (tableau n°5) : 53.2% des diplômés estiment assez bien indispensables (45.6%) ou tout à fait indispensables (7.6%) les contenus enseignés. Ils sont nettement plus sévères pour les compétences développées à l'université en vue de l'insertion professionnelle : seuls 27.9% les jugent assez bien indispensables (20.3%) ou tout à fait indispensables (7.6%). Ces résultats montrent que, aux yeux des étudiants, la formation universitaire est axée plus sur les contenus que sur les compétences ; or, l'insertion professionnelle implique des compétences. Dans les questions ouvertes, ils estiment que seule une formation qui alterne les connaissances théoriques et le travail de terrain est vraiment indispensable pour faciliter l'insertion professionnelle. 50% de ces diplômés déclarent avoir rencontré beaucoup de difficultés pour s'adapter à la vie professionnelle et pour s'outiller de méthodes pédagogiques qui leur permettent d'ajuster les connaissances acquises lors de leur formation universitaire au niveau des élèves dont ils ont la charge.

Le tableau n°6 vient conforter les analyses précédentes. S'il est vrai que 67.4% des diplômés estiment que les connaissances enseignées sont peu utilisées (52.2%) ou pratiquement jamais utilisées (15.2%), il existe cependant suffisamment d'étudiants (32%) pour déclarer qu'elles sont assez bien utilisées.

2 La formation Universitaire et la Maîtrise des Compétences

Le questionnaire proposait aux étudiants un ensemble de 33 « compétences »⁷ susceptibles d'être développées par la formation universitaire. Les diplômés étaient invités à estimer leur niveau de maîtrise de celles-ci au terme de leur cursus universitaire. Les résultats sont consignés dans le tableau n° 7.

Pour identifier de façon plus nette les compétences pour lesquelles les diplômés estiment avoir une maîtrise plus forte, nous faisons la différence de pourcentages entre la « maîtrise forte » et « aucune maîtrise ». Quatre compétences ressortent avec un indice supérieur à 20% : connaissance propre à une filière (34.2%, c'est-à-dire à titre d'exemple 40.4% - 6.3%), connaissance de méthodes propres à une filière (29.1%), communication écrite (25.9%) et capacité d'application de méthodes ou de règlements (18.3%). La capacité de mémorisation est estimée fortement maîtrisée par 22.4% des diplômés, mais 6.3% estiment n'en avoir aucune maîtrise (indice = 16.1%). La capacité d'apprendre a encore un indice plus faible (7%), car si 22.2% estiment en avoir une maîtrise forte, 15.2% estiment n'en avoir aucune maîtrise. Le relevé de cet ensemble de compétences confirme l'argument maintes fois invoqué par les diplômés du caractère profondément académique de la formation universitaire. Ceci va être confirmé par le relevé des compétences pour lesquelles ceux-ci estiment avoir une maîtrise particulièrement faible.

Pour identifier de telles compétences, nous avons calculé la différence de pourcentages entre « aucune maîtrise » et « maîtrise forte ». Les compétences pour lesquelles l'indice calculé est supérieur à 20% sont les suivantes : capacité à travailler sous pression (63.3%) ; leadership (44.3%), capacité à travailler en équipe (40.5%), habileté manuelle (39.9%), adaptabilité (38%), initiative (34.8%), compétences en informatique (32.9%), capacité de réaliser un projet (32.3%), implication personnelle (31%), capacité de résolution de problèmes (30.3%), créativité (26%), négociation (25.3%), prise de responsabilités et de décisions (22.8% et gestion du temps (22.1%). Ce relevé (bien plus long que le premier) indique qu'il s'agit, à l'exception éventuelle de l'habileté manuelle, de compétences hautement valorisées par le monde professionnel actuel et qui le seront de plus en plus dans la société de la connaissance (Paul & Sulleman, 2005).

Les diplômés en sont hautement conscients, comme le démontrent les résultats consignés en ^annexe, où il leur était demandé d'estimer le degré d'importance des mêmes 33 compétences pour l'insertion professionnelle. On constate effectivement que les compétences faiblement maîtrisées, dont nous venons de faire la liste, ont toutes des scores d'importance élevée pour l'insertion professionnelle. Par contre, la communication écrite est la seule compétence estimée maîtrisée au terme de la formation universitaire et qui est jugée très importante pour la vie professionnelle.

Ces constats nous amènent à questionner la qualité du système d'évaluation des acquis des étudiants et son impact sur « la professionnalisation » de nos jeunes diplômés.

3 Le Système D'évaluation

Nous avons voulu d'abord savoir quelles sont, selon les diplômés, les compétences réellement évaluées à l'université. Pour cela, nous leur avons présenté la même liste des 33 compétences et nous leur avons demandé dans quelle mesure elles n'étaient « pas du tout évaluées », « peu évaluées, « évaluées assez souvent » et « évaluées régulièrement ».

Pour identifier les compétences les plus fréquemment évaluées, nous avons calculé la différence de pourcentages entre « évaluées très régulièrement » et « pas du tout évaluées ». Les compétences qui obtiennent un indice supérieur à 20% sont les suivantes : capacité d'apprendre (60.2%), capacité de mémorisation (39.3%), capacité de restituer un cours (33.6%), capacité d'analyse (26.5%) et connaissances propres à une filière (24.7%). On retrouve ici des compétences académiques très classiques.

Pour identifier les compétences les moins fréquemment évaluées, nous avons calculé la différence de pourcentages entre « pas du tout évaluées » et « évaluées très régulièrement ». Les compétences les moins évaluées ont un indice supérieur à 20% et sont les suivantes : leadership (72.8%), capacité d'autocritique de son travail (68.4%), capacité de résolution de projets (67.7%), négociation (57%), créativité (56.3%), prise de responsabilité et de décision (53.2%), implication personnelle (51.9%), gestion du temps (48.8%), habileté manuelle (48.7%), capacité de travailler en équipe (48.1%), compétences en informatique (47.5%), connaissance interdisciplinaire (46.2%), communication orale (44.3%), capacité à planifier, à coordonner et à organiser (43.7%), capacité à travailler sous pression (41.1%), capacité de résolution de problèmes (39.8%), initiative (36.7%), culture générale (36.7%), communication écrite (34.1%), capacité de concentration (31%), adaptabilité (30.4%), autonomie dans le travail (22.8%). On retrouve ici à nouveau des compétences qui, pour la plupart, sont considérées par le monde du travail et par les diplômés eux-mêmes (voir tableau en ^annexe) comme importantes, voire très importantes, pour l'insertion professionnelle.

Le fait que la première liste soit si courte et que la seconde soit si longue est sans doute un indicateur du caractère monolithique et peu diversifié des dispositifs d'évaluation des facultés dont sont issus nos diplômés. Il est intéressant de relever que sur les 22 compétences estimées peu fréquemment évaluées, 14 d'entre elles sont aussi déclarées peu maîtrisées. Mais 6 compétences sont estimées peu évaluées mais ne font pas partie des compétences les moins maîtrisées. Nous pouvons expliquer cela par le fait que c'est indirectement le travail fourni par l'étudiant à l'université qui explique le développement progressif de la capacité d'autocritique (par exemple, suite à l'analyse de ses résultats académiques), la capacité de concentration, la capacité à planifier, coordonner et organiser, l'autonomie dans le travail, la communication orale (ceci est peut-être moins évident) et la connaissance interdisciplinaire (lors de l'étude, l'étudiant a l'impression de faire lui-même des ponts entre les disciplines). A côté du « curriculum formel » académique classique existe un « curriculum caché » qui n'est pas négligeable.

Ces résultats expliquent sans doute le jugement sévère que les diplômés portent sur les fonctions exercées par le système d'évaluation universitaire, par le système de notation mis en œuvre et sur les déterminants des notes attribuées (voir tableau n°8).

Si 67.7% des diplômés sont tout à fait d'accord pour dire qu'un système d'évaluation permet (sous-entendre « doit permettre ») d'améliorer la qualité des acquis des étudiants, ils ne sont pas du tout d'accord pour dire que (i) le système d'évaluation qu'ils ont connu à l'université avait une valeur formatrice (69.6% « pas du tout d'accord » versus 0% « tout à fait d'accord »), (ii) le système de notation des épreuves était clairement expliqué (86.7% « pas du tout d'accord » versus 0% « tout à fait d'accord »), (iii) objectif (41.8% « pas du tout d'accord » versus 0% « tout à fait d'accord ») et (iv) assure l'égalité des chances pour tous les étudiants (57% « pas du tout d'accord » versus 0.6% « tout à fait d'accord »). Quant à la note, elle semble dépendre avant tout de la capacité de mémorisation (48.7% « tout à fait d'accord » et 31% « accord »), et dans une moindre mesure de l'art de bien présenter sa réponse (49.4% « accord » et 3.2 « tout à fait d'accord ») ; par contre elle semble peu dépendre de l'effort fourni (seulement 19.6% « accord » et 3.8% « tout à fait d'accord»).

Discussion

Nos hypothèses de départ avaient été formulées sur la base d'indices observés qui nous conduisaient à dire que la formation universitaire tunisienne était trop exclusivement académique (« trop est l'ennemi du bien ») et trop en décalage par rapport aux exigences du développement de la société dite de la connaissance.

La première hypothèse postulait que les diplômés estiment que les contenus de la formation universitaire (connaissances théoriques et connaissances pratiques) sont insuffisants et peu satisfaisants pour favoriser le développement des compétences requises par le marché de l'emploi. Les résultats récoltés vont largement dans ce sens. Il suffit de regarder les indicateurs du tableau n°9. Les connaissances théoriques et surtout pratiques sont insuffisantes et peu utiles. Parmi les diplômés, 67.4% d'entre eux déclarent ne jamais utiliser ou n'utiliser que peu les connaissances acquises à l'université dans la vie professionnelle.

La seconde hypothèse postulait que la perception des compétences acquises au terme de la formation universitaire ne concorde pas avec la perception des compétences jugées importantes pour l'insertion dans la vie professionnelle, sauf pour les compétences d'analyse, de communication écrite et d'aptitude à apprendre. Pour l'essentiel, cette hypothèse est vérifiée : (i) 80.3% des diplômés jugent pas du tout ou peu satisfaisantes les compétences acquises pour l'insertion professionnelle ; (ii) 72.2% les jugent pas du tout ou peu utiles pour leur vie professionnelle ; (iii) les dix compétences estimées les moins maîtrisées par eux sont toutes des compétences jugées importantes pour la vie professionnelle. La dernière partie de notre hypothèse doit cependant être nuancée, comme le montre le tableau n°10.

L'analyse et la communication écrite sont jugées très importantes par la plupart des diplômés, mais elles ne font pas partie des compétences dont la maîtrise est la plus forte : en effet, les diplômés estiment en avoir une « bonne maîtrise » (65.8% et 54.6% respectivement). Quant à l'aptitude à apprendre, la maîtrise est jugée très variable selon les diplômés et, très curieusement, ne fait pas partie des compétences les plus importantes. Ce dernier aspect nous interpelle, car il s'agit de personnes travaillant dans le secteur de l'enseignement pour la plupart. Estimeraient-ils, comme beaucoup de personnes de la fonction publique, qu'une fois appris le métier, il ne resterait plus grand chose à apprendre ?

La troisième hypothèse postulait que les diplômés estiment que les compétences évaluées ne sont pas celles requises par le monde du travail. Nos résultats ont montré que les compétences les plus fréquemment évaluées sont la capacité d'apprendre (indice calculé = 60.2%), la capacité de mémorisation (39.3%), la capacité de restituer un cours (33.6%), la capacité d'analyse (26.5%) et la connaissance propre à une filière (24.7%). Si les deux premières sont jugées relativement importantes (mais pas les plus importantes), les suivantes ont des scores d'importance très faibles. Par contre, les diplômés identifient 22 compétences qui ne sont guère évaluées et qui cependant sont à leurs yeux importantes, voire très importantes. Le tableau n°11 les reprend avec les indices calculés dont le premier signifie la rareté de l'évaluation de la compétence et le second l'importance pour la vie professionnelle.

Sur ces 22 compétences trop rarement évaluées dans la formation universitaire, 19 sont jugées importantes et même très importantes par nos diplômés. Mais trois d'entre elles nous interpellent, car elles sont jugées nettement moins importantes par nos diplômés, alors qu'elles le sont en fait par les responsables de la vie professionnelle : (i) travailler sous pression ; (ii) prendre des initiatives ; (iii) être autonome dans son travail. Ici encore, on peut se demander si le syndrome de la fonction publique n'a pas déjà fait son œuvre chez nos diplômés exerçant un emploi dans le monde de l'enseignement. Faisons remarquer que ces 22 compétences sont parmi celles qui sont les plus invoquées pour défendre les approches pédagogiques actuelles, à savoir les approches par problèmes et par projets.

La quatrième hypothèse postulait que les diplômés de l'université de Tunis estiment que le système d'évaluation n'est pas pertinent puisqu'il n'est pas objectif et il ne permet pas à tout le monde d'avoir les mêmes chances de réussite. Cette hypothèse se révèle tout à fait confortée. En effet, pas un seul étudiant ne s'est trouvé tout à fait d'accord avec l'affirmation que le système d'évaluation est objectif ; et seulement un étudiant sur 158 s'est déclaré tout à fait d'accord pour dire que le système d'évaluation assure l'égalité des chances pour tous les étudiants. Le système d'évaluation à l'université pose d'autant plus problème pour nos diplômés qu'il n'est pas clairement expliqué.

Une conclusion s'impose : si un des critères importants de la qualité d'une formation universitaire réside dans une bonne préparation à l'insertion professionnelle, ce qui semble être de plus en plus pris en considération par les institutions d'évaluation ou d'accréditation des universités (GUNI, 2007), et si les diplômés d'une université sont parmi les personnes les mieux placées pour évaluer ce critère, nous devons admettre que la formation universitaire dispensée dans les facultés dont sont originaires nos diplômés doit être impérativement améliorée. Il y a sans doute un gros travail à effectuer dans plusieurs directions : (i) travailler la vision que les enseignants-chercheurs ont de la mission de formation de l'université ; (ii) former ceux-ci, et particulièrement la relève, dans des approches pédagogiques qui préparent mieux à l'insertion professionnelle ; (iii) revoir le système d'évaluation, tant dans son objet prioritaire que dans ses aspects techniques, car un dicton dit « dites-moi ce que vous évaluez et je vous dirai ce que les étudiants chercheront à apprendre ».

Bibliographie

Estimation du degré de maîtrise de 33 compétences susceptibles d'être développées par la formation universitaire

Les compétences réellement évaluées à l'université

Les compétences jugées importantes

• FRANCE. Ministère de l'Education. Avis du haut conseil de l'évaluation de l'école. L'évaluation des acquis des étudiants, n. 8. avr, 2003. 1-4
• DE KETELE, J.M.; BOUSSADA, H., (2005). L'évaluation comme indicateur de la qualité de formation universitaire : etude empirique dans le cadre d'un Mastère de didactique spécialisé. Communication présentée lors du 22^ème congrès de l'Association International de Pédagogie Universitaire (AIPU) sur L'enseignement supérieur au XXIè siècle : de nouveaux défis à relever. Suisse : Université de Genève, sep. 2005. 12-14
• DE KETELE, J.M. L'enseignement supérieur au 21^e siècle : vision et action. In: L'enseignement supérieur face aux défis. Document d'orientation au congrès national sur l'enseignement supérieur. Paris: Document UNESCO, 1998.
• DE KETELE, J.M.; SALL, H.N. Evaluation du rendement des systèmes éducatifs : Apports des concepts d'efficacité, d'efficience et d'équité. Mesure et Evaluation en Education, v. 19, n. 3, p. 119-142, 1997a.
• DE KETELE, J.M. L'enseignement supérieur au 21^e siècle (résumé du document de travail). Les actes de la consultation régionale, Dakar, Sénégal, v. 1-4, avr., 83-111, 1997b.
• DE KETELE, J-M. L'évaluation de la productivité des institutions d'éducation. In : Cahiers de la Formation Universitaire : Université et société, le rendement de l'enseignement universitaire.
• DE KETELE, J.M.; DE KETELE, R.; DRAIME, J.; VOGLAIRE, F. Réussir une première candidature ingénieur. Rapport d'une enquête par questionnaire auprès de la première candidature en Sciences Appliquées l'UCL 85-86. Louvain-la-Neuve: Université Catholique de Louvain, Laboratoire de Pédagogie Expérimentale, 1987.
• DREW, S. Student's perceptions of their learning outcomes. Teaching in Higher Education, v. 3-2, p. 197-217, 1998.
• GALAND, B. L'approche par problèmes et par projets dans l'enseignement supérieur Belgique: UCL Presses Universitaires de Louvain, 2005.
• GLOBAL UNIVERSITY NETWORK FOR INNOVATION. Higher education in the world 2007: Accreditation for quality assurance: what is stake?. Great Britain: Guni series on the social commitment of universities 2, 2007.
• HEYWOOD, R. Job Analysis Birmingham: University press, 1985.
• LECLERCQ, D. Diagnostic cognitif et métacognitif au seuil de l'université Le projet Mohican mené par les 9 universités de la Communauté Française Wallonie Bruxelles. Liège: Les éditions de l'Université, (Bel), 2003.
• PAUL, J-J. ; SULEMAN, F. La production de connaissances dans la société de la connaissance : quel rôle pour le système éducatif ?. Education et Société, v. 15, n. 1, p. 19-43, 2005.
• Rapport du Comité National d'Evaluation. Les formations supérieures en mathématiques orientées vers les applications. Paris : CNE, 2002. Disponible en: < http://www.cne-evaluation.fr>.
• RAUCENT, B. Etre un enseignant: Magister ? Metteur en scène ? Bruxelles: De Boeck, 2006.
• ROEGIERS, X. (avec la collaboration de Jean-Marie De Ketele). La pédagogie de l'intégration, compétence et intégration des acquis dans l'enseignement Bruxelles: De Boeck, 2000.
• ROEGIERS, X. Des situations pour intégrer les acquis scolaires Bruxelles: De Boeck, 2003.
• ROEGIERS, X. L'école et l'évaluation : des situations pour évaluer les compétences des élèves. Bruxelles : De Boeck, 2004.
• ROMAINVILLE, M. L'évaluation des acquis des étudiants dans l'enseignement universitaire. Rapport établi à la demande du Haut Conseil de l'évaluation de l'école. Paris: 2002. Disponible en:<http://cisad.adc.education.fr/hcee/publications-2003.html

annexe

1

Un rapport complet et une synthèse de cette recherche sont disponibles chez Hallouma Boussada , Jean-Marie De Ketele.

2

Exemple : le Rapport du Comité National d'Evaluation, (2002).

3

Les évaluations internes de l'efficacité des nouvelles pratiques en terme d'approches par compétences, à savoir l'évaluation formative critériée, l'intégration des acquis, l'apprentissage intégré, etc. ont montré une nette amélioration dans les acquis des élèves et des étudiants. (Pour plus d'informations sur la plus-value de cette approche au niveau primaire et au niveau supérieur, voir De Ketele (1995), De Ketele, Roegiers (2000), Roegiers (2003), Roegiers (2004)).

4

Le dispositif de formation axé sur la résolution de problèmes et sur le travail par projet assure un meilleur ancrage des apprentissages. L'expérience menée à l'Université Catholique de Louvain (candis 2000) témoigne de l'importance de cette approche dans l'enseignement supérieur. Pour plus d'informations sur cette expérience voir le livre de Frenay et Galand (2005). L'approche par problèmes et par projets dans l'enseignement supérieur. Belgique : UCL Presses Universitaires de Louvain. En s'appuyant sur des situations vécues dans le cadre d'une réforme vers une pédagogie active par problèmes et projets mise en place dans une école d'ingénieurs, Raucent & Vander Borght (2006) s'interroge sur la relation entre le dispositif mis en place et la qualité des apprentissages. L'ouvrage s'articule autour de sept questions : Pourquoi changer ? Que changer ? Quels dispositifs mettre en place ? Comment faire évoluer les métiers d'étudiant et d'enseignant ? Quelle efficacité espérer de ce changement ? Comment évaluer les acquis des étudiants ? Le changement pédagogique est-il possible et durable?

5

Ce sont les étudiants diplômés en lettres et en sciences humaines, dénommés

LSH.

6

Ce sont les étudiants diplômés en sciences exactes, dénommés

SE.

7

Une revue de la littérature a été nécessaires pour dresser la liste des compétences proposées aux étudiants (Drew (1998), Romainville (2002), Paul et Suleman (2005)). En s'interrogeant sur la définition de la compétence, on a pu identifier plusieurs réflexions. Certains parlent de compétences transversales et d'autres des compétences génériques, mais rares sont les réflexions sur les compétences contextualisées nécessaires pour l'insertion professionnelle.

Publication Dates

• Publication in this collection
  02 Apr 2008
• Date of issue
  Mar 2008