From the Characterization of Academic (In)Success in Higher Education Science and Engineering Courses to the presentation of Proposals to Promote its Success ____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Nilza Costa/Universidade de Aveiro

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) TOPICS TO BE COVERED …The Project (Conceptualization, Implementation and Assessment of Strategies to Promote Academic Success in Higher Education in Science and Engineering Degrees, POCI/C/ /090/0001/2006 ) Setting the scene Research Team, Aims, Phases, Methodology Preliminary Results The (near) Future

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) SETTING THE SCENE …

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Object of study of the project Academic (In)Success in introductory subjects of HE degrees in Science and Engineering and Strategies to promote Success in the Bologna context

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Why?

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) European orientations to increase the number of graduates in the area of science, engineering … (Education and Training in Europe: Diverse Systems; Shared Goals for The Work Programme on the Future Objectives of Education and Training Systems, CE, 2002, p. 19)

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Source: Borrego et al., s/data, p. 4 … more than 50% of the students at the UA enrolled in introductory subjects in Courses in Science and Engineering have failed at least once in the subject… (Tavares et al., 1998) High percentage of students failure in the areas of Science and Engineering … … in particular in introductory subjects (and at UA)

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Bologna context is seen as an opportunity to promote a culture of academic success (Alarcão et al., 2006, …) Curriculum centred on students Students autonomy Quality in the teaching and learning process …

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Understanding students academic (in)success Development of strategies to promote success The understanding of the phenomena should lead to action…and probably vice-versa …

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Students academic (In)success is a complex phenomena (due to different sources) therefore its understanding and approach must involve different dimensions (institutional, departmental, …) and actors (teachers, students, …) The understanding of the phenomena and its approach should involve the lens of theory (research) and practice (what teachers do, …) namely good practices

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Approach of this project: Pedagogical- Didactical In the context of the empirical dimension of the study: Academic success is measured in term of students achievement. However it also takes into account parameters related to the quality of the teaching and learning process Note: this slide has been added after the Workshop given the importance seen on it of making explicit some starting assumptions of each project

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) RESEARCH TEAM AIMS PHASES METHODOLOGY

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) The research team

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) UTADs Research Team: - J. Bernardino Lopes (PhD) - J. Paulo Cravino (PhD) UAs Research Team: - Nilza Costa (PhD) - José Tavares (PhD) - Isabel Huet (PhD) - J. Bessa Oliveira (PhD) - Dayse Souza ( PhD) - Cristina Oliveira (PhD St) - Paulo Oliveira (PhD St) - Ana Amaral (Res. Techn.) Collaborators: - Zacarias Oliveira and other UAs students - UAs teachers Consultants: - Isabel Alarcão - Alan Jenkins

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) The Aims

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) to systematize ways to understand and minimize the academic failure both from the literature review (and in particular from the PhDs research developed by the project team) and also practice (Associated Professor Reports and the experience of teachers and students) to adapt tools (e.g. questionnaires to measure students satisfaction or motivation for a specific course, as well as self-regulation learning strategies) to be used in the classroom in order to analyse academic failure (in terms of diagnostic and intervention strategies) to conceptualize, implement and evaluate intervention plans in the classrooms to promote academic achievement taking into account the guidelines from the Bologna Process to disseminate the results of the project (in particular in a national Conference which will give voice to experiences of good practices)

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) The Phases

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Phase 1 From the literature review to the proposal of intervention plans Phase 2 Intervention and evaluation Phase 3 Dissemination

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) The Methodology

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Sources of information: Literature Associated Professors Reports Tools used to identify academic (in)success Teachers Students (Teachers and Students ) Portfolios … Techniques/Tools questionnaires to students interviews to academic staff … Case Studies of good practices

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) In terms of the research team

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007). General and partial meetings according to different tasks (with minutes). E-communication through the blackboard (Ex. References articles; reading notes; diagnosis instruments; guidelines for good practices…). …

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007)

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) PRELIMINARY RESULTS …

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Academic Career Reports (Associated Professors) Content Analysis 1 - Identification (name of the subject; year of the degree; date; …) 2 - Reflection about the previous practice (No; Yes, and if yes in which dimensions ….) 3 - Reflection concerning the (In)Success (No; Yes, and if yes in which dimensions ….) 4 - Bologna Concepts and terminology (No; Yes, and if yes in which dimensions ….) Tendency so far… Small amount of reports are concerned with introductory subjects (14/120) References, mainly, about the content of the subject (and not about the past, the academic success, …) Rarely references to the Bologna Process and its impact on the curriculum

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Diagnosis Tools of Academic (In)Success Adaptation of tools developed by others … Inventário de Atitudes e Comportamentos Habituais de Estudo (IACHE-sup) Tavares et al., 2003 (UM; UA) Questionamento dos estudantes universitários Neri de Souza, 2007 Conselho Pedagógico FCT (Univ Nova Lisb) 2006 …

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Students Questionnaire Structure 1- Student Profile (age; gender; subject; ECTS; nº of hours of work; …) 2- Characterization of the Classes (teacher and students role; …) 3- The Course, the Subject and Bologna (Changes in teaching and learning due to Bologna; Suggestions to improve the quality of the teaching and learning process) Sucesso Académico no Contexto de Bolonha (SACB)

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Questionnaire applied to Students attending several Science and Engineering Degrees | UA SAMPLE CHARACTERIZATION N = 444 Age – Mean ( ): 20,21 | St. Deviation ( ): 2,31 Gender – F: 26,6 % | M: 73,4 % Field of study in secondary level – Studies in the area of Sciences: 96,6% UA Degrees – Sciences and Engineering Courses

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Subject (introductory): Number of registrations in the subject - 1: 58,6 % | 2: 22,6 % | 3+: 18,8 % ECTSs (Mecânica – 6 ECTS; Cálculo II – 6 ECTS; Programação II – 8 ECTS; Desenho Técnico – 6 ECTS) Right answers: 47,3% Wrong/Missing answers: 52,7%

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) QUESTIONS REGARDING 4 DISTINCT SUBJECTS WITH HIGH LEVELS OF FAILURE AND DROP OUT – USING A SCALE FROM 1 TO 5 1totally disagree 2slightly disagree 3 doesnt know or doesnt apply 4slightly agree 5totally agreement

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Motivation Were you impelled to participate, discuss and express your own ideas? Scale (1 to 5) Results (%) % 328 % %

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Promotion of autonomous work Scale (1 to 5) Results (%) % 3 20 % % Were there assignments, suggested by the teacher, to be accomplished after classes? Did you feel encouraged to do autonomous work? Scale (1 to 5) Results (%) % 3 19 % %

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Feedback Did you receive feedback on your accomplished tasks? Scale (1 to 5)Results (%) % 3 27 % %

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Promotion of cooperative work Was cooperative work promoted? Scale (1 to 5)Results (%) % 3 23 % %

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Bearing in mind that your Degree is structured based on the Bologna Process, do you feel informed about: Your role as a student (regarding your autonomy towards your learning process, cooperative work, critical thinking development, among other skills). Scale (1 to 5)Results (%) % 333% %

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) The content analysis of the open questions suggests so far… Changes due to the Bologna Alignment?. Almost half of the students had not notice changes on the teaching and learning process due to the Bologna Process. Those who have noticed referred mainly to changes in the assessment methodologies Suggestions to improve the quality of the process of teaching and learning. To increase the interaction between teacher and student. To increase the time of classes

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) But there seems to be some interesting (and different) answers… Changes due to the Bologna Alignment?. Due to a paradigm change the teaching process is now more centred on the student… which I dislike…. We are obliged to participate more in the classes…. Decrease of contact hours… more contents …more time needed to study… Suggestions to improve the quality of the process of teaching and learning. To solve exercises more related to the labour market. Contents more related with challenges we will face in the future. Everything is OK… we just need to study more…

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Teachers Interviews (note: teaches of the same subjects of the students to whom has been administered the questionnaire) Structure 1- Teacher and Course Profile (academic degree; years of experience; … rates of failure in the subject) 2- Reasons for the Students (In)Success 3- Strategies used to promote academic success 4- Good practices (examples) to promote success Data is being analysed… there seems to be (a) some contradictions with studentss view and (b) some examples of good practices

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) THE (NEAR) FUTURE …

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007). To develop further the analysis namely through triangulation, … putting together the different actors voices

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007). To develop guidelines (with some concrete examples) to the teaching and learning process for the promotion of academic success and in a Bologna context. Importance to identify, in due time, (in)success …to give voice to the students… (diagnosis Tools). Conceptualize the Subject to be taught within Bologna (alignment matrixes). Reading notes (some examples). …

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007). To develop case studies with teachers Teachers and Students portfolios The scholarship of teaching means teaching that is public susceptible to critical review and evaluation and accessible for exchange and use by other members of ones scholarly community "members of ones scholarly community" include ones disciplinary peers and ones institutional peers. (Schulman, 1998)

____________________________________________________________________ SEMINÁRIO DE INVESTIGAÇÃO: Promoção do Sucesso Escolar e Combate ao Abandono e ao Insucesso no Ensino Superior - Metodologias e Resultados Preliminares (03 Outubro 2007) Seminar th December 2007 at UA (Dissemination of the Project)