A BORDAGEM C ENTRADA EM E SPECIALISTAS Capítulo 8

Objetivos Apresentar as vantagens da avaliação por especialistas. Apontar situações nas quais o parecer de especialistas é um método legítimo de avaliação. Apresentar critérios para escolha de especialistas. Descrever as principais diferenças entre sistemas informais e formais de pareceres de especialistas. Descrever os principais pontos fortes e limitações da abordagem de avaliação por especialistas.

Características Depende de conhecimentos especializados de profissionais que julgam instituições (ex: Sinais, avaliação das condições para criação e credenciamento de cursos novos cursos), programas (programas de pós-graduação), produtos (Capes – Qualis Periódicos e Livros) ou atividades (CNPq projetos, teses). A estratégia básica de avaliação está baseada em juízos subjetivos do avaliador. Equipes de especialistas ou avaliações independentes são bastante utilizadas. Outra estratégia de avaliação são as visitas para avaliação in loco.

Tipos de avaliação 1.Sistemas formais de pareceres de profissionais reconhecidos. 2.Sistemas informais de pareceres de profissionais reconhecidos. 3.Pareceres ad hoc de grupos altamente qualificados. 4.Pareceres ad hoc de profissionais altamente qualificados

Tipos de avaliação TIPO DE AVALIAÇÃO ESTRUTURAPADRÕES PÚBLICOS PERIODICIDAD E OPINIÕES DE VÁRIOS ESPECIALISTA S SITUAÇÃO AFETADA PELOS RESULTADOS Sistema formal de pareceres Sim Geralmente Sistema informal de pareceres SimRaramenteÀs vezesSimGeralmente Parecer ad hoc grupal Não Sim Não Sim Não Sim Às vezes Sim Parecer ad hoc individual Não Sim Não Sim Não Às vezes (dois) Às vezes

Sistema Formal 1.É estruturado e organizado para propiciar pareceres periódicos (Ex: acompanhamento anual e avaliação trienal de Programas de pós-graduação da CAPES). 2.São aplicados padrões públicos e instrumentos de avaliação para formulação dos pareceres (padrões derivados do desempenho dos programas e instrumentos validados pelas áreas e estabelecidos formalmente pelo CFE). 3.Periodicidade predeterminada (de três em três anos). 4. Incluem visitas, quando recomendado pela área. 5.Incluem auto-avaliações.

Sistemas informais Possuem diretrizes e procedimentos estruturados. Empregam vários profissionais. Utilizados nos EUA para avaliação de desempenho de professores e acompanhamento de estudantes e emissão de pareceres informais sobre artigos.

Pareceres ad hoc de grupos e indivíduos especializados Pareceres emitidos por profissionais altamente especializados. Avaliações com periodicidade irregular e de acordo com as circunstâncias e demanda. No CNPq, os pareceres ad hoc são formulados de acordo com quesitos de avaliação aprovados pela comunidade científica e incluídos em instrumentos específicos de avaliação (de projetos de pesquisa, pedidos de bolsas e de auxílios). Os avaliadores são bolsistas do CNPq que obrigatoriamente assumem o compromisso de avaliar trabalhos durante a vigência da bolsa. Os pareceres são feitos por avaliadores independentes. Os comitês de área de conhecimento emitem pareceres “finais”sobre os projetos. Instâncias superiores do CNPq tomam as decisões finais sobre o financiamento de bolsas e auxílios.

O Connoisseur O connoiseur é um artista da avaliação. Ele tem percepção das qualidades da entidade ou objeto avaliado e das relações entre elas. O talento dele é saber para o que olhar na avaliação. A analogia do provador de vinho é utilizada para mostrar como a experiência, o paladar refinado e a memória gustativa desse profissional possibilitam-lhe distinguir qualidades sutis (corpo, cor, acidez, buquê, sabor residual, etc)e emitir julgamentos de valor não baseados em preferências pessoais. O avaliador é o instrumento de avaliação. A coleta, a análise e o julgamento ficam encobertos na cabeça do avaliador. A validade da sua avaliação depende da experiência e percepções do avaliador.

Uso da Abordagem Credenciamento e recredenciamento de cursos de graduação. Avaliação de programas de pós-graduação. Avaliação de livros e periódicos científicos e outros produtos educacionais. Avaliação de projetos de pesquisa para fomento. Avaliação de teses, dissertações e monografias. Avaliação de pedidos de apoio financeiro e bolsas de pesquisa.

Pontos Fortes Enfatizam o importante papel do parecer de especialistas no processo avaliativo e mostram a necessidade de decidir sobre o grau de explicitação de padrões de avaliação. Estimulam a excelência com desenvolvimento de critérios e diretrizes para avaliar programas ou produtos. (Ex: Capes no Qualis Periódicos e avaliação de programas de pós-graduação, Sinais). Estimulam a melhoria de programas e instituições por meio de auto-avaliação e avaliação externa constantes. Asseguram a comunidades específicas e ao público em geral que uma instituição ou programa tem objetivos claros e apropriados e condições de realizar o que se propõe a fazer. Aconselham e oferecem assessoria a instituições estabelecidas e em desenvolvimento. Protegem as instituições de abusos que poderiam por em risco sua eficiência ou liberdade acadêmica. (Ex: definição da titulação necessária ao corpo docente e do regime de trabalho do corpo docente – evitar o professor “horista” sem qualificação par ao ensino e a pesquisa).

Pontos fracos Preocupação com a credibilidade e com o cinismo público diante da avaliação das próprias atividades (pesquisadores avaliando pesquisa, educadores avaliando educação). Podem gerar protecionismo. Envolvem altos custos (viagens para visitas e para reunião de grupos de avaliadores). Pareceres podem ser incestuosos e sujeitos a conflitos de interesses. Problema de sigilo e receio de publicar pareceres individuais. Necessidade de preparo especial para avaliar.