A experiência do TCU com os Indicadores de Gestão das IFES TRIBUNAL DE CONTAS DA UNIÃO Experiências na Avaliação da Gestão - Utilização do Processo de Contas para a Análise da Conformidade e Desempenho da Gestão A experiência do TCU com os Indicadores de Gestão das IFES

Sumário Histórico Indicadores de Gestão Limitações / vantagens Grupo de contato Análise da conformidade dos indicadores Informação via Internet Análise setorial nas contas do governo 2003 Desafios

Indicadores de Gestão - Histórico Decisão Plenária nº 731/97 - auditoria na UFGO Determinação: inclusão no exame anual das Contas do Presidente da República, de 1997 a 1998 de análise sobre todas as IFES, juntamente com os órgãos financiadores de pesquisa, com vistas à verificação, entre outros, da produção científica, custos, dispêndio total anual, percentual de gastos com pessoal e encargos. (MV) Decisão Plenária nº 543/99 - auditoria na Fundação Faculdade Federal de Ciências Médicas de Porto Alegre/RS Determinação: estudar viabilidade de inclusão no Plano de Auditoria do TCU de auditoria para avaliação do sistema de ensino superior no Brasil, visando obter diagnóstico em âmbito nacional (VC)

Indicadores de Gestão - Histórico 2º semestre/99 - auditoria-piloto na Fundação Universidade de Brasília (FUB) para levantamento de indicadores de desempenho que possibilitassem futuros estudos comparativos entre as IFES Decisão Plenária nº 358/2000 - relatório de auditoria da FUB Determinação: utilização do relatório de auditoria da FUB como subsídio às auditorias que seriam realizadas nas IFES dos Estados do AM, PE, GO, RJ e RS; consulta à SESu/MEC e à FUB sobre a metodologia empregada para o levantamento dos indicadores de desempenho. (HS)

Indicadores de Gestão - Histórico 2000 - auditorias em 5 IFES: Fundação Universidade do Amazonas (FUA), Universidade Federal de Goiás (UFG), Universidade Federal de Pernambuco (UFPE), Universidade Federal do Rio de Janeiro (UFRJ) e Universidade Federal do Rio Grande do Sul (UFRS). 2001 - consolidação das auditorias realizadas nos estados e avaliação dos indicadores de desempenho (6ª Secex)

Indicadores de Gestão - Histórico Abril/2002 - Decisão Plenária nº 408/2002 determinações: inclusão, pelas IFES, dos indicadores de gestão especificados nos respectivos relatórios de gestão das contas anuais; criação de grupo de contato ( 6ª Secex, da SESu e SFC), para orientar as IFES na implementação padronizada dos indicadores e estabelecer plano de ação com vistas a aprimorá-los; a inclusão, no Relatório Anual das Contas do Governo, de análise setorial do desenvolvimento das IFES quanto aos indicadores

Indicadores de Gestão  Custo Corrente/Aluno;  Aluno/Professor;  Aluno/Funcionário;  Funcionário/Professor;  Grau de Participação Estudantil (GPE);  Grau de Envolvimento com Pós-Graduação (GEPG);  Conceito CAPES;  Índice de Qualificação do Corpo Docente (IQCD);  Taxa de Sucesso na Graduação (TSG).

Indicadores de Gestão 1 - Custo Corrente/Aluno despesas correntes totais dividido pelo número total de alunos equivalentes * custo corrente inclui gastos com professores substitutos e visitantes, funcionários terceirizados e servidores do quadro em atividades não diretamente relacionadas às atividades-fim da universidade; - despesas com sentenças judiciais, aposentadorias, reformas e pensões, pessoal afastado ou cedido; - 65% do custo dos hospitais universitários

Indicadores de Gestão 2 - Aluno/Professor: 3 - Aluno/Funcionário: = número de alunos tempo integral/número de docentes de tempo integral em exercício na atividade acadêmica + professores visitantes e substitutos, de caráter temporário - professores afastados ou cedidos 3 - Aluno/Funcionário: = número de alunos de tempo integral/número total de funcionários de tempo integral + servidores e prestadores de serviço não vinculados, direta ou indiretamente, às atividades de ensino e pesquisa, bem como os servidores lotados no Hospital Universitário - servidores técnico-administrativos afastados ou cedidos

Indicadores de Gestão 4- Funcionário/Professor: funcionários de tempo integral / número total de docentes de tempo integral em exercício na atividade acadêmica. 5- Grau de Participação Estudantil (GPE): alunos de graduação de tempo integral / número total de alunos ativos na graduação. 6- Grau de Envolvimento com Pós-Graduação: alunos vinculados a programas de mestrado e doutorado / total de alunos da graduação, mestrado e doutorado.

Indicadores de Gestão 7 - Conceito Capes: média das notas de avaliação realizada pela Capes de todos os cursos de mestrado e doutorado 8 - Índice de Qualificação do Corpo Docente (IQCD): relação ponderada do número de professores com doutorado, mestrado, especialização e graduação 9 - Taxa de Sucesso na Graduação: relação entre o número de diplomados e o número total de ingressantes.

Indicadores de Gestão - limitações Incapacidade de evidenciar aspectos de cursos ou pesquisas específicos - nível de agregação Dificuldade de comparação - IFES complexas e heterogêneas Impossibilidade de retratar a qualidade do ensino e pesquisa (exceção “Conceito Capes”) - indicadores quantitativos Dificuldades na interpretação - consistência dos dados x desempenho da IFES

Indicadores de Gestão - limitações Inviabilidade de se analisar isoladamente os indicadores Dificuldade de se estabelecer hierarquia melhor-pior universidade Impossibilidade de se identificar causas, servem apenas como subsídios para investigação Necessidade de tempo para implementação e maturação dos indicadores

Indicadores de Gestão - limitações Insuficiência de dados e inexistência de série histórica Dificuldades frente a utilização imprópria - comparabilidade x padrão Dificuldades na definição dos componentes (aluno, professor, custo, etc) Possibilidade de interpretações distorcidas sobre o significado e a finalidade dos indicadores (Fub)

Indicadores de Gestão - vantagens Contribuem para superar a ausência atual de dados gerenciais padronizados Proporcionam forma complementar de avaliação das IFES Fornecem subsídios à formulação de metas de aperfeiçoamento, orientação e redirecionamento de ações Permitem identificar aspectos que apresentem oportunidade de melhoria

Indicadores de Gestão - vantagens Sinalizam áreas de bom desempenho - possível identificação de boas práticas Possibilitam o auto-monitoramento e auto-avaliação comparativa: entre IFES ou com exercícios anteriores Permitem o desenvolvimento de série histórica de dados Orientam trabalhos de fiscalização (de natureza operacional e de conformidade)

Grupo de Contato Integrantes: 6ª Secex/TCU, SESu/MEC e SFC/CGU Objetivos: orientar as IFES na implantação padronizada do conjunto inicial de indicadores de desempenho; e estabelecer plano de ação com vistas a aprimorá-los.

Grupo de Contato Papéis : SESu - auxiliar as IFES no cálculo dos indicadores a serem informados; SFC - acompanhar, por ocasião das auditorias de gestão, a conformidade dos indicadores informados; TCU - analisar os resultados apresentados; utilizar como subsídio para as contas de governo e orientar trabalhos de auditoria.

Grupo de Contato Resultados alcançados: oito reuniões desde 25/9/2002 redefinição da forma de cálculo e de componentes de indicadores, feita pela SESu e pelo TCU elaboração de documento de orientação às IFES para o cálculo dos indicadores (três versões) participação em encontro nacional das IFES para apresentação da metodologia de apuração dos indicadores, sua origem e seus objetivos

Análise de Conformidade dos Indicadores Fiscalização conjunta TCU-SFC (inspeções contas 2002) Objetivos: analisar a conformidade dos indicadores de gestão informados nas contas de 2002; orientar os gestores das IFES sobre a correta forma de apuração dos índices, de forma a garantir a conformidade dos indicadores relativos ao exercício de 2003; equipes: duas pessoas uma de cada órgão todas as Secex estaduais envolvidas plantão para orientação - 6ª Secex

Análise de Conformidade dos Indicadores Período padrão: quatro dias (planejamento, execução e relatório) roteiro de verificação testado em piloto pela 6ª Secex modelo de relatório-padrão simplificado pela 6ª Secex juntada às contas remessa do relatório às IFES e SFC consolidação pela 6ª Secex

Informação via Internet sítio da Secretaria de Educação Superior (SESu/ MEC) na Internet formulário eletrônico (SESu) para as IFES informarem os indicadores orientações para o cálculo dos indicadores de gestão (PDF e Word) formulário de cadastramento de indicadores de gestão Indicadores de desempenho por IFES planilha contendo o conjunto de indicadores de todas as IFES

Conclusões - Contas de Governo Análise Setorial nas Contas do Governo 2003 Conclusões - Contas de Governo Conclusões: pouca variação entre os dois anos (2002/2003); pequeno aumento no valor nominal médio (0,83%) do Custo Corrente/Aluno (IPCA = 9,30%  decréscimo real de 7,7%); Heterogeneidade entre IFES (dispersão siginificativa): Custo Corrente/Aluno (R$ 3.767,39 – R$ 20.145,95) Aluno/Funcionário (2,60 – 16,48) Funcionário/Professor (0,53 – 4,99)

Conclusões - Contas de Governo Análise Setorial nas Contas do Governo 2003 Conclusões - Contas de Governo Conclusões (cont): variação positiva nos indicadores de qualidade de ensino (GPE, IQCD e TSG)  resultado de políticas de incentivo do MEC, tais como a GED; grande diferenciação no Grau de Envolvimento com a Pós-Graduação entre as IFES de cada região do país.

Grau de Envolvimento com a Pós-Graduação

Conceito CAPES

Índice de Qualificação do Corpo Docente

Desafios Avaliar a metodologia cronograma; resultados das análises; possibilidade de extensão a outros segmentos; Desenvolver novos mecanismos de avaliação de gestão Otimizar e delimitar competências dos órgãos de controle Modernizar e aperfeiçoar o processo de contas Manter o diálogo constante

Obrigado pela atenção ! Ismar Barbosa Cruz Secretário da 6ª Secex/TCU TRIBUNAL DE CONTAS DA UNIÃO Obrigado pela atenção ! Ismar Barbosa Cruz Secretário da 6ª Secex/TCU e-mail: ismarbc@tcu.gov.br Brasília, 11 de agosto de 2004