USP-MBA: Administração de Projetos

Apresentação em tema: "USP-MBA: Administração de Projetos"— Transcrição da apresentação:

1 USP-MBA: Administração de Projetos
Avaliação de resultados de projetos FEA/USP – nov / 2.001

2 Folha de São Paulo, Caderno MAIS!, 27/06/99
Avaliar é formar um juízo, seja leigo ou científico

3 zoom Equação de Drake: Quantas estrelas nascem
Quantas estrelas têm sistema planetário Quantas estrelas têm vida Quantas estrelas têm vida em estágio de evolução para comunicação

4 Ciência Greek vase Side A: Athena Photograph by Maria Daniels,
courtesy of the University Museums, University of Mississippi The Goddess Athena wins over Ignorance, B. Spanger (c. 1591)

5 Vienna, Historisches Museum der Stadt Wien
Pallas Athene Gustav Klimt (1898) Vienna, Historisches Museum der Stadt Wien

6 Project Management Institute, Standards Committee
Project Management Institute, Standards Committee. A guide to the project Management Body of Knowledge. Avaliação é um ÁREA DE APLICAÇÃO DE CONHECIMENTO E PRÁTICA à Administração de Projetos. É uma disciplina acessória cujo conteúdo não é específico à Administração de Projetos. É a égide de Palas Atena

7 Administração de Projetos
Disciplinas do conhecimento (identidade no objeto): Integration Management Scope Management Time Management Cost Management Quality Management Human Resources Management Communication Management Risk Management Procurement Management Avaliação - disciplina básica, propedêutica (identidade em conceitos abstratos, genéricos) Tempo Espaço Finalidade Valores Meios Linguagem Simbologia

8 Avaliação Prática Princípios Ontológico & semântico:
Diferentes objetos com diferentes significados: Desenvolvimento de produto, conhecimento, etc. Ontológico & semântico: O quê? Com que sentido? Delimitação temporo-espacial do objeto Diferentes finalidades: Tomada decisão Planejamento Exploratória Descritiva Teleológico: Para quê?

9 Avaliação Prática Princípios Diferentes juízos de valor: Axiológico
subjetivo objetivo Axiológico O que é bom ou ruim Como é ajuizado o valor Diferentes estratégias metodológicas: Medidas qualitativas Medidas quantitativas Processamentos matemáticos Epistemológico Medidas Transformação de medidas Métodos analíticos

10 Princípio ontológico & semântico
O quê? Espaço Tempo Delimitação do escopo Momentos da avaliação do projeto

11 Espaço: delimitação do objeto de avaliação
Fatores condicionantes da percepção de sucesso (BAKER, FISHER e MURPHY) ·         Coordenação ·         Adequação da Estrutura de Projeto e de Controle ·         Identidade do projeto. Importância e exposição pública ·         Consenso e relevância dos critérios de sucesso ·         Pressão orçamentária e competitividade do ambiente (impacto negativo) ·         Dificuldades conceituais e excesso de entusiasmo inicial ·         Construção de capacidades internas Fatores condicionantes da percepção de sucesso (Amaru & Sbragia) ·         Qualidade técnica ·         Observância de custos e prazos ·         Construção de capacitação técnica ·         Avanço do conhecimento ·         Reconhecimento externo ·         Manutenção da instituição. Delimitados segundo o escopo ·         Ambiente externo ·         Organização-mãe ·         Organização do projeto

12 Avaliação: tempo Estrutura Organizacional De Uma Instituição Hipotética
Projetos Bens e serviços

13 Projeto ===> ciclo de vida
King & Cleland (1983) 1.de estabelecimento: identifica necessidades e define estratégia de resposta; 2. de crescimento: identifica recursos, define tarefas e atvdds. Cria documentação; 3. de maturação: executa, monitoriza e avalia; 4. de declínio: transfere recursos e faz balanço de resultados. Kruglianskas (1987) 1. de concepção; 2. de estruturação; 3. de execução; 4. de encerramento. Tuman Jr (1983) 1. de estudo e analise: determina o que se tem no presente o que se precisa para o futuro; 2. de desenho, desenvolvimento e implementação: especifica, constrói, e faz aplicação real 3. de documentação, treinamento, teste e suporte: assegura uso e faz ajustes Pereira e Saes (1995) 1. Preliminar; 2. Preparatória; 3. De campo; 4. De analise; 5. De redação; 6. De divulgação

14 Categorias de avaliação segundo o tempo
Atividades Ex-ante Ex-cursus Ex-post Tempo

15 Informações para a avaliação

16 Princípio teleológico vg. definição de prioridades
Para quê? Conhecimento Tomada de decisão Descritiva Exploratória vg. estudos acadêmicos vg. planejamento vg. definição de prioridades Condiciona a expressão dos outros princípios

17 Princípio teleológico
Para quê? Desenvolvimento de produto Inovação Competitividade Re-engenharia vg. nova tecnologia, novo processo vg. re-inserção no setor vg. re-definição da produção Condiciona a expressão dos outros princípios

18 P. Teleológico na avaliação de resultados de projetos
Amaru & Sbragia - Anotações conceituais ·          Avaliação deve medir resultados: projetos realizados e dinheiro não desperdiçado; ·          Avaliação deve retroalimentar planejamento; ·          Avaliações de eficiência e eficácia integram o monitoramento do projeto; ·          Avaliação ex-post sucede o encerramento e focaliza impactos ·          Avaliação é feita por EQUIPES DE AVALIAÇÃO com representação das partes interessadas, que compara objetivos com resultados e analisa os impactos; Uma previsão de objetivos finais e intermediários, de indicadores e relatórios facilita o processo de avaliação

19 vg. programas de governo vg. consultores, assessores, literatura
Princípio axiológico Valoração Teórico Discricionário Ético vg. programas de governo vg. ad hoc Bench marks vg. consultores, assessores, literatura Julgamento de Paris: Rubens ( )

20 Princípio axiológico: juízo de valor
Discricionário Da autoridade Ético Excelência reconhecida Teórico Definição metodológica Subjetivo Objetivo

21 Juízos objetivo e subjetivo são complementares
Verdade Evolução do conhecimento Mario Bunge. Semântica II: Interpretaçao e verdade. EDUSP, 1976

22 P. Axiológico na avaliação de resultados de projetos
Jesus Sebastian Processo de valoração, sempre feito por Comitês, será realizado por comparações internas quando da ausência de metas quantitativas bem definidas Há que se considerar avaliação de impactos não previstos Há que se considerar estudos de casos benchmark Há que se considerar inquéritos com empresas Há que se considerar entrevistas com usuários e gestores do programa Há que se considerar a comparação com dados secundários externos ao programa Pode-se medir eficácia e eficiência, mas impactos serão juizos externos. Eventualmente pode-se ter indicadores globais de retorno de investimentos.

23 Princípio epistemológico
Medidas Qualitativas X quantitativas Precisão X acurácia Processamento Univariado Multivariado

24 Medidas qualitativas Callimachi numeris non est discendus Achilles - Ovídio

25 Medida univariada

26 Medidas unidimensionais
Indicador sintético combinando aritmeticamente as duas medidas

27 Com redução a máxima afirmação/ negação

28 Medida multivariada

29 Medida multivariada z = f (x,y) Função de projeção

30 Precisão e acurácia

31 Erro aleatório: precisão X acurácia: diagnósticos médicos
Escuder MML & Nunes Silva N, FSP-USP1992

32 Conclusões: Avaliação
Princípio ontológico & semântico: O quê? Com que significado? Com que delimitação de tempo e de espaço? Princípio axiológico: Como se dá a valoração? Na autoridade, na referência ética, na definição teórica? Princípio teleológico: Para quê? Com que finalidade? Princípio epistemológico: Quais as estratégias de medidas e processamento?

33 Roteiro para uma avaliação ex-post
Tipo Medida Avaliação Terminal: Eficácia, Eficiência Avaliação de Impactos: Efetividade Internos Projeto, empresa Externos Setor, sociedade Avaliação Estratégica: Implicações Dimensão Variável Indicador Critério

34 ACOMPANHAMENTO X AVALIAÇÃO DE PROJETOS
 examina periodicamente o efeito/impacto do projeto (visão de longo prazo)  questiona políticas e normas  examina o progresso face aos objetivos previsto, questionando sua pertinência, validade, etc  focaliza a transformação dos produtos em objetivos  avalia os elementos do plano do projeto e aprecia mudanças ocorridas, causas, novos desafios, etc  verifica o grau de progresso e procura identificar as lições apreendidas  examina o progresso diário do projeto, numa base contínua  aceita políticas e normas  analisa o volume de produção  focaliza a transformação de insumos em produtos  concentra-se nos elementos contidos no plano do projeto  reporta o grau de implementação do projeto Prof. Roberto Sbragia PGT-FEA/FIA-USP

35 (Critérios de Desempenho)
DETERMINANTES DE SUCESSO (FCS- Fatores Críticos de Sucesso) CRITÉRIOS DE SUCESSO (Critérios de Desempenho) AMBIENTE EXTERNO ORGANIZAÇÃO MÃE GERENCIA DO PROJETO SUCESSO/FRACASSO NATUREZA DO PROJETO EM SI Porte Complexidade Etc. Prof. Roberto Sbragia PGT-FEA/FIA-USP

36 DIMENSÕES DO SUCESSO DE PROJETOS
VALIDADE TÉCNICA VALIDADE PARA O USUÁRIO EFICÁCIA ORGANIZACIONAL Prof. Roberto Sbragia PGT-FEA/FIA-USP

37 CAPACITAÇÃO TÉCNICA QUALIDADE TÉCNICA AVANÇO DE CONHECIMENTOS
0,268+ 0,221+ CAPACITAÇÃO TÉCNICA 0,338++ 0,297+ QUALIDADE TÉCNICA 0,661++ 0,238+ 0,227 AVANÇO DE CONHECIMENTOS OBSERVÂNCIA DE CUSTOS SATISFAÇÃO DO CLIENTE MANUTENÇÃO INSTITUCIONAL 0,394++ CREDIBILIDADE EXTERNA 0,240+ OBSERVÂNCIA DE PRAZOS 0,369++ 0,432++ RELAÇÕES COMERCIAIS 0,268+ + P< 0,05 ++ P< 0,01 INTER-CORRELAÇÃO ENTRE CRITÉRIOS DE AVALIAÇÃO DO DESEMPENHO DE PROJETOS TECNOLÓGICOS Prof. Roberto Sbragia PGT-FEA/FIA-USP

38 CRITÉRIOS DE SUCESSO DE PROJETOS
Pinto & Slevin, 88 QUALIDADE TÉCNICA USO PRAZO SATISFAÇÃO SUCESSO PROJETO CLIENTE EFICÁCIA CUSTO Prof. Roberto Sbragia PGT-FEA/FIA-USP

39 Medida: exemplo

40 Exercício: discussão em grupo + plenária
Objetivo do projeto: Desenvolver competências tecnológicas para a competitividade do setor Aeronáutico brasileiro Sugerir indicadores e critérios de medidas

41 Medidas utilizadas

42 Medidas utilizadas

43 Projeto

44 Sociedade

45 Condicionantes

46 Sintetizando medidas

47 E agora ? OU E Operações lógicas Alto e Muito Alto Muito baixo a médio
70% 60% 50% 40% 30% 20% 61 OU E agora ? Operações lógicas Alto e Muito Alto Muito baixo a médio 70% 60% 50% 40% 30% 20% 10% 0% 37 E

48 Ponderar medidas por expertise

49 E agora ?

50 Edição de medidas e combinação de informações de diferentes dimensões
Next week Same time Same channel