USP-MBA: Administração de Projetos

Apresentação em tema: "USP-MBA: Administração de Projetos"— Transcrição da apresentação:

1 USP-MBA: Administração de Projetos
Avaliação de resultados de projetos FEA/USP – nov / 2.001

2 Ponderar medidas

3 Ponderar medidas

4 Revisão de 7 autores na literatura:
Avaliação de desempenho de projetos em instituições de pesquisa Sbragia R. RAUSP 1984, 19(1):83-93 Revisão de 7 autores na literatura: Qualidade técnica Observância de prazos estimados Observância de custos estimados Satisfação do cliente e/ou patrocinadores Geração de lucros / retornos financeiros para a instituição Geração de novos contratos/ trabalhos adicionais Contribuição para o prestígio, reconhecimento e imagem da instituição Capacitação técnica adquirida pela instituição Viabilidade de aplicação comercial dos resultados Satisfação da equipe do projeto Satisfação da alta administração Contribuição para o conhecimento/ estado da arte Compatibilidade com os objetivos da instituição Compatibilidade com os objetivos dos indivíduos

5 Freqüência de uso Qualidade técnica 85,7%
Observância de prazos estimados ,1% Observância de custos estimados ,4% Satisfação do cliente e/ou patrocinadores 71,4% Geração de lucros / retornos financeiros para a instituição 28,5% Geração de novos contratos/ trabalhos adicionais 42,8% Contribuição para o prestígio, reconheci/o e imagem da instituição 42,8% Capacitação técnica adquirida pela instituição 57,1% Viabilidade de aplicação comercial dos resultados 42,8% Satisfação da equipe do projeto ,3% Satisfação da alta administração ,3% Contribuição para o conhecimento/ estado da arte 42,8% Compatibilidade com os objetivos da instituição 42,8% Compatibilidade com os objetivos dos indivíduos 14,3% Sbragia R. RAUSP 1984, 19(1):83-93

6 Reconhecimento de dimensões subjacentes
Qualidade técnica Observância de prazos estimados Observância de custos estimados Satisfação do cliente e/ou patrocinadores Geração de lucros / retornos financeiros para a instituição Geração de novos contratos/ trabalhos adicionais Contribuição para o prestígio, reconhecimento e imagem da instituição Capacitação técnica adquirida pela instituição Viabilidade de aplicação comercial dos resultados Satisfação da equipe do projeto Satisfação da alta administração Contribuição para o conhecimento/ estado da arte Compatibilidade com os objetivos da instituição Compatibilidade com os objetivos dos indivíduos Aspectos imediatos Aspectos intermediários Aspectos finais Sbragia R. RAUSP 1984, 19(1):83-93

7 Indicadores/Critérios
Escolha de variáveis Variável Indicadores/Critérios Peso 1. Qualidade técnica Escala de 1 a 7 para representar desempenho de baixo a alto 0,18 2. Observância a custo 0,15 3. Observância a prazo 0,12 4. Satisfação do cliente 0,11 5. Capacitação técnica 6. Avanço do conhecimento 0,06 7. Reconhecimento institucional 0,09 8. Relações comerciais 0,13 9. Manutenção instituição 0,05 Sbragia R. RAUSP 1984, 19(1):83-93

8 Criação de um indicador sintético
Sbragia R. RAUSP 1984, 19(1):83-93

9 Estratificações segundo categorias de projetos
Natureza Área disciplinar Tipo atividade Tipo Cliente Dimensão Orçamento Duração Tamanho Equipe Complexidade Nº unidades técnicas envolvidas Intensidade de interação entre unidades Dificuldade de cooperação entre unidades Identifica fatores condicionantes de resultado Sbragia R. RAUSP 1984, 19(1):83-93

10 Identifica fatores condicionantes de resultado
Estratificações segundo categorias de projetos Características do gerente do projeto Cargo funcional na organização Experiência (nº anos como líder) Congruência entre formação acadêmica e conteúdo técnico do projeto Características da equipe do projeto Grau de especialização Grau de experiência com o assunto do projeto Identifica fatores condicionantes de resultado Sbragia R. RAUSP 1984, 19(1):83-93

11 Lições: Reconhecer dimensões, variáveis, indicadores, critérios
Avaliação de desempenho de projetos em instituições de pesquisa Sbragia R. RAUSP 1984, 19(1):83-93 Lições: Reconhecer dimensões, variáveis, indicadores, critérios Estratificar: contemplar aspectos de Organização mãe Projeto Externo Ponderar dimensões de potencial, processo e resultado Buscar síntese de informação para formação de juízo Analisar por agrupamentos e estratificações que designem características de potencial e processo para ponderação / estratificação dos resultados

12 Tudo parece depender do objetivo
Avaliação e determinantes do sucesso de projetos de cooperação técnica internacional. Amaru Maximiano AC, Sbragia R Tudo parece depender do objetivo Princípio teleológico da avaliação Projetos de desenvolvimento de produto (engenharia) têm objeto e finalidade mais claramente definidos Projetos de desenvolvimento de C&T Progresso econômico e social Cooperação técnica internacional têm objeto e finalidade menos precisos Quanto mais difícil responder “Por quê?” para o projeto, mais difícil é o processo de avaliação.

13 Avaliação e determinantes de sucesso
Há que se distinguir: Objetivos específicos do projeto Atendimento a um dado planejamento (enunciado X tácito –político-) Relações entre ambos segundo Tempo Espaço Custos Trata-se de avaliar o cumprimento de Objetivos Prazos Budget Schedule Performance Client satisfaction Pinto JK et al. Proj Manag J 1988 Amaru Maximiano AC, Sbragia R

14 Avaliação e determinantes de sucesso
Critérios de sucesso: Qualidade técnica Observância Custos & Prazos Construção de capacidade técnica Avanço do conhecimento Reconhecimento externo Manutenção da instituição Determinantes de sucesso (Baker, Murphy e Fischer) Ambiente externo Organização mãe Organização do projeto Amaru Maximiano AC, Sbragia R

15 Exemplo: questionários
Fatores de êxito 1 2 3 4 5 Ambiente externo 1. 2. n Organização mãe Organização do projeto Amaru Maximiano AC, Sbragia R

16 Concluindo um relatório de avaliação
Equipe de avaliação: Executante Financiador Cliente / beneficiário Especialista Responder: O que o projeto pretendia fazer? O que efetivamente o projeto conseguiu fazer? Sendo (a) e (b) diferentes, quais as causas? Os objetivos mostrados em (a) continuam válidos ou devem ser alterados? Quais as conclusões? Quais as recomendações? Amaru Maximiano AC, Sbragia R

17 Variáveis, indicadores Quais os juízos de valor? O que é bom?
Lições: Avaliação e determinantes do sucesso de projetos de cooperação técnica internacional. Amaru Maximiano AC, Sbragia R O quê? Específico? Geral? Por quê? Produtos Finalidade Como? Variáveis, indicadores Quais os juízos de valor? O que é bom? Princípio ontológico e semântico Princípio teleológico Princípio epistemológico Princípio axiológico

18 Tipo Medida Avaliação ex-post Variável
Avaliação Terminal: Eficácia, Eficiência Avaliação de Impactos: Efetividade Internos Projeto, empresa Externos Setor, sociedade Avaliação Estratégica: Implicações Dimensão Variável Indicador Critério

19 Avaliação e determinantes de sucesso
Tipo Medida Avaliação Terminal: Eficácia Eficiência Avaliação de Impactos: Efetividade Avaliação Estratégica: Implicações Entrega de produto Cumprimento de prazo Cumprimento de orçamento Custo benefício: taxa de retorno Custo efetividade: preços Revisão do planejamento

20 Avaliação terminal: custo benefício
Consider Tangibles and intangibles Direct and indirect Determine benefits and place a monetary value Add costs Contrast: rates per $ unit Different projects Kee JE. Benefit-cost analysis. In: Wholey JS, Hatry HP, Newcomer KE. Handbook of practical program evaluation. San Francisco: Jossey-Bass, 1994, page 458 -

21 Avaliação terminal: custo benefício
Banco Mundial: taxa mínima de retorno de 10% United Nations, 1987 – Apud Amaru & Sbragia

22 Avaliação de impacto custo efetividade: produtos
Tarefa Atividade Tempo Total 1 2 3 $ $8

23 Avaliação de impacto custo efetividade: finalidades
Tarefa Finalidade Efeitos no Tempo Total Fim Fim +1 Fim +2 Fim +3 Fim +4 Fim +n 1 R$ 2 3 4

24 Avaliação impacto - vantagem atribuível

25 Avaliação impacto – vantagem atribuível

26 Avaliação estratégica
Miller R. R&D Management 1992; 22(1):3-20 Constituency reviews Board of trustees Peer reviews Comissão científica Ad hoc Cleland DI. Project Management. 1999: 359 British Petroleum’s PostProject Appraisal since 1977

27 Estratégias para avaliação ex-post
Qualitativas Strategic audits Constituency reviews Scientific peer review Quantitativas Cost/ benefit analysis Organizational studies Scientometrics and bibliometric indicators

28 Organizational studies: Auditoria estratégica por matriz de avaliação

29 Princípio axiológico: juízo de valor
Discricionário Da autoridade Ético Excelência reconhecida Teórico Definição metodológica Subjetivo Objetivo

30 Juízos objetivo e subjetivo são complementares
Verdade Evolução do conhecimento Mario Bunge. Semântica II: Interpretaçao e verdade. EDUSP, 1976

31 Oggettività: Il signor Palomar
Possiamo partire, per amor di chiarezza, da una tesi che fu esposta in proposito, nelle pagine di Palomar, da Italo Calvino: "Ma come si fa a guardare qualcosa lasciando da parte l’io? Di chi sono gli occhi che guardano?[…] Dunque: c'è una finestra che s'affaccia sul mondo. Di là c'è il mondo; e di qua? Sempre il mondo: cos'altro volete che ci sia? È dato che c'è mondo di qua e mondo di là della finestra, forse l'io non è altro che la finestra attraverso la quale il mondo guarda il mondo. Per guardare se stesso il mondo ha bisogno degli occhi (e degli occhiali) del signor Palomar". Enrico Bellone Come mai cerchiamo l'invarianza in un mondo di trasformazioni? Magritte, La promenade d'Euclide, 1955 © SIAE

32 Pee break

33 Análise de dados qualitativos
Wisdom of Solomon 11:21, vulgata version

34 Estratégias de processamento de dados
3 abordagens: Criação de um indicador por combinação de medidas Identificação de padrões de relações entre medidas Identificação de padrões de comportamento de objetos

35 Criando um indicador OBJETO Y Y A 2 1 B 1 4 C 3 2 D 2 2 E 4 3 F 5 5
G 3 2 H 2 2 I 4 1 J 1 4

36 Criando um indicador

37 Criando um indicador

38 Criando um indicador A B C E G F D H I J

39 Criando um indicador

40

41

42

43 Criando um indicador

44 Criando um indicador: Alpha de Cronbach

45 Criando um indicador: Alpha de Cronbach

46 Criando um indicador: Alpha de Cronbach

47 Identificação de padrões de relações entre medidas

48 Análise fatorial

49 Fatorial X Indicador aditivo
D A B H J C I E G F -1,06 -1,05 -0,63 -0,62 -0,2 -0,17 -0,15 0,71 1,13 2,03 A B C E G F D H I J

50 Impacto– Factor analysis

51 Estratificação por campos de pesquisa

52 Avaliação de pesquisador

53 Identificação de padrões de comportamento de objetos

54

55

56

57 Cluster

58 ?

59 Cluster

60 Dendrogram using Average Linkage (Between Groups)
Rescaled Distance Cluster Combine C A S E Label Num B J D I I H A I I C I I I I E I F G

61 Clusters

62 Fatorial X Indicador aditivo X Cluster
D A B H J C I E G F -1,06 -1,05 -0,63 -0,62 -0,2 -0,17 -0,15 0,71 1,13 2,03 A B C E G F D H I J Cluster Baixo X , Baixo Y Cluster Alto X Cluster Alto X e Y ADBHJ CIE GF

63 Avaliação de impacto por Cluster analysis

64 Avaliação de impacto por Cluster analysis

65 Factor X Cluster

66 Avaliação de impacto por análise cienciométrica

67 Exercício: Quais estratégias de análise para analisar os impactos do projeto “Desenvolver competências tecnológicas para a competitividade do setor Aeronáutico brasileiro” 3 abordagens: Criar um indicador por combinação de medidas? Identificar de padrões de relações entre medidas, uma ou mais dimensão de projeção? Identificar de padrões de comportamento de objetos, criar uma taxonomia de impactos?

68 Análise de cluster num espaço heptadimensional
Exercício - resultado Análise de cluster num espaço heptadimensional

69 Cluster: 4 grupos

70 Caracterização dos grupos
TÓPICOS DE ELUCIDAÇÃO DE ALTA EXEQUIBILIDADE TÓPICOS MAIS PROMISSORES TÓPICOS DE DESENVOLVIMENTO QUE ATRAEM MAIS INTERESSE, PORÉM COM MENOR EXEQUIBILIDADE TÓPICOS DE DESENVOLVIMENTO DE SITUAÇÃO INTERMEDIÁRIA

71 Sistemas aeronáuticos Tópicos de melhor desempenho
Projeto Desenvolvimento de competências tecnológicas para a competitividade do setor Aeronáutico brasileiro Tópicos de elucidação de pequeno impacto mas que demandaram pequeno esforço Sistemas aeronáuticos Tópicos de melhor desempenho Estruturas aeroespaciais Aerodinâmica Tópicos de desenvolvimento cujos impactos foram limitados por dificuldades de execução Propulsão aeronáutica Sistemas de controle e defesa aérea Tópicos de desenvolvimento em situação intermediária Materiais e Processos p/ Engenharia Aeronáutica

72 Exercício Dendrogram using Average Linkage (Between Groups)
C A S E Label Num Aerodinâmica Materiais e Processo I Propulsão Aeronáutic I Estruturas Aeroespac Sistemas Aeronáutico Sistemas de Controle

73 Exercício

74 Exercício

75 Link para Mauro: multicritério

76 Avaliação: como fazer? The White Rabbit put on his spectacles. `Where shall I begin, please your Majesty?' he asked. `Begin at the beginning,' the King said gravely, `and go on till you come to the end: then stop.'