Carregar apresentação
A apresentação está carregando. Por favor, espere
1
USP-MBA: Administração de Projetos
Avaliação de resultados de projetos FEA/USP – nov / 2.001
2
Ponderar medidas
3
Ponderar medidas
4
Revisão de 7 autores na literatura:
Avaliação de desempenho de projetos em instituições de pesquisa Sbragia R. RAUSP 1984, 19(1):83-93 Revisão de 7 autores na literatura: Qualidade técnica Observância de prazos estimados Observância de custos estimados Satisfação do cliente e/ou patrocinadores Geração de lucros / retornos financeiros para a instituição Geração de novos contratos/ trabalhos adicionais Contribuição para o prestígio, reconhecimento e imagem da instituição Capacitação técnica adquirida pela instituição Viabilidade de aplicação comercial dos resultados Satisfação da equipe do projeto Satisfação da alta administração Contribuição para o conhecimento/ estado da arte Compatibilidade com os objetivos da instituição Compatibilidade com os objetivos dos indivíduos
5
Freqüência de uso Qualidade técnica 85,7%
Observância de prazos estimados ,1% Observância de custos estimados ,4% Satisfação do cliente e/ou patrocinadores 71,4% Geração de lucros / retornos financeiros para a instituição 28,5% Geração de novos contratos/ trabalhos adicionais 42,8% Contribuição para o prestígio, reconheci/o e imagem da instituição 42,8% Capacitação técnica adquirida pela instituição 57,1% Viabilidade de aplicação comercial dos resultados 42,8% Satisfação da equipe do projeto ,3% Satisfação da alta administração ,3% Contribuição para o conhecimento/ estado da arte 42,8% Compatibilidade com os objetivos da instituição 42,8% Compatibilidade com os objetivos dos indivíduos 14,3% Sbragia R. RAUSP 1984, 19(1):83-93
6
Reconhecimento de dimensões subjacentes
Qualidade técnica Observância de prazos estimados Observância de custos estimados Satisfação do cliente e/ou patrocinadores Geração de lucros / retornos financeiros para a instituição Geração de novos contratos/ trabalhos adicionais Contribuição para o prestígio, reconhecimento e imagem da instituição Capacitação técnica adquirida pela instituição Viabilidade de aplicação comercial dos resultados Satisfação da equipe do projeto Satisfação da alta administração Contribuição para o conhecimento/ estado da arte Compatibilidade com os objetivos da instituição Compatibilidade com os objetivos dos indivíduos Aspectos imediatos Aspectos intermediários Aspectos finais Sbragia R. RAUSP 1984, 19(1):83-93
7
Indicadores/Critérios
Escolha de variáveis Variável Indicadores/Critérios Peso 1. Qualidade técnica Escala de 1 a 7 para representar desempenho de baixo a alto 0,18 2. Observância a custo 0,15 3. Observância a prazo 0,12 4. Satisfação do cliente 0,11 5. Capacitação técnica 6. Avanço do conhecimento 0,06 7. Reconhecimento institucional 0,09 8. Relações comerciais 0,13 9. Manutenção instituição 0,05 Sbragia R. RAUSP 1984, 19(1):83-93
8
Criação de um indicador sintético
Sbragia R. RAUSP 1984, 19(1):83-93
9
Estratificações segundo categorias de projetos
Natureza Área disciplinar Tipo atividade Tipo Cliente Dimensão Orçamento Duração Tamanho Equipe Complexidade Nº unidades técnicas envolvidas Intensidade de interação entre unidades Dificuldade de cooperação entre unidades Identifica fatores condicionantes de resultado Sbragia R. RAUSP 1984, 19(1):83-93
10
Identifica fatores condicionantes de resultado
Estratificações segundo categorias de projetos Características do gerente do projeto Cargo funcional na organização Experiência (nº anos como líder) Congruência entre formação acadêmica e conteúdo técnico do projeto Características da equipe do projeto Grau de especialização Grau de experiência com o assunto do projeto Identifica fatores condicionantes de resultado Sbragia R. RAUSP 1984, 19(1):83-93
11
Lições: Reconhecer dimensões, variáveis, indicadores, critérios
Avaliação de desempenho de projetos em instituições de pesquisa Sbragia R. RAUSP 1984, 19(1):83-93 Lições: Reconhecer dimensões, variáveis, indicadores, critérios Estratificar: contemplar aspectos de Organização mãe Projeto Externo Ponderar dimensões de potencial, processo e resultado Buscar síntese de informação para formação de juízo Analisar por agrupamentos e estratificações que designem características de potencial e processo para ponderação / estratificação dos resultados
12
Tudo parece depender do objetivo
Avaliação e determinantes do sucesso de projetos de cooperação técnica internacional. Amaru Maximiano AC, Sbragia R Tudo parece depender do objetivo Princípio teleológico da avaliação Projetos de desenvolvimento de produto (engenharia) têm objeto e finalidade mais claramente definidos Projetos de desenvolvimento de C&T Progresso econômico e social Cooperação técnica internacional têm objeto e finalidade menos precisos Quanto mais difícil responder “Por quê?” para o projeto, mais difícil é o processo de avaliação.
13
Avaliação e determinantes de sucesso
Há que se distinguir: Objetivos específicos do projeto Atendimento a um dado planejamento (enunciado X tácito –político-) Relações entre ambos segundo Tempo Espaço Custos Trata-se de avaliar o cumprimento de Objetivos Prazos Budget Schedule Performance Client satisfaction Pinto JK et al. Proj Manag J 1988 Amaru Maximiano AC, Sbragia R
14
Avaliação e determinantes de sucesso
Critérios de sucesso: Qualidade técnica Observância Custos & Prazos Construção de capacidade técnica Avanço do conhecimento Reconhecimento externo Manutenção da instituição Determinantes de sucesso (Baker, Murphy e Fischer) Ambiente externo Organização mãe Organização do projeto Amaru Maximiano AC, Sbragia R
15
Exemplo: questionários
Fatores de êxito 1 2 3 4 5 Ambiente externo 1. 2. n Organização mãe Organização do projeto Amaru Maximiano AC, Sbragia R
16
Concluindo um relatório de avaliação
Equipe de avaliação: Executante Financiador Cliente / beneficiário Especialista Responder: O que o projeto pretendia fazer? O que efetivamente o projeto conseguiu fazer? Sendo (a) e (b) diferentes, quais as causas? Os objetivos mostrados em (a) continuam válidos ou devem ser alterados? Quais as conclusões? Quais as recomendações? Amaru Maximiano AC, Sbragia R
17
Variáveis, indicadores Quais os juízos de valor? O que é bom?
Lições: Avaliação e determinantes do sucesso de projetos de cooperação técnica internacional. Amaru Maximiano AC, Sbragia R O quê? Específico? Geral? Por quê? Produtos Finalidade Como? Variáveis, indicadores Quais os juízos de valor? O que é bom? Princípio ontológico e semântico Princípio teleológico Princípio epistemológico Princípio axiológico
18
Tipo Medida Avaliação ex-post Variável
Avaliação Terminal: Eficácia, Eficiência Avaliação de Impactos: Efetividade Internos Projeto, empresa Externos Setor, sociedade Avaliação Estratégica: Implicações Dimensão Variável Indicador Critério
19
Avaliação e determinantes de sucesso
Tipo Medida Avaliação Terminal: Eficácia Eficiência Avaliação de Impactos: Efetividade Avaliação Estratégica: Implicações Entrega de produto Cumprimento de prazo Cumprimento de orçamento Custo benefício: taxa de retorno Custo efetividade: preços Revisão do planejamento
20
Avaliação terminal: custo benefício
Consider Tangibles and intangibles Direct and indirect Determine benefits and place a monetary value Add costs Contrast: rates per $ unit Different projects Kee JE. Benefit-cost analysis. In: Wholey JS, Hatry HP, Newcomer KE. Handbook of practical program evaluation. San Francisco: Jossey-Bass, 1994, page 458 -
21
Avaliação terminal: custo benefício
Banco Mundial: taxa mínima de retorno de 10% United Nations, 1987 – Apud Amaru & Sbragia
22
Avaliação de impacto custo efetividade: produtos
Tarefa Atividade Tempo Total 1 2 3 $ $8
23
Avaliação de impacto custo efetividade: finalidades
Tarefa Finalidade Efeitos no Tempo Total Fim Fim +1 Fim +2 Fim +3 Fim +4 Fim +n 1 R$ 2 3 4
24
Avaliação impacto - vantagem atribuível
25
Avaliação impacto – vantagem atribuível
26
Avaliação estratégica
Miller R. R&D Management 1992; 22(1):3-20 Constituency reviews Board of trustees Peer reviews Comissão científica Ad hoc Cleland DI. Project Management. 1999: 359 British Petroleum’s PostProject Appraisal since 1977
27
Estratégias para avaliação ex-post
Qualitativas Strategic audits Constituency reviews Scientific peer review Quantitativas Cost/ benefit analysis Organizational studies Scientometrics and bibliometric indicators
28
Organizational studies: Auditoria estratégica por matriz de avaliação
29
Princípio axiológico: juízo de valor
Discricionário Da autoridade Ético Excelência reconhecida Teórico Definição metodológica Subjetivo Objetivo
30
Juízos objetivo e subjetivo são complementares
Verdade Evolução do conhecimento Mario Bunge. Semântica II: Interpretaçao e verdade. EDUSP, 1976
31
Oggettività: Il signor Palomar
Possiamo partire, per amor di chiarezza, da una tesi che fu esposta in proposito, nelle pagine di Palomar, da Italo Calvino: "Ma come si fa a guardare qualcosa lasciando da parte l’io? Di chi sono gli occhi che guardano?[…] Dunque: c'è una finestra che s'affaccia sul mondo. Di là c'è il mondo; e di qua? Sempre il mondo: cos'altro volete che ci sia? È dato che c'è mondo di qua e mondo di là della finestra, forse l'io non è altro che la finestra attraverso la quale il mondo guarda il mondo. Per guardare se stesso il mondo ha bisogno degli occhi (e degli occhiali) del signor Palomar". Enrico Bellone Come mai cerchiamo l'invarianza in un mondo di trasformazioni? Magritte, La promenade d'Euclide, 1955 © SIAE
32
Pee break
33
Análise de dados qualitativos
Wisdom of Solomon 11:21, vulgata version
34
Estratégias de processamento de dados
3 abordagens: Criação de um indicador por combinação de medidas Identificação de padrões de relações entre medidas Identificação de padrões de comportamento de objetos
35
Criando um indicador OBJETO Y Y A 2 1 B 1 4 C 3 2 D 2 2 E 4 3 F 5 5
G 3 2 H 2 2 I 4 1 J 1 4
36
Criando um indicador
37
Criando um indicador
38
Criando um indicador A B C E G F D H I J
39
Criando um indicador
43
Criando um indicador
44
Criando um indicador: Alpha de Cronbach
45
Criando um indicador: Alpha de Cronbach
46
Criando um indicador: Alpha de Cronbach
47
Identificação de padrões de relações entre medidas
48
Análise fatorial
49
Fatorial X Indicador aditivo
D A B H J C I E G F -1,06 -1,05 -0,63 -0,62 -0,2 -0,17 -0,15 0,71 1,13 2,03 A B C E G F D H I J
50
Impacto– Factor analysis
51
Estratificação por campos de pesquisa
52
Avaliação de pesquisador
53
Identificação de padrões de comportamento de objetos
57
Cluster
58
?
59
Cluster
60
Dendrogram using Average Linkage (Between Groups)
Rescaled Distance Cluster Combine C A S E Label Num B J D I I H A I I C I I I I E I F G
61
Clusters
62
Fatorial X Indicador aditivo X Cluster
D A B H J C I E G F -1,06 -1,05 -0,63 -0,62 -0,2 -0,17 -0,15 0,71 1,13 2,03 A B C E G F D H I J Cluster Baixo X , Baixo Y Cluster Alto X Cluster Alto X e Y ADBHJ CIE GF
63
Avaliação de impacto por Cluster analysis
64
Avaliação de impacto por Cluster analysis
65
Factor X Cluster
66
Avaliação de impacto por análise cienciométrica
67
Exercício: Quais estratégias de análise para analisar os impactos do projeto “Desenvolver competências tecnológicas para a competitividade do setor Aeronáutico brasileiro” 3 abordagens: Criar um indicador por combinação de medidas? Identificar de padrões de relações entre medidas, uma ou mais dimensão de projeção? Identificar de padrões de comportamento de objetos, criar uma taxonomia de impactos?
68
Análise de cluster num espaço heptadimensional
Exercício - resultado Análise de cluster num espaço heptadimensional
69
Cluster: 4 grupos
70
Caracterização dos grupos
TÓPICOS DE ELUCIDAÇÃO DE ALTA EXEQUIBILIDADE TÓPICOS MAIS PROMISSORES TÓPICOS DE DESENVOLVIMENTO QUE ATRAEM MAIS INTERESSE, PORÉM COM MENOR EXEQUIBILIDADE TÓPICOS DE DESENVOLVIMENTO DE SITUAÇÃO INTERMEDIÁRIA
71
Sistemas aeronáuticos Tópicos de melhor desempenho
Projeto Desenvolvimento de competências tecnológicas para a competitividade do setor Aeronáutico brasileiro Tópicos de elucidação de pequeno impacto mas que demandaram pequeno esforço Sistemas aeronáuticos Tópicos de melhor desempenho Estruturas aeroespaciais Aerodinâmica Tópicos de desenvolvimento cujos impactos foram limitados por dificuldades de execução Propulsão aeronáutica Sistemas de controle e defesa aérea Tópicos de desenvolvimento em situação intermediária Materiais e Processos p/ Engenharia Aeronáutica
72
Exercício Dendrogram using Average Linkage (Between Groups)
C A S E Label Num Aerodinâmica Materiais e Processo I Propulsão Aeronáutic I Estruturas Aeroespac Sistemas Aeronáutico Sistemas de Controle
73
Exercício
74
Exercício
75
Link para Mauro: multicritério
76
Avaliação: como fazer? The White Rabbit put on his spectacles. `Where shall I begin, please your Majesty?' he asked. `Begin at the beginning,' the King said gravely, `and go on till you come to the end: then stop.'
Apresentações semelhantes
© 2024 SlidePlayer.com.br Inc.
All rights reserved.