A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos.

Apresentações semelhantes


Apresentação em tema: "Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos."— Transcrição da apresentação:

1

2 Avaliação de resultados de projetos FEA/USP – nov / USP-MBA: Administração de Projetos

3 Ponderar medidas

4

5 Avaliação de desempenho de projetos em instituições de pesquisa Sbragia R. RAUSP 1984, 19(1):83-93 Revisão de 7 autores na literatura: 1.Qualidade técnica 2.Observância de prazos estimados 3.Observância de custos estimados 4.Satisfação do cliente e/ou patrocinadores 5.Geração de lucros / retornos financeiros para a instituição 6.Geração de novos contratos/ trabalhos adicionais 7.Contribuição para o prestígio, reconhecimento e imagem da instituição 8.Capacitação técnica adquirida pela instituição 9.Viabilidade de aplicação comercial dos resultados 10.Satisfação da equipe do projeto 11.Satisfação da alta administração 12.Contribuição para o conhecimento/ estado da arte 13.Compatibilidade com os objetivos da instituição 14.Compatibilidade com os objetivos dos indivíduos

6 Freqüência de uso 1.Qualidade técnica85,7% 2.Observância de prazos estimados57,1% 3.Observância de custos estimados71,4% 4.Satisfação do cliente e/ou patrocinadores71,4% 5.Geração de lucros / retornos financeiros para a instituição28,5% 6.Geração de novos contratos/ trabalhos adicionais42,8% 7.Contribuição para o prestígio, reconheci/o e imagem da instituição42,8% 8.Capacitação técnica adquirida pela instituição57,1% 9.Viabilidade de aplicação comercial dos resultados42,8% 10.Satisfação da equipe do projeto14,3% 11.Satisfação da alta administração14,3% 12.Contribuição para o conhecimento/ estado da arte42,8% 13.Compatibilidade com os objetivos da instituição42,8% 14.Compatibilidade com os objetivos dos indivíduos14,3% Sbragia R. RAUSP 1984, 19(1):83-93

7 Reconhecimento de dimensões subjacentes 1.Qualidade técnica 2.Observância de prazos estimados 3.Observância de custos estimados 4.Satisfação do cliente e/ou patrocinadores 5.Geração de lucros / retornos financeiros para a instituição 6.Geração de novos contratos/ trabalhos adicionais 7.Contribuição para o prestígio, reconhecimento e imagem da instituição 8.Capacitação técnica adquirida pela instituição 9.Viabilidade de aplicação comercial dos resultados 10.Satisfação da equipe do projeto 11.Satisfação da alta administração 12.Contribuição para o conhecimento/ estado da arte 13.Compatibilidade com os objetivos da instituição 14.Compatibilidade com os objetivos dos indivíduos 1.Aspectos imediatos 2.Aspectos intermediários 3.Aspectos finais Sbragia R. RAUSP 1984, 19(1):83-93

8 Escolha de variáveis Variável Indicadores/ Critérios Peso 1. Qualidade técnica Escala de 1 a 7 para representar desempenho de baixo a alto 0,18 2. Observância a custo 0,15 3. Observância a prazo 0,12 4. Satisfação do cliente 0,11 5. Capacitação técnica 0,11 6. Avanço do conhecimento 0,06 7. Reconhecimento institucional 0,09 8. Relações comerciais 0,13 9. Manutenção instituição 0,05 Sbragia R. RAUSP 1984, 19(1):83-93

9 Criação de um indicador sintético Sbragia R. RAUSP 1984, 19(1):83-93

10 Estratificações segundo categorias de projetos 1.Natureza 1.Área disciplinar 2.Tipo atividade 3.Tipo Cliente 2.Dimensão 1.Orçamento 2.Duração 3.Tamanho Equipe 3.Complexidade 1.Nº unidades técnicas envolvidas 2.Intensidade de interação entre unidades 3.Dificuldade de cooperação entre unidades Identifica fatores condicionantes de resultado Sbragia R. RAUSP 1984, 19(1):83-93

11 Estratificações segundo categorias de projetos 4.Características do gerente do projeto 1.Cargo funcional na organização 2.Experiência (nº anos como líder) 3.Congruência entre formação acadêmica e conteúdo técnico do projeto 5.Características da equipe do projeto 1.Grau de especialização 2.Grau de experiência com o assunto do projeto Identifica fatores condicionantes de resultado Sbragia R. RAUSP 1984, 19(1):83-93

12 Avaliação de desempenho de projetos em instituições de pesquisa Sbragia R. RAUSP 1984, 19(1):83-93 Lições: –Reconhecer dimensões, variáveis, indicadores, critérios –Estratificar: contemplar aspectos de Organização mãe Projeto Externo Ponderar dimensões de potencial, processo e resultado –Buscar síntese de informação para formação de juízo –Analisar por agrupamentos e estratificações que designem características de potencial e processo para ponderação / estratificação dos resultados

13 Avaliação e determinantes do sucesso de projetos de cooperação técnica internacional. Amaru Maximiano AC, Sbragia R Tudo parece depender do objetivo –Princípio teleológico da avaliação Projetos de desenvolvimento de produto (engenharia) têm objeto e finalidade mais claramente definidos Projetos de desenvolvimento de –C&T –Progresso econômico e social –Cooperação técnica internacional têm objeto e finalidade menos precisos Quanto mais difícil responder Por quê? para o projeto, mais difícil é o processo de avaliação.

14 Avaliação e determinantes de sucesso Há que se distinguir: –Objetivos específicos do projeto –Atendimento a um dado planejamento (enunciado X tácito –político-) –Relações entre ambos segundo Tempo Espaço Custos Trata-se de avaliar o cumprimento de –Objetivos –Prazos –Custos Amaru Maximiano AC, Sbragia R Budget Schedule Performance Client satisfaction Pinto JK et al. Proj Manag J 1988

15 Avaliação e determinantes de sucesso Amaru Maximiano AC, Sbragia R Determinantes de sucesso (Baker, Murphy e Fischer) Ambiente externo Organização mãe Organização do projeto Critérios de sucesso: 1.Qualidade técnica 2.Observância Custos & Prazos 3.Construção de capacidade técnica 4.Avanço do conhecimento 5.Reconhecimento externo 6.Manutenção da instituição

16 Exemplo: questionários Fatores de êxito12345 Ambiente externo n Organização mãe n Organização do projeto n Amaru Maximiano AC, Sbragia R

17 Concluindo um relatório de avaliação Amaru Maximiano AC, Sbragia R Equipe de avaliação: Executante Financiador Cliente / beneficiário Especialista Responder: a)O que o projeto pretendia fazer? b)O que efetivamente o projeto conseguiu fazer? c)Sendo (a) e (b) diferentes, quais as causas? d)Os objetivos mostrados em (a) continuam válidos ou devem ser alterados? e)Quais as conclusões? f)Quais as recomendações?

18 Lições: Avaliação e determinantes do sucesso de projetos de cooperação técnica internacional. Amaru Maximiano AC, Sbragia R 1.O quê? Específico? Geral? 2.Por quê? Produtos Finalidade 3.Como? Variáveis, indicadores 4.Quais os juízos de valor? O que é bom? 1.Princípio ontológico e semântico 2.Princípio teleológico 3.Princípio epistemológico 4.Princípio axiológico

19 Avaliação Terminal: Eficácia, Eficiência Avaliação de Impactos: Efetividade –Internos Projeto, empresa –Externos Setor, sociedade Avaliação Estratégica: Implicações Dimensão Variável Indicador Critério TipoMedida Avaliação ex-post

20 Avaliação Terminal: – Eficácia –Eficiência Avaliação de Impactos: Efetividade Avaliação Estratégica: Implicações Entrega de produto Cumprimento de prazo Cumprimento de orçamento Custo benefício: taxa de retorno Custo efetividade: preços Revisão do planejamento TipoMedida Avaliação e determinantes de sucesso

21 Avaliação terminal: custo benefício Kee JE. Benefit-cost analysis. In: Wholey JS, Hatry HP, Newcomer KE. Handbook of practical program evaluation. San Francisco: Jossey-Bass, 1994, page Consider Tangibles and intangibles Direct and indirect Determine benefits and place a monetary value Add costs Contrast: rates per $ unit Different projects

22 Avaliação terminal: custo benefício Banco Mundial: taxa mínima de retorno de 10% United Nations, 1987 – Apud Amaru & Sbragia

23 Avaliação de impacto custo efetividade: produtos TarefaAtividade TempoTotal $112211$

24 Avaliação de impacto custo efetividade: finalidades TarefaFinalidade Efeitos no TempoTotal Fim Fim +1 Fim +2 Fim +3 Fim +4 Fim +n 1 R$

25 Avaliação impacto - vantagem atribuível

26 Avaliação impacto – vantagem atribuível

27 Avaliação estratégica Miller R. R&D Management 1992; 22(1):3-20 Constituency reviews –Board of trustees Peer reviews –Comissão científica –Ad hoc Cleland DI. Project Management. 1999: 359 British Petroleums PostProject Appraisal since 1977

28 Estratégias para avaliação ex-post Qualitativas Strategic audits Constituency reviews Scientific peer review Quantitativas Cost/ benefit analysis Organizational studies Scientometrics and bibliometric indicators

29 Organizational studies: Auditoria estratégica por matriz de avaliação

30 Princípio axiológico: juízo de valor Discricionário –Da autoridade Ético –Excelência reconhecida Teórico –Definição metodológica Subjetivo Objetivo

31 Juízos objetivo e subjetivo são complementares Evolução do conhecimento Verdade Mario Bunge. Semântica II: Interpretaçao e verdade. EDUSP, 1976

32 Possiamo partire, per amor di chiarezza, da una tesi che fu esposta in proposito, nelle pagine di Palomar, da Italo Calvino: " Ma come si fa a guardare qualcosa lasciando da parte lio? Di chi sono gli occhi che guardano?[…] Dunque: c'è una finestra che s'affaccia sul mondo. Di là c'è il mondo; e di qua? Sempre il mondo: cos'altro volete che ci sia? È dato che c'è mondo di qua e mondo di là della finestra, forse l'io non è altro che la finestra attraverso la quale il mondo guarda il mondo. Per guardare se stesso il mondo ha bisogno degli occhi (e degli occhiali) del signor Palomar". Oggettività: Il signor Palomar Enrico Bellone Come mai cerchiamo l'invarianza in un mondo di trasformazioni? Magritte, La promenade d'Euclide, 1955 © SIAE

33 Pee break

34 Análise de dados qualitativos Wisdom of Solomon 11:21, vulgata version

35 Estratégias de processamento de dados 3 abordagens: 1.Criação de um indicador por combinação de medidas 2.Identificação de padrões de relações entre medidas 3.Identificação de padrões de comportamento de objetos

36 Criando um indicador OBJETOYY A21A21 B14B14 C32C32 D22D22 E43E43 F55F55 G32G32 H22H22 I41I41 J14J14

37 Criando um indicador

38

39 A B C EGF DHI J

40 Criando um indicador

41

42

43

44

45 Criando um indicador: Alpha de Cronbach

46

47

48 Identificação de padrões de relações entre medidas

49 Análise fatorial

50 Fatorial X Indicador aditivo A B C EGF DHI J DABHJCIEGF -1,06-1,05-0,63-0,62-0,2-0,17-0,150,711,132,03

51 Impacto– Factor analysis

52 Estratificação por campos de pesquisa

53 Avaliação de pesquisador

54 Identificação de padrões de comportamento de objetos

55

56

57

58 Cluster

59 ?

60

61 Dendrogram using Average Linkage (Between Groups) Rescaled Distance Cluster Combine C A S E Label Num B J D 4 -+ I I H A 1 -+ I I C I I I I E I F G

62 Clusters

63 Fatorial X Indicador aditivo X Cluster A B C EGF DHI J DABHJCIEGF -1,06-1,05-0,63-0,62-0,2-0,17-0,150,711,132,03 Cluster Baixo X, Baixo YCluster Alto XCluster Alto X e Y ADBHJCIEGF

64 Avaliação de impacto por Cluster analysis

65

66 Factor X Cluster

67 Avaliação de impacto por análise cienciométrica

68 Exercício: Quais estratégias de análise para analisar os impactos do projeto Desenvolver competências tecnológicas para a competitividade do setor Aeronáutico brasileiro 3 abordagens: 1.Criar um indicador por combinação de medidas? 2.Identificar de padrões de relações entre medidas, uma ou mais dimensão de projeção? 3.Identificar de padrões de comportamento de objetos, criar uma taxonomia de impactos?

69 Exercício - resultado Análise de cluster num espaço heptadimensional

70 Cluster: 4 grupos

71 Caracterização dos grupos 1.TÓPICOS DE ELUCIDAÇÃO DE ALTA EXEQUIBILIDADE 2.TÓPICOS MAIS PROMISSORES 3.TÓPICOS DE DESENVOLVIMENTO QUE ATRAEM MAIS INTERESSE, PORÉM COM MENOR EXEQUIBILIDADE 4.TÓPICOS DE DESENVOLVIMENTO DE SITUAÇÃO INTERMEDIÁRIA

72 Projeto Desenvolvimento de competências tecnológicas para a competitividade do setor Aeronáutico brasileiro I.Tópicos de elucidação de pequeno impacto mas que demandaram pequeno esforço 1.Sistemas aeronáuticos II.Tópicos de melhor desempenho 2.Estruturas aeroespaciais 3.Aerodinâmica III.Tópicos de desenvolvimento cujos impactos foram limitados por dificuldades de execução 4.Propulsão aeronáutica 5.Sistemas de controle e defesa aérea IV.Tópicos de desenvolvimento em situação intermediária 6.Materiais e Processos p/ Engenharia Aeronáutica

73 Exercício Dendrogram using Average Linkage (Between Groups) C A S E Label Num Aerodinâmica Materiais e Processo 6 -+ I Propulsão Aeronáutic I Estruturas Aeroespac Sistemas Aeronáutico Sistemas de Controle 5 -+

74 Exercício

75

76 Mauro: multicritério Link para

77 Avaliação: como fazer? The White Rabbit put on his spectacles. `Where shall I begin, please your Majesty?' he asked. `Begin at the beginning,' the King said gravely, `and go on till you come to the end: then stop.'


Carregar ppt "Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos."

Apresentações semelhantes


Anúncios Google