Using SSM to structure the identification of inputs and outputs in DEA Mônica Domenico Roberto Fullgraf Sandro Ormond Sérgio Motta

Assuntos abordados no paper Combinação de métodos “hard” e “soft” – SSM com DEA A utilização do SSM para melhorar as especificações do DEA Exemplo inovador de “multimetodologia” Case: Avaliação de desempenho da Academia Chinesa de Ciências (CAS) CAS – fundada em 1949 para desenvolver a ciência e a tecnologia Até 2003 englobava 116 unidades de ciência e tecnologia / 89 institutos / 3 universidades / 5 bibliotecas Empregava quase 44 mil pessoas e certa de 30 mil eram cientistas. Link na Figura

Definir critérios e indicadores de produtividade para a avaliação Necessidades Avaliar o desempenho (perfomance) da Academia Chinesa de Ciências e seus diversos institutos Definir critérios e indicadores de produtividade para a avaliação Preocupação: muitos recursos investidos $ e a dúvida se estavam sendo usados produtivamente. REC – Centro de avaliação

Dificuldades Comparar de Institutos de diferentes naturezas Utilização do DEA. Entretanto era essencial para a definição dos Inputs e Outputs. Divergência sobre a definição dos parâmetros (indicadores e critérios)

O trabalho ocorreu durante o ano de 2005 Busca de soluções Em 2004 o chefe do REC foi à Business School – University of Kent – UK aprender sobre o SSM. Mingers (um dos autores) juntou-se ao projeto para ajudar na utilização do SSM com um modelo mais detalhado do DEA. O trabalho ocorreu durante o ano de 2005 Centro Interno de Avaliação de Pesquisa - REC

Contribuições do paper SSM é uma maneira importante de investigar e estruturar decisões e como julgar I/O para o estudo do DEA; Desenvolvimento de modelo conceitual – Raiz de definição (RD) Exemplo de multimetodologia - multiparadigmas

Definições SSM – Soft System Methodology (figura rica) Metodologia geral e participativa para entender e aprender com situações por diferentes pontos de vista DEA – Data Envelopment Analysis Modelo matemático para determinar a eficiência relativa de unidades operacionais similares em transformar os Inputs (recursos) em Outputs (produto) com dados confiáveis. Conceitos diferentes , mas tem ações em comum.

Definição do problema Contextualização CATWOE Customers Actors Transformation Wordview Owners Environment

Relações entre SSM e DEA DMU – unidades de decisão Inputs – Pessoas, Custo, Equipamentos, Estudante Outputs – nº de clientes, estudantes formados, etc. A eficiência é a razão entre os outputs e inputs. O DEA verifica os “pesos”

Planejamento Sistêmico Critério de controle Perguntas Medidas de desempenho Eficácia A transformação funciona? produz a saída? Quantidade / qualidade das saídas Eficiência São os mínimos recursos usados? Relação das saídas com os recursos utilizados Efetividade contribui no atendimento das expectativas e metas dos owners? Contribuição da saída no sistema mais amplo rever

Comunidade científica mundial A Actor (s) Customer (s) Comunidade científica mundial A Actor (s) Institutos e Adm. Central do CAS T Transformation Melhorar originalidade, significância, reputação e sustentabilidade W Weltanschauung Metas do CAS – melhora dos resultados das pesquisas O Owner (s) Conselho de Estado chinês E Environment Dificuldades culturais e econômicas e infraestrutura atual (R) Institutos, cientistas, dinheiro, equipamentos Fizeram uma análise global e Verificou-se que deveriam verificar em menor escala – cada instituto – trocar o CATWOE

Comunidade científica mundial em determinada área – reputação do CAS Customer (s) Comunidade científica mundial em determinada área – reputação do CAS A Actor (s) Profissionais do Instituto T Transformation Gerar novos conhecimentos significantes W Weltanschauung O papel do instituto dentro do CAS O Owner (s) CAS E Environment procedimentos do CAS e financiamento (R) cientistas, outros funcionários, financiamento, equipamentos 116 institutos – 3 universidades

Processos Feedback do CAS sobre os modelos SSM Desenvolvimento de base de dados de indicadores para fazer um piloto do DEA Tabela 4 – Indicadores de desempenho da pesquisa derivados do SSM Saídas da pesquisa Comunicações acadêmicas Sustentabilidade Gerenciamento organizacional

Processos Comparação entre os indicadores utilizados anteriormente e os atuais Discussão plenária com os envolvidos Questionários enviados aos institutos para verificar a importância dos diferentes indicadores de cada área.

Conclusões Projeto foi considerado como bem sucedido pelo CAS Podemos utilizar o SSM combinado com o DEA para avaliar os indicadores de um sistema amplo como os institutos de pesquisa Ainda existem as seguintes necessidades: Distinguir os input (recursos) com os output Considerar a natureza e propósito de cada instituto Melhorar a forma de apresentação dos indicadores – mais simples Considerar as diferenças entre eficácia e efetividade – eficácia – recursos ou efetividade – recursos? Ex: recebeu pouco, mas teve o mesmo quantitativo q outro q recebeu milhões – 1 paper = 1mil / 1 paper = 1 milhão

Obrigado pela atenção!