Avaliando o desempenho e o impacto nas organizações do terceiro setor:

Apresentação em tema: "Avaliando o desempenho e o impacto nas organizações do terceiro setor:"— Transcrição da apresentação:

1 Avaliando o desempenho e o impacto nas organizações do terceiro setor:
Conceitos, instrumentos e desafios Mónica Lopes Coimbra, 24 de Outubro de 2014

2 Sumário Fatores associados à crescente importância da avaliação nas OTS; Especificidades das práticas de avaliação nas OTS; Conceitos, metodologias e ferramentas de gestão e avaliação; Principais questões suscitadas pelos processos de monitorização e avaliação nas organizações sociais

3 A crescente importância da avaliação nas OTS
Em grande parte devido à estratégia neoliberal de liberalização dos serviços públicos e de redução de intervenção no Estado ao mínimo, e à maior interferência das instâncias supranacionais, assiste-se à despolitização do Estado e à desestatização das políticas sociais (Santos, 2003). O rescaldo da erosão do Estado traduziu-se numa forte expansão do chamado terceiro sector. Este crescimento tem sido alimentado por uma crença entre as entidades financiadoras de que as OTS são mais eficientes e efetivas do que os governos na prestação de serviços sociais básicos, são mais competentes no apoio à população carenciada, e são atores-chave nos processos de democratização (Edwards e Hulme, 1996). À medida que aumentou o descrédito do Estado, as ONG foram sendo encaradas como parceiros privilegiados de intervenção. As próprias linhas de todo um conjunto de orientações para as políticas proveniente por via da soft law da União Europeia, bem como de todo um conjunto de programas europeus reconhecem a importância das organizações da sociedade civil na governação em termos dos objetivos estratégicos de crescimento económico sustentado e coesão social.

4 Relevância atual do Terceiro Setor
– gestão democrática e participativa - valores éticos nos domínio sociais e ambientais a) O primado das pessoas e dos objectivos sociais; b) Adesão e participação livres e voluntárias; c) O controlo democrático pelos seus membros; d) A conciliação entre o interesse dos membros, utilizadores ou beneficiários e o interesse geral; e) O respeito pelos valores da solidariedade, da igualdade e da não discriminação, da coesão social, da justiça e da equidade, da transparência, da responsabilidade individual e social partilhada e da subsidiariedade; f) A gestão autónoma e independente das autoridades públicas e de quaisquer outras entidades exteriores à economia social; g) A afectação dos excedentes à prossecução de objectivos de desenvolvimento sustentável de acordo com o interesse geral

5 Relevância atual do Terceiro Setor
A estratégia neoliberal de liberalização dos serviços públicos e de redução de intervenção no Estado ao mínimo, e a maior interferência das instâncias supranacionais, conduz à despolitização do Estado e à desestatização das políticas sociais (Santos, 2003). O rescaldo da erosão do Estado traduziu-se numa forte expansão do chamado terceiro sector. Este crescimento tem sido alimentado por uma crença entre as entidades financiadoras de que as OTS são mais eficientes e efetivas do que os governos na prestação de serviços sociais básicos, são mais competentes no apoio à população carenciada, e são atores-chave nos processos de democratização (Edwards e Hulme, 1996). À medida que aumentou o descrédito do Estado, as ONG foram sendo encaradas como parceiros privilegiados de intervenção. As próprias linhas de todo um conjunto de orientações para as políticas proveniente por via da soft law da União Europeia, bem como de todo um conjunto de programas europeus reconhecem a importância das organizações da sociedade civil na governação em termos dos objetivos estratégicos de crescimento económico sustentado e coesão social.

6 A crescente importância da avaliação nas OTS
Os modelos de intervenção social emergentes do Estado-Providência ativo (Hespanha, 2008) : Remetem para a partilha de responsabilidades e de ação com as organizações da sociedade civil. Baseiam-se em novos pressupostos e novas metodologias, como sejam a abordagem por projeto, a ação descentralizada e partilhada e a contratualização das respostas Modelo de regulação partilhada entre o Estado e a sociedade, em que os custos são suportados por fundos de proveniência pública e privada e submetidos a uma estrutura mais autónoma de responsabilidades

7 A crescente importância da avaliação nas OTS
A avaliação surge como elemento indispensável na contratualização entre Estado e terceiro sector tendo em vista a implementação de programas sociais. Controlo da aplicação de recursos públicos: formas de controlo para resolver os problemas de desigualdade na proteção, de falta de responsabilização e de desvio relativamente aos objetivos nacionais. ACCOUNTABILITY Fruto da cultura organizacional e de gestão do nosso país, a introdução de práticas de avaliação nas organizações portuguesas foi relativamente tardia. Têm-se verificado, não obstante, mudanças assinaláveis a este nível, decorrentes das transformações ocorridas nas próprias organizações, tendo em vista os papéis que têm vindo a desempenhar e dos efeitos da sua relação com as entidades financiadoras/tutelares).

8 A crescente importância da avaliação nas OTS
As pressões para desenvolvimento de processos de avaliação nas organizações do terceiro sector (OTS) decorrem de forças externas e internas (Carman e Fredericks, 2008: 52; Hudson, 2003: 70; Lewis, 2001:135): Pressão crescente de entidades financiadoras/tutelares e outros stakeholders no sentido de OTS demonstrarem a sua efectividade e documentarem os resultados das intervenções, para fins de prestação de contas. As exigências de transparência e accountability são crescentes, e os financiadores querem saber o que é que foi realizado com os recursos concedidos. EXTERNAS A avaliação é do interesse das OTS, uma vez que os ensinamentos retirados podem ser incorporados no processo de decisão, no sentido de melhorar o desempenho futuro, e também porque, mostrando que esses recursos são bem empregues, os apoios poderão ser intensificados e conseguir-se uma maior segurança no financiamento. INTERNAS INTERNAS marketing, comunicação, publicidade e perfil Perceção de benefícios reais da melhoraria dos resultados para os seus beneficiários, Melhor orientação das suas atividades e recursos. Melhoria dos serviços Crença de q a avaliação constitui uma boa pratica de gestão e governação (normativamente) EXTERNAS E mesmo quando não atuam em contextos de mercado, a competição por fundos é cada vez mais intensa e quer o Estado, quer as empresas e os particulares são cada vez mais exigentes. Por isso, a profissionalização da gestão é, desde logo, um imperativo de sobrevivência

9 Aspetos distintivos das OTS
Importância dos valores (religiosos, políticos, humanitários, morais) Complexificação da natureza dos objetivos, incentivos e estruturas de gestão (Edwards e Folwer, 2002) Relação meio-fim e entre os objetivos operacionais e finais mais complexa Perspetiva normativa da gestão = importância da adoção de valores na tomada de decisão quotidiana Os valores podem ser: permissivos, ou restritivos; protetores ou asfixiantes; líder ou enganosa; revigorantes ou dispersivos (Lewis, 2001: 201)

10 Aspetos distintivos das OTS
Múltiplos stakeholders (dirigentes, trabalhadores, voluntários, associados, utilizadores, clientes, organismos estatais, etc.) Desenvolvem predominantemente atividades de expressão e de serviços e, por isso, debatem-se com os problemas próprios da intangibilidade da sua atividade (do seu output) Dificuldade em medir o desempenho e demonstrar impacto Multiplicidade de objetivos que no essencial não se esgotam, nem se consubstanciam, na obtenção do lucro como medida última e final Diversidade de stakeholders - combinada com os seus valores constitutivos torná-los organizações inerentemente políticas.

11 Aspetos distintivos das OTS
Atuação em ambientes complexos e incertos Multiplicidade de bottom lines, sendo a sustentabilidade económica tão importante quanto a social, a ambiental e a cultural Necessidade de abordagens que reconheçam e respondam às necessidades de gerir múltiplas relações, alternando combinações de papéis e fontes de recursos. CONCEÇÃO HOLÍSTICA DA ORGANIZAÇÃO Necessidade de se estabelecer uma relação mais rica com a envolvente externa e interna (Anheier, 2005; Lewis, 2001) Muitas OTS que começam por constituir estruturas pequenas e informais, nas quais a gestão pode ser feita numa base ad hoc, informal e quando crescem rapidamente não vão aperceber-se imediatamente de que precisam de novas ideias, sistemas e procedimentos em que se apoiar. Uma vez que muitas organizações cresceram muito próximas das entidades financiadoras, foi-lhes exigido que desenvolvessem sistemas de prestação de contas. Isto levou à perceção entre o pessoal das organizações de que muito do impulso para pensar sobre a gestão das OTS vem de fora e por isso é suspeito. As agendas de gestão tomaram por vezes a forma de gestão ‘imposta', ao invés de emergirem da agenda própria destas organizações (idem, ibidem).

12 Aspetos distintivos das OTS
OTS que começam por constituir estruturas pequenas e informais, nas quais a gestão pode ser feita numa base ad hoc, informal quando crescem rapidamente não se apercebem imediatamente de que precisam de novas ideias, sistemas e procedimentos em que se apoiar. Muitas organizações cresceram muito próximas das entidades financiadoras, foi-lhes exigido que desenvolvessem sistemas de prestação de contas. Perceção entre o pessoal das organizações de que muito do impulso para pensar sobre a gestão, monitorização e avaliação das OTS vem de fora e por isso é suspeito. Agendas de gestão e avaliação tomam por vezes a forma de gestão ‘imposta', ao invés de emergirem da agenda própria destas organizações (Lewis, 2001).

13 Aspetos distintivos das OTS
Receio do ‘profissionalismo normal’ (Chambers,1994) “ao pensamento, valores, métodos e comportamentos dominantes numa profissão ou disciplina” e que, “tal como a ciência normal, é conservador”, baseando-se “numa estrutura de conhecimento e de geração de conhecimento centro-periferia, na educação e formação, na hierarquia das organizações e nos sistemas de recompensa e carreiras” (idem, ibidem: 3-4). Esta conceção de profissionalismo colide com muitos dos valores proclamados pelas OTS, que procuram ‘alternativas’ ao ‘pensamento generalizado’ e demarcar-se das formas de gestão e administração dos setores lucrativo e público.

14 Aspetos distintivos das OTS
Em face destes desafios, muitas OTS manifestam alguma relutância em levar a sério os processos de gestão e avaliação, por razões diversas: ‘Cultura de ação’, na qual a liderança e o pessoal das OTS resistem a ocupar um volume de tempo significativo a refletir sobre questões organizacionais, uma vez que essa priorização poderá interferir com a tarefa primordial de ‘ir trabalhar para o terreno’. Visão partilhada por alguns segmentos sociais de que as OTS devem aplicar a quase totalidade dos seus fundos no trabalho de terreno e não devem gastar tempo e dinheiro em aspetos administrativos.

15 Aspetos distintivos das OTS
Estes elementos distintivos do terceiro setor originam desafios distintos: Dificuldades em monitorizar o desempenho e da gestão de prestações de contas múltiplas Necessidade de intrincar as estruturas de gestão no sentido de equilibrar múltiplos constituintes Conflitos entre voluntarismo e profissionalismo Necessidade de não perder de vista os valores fundadoras das organizações Gerir a tendência para o estabelecimento de objetivos vagos.

16 Aspetos distintivos das OTS
Na sua obra, Lewis (2001: 198) conclui que há tantas armadilhas para as OTS que dependem dos elevados propósitos morais, boa vontade, trabalho árduo e senso comum, como para as que respondem acriticamente às pressões do ambiente para se profissionalizarem. Trata-se de opções políticas que as OTS e os seus stakeholders têm que fazer. A forma como as OTS se relacionam com a questão da gestão depende do tipo de organização que querem ser, dos valores que pretendem expressar e da abordagem prosseguida para a persecução da mudança social e económica (idem, ibidem). O desafio é adotar modelos de gestão que melhorem o desempenho organizacional sem perder de vista os valores constitutivos das OTS (Fowler e Malunga, 2010; Lewis, 2001; Fowler, 1997). Isto implica a clarificação da visão e objetivos das OTS, harmonizando uma série de fatores internos e externos.

17 Especificidades relativamente à avaliação nas OTS
Pouca atenção que tem sido prestada pelas OTS em geral, até muito recentemente, à importância da avaliação enquanto instrumento de melhoria do desempenho e meio de prestação de contas. A avaliação é frequentemente vista pelas organizações como uma imposição dos financiadores, sendo por isso recebida com relutância, O facto de a avaliação ser muitas vezes concebida como uma obrigação contratual limita a visão da avaliação como forma de aprendizagem organizacional (Guambe, 2009). Enquanto stakeholders chave, as entidades financiadoras ou tutelares desempenham um papel fundamental na construção de processos de avaliação potenciadores da aprendizagem organizacional. As entidades doadoras nem sempre diligenciam a capacitação institucional das organizações que financiam, privilegiando os padrões de prestação de contas, sem capacitarem as OTS no sentido de desenvolverem uma cultura de aprendizagem ao serviço da sua missão (Hoole e Patterson, 2008).

18 Avaliação: do que falamos?

19 Conceitos - Avaliação “Avaliar é sempre comparar com um modelo – medir – e implica uma finalidade operativa que visa corrigir ou melhorar. O padrão ou modelo a partir do qual se avalia é, em última instância, um valor de referência que, numa situação de planeamento, se encontra geralmente fixado, a partir do diagnóstico da situação inicial, nos objetivos e metas definidos.” (Guerra, 2002: 185) “valiar é fixar o valor de uma coisa; para ser feito requer um procedimento mediante o qual se compara aquilo a ser avaliado com um critério ou padrão determinado.” (Cohen e Franco, 2006: 73) função objetivos método de avaliação função - avaliação envolve julgamentos de valor, indicações de mérito, valia e significância de algo. objetivos (por exemplo, fornecer informação para o desenho de intervenções ou para a melhoria dos programas, serviços, ou organizações). Dada a multiplicidade de objetivos da avaliação, subsistem algumas variações, dependendo do uso que se pretende dar às avaliações (desde informar as decisões a fomentar a democracia).

20 Conceitos Avaliação ≠ Monitorização
Processo contínuo de recolha sistemática de informação para indicadores específicos, com o objetivo de informar os gestores sobre o progresso das atividades, sobre o grau de concretização dos objetivos definidos e sobre a utilização de fundos. (Glossário SEAV, MF) Procedimento de gestão, que implica o exame exaustivo e regular da utilização dos recursos, das realizações e dos resultados de uma intervenção, baseado num sistema de informação coerente e adequado. Tem uma vocação de retroação sobre o conjunto dos procedimentos de gestão. (Glossário QREN) Factor ou variável, de natureza quantitativa ou qualitativa, que constitui um meio simples e fiável de medir e informar sobre as mudanças ligadas à intervenção, ou ajudar a apreciar o desempenho de um actor do desenvolvimento.

21 Conceitos Avaliação ≠ Auditoria
Verificação da legalidade e da regularidade da utilização dos recursos financeiros. O julgamento é efetuado em função dos critérios e normas gerais (não específicos a uma dada intervenção), que são conhecidos e clarificados a anteriori. (Glossário QREN) (de Desempenho) Controlo de uma determinada entidade, programa, serviço, sistema ou área funcional, que incide na sua gestão, nomeadamente na utilização dos respetivos recursos que lhe foram confiados, segundo princípios, entre outros, de economia, eficiência e eficácia. Embora conceptualmente próxima da avaliação, está mais fortemente preocupada com questões da boa gestão, enquanto a avaliação vai mais longe e se preocupa sobretudo com os resultados obtidos e os impactos gerados. (Glossário IGF) O controlo procura detetar erros ou disfunções, tendo essencialmente um efeito dissuasor.

22 Conceitos Avaliação ≠ Mediação dos desempenhos
Sistema que permite apreciar os desempenhos das intervenções relativamente aos objetivos estabelecidos. (Glossário OCDE) Ele não questiona os próprios objetivos e, portanto, não chega a qualquer juízo final sobre se a intervenção foi boa ou má; apenas se foi bem sucedida ou não, dentro dos estreitos limites dos padrões pré-definidos. Desempenho: Conceito ambíguo que, geralmente, se confunde com eficiência. Noutros casos, porém, combina eficiência com eficácia, pela associação de uma dimensão qualitativa (ou de uma relação com objetivos pré-definidos) a uma relação entre recursos mobilizados e realizações ou efeitos obtidos (Glossário QREN) Desempenho: Medida de realização alcançada por um indivíduo, equipa, organização ou processo. Indicador de desempenho: Variável que permite identificar alterações devidas à intervenção ou que demonstra o grau de concretização de resultados face ao planeado. Exemplo: a performance de uma intervenção na área da formação profissional pode ser avaliada combinando a análise dos custos unitários por ação ou o investimento associado a cada autoemprego criado (ótica de eficiência) com a taxa de realização das ações previstas ou o número de empregos criados por efeito da intervenção (ótica de eficácia). Avaliação de desempenho: Sistema de avaliação de resultados das pessoas, das equipas e das organizações, em função de objetivos previstos ou de critérios/padrões pré-definidos. Gestão orientada para resultados - Estratégia de gestão que se centra no desempenho, na obtenção de resultados, efeitos e impactos. Avaliação dá sentido à medição de desempenho e medição de desempenho produz evidência para avaliação.

23 Conceitos Avaliação ≠ Gestão da qualidade
Método para assegurar que todas as atividades necessárias à conceção, desenvolvimento e implementação de um produto ou serviço são eficientes e eficazes, respeitando o sistema da qualidade.

24 Análises e critérios de avaliação
Efeito: Mudança esperada ou não, direta ou indiretamente atribuída a uma intervenção. Resultados (efeitos imediatos sobre os destinatários diretos) Impactos (efeitos mediatos/a longo prazo, positivos ou negativos, primários ou secundários, induzidos por uma intervenção, direta ou indiretamente, previsto ou não) Eficácia: Relação entre os efeitos produzidos por uma intervenção e os objetivos que se propunha atingir. Eficiência: Compara as realizações, os resultados e/ou os impactos com os recursos (em especial os financeiros) utilizados para os atingir A eficácia pode ser quantificada através de indicadores de realização (outputs materiais face a uma intervenção, ie, nº de unidade produzidas – km construídos, nº empresas apoiadas, nº de ações de formação), de indicadores de resultado (o efeito imediato sobre os destinatários diretos atribuível à intervenção face a um dado objetivo específico – redução do tempo de trajeto) ou de indicadores de impacto (o efeito geral atribuível a uma intervenção face a um dado objetivo global). Eficiencia: . Ou seja, é a relação entre os efeitos produzidos por uma intervenção e os recursos por ela mobilizados. A análise da eficiência pressupõe geralmente um juízo de valor relativamente à razoabilidade dos custos associados a uma realização, resultado ou impacto.

25 Medidas de avaliação Indicador: Fator ou variável, de natureza quantitativa ou qualitativa, que constitui um meio simples e fiável de medir e informar sobre as mudanças ligadas à intervenção, ou ajudar a apreciar o desempenho (Glossário OCDE) Qualitativo: Descrição na forma de uma afirmação concisa, clara e estável de um objetivo a realizar ou de um impacto obtido. Quantitativo: Factos e valores que descrevem objetos através de números Qualitativo : Por exemplo, pode examinar-se o impacto de uma medida em termos de igualdade de oportunidades e acabar por escolher um descritivo pré-estabelecido como: (1) “a medida permitiu que a maioria dos destinatários do sexo feminino se qualificassem a trabalhos considerados exclusivos de homens”, ou (2) “a medida atraiu uma grande parte de destinatários do sexo feminino que pretendiam qualificar-se para trabalhos considerados exclusivos de homens Quantitativo ex: . Indica o que sucedeu como, por exemplo, o número de beneficiários e a percentagem de beneficiários do sexo feminino.

26 Processo de avaliação - Avaliar para quê?
Para provar Comunicar resultados e impactos aos stakeholders Prestar contas Demonstrar efetividade Demonstrar “Retorno do Investimento Social” Estabelece-se o valor de trabalho de forma que possa ser partilhado, interna e externam. Para melhorar Aprendizagem organizacional Informar e melhorar as práticas Melhorar o planeamento, desenho e gestão da intervenção Informar o planeam. estratégico e a tomada de decisão Fortalece-se a infraestrutura da organização Accountability É a obrigação de prestar contas pelas responsabilidades assumidas e de justificar a utilização e gestão dos recursos empregues.

27 Processo de avaliação - Avaliação o quê?
Individual Programa/ projeto, unidade/ função/ serviço Organizacional Capacidade e funcionamento da organização Impacto global da organização Sistema social Níveis de avaliação: Accountability É a obrigação de prestar contas pelas responsabilidades assumidas e de justificar a utilização e gestão dos recursos empregues.

28 Processo de avaliação - Instrumentos/ferramentas de gestão e avaliação Teoria da mudança e modelos lógicos “Um programa é uma teoria e uma avaliação é o seu teste. No sentido de organizar uma avaliação que constitua um teste responsável, a pessoa que avalia precisa entender as premissas teóricas em que se baseia o programa.” Carol Weiss (1998: 55) Teorias de mudança e de lógica modelos – ambas informa o planeamento e a avaliação - São ferramentas com um propósito semelhante, mas diferentes aplicações - Os modelos lógicos são sobretudo aplicáveis ​​aos programas individuais enquanto teorias de mudança aplicável às organizações, iniciativas, ou outros agrupamentos de esforços.

29 Instrumentos/ferramentas de gestão e avaliação - Teoria da mudança
"A teoria da mudança é uma avaliação sistemática do que precisa acontecer para que um resultado desejado aconteça. As teorias da mudança devem ser desenhadas para explicar como e porquê a mudança acontece, bem como o papel potencial do trabalho de uma organização na contribuição para a mudança". É uma articulação das condições e intervenções necessárias para produzir um resultado ou conjunto de resultados desejados. Olha para a relação causa-efeito e identifica as intervenções específicas necessárias para atingir os resultados desejados.

30 Instrumentos/ferramentas de gestão e avaliação - Teoria da mudança
A lógica explicativa usada pela Teoria de Mudança: Se realizarmos uma intervenção, então ocorrerá um resultado particular se a intervenção (X) for realizada numa determinada dosagem, então o resultado esperado (Y) será atingido. Geralmente representam o trabalho de vários programas ou de uma organização e são usados ​​em avaliações de conjuntos de iniciativas ou do impacto global da organização.

31 Instrumentos/ferramentas de avaliação - Teoria da mudança
A Teoria de Mudança integra três principais componentes: O problema: a necessidade comunitária identificada. A intervenção: atividades (o que é feito, com quem, e em que dosagem). O resultado: a mudança que ocorre devido à intervenção. Outras Componentes que as teorias de mudança podem incluir: - Fatores contextuais - Propósito e Princípios - Pressupostos e crenças - Valores - Pré-condições - Estratégias

32 Instrumentos/ferramentas de gestão e avaliação - Teoria da mudança
Papel das evidências na formulação da Teoria de Mudança As evidências servem de fundamento para a elaboração de uma Teoria de Mudança: Ao nível do problema - fornecem dados que documentam a existência da necessidade da comunidade, Ao nível da intervenção - as evidências informam o nosso entendimento da razão porque uma determinada intervenção produzirá o resultado desejado. As evidências ao nível de intervenção são dados que provam porquê a intervenção proposta tem a probabilidade de resolver o problema identificado. A base das evidências pode incluir três aspectos: Dados que medem o desempenho passado; Resultados da avaliação do impacto do seu programa; Resultados da avaliação do impacto do seu programa e outras pesquisas que documentam resultados de programas similares.

33 Os modelos lógicos geralmente começam com um programa e ilustram as seus componentes
Teorias de mudança pode começar com um programa, mas são os melhores quando se inicia com um objetivo, antes de decidir o que abordagens programáticas são necessários Os modelos lógicos requerem a identificação dos componentes do programa, para que você possa ver de relance se os resultados estão fora de sincronia com inputs e atividades, mas eles não mostram por que as atividades devem produzir resultados Teorias de mudança também exigem justificativas em cada etapa - você tem que articular a hipótese sobre por que algo irá causar outra coisa (que é um modelo causal, lembre-se!) Os modelos lógicos ilustram graficamente os componentes do programa, e criando uma ajuda intervenientes identificar claramente resultados, inputs e atividades Teorias de mudança resultados e atividades de links para explicar como e por que se espera que a mudança desejada para acontecer

34 Instrumentos/ferramentas de avaliação - Modelos Lógicos (Outcomes Approach Models)
Inclui a identificação dos elementos estratégicos (inputs, outputs, outcomes e impactos), as suas relações, os indicadores, bem como os fatores externos que podem influenciar o sucesso ou o fracasso da intervenção. A sua utilização facilita o planeamento, a execução e a avaliação de uma intervenção. O modelo assenta numa cadeia de relações de causa-efeito, que começa por uma avaliação dos recursos necessários para o funcionamento da intervenção ou organização e para a concretização dos seus objetivos e conclui-se com a avaliação do impacte.

35 Instrumentos/ferramentas de gestão e avaliação - A lógica do modelo lógico
Como ferramenta de gestão estratégica, a sua adoção pode ajudar as organizações a conceber os seus programas de ação, a implementá-los, a comunicá-los e a avaliá-los, de forma articulada. Os recursos incluem os recursos humanos, financeiros, materiais, informação, competências, entre outros tipos de recursos de que a organização ou o programa disponham para realizar o seu trabalho. As atividades constituem o que o programa ou a organização fazem com os seus recursos. São as acções intencionais, na implementação da estratégia da organização, com vista a que esta consiga atingir os resultados pretendidos. Os resultados ou outputs são o produto direto dos programas ou das actividades da organização e, geralmente, são descritos ou medidos com base em indicadores de volume – por ex., n.º de foras de formação oferecidas. Os outcomes são as mudanças específicas que ocorrem no público-alvo, ao nível das suas atitudes, comportamentos, competências, status ou das capacidades adquiridas, que resultem das actividades – por exemplo, encontrar um emprego. Finalmente, o impacte consiste no conjunto de transformações, desejadas ou não desejadas, operadas nos diversos stakeholders da organização e por princípio só deve ser medido no longo prazo, ou seja, 3 a 6 anos após a acção – por ex., inserção social de jovem em risco. Erros comuns: Common logic model mistakes: Activities are not action-oriented or specific enough to really describe what is being done. Relationships between activities and outcomes are unclear. Outcomes are not specific or measurable. Outputs and outcomes are confused. Fonte: Adaptado de W.K. Kellogg Foundation, 2004

36 Instrumentos/ferramentas de avaliação - A lógica do modelo lógico
Recursos: recursos humanos, financeiros, materiais, informação, competências Atividades: o que o programa ou a organização fazem com os seus recursos com vista a que esta consiga atingir os resultados pretendidos. Outputs: são o produto direto dos programas ou das atividades – por ex., n.º de foras de formação oferecidas. Resultados (Outcomes): são as mudanças específicas que ocorrem no público-alvo, ao nível das suas atitudes, comportamentos, competências, status ou das capacidades adquiridas, que resultem das atividades – por exemplo, encontrar um emprego. Impacte (longo prazo): transformações, desejadas ou não desejadas, operadas nos diversos stakeholders– por ex., inserção social de jovem em risco.

37 Instrumentos/ferramentas de gestão e avaliação - SROI - Social Return on Investment
É uma análise custo-benefício do valor social gerado pela intervenção de uma organização. O índice SROI é um rácio entre o valor atual líquido dos benefícios e o valor atual líquido do investimento. Value for Money: Termo que se refere à apreciação de se um impacto é adequado ao investimento efectuado. O SROI compara o valor gerado por uma intervenção (benefícios) com a despesa necessária (investimento) para obtê-lo.

38 Instrumentos/ferramentas de gestão e avaliação - SROI - Social Return on Investment
É uma ferramenta de gestão - controlo das previsões, melhoria do desempenho, ajustamento da despesa - de diferenciação (em candidaturas a financiamento). É uma ferramenta de avaliação e seleção, ajudando entidades financiadoras a investir em projetos com maior potencial de impacto. Debate sobre o valor criado pelo TS tem vindo a ser fortemente influenciado por conceções económicas de valor

39 Instrumentos/ferramentas de gestão e avaliação - SROI - Social Return on Investment
1) Mapear a análise Definição dos parâmetros da análise e envolvimento das partes interessadas para definir que resultados são relevantes. 2) Valorar as mudanças Atribuição de valor financeiro às mudanças geradas pela intervenção, a partir de indicadores. 3) Calcular o impacto Soma do valor monetário atribuído às mudanças geradas pela intervenção, descontando as mudanças que teriam acontecido de qualquer modo, a contribuição de terceiros e consequências inesperadas. 4) Calcular o SROI Divisão do valor atual líquido do impacto ou benefícios da intervenção pelo valor atual líquido do investimento necessário Value for Money: Termo que se refere à apreciação de se um impacto é adequado ao investimento efectuado. É frequentemente calculado dividindo os custos totais do projecto pelo número de beneficiários atingidos, e comparando o custo com medidas alternativas comparáveis em relação aos grupos alvo e aos impactos d Existe o perigo de se concentrar estritamente na relação. A relação só faz sentido dentro da narrativa mais ampla sobre as organizações. Assim como um investidor astuto não tomaria uma decisão financeira com base em apenas um número, a mesma prática se aplica a este instrumento de medida social. Por esta razão, as comparações entre organizações apenas com base na razão não são recomendados.esejados.

40 Instrumentos/ferramentas de gestão e avaliação - SROI - Social Return on Investment
Recursos: SROI Network: Mapa de impacto: WikiVOIS:

41 Instrumentos/ferramentas de gestão e avaliação - SROI - Social Return on Investment
Críticas (Harlock, 2013, Arvidson et al., 2010; Ryan and Lyne, 2008) Complexidade na aplicação. Exigente em recursos (financeiros, de tempo e competências). Enfoque no valor monetário das intervenções. - Negligencia outras dimensões de criação de valor que não o valor monetário. - Continuam a ser levantadas questões sobre se as medidas financeiras por si só são adequadas para captar e medir o impacto social do terceiro setor. Dificuldade em captar e avaliar a experiência qualitativa e o conhecimento tácito que é mais difícil de expressar em medida. Enfoque em impactos externos - negligencia a importância dos valores organizacionais e culturais. Existe o perigo de se concentrar estritamente no racio. O rácio só faz sentido dentro da narrativa mais ampla sobre as organizações. Por esta razão, as comparações entre organizações apenas com base na razão não são recomendados desejados.

42 Outras ferramentas de gestão e avaliação
No setor privado, onde a concorrência e a busca do lucro predominam, a avaliação é pouco usado como um instrumento de gestão e garantia de qualidade . Em vez disso, as organizações recorrem a conceitos e instrumentos que têm sua origem na gestão de empresas, alguns dos quais servem a propósitos semelhantes aos da avaliação. E instrumentos, são utilizados às vezes complementando avaliação. semelhanças e diferenças entre os conceitos oriundos da gestão de empresas e a abordagem de avaliação que vem de ciências sociais, e apontando as várias áreas em que podem ser implantados. Várias conceções são diferentes, também pode ser utilizado para complementar um do outro.

43 Instrumentos/ferramentas de gestão e avaliação - Balanced Scorecard
É uma ferramenta de gestão estratégica pois parte da visão e da estratégia da organização e as traduz, através de quatro perspetivas, em objetivos, metas e indicadores, que funcionam de forma integrada, conjugando indicadores financeiros e não-financeiros, de curto e de longo prazo (Kaplan e Norton, 1996). Os Indicadores estruturam- se em torno de 4 perspetivas: inovação e liderança processos internos clientes e gestão financeira. Os indicadores de cada uma das perspetivas estabelecem entre si relações de causa-efeito, as quais são baseadas em hipóteses que permanentemente têm de ser revistas. A gestão estratégica é um processo através do qual as organizações determinam a sua missão, valores, visão, objetivos, estratégias, programas de acção e metas de desempenho desejadas. A gestão estratégica difere da gestão quotidiana ou operacional, porque se concentra no longo prazo da organização, e a sua necessidade é fruto das mudanças constantes na envolvente (externa e interna) da organização. (Anheier, 2005).

44 Instrumentos/ferramentas de gestão e avaliação - Balanced Scorecard
O Balanced Scorecard é também útil como uma ferramenta de comunicação da gestão, como via para informar os colaboradores da organização e outras partes interessadas em que medida a organização está a cumprir o planeamento estratégico.

45

46 Instrumentos/ferramentas de gestão e avaliação - Balanced Scorecard
Objectivo: é uma descrição concisa sobre o que a organização tem que fazer bem, tendo em vista executar a estratégia. Meta: é um resultado de desempenho desejado. Indicador: é um standard utilizado para medir e comunicar o desempenho. Os indicadores atribuem significado às metas estabelecidas e têm normalmente natureza quantitativa. Iniciativas são as ações,atividades, programas ou projetos que as organizações têm que desenvolver para atingirem as metas estabelecidas As quatro perspectivas do balanced scorecard perspectiva financeira centra-se nos indicadores financeiros, transmitindo uma visão do passado (do que já aconteceu), as outras três perspectivas – clientes, processos, e aprendizagem e crescimento – permitem à organização planear para o longo prazo (o que deseja que aconteça). O balanced scorecard tem como pressuposto o equilíbrio entre as metas operacionais de curto prazo e a estratégia de longo prazo.

47 Instrumentos/ferramentas de gestão e avaliação - Balanced Scorecard
O BSC e as três famílias de indicadores de desempenho Permite avaliar o desempenho das organizações a três níveis: Eficiência Eficácia Impacto Já vimos, anteriormente, que não vale a pena investir em gestão estratégica se não estiver instalada a devida capacidade organizacional de suporte (Kaplan e Norton, 2006). Capacidade organizacional aumenta o impacte (Fonte: Meneses, 2008)

48 Instrumentos/ferramentas de gestão e avaliação - Balanced Scorecard para OTS
Para Kaplan e Norton (2002), há duas diferenças fundamentais entre o balanced scorecard para empresas e o aplicado às organizações do terceiro sector: A missão desloca-se para o topo do balanced scorecard: numa organização com fins lucrativos, todas as medidas do scorecard devem conduzir a uma melhoria na no desempenho financeiro. Nas organizações do terceiro sector, a aspiração última é a da concretização de uma missão criadora de valor social; A perspetiva do cliente passa a ser a mais importante: para a concretização da missão, a perspetiva mais importante é a do cliente. É servindo os clientes que a organização concretiza a missão. É ainda necessário expandir o conceito de cliente, dado que quem financia os serviços geralmente difere de quem deles usufrui.

49 Instrumentos/ferramentas de gestão e avaliação - Balanced Scorecard para OTS (Niven, 2003)

50 Instrumentos/ferramentas de gestão e avaliação - Balanced Scorecard para OTS
Limitações e desafios (Stockmann, 201; Meneses, 2008; Anheier, 2005) Ausência de metodologias robustas para avaliação de impacte. Desvalorizadas as perspetivas de outras parte interessadas que não os clientes e colaboradores. Dificuldade de quantificar ou racionalizar atividades e organizações que atuam para o longo prazo e em contextos e dimensões de difícil tangibilidade. Os n.º são importantes para medir o desempenho e para a concretização de objetivos, mas não são um fim em si mesmo, nem devem ser retirados do contexto. Como a maioria deste tipo de organizações é multifacetada, perseguindo várias bottom lines, são necessárias múltiplas medidas de desempenho. Como os parâmetros tradicionais de eficiência e eficácia, geralmente aplicados às empresas, não se aplicam ao tipo de contextos e de organizações do terceiro sector, o maior desafio na implementação de um balanced scorecard, numa organização do terceiro sector, consiste na sua adequação à realidade da organização. . Ao contrário de avaliação, além disso, o balanced scorecard parece principalmente para ser implantado de cima para baixo. A sua fixação sobre a implementação da estratégia e da questão de como isso contribui para o cumprimento das metas financeiras não permite qualquer ponto de vista avaliativo mais amplo que, por exemplo, incluir efeitos indesejados.

51 Instrumentos/ferramentas de gestão e avaliação - Modelos da qualidade
Declaram a qualidade como importante determinante do sucesso de uma organização. São caracterizados pela orientação para o cliente, pois a qualidade é medida, principalmente, pela valorização da utilidade por parte dos clientes. Todos os processos e as estruturas são voltadas para a satisfação das necessidades dos clientes. As mudanças ocorrem, muitas vezes vindas do exterior, e as organizações precisam de adoptar posturas que lhes permitam antecipar-se e fazer ajustamento atempado e adaptado a essas mesmas mudanças. Assim, a ideia defendida por muitos autores refere que a necessidade de sustentabilidade tem levado as OTS a adotar uma gestão estratégica e operacional, inovadora, eficiente e participada, de todos os recursos disponíveis, sem perderem o seu objetivo e autonomia.

52 Instrumentos/ferramentas de gestão e avaliação - Modelos de qualidade
Aplicação dos Manuais Qualidade das Respostas Sociais ISS Cerificação ISO9001 Modelo da Qualidade Europeu para os Serviços Sociais - EQUASS Nos últimos anos tem-se assistido ao aumento significativo da certificação dos sistemas da qualidade das respostas socias. Em Portugal existem 2 esquemas específicos de certificação nas respostas socias a certificação EQUASS (European Quality Assurance in Social Services) e a certificação segundo os modelos do ISS (Instituto da Segurança Social). Para além disso existe o sistema de certificação de qualidade ISO 9001 que também tem sido adotado por algumas organizações de economia social.

53 Referenciais da qualidade

54 Instrumentos/ferramentas de gestão e avaliação ISO 9001
As normas da família ISO9000 foram desenvolvidas para apoiar as organizações, de qualquer tipo e dimensão, na implementação e gestão de sistemas da qualidade eficazes. A ISO 9001 está baseada em oito princípios de gestão da qualidade: Focalização nos Clientes Liderança Envolvimento das Pessoas Abordagem por Processos Abordagem à Gestão através de um Sistema Melhoria Contínua Abordagem à Tomada de Decisões Baseada em Factos Relações com Fornecedores com Benefícios Mútuos

55 Instrumentos/ferramentas complementares Modelo de Avaliação da Qualidade das Respostas Sociais (ISS)
É um referencial normativo que se baseia nos princípios de gestão da qualidade e onde são estabelecidos os requisitos necessários à implementação do Sistema de Gestão da Qualidade dos serviços prestados pelas Respostas Sociais. Permite avaliar a qualidade dos serviços prestados pela Resposta Social e avaliar o sistema de gestão da qualidade – atribuição por níveis A, B ou C. Este modelo tem por referência a norma NP EN ISO 9001:2000 – Sistemas de Gestão da Qualidade – Requisitos e o Modelo de Excelência da European Foundation for Quality Management (EFQM).

56 Instrumentos/ferramentas de gestão e avaliação EQUASS (Modelo da Qualidade Europeu para os Serviços Sociais) Constitui uma iniciativa da EPR - European Platform for Rehabilitation É estruturada nos princípios da qualidade da Common Quality Framework for Social Services of General Interest e na metodologia da Auto-Avaliação Utiliza um questionário na auditoria interna realizada pelas próprias organizações, e na auditoria externa de certificação. Tem como principal objetivo estimular o desenvolvimento do sector dos serviços sociais, promovendo o compromisso dos prestadores de serviços com a qualidade e a melhoria contínua, constituindo-se como um instrumento de garantia da qualidade reconhecido pelos clientes/utilizadores a nível europeu Iniciativa da plataforma europeia para a reabilitação

57 Instrumentos/ferramentas de gestão e avaliação Modelos de qualidade
Algumas apreciações (Lucas et al., 2012; NEF, 2009) Enquanto padrões de gestão da qualidade, não foram desenhados para avaliar impactos mais amplos da organização sobre a sociedade ou o meio ambiente. O sistema EQUASS é um sistema complexo, em especial em termos de documentação, contudo mais adaptado à realidade destas instituições, que necessitam de apoio externo e financiamento para sua implementação. O sistema ISS é considerado ainda mais complexo e de difícil compreensão, contudo apresenta-se como uma possível perspetiva para diferenciação no financiamento. O sistema ISO 9001:2008, apresenta-se como genérico possível de adaptar a qualquer ramo de atividade e valências.  Esforço organizativo muito significativo;  Vencer as resistências internas à mudança;  Dificuldades relacionadas com formação das pessoas;  Processo relativamente caro;  Procedimento de implementação da certificação demorado;  Existe necessidade de consultoria externa;  Imagem de marca para a Instituição, tanto exterior como interior;  Orgulho de ter o processo de certificação;  Facilita a gestão das organizações pelos procedimentos estarem claros;  Os funcionários ficam a conhecer o seu nível de participação na organização;  Os procedimentos para cada função tornam mais fácil estabelecer.

58 Conceitos baseados na gestão de negócios, tais como controlar, o balanced scorecard, benchmarking e auditoria são frequentemente utilizados em gestão de qualidade e gestão empresarial no setor privado. ● No TS, o uso de instrumentos de gestão do sector privado ainda está em fase experimental. ● Olhou em sua totalidade, os instrumentos de gestão que têm sido desenvolvidos não são usados o suficiente, e potencial de inovação e aprendizagem é desperdiçado. ● A gestão dos programas e organizações poderiam ser significativamente melhorada com uma combinação de instrumentos relacionados operatingfi Gure, abordagens para a gravação contínua do débito e avaliação. ● A avaliação é uma boa idéia principalmente porque os seus procedimentos são orientados para o impacto ea causalidade, especialmente a favor de alvo e de gestão orientada a impactos.

59 Desafios da Avaliação no Terceiro Setor
Colaboradores/as das organizações a quem é dado pouco tempo ou apoio para se dedicarem à reflexão e dialogo que convide ao questionamento sobre os pressupostos, crenças e valores dos programas, políticas e práticas das organizações. Líderes com pouca experiência em fundamentar as decisões em dados, que não sabem como articular conclusões sistemáticas com outras formas de informação nos processos de decisão. Pessoal sobrecarregado que continua a ver a avaliação como prescindível, acessória ou para a qual têm pouco tempo. Dificuldade em alocar avaliadores/as com interesse em, ou a capacidade de, implementar a avaliação como meio para aprendizagem e mudança organizacionais. Pouco suporte para funções de replaneamento e/ou para influenciar a cultura organizacional no sentido de sustentar a aprendizagem organizacional. Membros de organizações que percecionam a avaliação como ameaça. Trabalhadores/as dos níveis intermédios que pretendem iniciar trabalhos de avaliação e encontram dificuldade em conseguir suporte dos níveis hierárquicos superiores. Visão da avaliação como imposição dos financiadores, sendo por isso recebida com relutância ou mesmo resistência (financiamento sedento de prestação de contas e exigente em termos de reporte).

60 Desafios da Avaliação no Terceiro Setor
A aprendizagem organizacional envolve: Estabelecimento de equilíbrio entre os papéis de accountability e aprendizagem da avaliação; Integração da função da avaliação na organização; Desenvolvimento de modelos de trabalho que relacionem resultados sobre programas e iniciativas específicos com metas globais das organizações; Sustentação de um espírito de diagnóstico contínuo que reclame uma aprendizagem incremental e iterativa/reiterada ao longo do tempo; Disponibilização de tempo para a reflexão, análise dos pressupostos tácitos, e diálogo quem avalia, pessoal dos projetos e líderes organizacionais; Reconsideração dos papéis tradicionais de quem avalia e das competências de que necessitam. (Preskill e Torres, 2001; Ebrahim, 2005)

61 Desafios da Avaliação no Terceiro Setor
Um desafio central para as OTS é encontrar um equilíbrio entre os mecanismos que respondem aos desígnios de responsabilização ascendente das entidades financiadoras e aos que respondem às necessidades dos membros e comunidade (i.e., responsabilização interna e descendente), enquanto desencadeiam também mudanças positivas no comportamento organizacional. Para muitas organizações, encontrar este equilíbrio exigirá uma reorientação para processos de aprendizagem e responsabilização perante a missão no sentido de colocar a avaliação de sentido ascendente em perspetiva adequada, assim como a conjugação de processos de avaliação de curto e longo prazo.

62 Estado/ entidades financiadoras
Desafios da Avaliação no Terceiro Setor Aprendizagem organizacional Prestação de contas Estado/ entidades financiadoras

63 OBRIGADA!

64 Instrumentos/ferramentas complementares