Gestão e Elaboração de Projetos Sociais 1 P
Gestão e Elaboração de Projetos Sociais 1 P
PROJETOS SOCIAIS
FACUMINAS
2
SUMÁRIO
Referências.......................................................................................................... 27
3
1 - Reflexões sobre avaliação de programas e projetos sociais (ADAPTADO)
1.1 - Introdução
4
diretamente relacionadas, entretecidas. Enquanto a avaliação de determinada política
pública implica o exame de diversos elementos, desde seus pressupostos e fundamentos
políticos, passando pela "engenharia institucional" e os "traços constitutivos" dos
programas e projetos que a operacionalizam (ARRETCHE, 1998), a avaliação de
programas e projetos sociais pode ser compreendida como uma etapa, uma parcela da
avaliação da política pública da qual tal programa faz parte. Neste artigo a avaliação de
políticas públicas será considerada como campo mais amplo, dentro do qual se
desenvolve a avaliação de programas e projetos sociais, que objetiva compreender seu
alcance, questionar seus limites e, em última instância, contribuir para a transformação
da sociedade (MINAYO, 2005). A avaliação, como técnica e estratégia investigativa, é
um processo sistemático de fazer perguntas sobre o mérito e a relevância de
determinado assunto, proposta ou programa, devendo ser útil, viável, ética e precisa
(MINAYO, 2005; PENNA FIRME, 2003).
De modo amplo, a palavra avaliação está relacionada à determinação de valor
(AKERMAN; MENDES; BÓGUS, 2004; TREVISAN; BELLEN, 2008). De modo
mais específico, o objetivo de uma avaliação de programa é produzir efeitos e resultados
concretos, que possam balizar as decisões a serem tomadas por gestores, executores e
sociedade civil em geral. Serve para melhorar um programa ou serviço e modificá-lo a
partir do conhecimento de suas qualidades e fraquezas, aprendendo a partir de
experiências anteriores, verificando sua eficiência e eficácia, de acordo com os
objetivos aos quais se propõe (COHEN; FRANCO, 1999; HARTZ, 2006;
UCHIMURA; BOSI, 2002). Pode ser utilizada a fim de mensurar resultados e impactos
de uma atividade e distingui-los da influência de outros fatores externos; esclarecer se
os custos de uma atividade se justificam; informar decisões quanto à expansão,
modificação ou eliminação de projetos, programas ou políticas; melhorar a concepção e
gestão de atividades futuras; comparar a eficácia de intervenções alternativas e
aumentar o grau de responsabilização pelo resultado (DEPARTAMENTO DE
AVALIAÇÃO DAS OPERAÇÕES DO BANCO MUNDIAL, 2004; UCHIMURA;
BOSI, 2002).
Algumas definições de avaliação centram-se na verificação do cumprimento de
um plano e análise do alcance de objetivos, supondo que estes têm um valor já
reconhecido e aceito em si (MOKATE, 2002). Outro conceito de avaliação, mais
5
delimitado, é apresentado por Minayo (2005): "conjunto de atividades técnico-
científicas ou técnico-operacionais que buscam atribuir valor de eficiência, eficácia e
efetividade a processos de intervenção em sua implantação, implementação e
resultados" (p. 23), definição esta que salienta o aspecto técnico e metodológico da
avaliação. Brandão e Silva (2008) conceituam que a avaliação é a disciplina que se
dedica a medir, descrever e julgar objetos e fenômenos. Cada avaliação será permeada
por esses três elementos essenciais que se manifestam com diferentes intensidades:
a) medição, relacionada ao ato objetivo e muitas vezes quantitativo de medir as coisas,
as variações e as mudanças; b) descrição, que diz respeito ao ato de representar um
objeto ou fenômeno, caracterizando-o em sua integralidade e multiplicidade e assim
tendendo a operar pela via da linguagem qualitativa; c) julgamento, elemento que dá
identidade à avaliação, à medida que explicita que os processos de avaliação podem
determinar o mérito e a relevância de um objeto ou fenômeno.
Grande parte da bibliografia disponível sobre a avaliação de programas e
serviços refere-se a aspectos tecnológicos, ora enfatizando a qualidade, ora as
avaliações econômicas de custo-efetividade, recorrendo para essa finalidade tanto a
técnicas quantitativas quanto qualitativas (FARIA, 2005; SILVA, 1999). Conforme
Bosi e Uchimura (2007) há estudos de avaliação com contornos mais clássicos,
dirigidos à análise da eficácia e/ou eficiência de determinado programa (ARRETCHE,
1998), e estudos avaliativos voltados à dimensão subjetiva da qualidade, que se
propõem a desvendar os sentidos dos fenômenos, respeitando sua complexidade,
riqueza e profundidade. Tais estudos seriam adequados à análise do sucesso prático do
programa, pois consideram as expectativas e o universo simbólico dos atores
envolvidos, em especial, dos usuários a que se destinam as ações. Uchimura e Bosi
(2002) destacam a importância de focalizar os diversos sentidos da avaliação, a
influência do paradigma positivista no campo, o caráter polissêmico do termo qualidade
e sua estreita imbricação com a subjetividade.
Conforme Deslandes (1997), o paradigma positivista, inicialmente hegemônico
nesse campo, passa a ser questionado por diversos pensadores, especialmente a partir da
década de 90, apontando a subjetividade inerente a qualquer avaliação. A pretensa
objetividade passa a ser percebida como limitada pelos vários recortes produzidos pelo
investigador. Arretche (1998) ainda destaca que a atribuição de aprovação ou
6
desaprovação a uma política ou programa público particular está permeada por certa
concepção de justiça, que pode ser explícita ou implícita, e que, por esse motivo, não há
possibilidade de que qualquer modalidade de avaliação ou análise de políticas públicas
possa ser apenas instrumental, técnica ou neutra. O campo social é intrinsecamente
permeado de valores em disputa, o que torna necessário que o processo avaliativo
contemple em seu desenho e metodologia a explicitação de óticas, valores e princípios
(AKERMAN et al., 2004). Como apontam Laperrière e Zúñiga (2007), toda reflexão
sobre os métodos de avaliação está intimamente ligada a opções metodológicas que são
necessariamente políticas.
7
avaliação de políticas e programas. Os autores ponderam que tal posição é no mínimo
ingênua, senão parcial, pois não há necessariamente uma virtude intrínseca na mudança,
que certas vezes é vista como progresso e desenvolvimento e em outras
como insurgência e terrorismo, conforme a relação entre processo de produção
científica e seus contextos políticos.
Marcada por desenvolvimentos internacionais, a área de avaliação de programas
e serviços expandiu-se e diversificou-se metodologicamente nas últimas décadas
(NOVAES, 2000). Cada vez mais exigida pelas agências financiadoras internacionais, a
avaliação de programas e serviços cresceu em valorização devido a três movimentos
principais, apontados por Adulis (2002): a) redução no volume dos recursos, que se
articula ao crescente ceticismo quanto ao valor da ajuda nos países em
desenvolvimento; b) aumento da concorrência entre as organizações do terceiro setor,
que pressiona para uma maior profissionalização da área; c) o processo de
democratização e aumento da participação social, gerando pressões para controle social
dos gastos públicos. Aparentemente, o processo de institucionalização dos sistemas de
avaliação na América Latina foi fortemente marcado por indução externa, a partir de
demandas de organismos internacionais e multilaterais. Uma dessas demandas diz
respeito à reforma do Estado. As décadas de 80 e 90 foram período de significativo
desenvolvimento na avaliação de políticas na América Latina, e há consenso de que a
avaliação de políticas públicas foi posta a serviço da reforma do Estado, predominando
uma concepção tecnicista (FARIA, 2005). A avaliação ganha centralidade como forma
de dar credibilidade a um processo de reforma política em que é questionado o tamanho
e a eficiência do setor público (TREVISAN; BELLEN, 2008), existindo uma medição
de forças entre defensores do Estado e da privatização, na direção de um estado mínimo.
Assim, cabe ressaltar que a construção histórica do campo da avaliação está perpassada
pelo jogo de forças que envolvem, entre muitos outros elementos, instituições
supranacionais e concepções sobre os estados nacionais e qualidade de vida.
No Brasil, a área de avaliação começa a se desenvolver apenas a partir da década
de 80, inicialmente de forma bastante incipiente (ARRETCHE, 2003; UCHIMURA;
BOSI, 2002), com grande fragmentação organizacional e temática, além de
institucionalização ainda precária das tecnologias de avaliação de intervenções sociais
(FARIA, 2005; MINAYO, 2005). Há relativamente poucos dispositivos legais,
8
diretrizes, ou parâmetros que claramente garantam a qualidade, credibilidade e
reconhecimento da prática da avaliação (HARTZ, 2006). Entretanto, verifica-se,
especialmente a partir da década de 90, que tanto a academia quanto órgãos
governamentais e centros de pesquisa têm ampliado estudos e pesquisas sobre políticas
públicas e programas sociais (SOUZA, 2003), já sendo possível visualizar um crescente
conjunto de estudos nacionais e locais, ainda que poucos sobre as características e
diferenças nos níveis estaduais (SOUSA, 2003; TREVISAN; BELLEN, 2008). Na
última década houve um crescimento nos estudos no Brasil, com dissertações e teses
sobre temas relacionados às políticas governamentais, criação de disciplinas de políticas
públicas nos programas de graduação e pós-graduação, implantação de linhas de
pesquisa voltadas para essa área, constituição de agências de fomento à pesquisa, assim
como formas especiais de financiamento para a área (ARRETCHE, 2003; TREVISAN;
BELLEN, 2008).
Trevisan e Bellen (2008) destacam alguns problemas a serem superados na área
da avaliação, organizados em três tópicos: 1) baixa capacidade de acumulação de
conhecimento da área, em função da proliferação horizontal de estudos de caso e da
ausência de pesquisa (ARRETCHE, 2003). Como solução a esse problema foram
criados fóruns específicos sobre políticas públicas em espaços acadêmicos e em
periódicos nacionais e internacionais, mais acessíveis devido à sua informatização. 2)
Abundância de estudos setoriais, caracterizados pela diversificação horizontal, sem um
fortalecimento vertical da produção (SOUSA, 2003). 3) Proximidade da área de
políticas públicas com a burocracia governamental, que tanto pode resultar em trabalhos
normativos e prescritivos, como na possibilidade desses mesmos órgãos governamentais
ditarem a agenda de pesquisa acadêmica (TREVISAN; BELLEN, 2008).
Com relação às temáticas mais trabalhadas na área de avaliação no Brasil, Faria
(2005) aponta que parte significativa dos estudos refere-se a questões de ordem
metodológica e/ou às distintas maneiras de se classificar a avaliação. Em 2003, Arretche
já apontava que a agenda de pesquisa brasileira na área estaria subordinada à agenda
política, o que estaria expresso no conteúdo da produção acadêmica (teses, artigos e
pesquisas), voltado para a avaliação dos resultados alcançados pelas políticas em voga
ou à atualização da informação existente sobre programas já consolidados. Mais
recentemente, Trevisan e Bellen (2008) também apontam como temática a análise das
9
estruturas e instituições e a caracterização dos processos de negociação das políticas
setoriais específicas. Faria (2005) entende que, de forma contraditória, houve no Brasil
ênfase na avaliação de políticas, e ao mesmo tempo aparentemente não foi despertado
um interesse equivalente por parte da comunidade acadêmica nas áreas da ciência
política e da sociologia, enquanto na área da administração pública há maior número de
estudos e publicações. Conforme apontam pesquisadores, as avaliações de programas
geralmente ocorrem sob o patrocínio de grandes instituições públicas que desenvolvem
intervenções em todo o território nacional. A falta de convênios e laços formais e/ou
informais de trabalho entre laboratórios de universidades distintas tem impedido a
colaboração conjunta nestes grandes projetos (ANPEPP, 2008).
No Brasil existem na atualidade propostas federais de avaliação e
monitoramento que vêm crescendo em importância. Na área da Saúde, o Sistema Único
da Saúde - SUS tem atribuição de incrementar o desenvolvimento científico em saúde e
a avaliação do impacto que as tecnologias provocam à saúde (BRASIL, 1990). Ao
Ministério da Saúde (MS), gestor federal do SUS, compete também formular, avaliar,
elaborar normas e participar na execução da política nacional de produção de insumos e
equipamentos para a saúde, o que é realizado a partir da constituição do Departamento
de Ciência e Tecnologia (DECIT) e da Secretaria de Ciência, Tecnologia e Insumos
Estratégicos (ELIAS; PATROCLO, 2004). Há também um importante conjunto de
estudos que envolvem a avaliação de serviços de saúde, área já consolidada em suas
várias linhas de abordagem, realizados em diversas áreas do conhecimento (por
exemplo, a literatura sobre avaliação de Programas de Saúde da Família e toda a ampla
produção na área do HIV/AIDS, entre outros). A utilização de indicadores de avaliação
econômica, tecnológica e de qualidade da atenção em saúde (acesso, utilização,
cobertura, eficácia, satisfação do usuário, objetivos, estrutura, processos, resultados,
entre outros) é reconhecida e amplamente divulgada (NOVAES, 2000; UCHIMURA;
BOSI, 2002).
Na área da assistência social, o Ministério do Desenvolvimento Social e
Combate à Fome (MDS) constituiu uma secretaria específica de Avaliação e Gestão da
Informação (SAGI), com o objetivo de disseminar metodologias e informações sobre o
monitoramento e a avaliação dos programas sociais implementados. Deve estimular que
as demais instâncias de Assistência Social em níveis estadual e municipal procedam da
10
10
mesma forma, institucionalizando a função avaliação e monitoramento e incorporando-a
à gestão de seus programas e políticas, bem como favorecendo a publicização de
indicadores de monitoramento e de resultados de estudos de avaliação (PAES-SOUSA;
VAISTMAN, 2007). Com recursos originados de várias fontes: Tesouro Nacional,
empréstimos do Banco Mundial (BIRD) e Banco Interamericano de Desenvolvimento
(BID), foram contratados estudos referentes aos 22 programas nacionais, além de
realizada capacitação dos gestores do MDS em atividades de avaliação. Conforme Paes-
Souza (2007), a estratégia de avaliação envolveu a contratação de estudos de diferentes
tipos, desenhos, abordagens e métodos, desde grandes pesquisas nacionais em conjunto
com o IBGE - Instituto Brasileiro de Geografia e Estatística, avaliações de impacto com
desenho quase-experimental, passando por avaliações de processos e estudos de caso,
com abordagem antropológica. Ainda que tais esforços possam ser vistos de forma
positiva, análise realizada por Alves (2007) aponta a ausência de uma cultura política de
avaliação dos programas, projetos, serviços e benefícios derivados da assistência social
no Brasil. A autora entende que tais processos reeditam os tradicionais procedimentos
técnico-operativos de controle institucional e administrativo-contábil, não tomando
como parâmetros a Constituição e a Lei Orgânica da Assistência Social.
11
11
todo coerente e compreensível, de modo a dar sentido e entendimento ao caráter errático
da ação pública. Uma das principais dificuldades metodológicas na área é estabelecer
relações de causalidade em uma avaliação, onde todo o complexo contexto cultural,
social e político precisa ser levado em consideração.
Carvalho (2003) aponta que a avaliação constitui o processo da política pública,
em que há uma alteração contínua nas decisões, um processo em fluxo, que se
caracteriza por constantes barganhas, pressões e contrapressões, e por redefinições do
próprio objeto das decisões. A avaliação deve integrar-se a esse processo como
atividade permanente que acompanha todas as fases da política pública, desde a
identificação do problema até a análise das mudanças sociais advindas da intervenção,
num ciclo que pode ser tomado como um quadro de referência para a análise processual.
Entretanto, por vezes é questionado, devido à dificuldade dos atores políticos
administrativos fixarem-se a esse contínuo, especialmente para programas políticos
mais complexos (TREVISAN; BELLEN, 2008). A possibilidade de a avaliação ser a
retroalimentação da política não é um fato dado, uma vez que o processo da política
pública não é necessariamente racional e coerente (ARRETCHE, 1998). Sousa (2003)
argumenta também que a construção das políticas envolve pressões diversas às quais
determinado governo está submetido e prioriza, visando a uma próxima eleição, e que
também é necessário considerar as dificuldades concretas em articular ações
intersetoriais entre as diferentes políticas sociais. Saúde, educação, assistência social
seguem construindo ações em paralelo, apesar de esforços por uma maior integração.
Elias e Patroclo (2004) lembram que grupos de interesse exercem pressão em vários
estágios: na definição do tipo de necessidades que serão reconhecidas e as que serão
ignoradas; no tipo de decisões que serão tomadas e no tipo de políticas que emergirão.
Ainda assim, Faria (2005) entende que prevalece no campo a concepção da avaliação
como um instrumento administrativo e, portanto, como função supostamente alheia às
disputas propriamente políticas, devendo os profissionais da área estar atentos à sua
problematização constante.
12
12
variedade de critérios apontados pelos estudiosos da matéria. Essas questões e
elementos estão imbricados, e sua separação é complexa. Diversos fatores influenciam
na definição do tipo de avaliação a ser utilizada, entre os quais os recursos financeiros, a
finalidade da avaliação e a fase em que se encontra o projeto. A avaliação deve abranger
as três etapas de um projeto: planejamento, processo e resultados, não se restringindo a
estes. Os diferentes tipos de avaliação abarcam as questões fundamentais quando se
elabora uma proposta de avaliação: o que avaliar, quando avaliar, quem avalia, por que
avalia e para quem. Cohen e Franco (1999) apresentam uma tentativa de associar os
tipos de avaliação com uma classificação organizadora em função: 1) do momento em
que se realiza: antes, durante ou depois da implementação da política ou programa
sendo chamada de a) avaliação prévia, pré-avaliação, formativa ou ex-ante; b) durante a
realização do projeto: avaliação de processos; c) depois da realização do projeto:
avaliação de impacto, avaliação final, somativa ou ex-post; 2) da procedência ou
posição do avaliador: avaliação interna, externa ou independente, mista, participativa e
autoavaliação; e a estes Faria (2005) acrescenta 3) a natureza do objeto avaliado
(contexto, insumos, processos e resultados). Em termos de variação da nomenclatura,
ainda são referidas na literatura avaliações de conjunto, de programa nacional, a meio
percurso, autoavaliação e meta-avaliação.
Novaes (2000) desenvolve uma síntese das principais modalidades propostas na
área de avaliação em saúde, que contempla avaliações de programas sociais em geral,
organizando-as também em grandes categorias: (1) objetivo da avaliação: priorização
das condições de produção do conhecimento ou das condições de utilização do
conhecimento (tomadas de decisão, aprimoramentos na gestão); 2) posição do
avaliador: externo, interno, ou semiindependente; 3) enfoque priorizado: interno, de
caracterização/compreensão de um contexto, ou externo, de quantificação/comparação
de impactos de intervenções; 4) metodologia predominante: quantitativa ou qualitativa,
situacional ou experimental/quase-experimental; 5) contexto da avaliação: controlado
ou natural; 6) forma de utilização da informação produzida: demonstração/comprovação
ou informação, instrumentalização; 7) tipo de juízo formulado: comprovação/negação
de hipóteses, recomendações ou normas; 8) temporalidade da avaliação: pontual,
corrente, contínua. Segundo a autora, estas modalidades não têm um conteúdo
valorativo em si, mas apontam alternativas conceituais e metodológicas existentes nos
13
13
processos de avaliação, referenciadas por teorias e metodologias gerais aceitas por áreas
de conhecimento e práticas legitimadas.
Arretche (1998) destaca três tipos de avaliação, segundo seu foco: efetividade
(sucesso ou fracasso em termos de uma efetiva mudança nas condições sociais prévias
das populações atingidas), eficácia (relação entre os objetivos e os instrumentos
explícitos e seus resultados efetivos), eficiência (relação entre o esforço empregado e os
resultados alcançados). Também é importante diferenciar entre avaliação de processo e
avaliação de impacto (ADULIS, 2002; CARVALHO, 2003; COHEN; FRANCO, 1999),
sendo a primeira aquela que visa acompanhar e avaliar a execução dos procedimentos
de implantação dos programas e políticas, a adequação dos meios e recursos com
relação aos resultados parciais ou finais, diferenciando-se de monitorar programas
(ferramenta de gerenciamento aplicada durante sua execução). Já a avaliação de impacto
focaliza os efeitos produzidos sobre a sociedade, para além dos beneficiários diretos da
intervenção, avaliando-se sua efetividade social, e pressupõe relação causal entre
política/programa e a mudança social provocada.
A metodologia do Marco Lógico vem sendo referida de modo crescente na
literatura (CARVALHO, 2003; COSTA; CASTANHAR, 2003; TREVISAN; BELLEN,
2008), caracterizando-se como uma tipificação metodológica muito atual. Adotada por
organismos financeiros internacionais (como, por exemplo, o BID), pressupõe que os
projetos sejam estruturados seguindo parâmetros razoavelmente rígidos, definidos em
metodologia complexa e ampla (CARVALHO, 2003). Em linhas gerais, a estruturação
dessa metodologia parte da concepção de políticas públicas como processo e a avaliação
é constitutiva e integrada ao próprio processo da política pública, programa e projeto,
desde o diagnóstico da populaçãoalvo até a definição de critérios para intervenção.
Dentre os diversos elementos a serem considerados na realização de uma
avaliação, cabe destacar a preocupação com o viés do pesquisador. Arretche (1998)
defende que as avaliações sejam conduzidas por órgãos e avaliadores independentes,
pela questão da neutralidade. Ela pondera a dificuldade de que as próprias equipes
governamentais encarregadas da execução de uma dada política realizem avaliações
isentas, tendendo a minimizar elementos negativos do programa, visando à manutenção
dos próprios empregos e mesmo a questões de poder e recursos financeiros do órgão
que representam. Em contrapartida, Brandão e Silva (2008) questionam o modelo
14
14
avaliativo orientado pela lógica dos julgamentos externos e pela verificação do
cumprimento ou não das intenções dos projetos, programas e práticas. Considerando
que essa perspectiva está marcada por uma concepção utilitarista da avaliação, os
autores problematizam tal discurso de neutralidade, e apontam a consolidação de
modelos avaliativos externos, quantitativos, somativos e supostamente neutros. Ao
propor a utilização de modelos que valorizam a importância dos processos
participativos para a autonomia dos sujeitos, salientam que a avaliação pressupõe um
"imperativo fundamental -o conceito avaliação será sempre uma construção e terá tantos
sentidos quantos lhe atribuírem aqueles que o constroem" (BRANDÃO; SILVA, 2008,
p. 2).
15
15
ganhos políticos (TREVISAN; BELLEN, 2008). Nesse sentido, Arretche (1998)
observa que o impacto social de uma política tende a ter menor peso no processo
decisório do que seu impacto sobre a opinião pública ou seu impacto eleitoral. Três
dimensões quanto ao uso das avaliações são apresentadas por Faria (2005): instrumental
(relativa ao apoio às decisões e à busca de resolução de problemas, depende também da
adequada divulgação dos resultados, de sua inteligibilidade e da factibilidade das
recomendações); conceitual (ou função educativa, que pode alterar a maneira como os
técnicos compreendem a natureza, a operação e o impacto do programa que
implementam); e simbólica (uso político, como instrumento de persuasão e para
legitimar uma posição).
Um elemento fundamental no processo de utilização de avaliações refere-se à
forma de divulgação e ao público atingido. É necessário que tais resultados de pesquisa
possam dar transparência aos processos de avaliação dos programas e serviços, dando
pleno acesso aos cidadãos, com descrição do desenho do estudo e dos processos, da
metodologia empregada, e dos resultados alcançados (ARRETCHE, 1998). Devem ser
socializados de forma ampla, proporcionando debate e divulgação não somente entre
especialistas da área ou aqueles que tomam decisões, mas também junto à opinião
pública, com linguagem acessível para o público geral realmente compreender seu
conteúdo (FARIA, 2005). Dessa forma, os resultados de avaliações podem fomentar o
debate público em torno das alternativas de intervenção governamental em uma dada
realidade social, assim como podem instrumentalizar o princípio democrático de
controle sobre a eficiência da ação dos governos (ARRETCHE, 1998; TREVISAN;
BELLEN, 2008).
Elias e Patroclo (2004) demonstraram também que o uso de informações geradas
por investigações científicas pode subsidiar a alocação de recursos, em especial os
internacionais. Referindo discussões realizadas no âmbito da Organização
Panamericana de Saúde (OPS), os autores destacam a necessidade de integração entre
pesquisa, ação e política, uma vez que o processo de produção, tradução, utilização e
disseminação de conhecimento é complexo e exige responsabilidade tripartite de
pesquisadores, gestores e usuários de serviços. A título de exemplo de uma prática
muito atual, Paes-Sousa (2007) descreve como se dá o processo de implementação e
divulgação dos estudos de avaliação junto ao Ministério do Desenvolvimento Social:
16
16
definição do estudo a ser feito; elaboração do termo de referência com os parâmetros
técnicos e legais para a contratação do estudo; contratação de instituição de pesquisa e
gestão do contrato; acompanhamento do estudo e aprovação dos relatórios;
incorporação dos resultados e recomendações dos estudos aos programas; discussão
interna dos resultados; divulgação externa dos resultados; disponibilização dos
microdados para a comunidade científica, por meio do Consórcio de Informações
Sociais (CIS), sob gestão da ANPOCS. Observa-se que a divulgação atinge a própria
instituição governamental, a comunidade científica, mas não abrange os cidadãos em
geral, assim como não está prevista socialização com os usuários ou público daquela
política. Como apontam Brandão e Silva (2008), o fato de estarmos habituados com um
olhar instrumental para a avaliação, faz com que até mesmo coloquemos em dúvida as
possibilidades de uma leitura ético-política do conceito, que possa envolver outras
formas de relação com a própria população e contexto do programa em avaliação. Uma
forma de criar a condição de apropriação dos resultados é implicar os usuários da
política e/ou programa de forma intrínseca ao processo da avaliação.
17
17
Akerman e cols. (2004) revisaram algumas experiências com ênfase na avaliação
participativa, que passa a ser vista não como um procedimento meramente técnico, mas
como passível de explicitar valores e princípios. Apresentam um modelo constituído por
oito estágios, que se complementam e se retroalimentam: 1) compartilhar uma história
comum; 2) criar uma visão comum de futuro; 3) identificar os diversos atores com
interesse no processo avaliativo; 4) identificar metas, objetivos e indicadores; 5)
identificar estratégias para se alcançar metas; 6) coletar dados e construir indicadores; 7)
analisar dados; e 8) comunicar resultados. Conforme os autores, este processo
pressupõe: um desenho compartilhado entre comunidade, técnicos e financiadores; que
as habilidades e conhecimentos produzidos no desenrolar do programa sejam
transferidos para os membros da comunidade; que haja contínuo processo de
retroalimentação e reflexão e, finalmente, um envolvimento de diferentes atores sociais
no processo de avaliação.
Brandão e Silva (2008) apresentam uma posição ético-política em que as
práticas de avaliação podem ser elemento mediador entre o sujeito (ou comunidade) e a
compreensão crítica de sua ação no mundo (projeto, programa ou prática). Em seu
artigo, os autores apresentam a metodologia, que envolve lideranças comunitárias, a
comunidade onde se atua e o poder público, implicados em conversas e negociações em
torno de conjuntos de perguntas avaliativas, como "quem participa? Quem avalia?
Quem toma decisões? Quem assume as consequências?". O método básico envolve "a
roda", arena política e matéria prima a ser trabalhada na avaliação. São destacadas as
questões a serem trabalhadas: O que significa avaliação para nós? Por que vamos fazer
uma avaliação? Quem participa da avaliação? O que será avaliado? Que perguntas
vamos responder? Que evidências devemos buscar para respondê-las? Precisamos
agregar outras coisas além de nossas opiniões? De que maneira vamos colher essas
informações? O que as informações nos revelam? O que aprendemos com tudo isso?
(BRANDÃO; SILVA, 2008).
Também Laperrière e Zúñiga (2007) apresentam uma forma de avaliação da
ação comunitária, realizada em uma perspectiva de pesquisa-ação participativa.
Apontam que toda avaliação da ação social está entre uma ideia (que contém valores,
aspirações e esperanças que dinamizam a ação), e a ação transformadora em si, que
desencadeia no avaliador a pressão ética de tomar consciência de seus próprios valores,
18
18
que sustentam a própria construção metodológica da avaliação. "A avaliação é o
encontro do mundo das ideias com o das evidências e sua expressão não poderá forçar a
linguagem de um sobre o outro" (LAPERRIÈRE; ZÚÑIGA, 2007, p. 40). Na proposta,
os autores buscaram maximizar a atuação dos participantes em todas as etapas das
avaliações, desde a definição de metas e de meios, até a construção de estratégias de
coleta e de análise de informações e redação dos relatórios, constituindo um espaço de
mediação, em que participantes atuaram como agentes multiplicadores e de contato.
Permanece sendo um dos limites reais colocados à própria participação dos usuários a
barreira da palavra escrita, no sentido de que a finalização do processo, a escrita de
relatórios está, via de regra, a cargo do pesquisador/avaliador.
19
19
simultaneamente, constitutivo do e constituído pelo processo avaliativo" (LEITE;
NUNES, 2009, p. 152).
Nesse sentido, algumas das principais metodologias participativas estruturadas
que surgiram na segunda metade do século XX, no contexto de transferência de
tecnologia de países centrais para aqueles em desenvolvimento, têm sido utilizadas de
forma crescente (BURSZTYN; RIBEIRO, 2005). São elas: Logical Framework, o
Planejamento de Projeto Orientado aos Objetivos (conhecido como ZOPP -
ZielorientiertProjektPlannung), a Gestão do Ciclo do Projeto (Project Cycle
Management); e as metodologias rápidas, genericamente chamadas de RAP
(RapidAssessment Procedures). Tais tecnologias podem ser úteis se tomadas segundo a
"lógica da caixa de ferramentas", como um instrumental que pode ser disparador de
processos participativos. Entretanto, é necessário atentar para o risco de manipulação ou
ilusão de participação, se tais alternativas metodológicas forem utilizadas como um fim
em si mesmo. A participação efetiva estará voltada para o desenvolvimento de
consciência crítica e libertadora.
A questão ética do viés do pesquisador, portanto, deixa de implicar busca por
neutralidade pura e simplesmente, mas a busca por uma clareza da posição e da relação
que se estabelece com o objeto investigado. Seja um avaliador externo ou interno, sua
posição precisa ser problematizada. A avaliação é uma construção de sentidos diante de
uma realidade complexa e implicar usuários e gestores da política e/ou programa de
forma intrínseca ao processo da avaliação amplia a magnitude de sentidos possíveis.
Mais do que tudo, a avaliação pode tornar-se processo de produção de aprendizagens e
de construção de consciência crítica sobre o nosso mundo.
20
20
2.1 - Estrutura básica
21
21
Inserir um currículo resumido de cada profissional envolvido (será importante para
dar fundamentação técnica e segurança aos financiadores). Pode-se utilizar o
currículo da base Lattes na forma resumida - modelo exigido em instituições como
Capes e CNPq;
Indicar o coordenador ou responsável pelo projeto, sendo importante ter um “regra
dois” para a coordenação – indicar quem assume se o coordenador/responsável sair;
Ter uma coordenação “de peso” é importante (profissional reconhecido);
Descrever a estrutura disponível e a capacidade institucional para abrigar o projeto;
Descrever a capacidade técnica, física e operacional (instalada) do proponente, sua
organização, planejamento, logística e recursos a serem utilizados;
Prever todos os recursos técnicos, materiais e físicos necessários à execução, porém,
não comprometer recursos indisponíveis.
2.1.6. Contexto do projeto
Elaborar um diagnóstico da situação envolvida, de forma focada e sucinta;
Assegurar que o projeto parta de uma realidade e necessidade comprovada;
Ter dados reais da situação, com um retrato histórico e atual;
Descrever a contribuição dos beneficiários na elaboração do projeto.
2.1.7. Objetivos
a) Geral
O objetivo deve ser claro, coerente e sucinto para dizer o que o projeto quer;
Deve refletir a razão de ser do projeto, podendo ser abrangente;
Deve estar ajustado às normas dos financiadores - muitas instituições buscam
palavras-chaves no texto do projeto (sustentabilidade, desenvolvimento social,
impacto ambiental / social, geração de emprego, taxa de retorno financeiro, etc).
b) Específicos
Os objetivos específicos devem estar bem relacionados com o título, com o contexto
do projeto e com o objetivo geral, mantendo o foco;
Utilizar verbos de acordo com a linguagem do financiador – infinitivo, particípio
passado, gerúndio;
Redigir de forma clara o que se quer atingir, indicando os benefícios desejados para
o público e área envolvida.
c) Resultados desejados
22
22
Indicar quais os resultados que se quer alcançar, concretamente, ao final do projeto;
Descrever os possíveis efeitos e impactos que o projeto pretende produzir;
Quantificar os objetivos tentando dar uma dimensão para os mesmos – apresentar os
indicadores que podem ser uma boa medida para considerar que os objetivos foram
alcançados;
Ser realista e manter coerência com os objetivos propostos.
2.1.8. Justificativas
O projeto deve estar baseado em uma justificativa absolutamente coerente, que
fundamente a sua razão de ser;
Não deverá haver dúvida do por quê do projeto, o fim a que se destina, devendo
convencer da necessidade e relevância dos objetivos propostos;
Deixar clara a sua contribuição social, ambiental, cultural, etc.;
Projetos sem uma boa justificativa geralmente são rejeitados - uma análise objetiva
do contexto geral e específico poderá ser útil nesta fundamentação.
2.1.9. Revisão Bibliográfica
Procurar fundamentar teórica e tecnicamente o projeto;
Atenção às normas técnicas para as citações e referências, organização de quadros e
tabelas, inserção de notas;
O número de páginas depende das possíveis regras da instituição financiadora, da
amplitude do tema e da objetividade;
Cuidado para não ser longa demais e conter informações que pouco interessam aos
objetivos do projeto;
Eventualmente, de acordo com as orientações do agente financiador, a revisão de
literatura poderá ter outro título (fundamentação teórica, marco teórico, marco
técnico ou outro) ou fazer parte de outra seção do trabalho.
2.1.10. Público-alvo
Delimitar o público envolvido e descrever os beneficiários diretos e indiretos,
indicando-os também quantitativamente, se possível (comunidades, grupos, pessoas,
etc);
Essa descrição deve ser realista e coerente com a proposta e estratégia do projeto.
2.1.11. Estratégia do projeto (atividades)
Descrever os meios e as ações que serão utilizados para assegurar o êxito do projeto;
23
23
Relacionar uma ou mais ações (o que fazer?) para cada objetivo específico com suas
respectivas metodologias (como será realizado?);
Podem ser descritas a partir de um plano operacional (marco operacional) do
projeto;
Estabelecer parcerias e políticas de atuação, com as possíveis alianças para a
viabilização do processo;
Adequar a estratégia do projeto às linhas do financiador;
Não queimar etapas – as ações devem ser necessárias e suficientes para assegurar os
objetivos pretendidos, mostrando coerência no texto;
Prever ações para minimizar possíveis resistências ao projeto.
2.1.12. Metodologia
Definir uma proposta metodológica a ser utilizada pelo projeto, descrevendo:
Como o projeto será desenvolvido;
Qual a dinâmica de implementação;
Como ele será operacionalizado;
Quais os instrumentos de execução;
Qual a forma de condução;
Utilizar uma metodologia adequada ao público beneficiário, à instituição proponente
e às instituições apoiadoras;
Descrever, seqüencialmente, o passo a passo do desenvolvimento do projeto.
2.1.13. Premissas e análise de risco
Analisar os riscos para o desenvolvimento do projeto, fazendo a sua previsão e
observando as ameaças internas e externas.
a) Análise de viabilidade – fatores de controle interno
Descrever os elementos que asseguram a viabilidade do projeto;
Realizar uma análise dos fatores de risco internos do projeto.
Viabilidade política
Assegurar que o projeto esteja inserido nas políticas e programas
governamentais e institucionais;
Assegurar que o mesmo obedeça aos aspectos legais vigentes.
Viabilidade financeira
Descrever:
24
24
Quanto vai custar;
Quem vai financiar;
Como será o financiamento.
Obs.: quando se pleitear um financiamento com o projeto, demonstrar
claramente a viabilidade financeira da ação a ser financiada; mas, também
claramente, demonstrar a viabilidade financeira das demais atividades
desenvolvidas que não são objeto de tal financiamento – isto demonstra que,
independentemente da aprovação ou não do projeto, a instituição será capaz de
dar continuidade aos seus trabalhos. Se tal questão não ficar esclarecida,
normalmente os projetos são reprovados – nenhum agente financiador aposta
em uma instituição que só desenvolve uma ação ou que todas as ações
dependam de um único agente financiador (dá a impressão que só está
interessada no dinheiro).
Viabilidade técnica
Descrever:
Quem vai dar o suporte técnico;
Quanto vai custar tal suporte.
Viabilidade econômica
Analisar se o projeto garante o retorno dos investimentos;
Verificar se pode ser garantida a sua auto-sustentabilidade.
Obs.: o retorno do investimento não é medido em termos de cálculo financeiro-
contábil (benefício-custo); mas em termos de eficácia (resultados da ação),
eficiência (custo da ação) e efetividade (solução definitiva do problema). A
auto-sustentabilidade está relacionada à possibilidade de garantir a
continuidade da ação com recursos próprios, independentemente da renovação
do financiamento.
Viabilidade social
Verificar se os beneficiários e envolvidos aceitam o projeto;
Analisar se há sustentabilidade social.
Viabilidade ambiental
Assegurar o respeito aos princípios de sustentabilidade ambiental.
b) Análise das premissas – fatores externos ao projeto
25
25
Analisar os fatores que estão fora do controle do projeto, mas que são importantes
para o seu êxito;
As premissas podem ser definidas a partir da hierarquia de objetivos;
Formular as premissas com um enfoque positivo (como superá-las);
Verificar o grau de importância e qual a probabilidade de ocorrer;
Examinar se as atividades descritas conduzem diretamente aos objetivos específicos,
ou se para isto acontecer, deverá haver um acontecimento adicional externo ao
projeto;
Examinar se os objetivos específicos conduzem diretamente ao objetivo do projeto,
verificando se existem algum fator externo ao projeto que possa contribuir ou
impedir de se chegar a este fim.
2.1.14. Cronograma de execução
Descrever o período de execução, por fases e ações, especificando o responsável;
Ajustar o cronograma observando características regionais, para não ter imprevistos
– colheita, chuva, festas, etc.;
Definir o calendário sempre com uma margem de segurança, respeitando a
capacidade física, organizacional e financeira da organização;
Desenvolver um quadro sintético e de fácil visualização para facilitar a compreensão
das etapas do projeto.
2.1.15. Orçamento físico e financeiro
Detalhar os custos e gastos do projeto, mantendo coerência com todas as etapas,
com maior ou menor detalhamento, segundo as exigências do agente financiador;
Fazer o orçamento com valores realistas, segundo sua realidade operacional, sem
superestimar nem subestimar, segundo pesquisa de mercado;
Definir com clareza a contrapartida da instituição proponente (geralmente salário
não é aceito como contrapartida);
Elaborar o cronograma de desembolso (bimestral ou trimestral, para projetos curtos
de 1 ou 2 anos; semestral ou anual, para projetos de 2 anos ou mais);
Especificar as necessidades materiais e de recursos humanos;
Organizar as planilhas de custos e apresentar a memória de cálculo, se solicitado
pelo agente financiador;
Conhecer os itens financiáveis por instituição.
26
26
2.1.16. Controle e avaliação
Descrever o sistema de monitoria e avaliação do projeto, demostrando a forma de
controle e ações corretivas;
Definir pontos de observação, fontes de verificação, indicadores e a periodicidade
da avaliação.
2.1.17. Documentação
Prever um sistema de documentação para o projeto;
Definir formas de socializar as informações do projeto com as instituições
cooperantes e envolvidos em geral.
2.1.18. Referências Bibliográficas
Relacionar apenas as citadas no projeto, seguindo as normas da ABNT;
Evitar referências não disponíveis (xerox, textos, etc).
2.1.19. Resumo do projeto
Elaborar uma síntese do projeto buscando dar uma idéia geral do mesmo ao leitor,
antes de uma leitura mais detalhada.
2.1.20. Apresentação geral
Providenciar uma apresentação com uma formatação, layout e configuração básica
seguindo as orientações dos financiadores;
Ter profissionalismo na redação e apresentação (confiabilidade, correção de
linguagem, impessoalidade e bom visual);
Assegurar a coerência entre os elementos do projeto;
Priorizar textos objetivos e sucintos e, em alguns casos, um resumo executivo, o que
poderá facilitar o trabalho dos analistas.
Referências
27
27
ALVES, A. A. F. Os atuais processos de avaliação da política de assistência social no
Brasil. Rio de Janeiro. 320 p. Dissertação de Mestrado em Serviço Social. Universidade
Federal do Rio de Janeiro, 2007.
28
28
DEPARTAMENTO DE AVALIAÇÃO DAS OPERAÇÕES DO BANCO
MUNDIAL. Monitorização e Avaliação: Algumas ferramentas, métodos e abordagens
[Online]. Banco Mundial, 2004. Disponível
em: http://siteresources.worldbank.org/EXTEVACAPDEV/Resources/45856721251481
378590/me_portuguese.pdf. Acesso em: 16 fev. 2007.
29
29
PENNA FIRME, T. Avaliação em rede. Revista do Terceiro Setor. São Paulo: RITS -
Rede de informações para o terceiro setor, dez, 2003.
SILVA, Ligia Maria Vieira da. Avaliação do processo de descentralização das ações de
saúde. Ciência e Saúde Coletiva, vol. 4, n. 2, p. 331-339, 1999.
______. Políticas Públicas: uma revisão da literatura. Sociologias, n. 16, p. 20-45, 2006.
30
30