Avaliação participativa

A avaliação foi realizada com a utilização de métodos mistos, quali/quantitativos ^18,19. Dados secundários relacionados ao atendimento prestado na atenção básica e na de média/alta complexidade a usuários com queixas relacionadas à indicação de cirurgia geral eletiva (colecistectomia) foram levantados com base no acesso ao sistema da Central de Regulação de Oferta de Serviços de Saúde (CROSS), a listagens fornecidas pelo Ambulatório Médico de Especialidades (AME), e ao DATASUS (Departamento de Informática do SUS) usando-se os programas Tabnet/Tabwin (DATASUS. http://portal.saude.gov.br/portal/se/datasus/area.cfm?id_area=732).

A compreensão desses dados foi aprofundada a partir de uma abordagem qualitativa aos usuários que aguardavam vaga, ou que haviam realizado a cirurgia no máximo dois anos antes em serviços públicos. Entrevistas individuais semiestruturadas e grupos focais foram utilizados como método de coleta de dados primários. Em todos os munícipios, com exceção do município polo, o convite para os informantes foi feito à totalidade daqueles que: (1) figuravam em uma listagem de espera para vaga de cirurgia no Hospital Estadual localizado no município polo, ou nos registros das Unidades Básicas de Saúde (UBS) e Regulação; (2) puderam ser acessados por contato telefônico. No caso do município polo, procurou-se contemplar usuários de Unidades Tradicionais e da Estratégia Saúde da Família, dispersos segundo tempo de espera no período entre 2011 e 2014, ou, de acordo com o segundo critério, que realizaram a cirurgia até dois anos antes.

Para a análise dos dados coletados junto aos usuários usou-se a metodologia hermenêutico-dialética ²⁰, valorizando a sua característica interpretativa e diversa.

Esse material empírico e também os dados dos registros/sistemas de informação foram discutidos e analisados em 7 oficinas realizadas com os gestores e gerentes, dispersas ao longo de 10 meses de trabalho.

Meta-avaliação

A coleta de dados para a meta-avaliação se deu nas oficinas e em entrevistas em profundidade realizadas com os participantes após a finalização das atividades, tendo como foco o processo anteriormente desenvolvido e possíveis mudanças, vividas pelos atores e entorno, a ele relacionadas.

O material gerado foi analisado em base a uma metodologia hermenêutico-dialética ²⁰. Procurou-se compreendê-lo considerando seu contexto, selecionando trechos que retratassem os diversos pontos de vista dos atores, preservando e retratando a riqueza inerente aos dados qualitativos.

Cabe lembrar que um processo de análise baseado nesse tipo de abordagem - qualitativa - não almeja traçar uma linha de causalidade direta entre a participação no processo avaliativo e as mudanças identificadas. Partiu-se do pressuposto de que os participantes estavam sujeitos a toda sorte de influências em seus diferentes contextos de ação, e que as mudanças identificadas após a realização do processo avaliativo poderiam ter sido fomentadas ou fortalecidas por ele. Na leitura das oficinas, determinados trechos discursivos foram sublinhados em seu contexto como sinais de processos reflexivos vividos pelos participantes que puderam ser associados à avaliação. Nas entrevistas, as questões formuladas buscaram associar o mais claramente possível as experiências descritas ao processo de avaliação desenvolvido.

Em paralelo ao trabalho de campo procedeu-se à revisão da literatura existente com o objetivo de enriquecer a análise do padrão "utilidade" na pesquisa. Baseando-se nesse levantamento, no qual se destaca o estudo realizado por Hartz & Denis ²¹, foram escolhidos os referenciais considerados pelos pesquisadores potentes para a análise do "uso" de uma avaliação no desenho adotado - local e participativo.

O passo seguinte foi a releitura do material empírico, buscando utilizações do processo/resultados avaliativos não identificadas previamente.

O referencial de Patton ²² foi empregado para identificar e analisar as decisões tomadas no planejamento e execução do processo que visaram a facilitar sua utilização pelos participantes (Figura 1).

Figura 1: Síntese dos passos para organização da avaliação segundo referencial da Utilization-Focused Evaluation²². 

Para a análise do material empírico coletado nas oficinas e entrevistas finais, tomou-se por base o modelo tridimensional proposto por Kirkhart ¹⁷ para análise da influência de processos avaliativos, que é composto dos eixos: (1) Fonte - incluindo a influência exercida tanto pelo processo quanto pelos resultados de uma avaliação; (2) Tempo - afirmando que o uso do que foi aprendido no processo avaliativo pode se dar em diversos momentos e ao longo do tempo, não estando restrito à sua finalização; e (3) Intenção - valorizando tanto a utilização prevista durante o planejamento da avaliação como mudanças não previstas/não intencionais, tanto positivas como negativas, associadas ao processo.

O referencial de Greene ¹¹ foi utilizado para analisar as mudanças vividas pelos atores no decorrer do processo avaliativo, relacionando-as aos tipos por eles descritos, quais sejam, (1) mudança cognitiva que se refere ao processamento ativo e assimilação de informações; (2) afetiva, incluindo sentimentos de elevação da autoestima e valor; e (3) política, mediante a inclusão de uma diversidade de pontos de vista na construção da ação.

Para a análise da influência que os resultados da avaliação tiveram sobre os participantes e seu entorno, foi usado o referencial de Weiss ⁹ que diferencia as utilizações instrumental, ou seja, resultados que tiveram interferência direta na tomada de decisões acerca do objeto de estudo, fosse ele um programa ou política; simbólica, qualificando os resultados da avaliação que são incorporados ao debate político com o objetivo de validar e/ou reforçar decisões prévias; e a conceitual, relacionada a mudanças na compreensão dos envolvidos sobre temas tratados na avaliação, não necessariamente expressas em atitudes ou procedimentos por eles assumidos.

Todos os informantes concordaram em tomar parte no estudo e assinaram os termos de consentimento livre e esclarecido. A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa da Faculdade de Saúde Pública, Universidade de São Paulo (FSP/USP), parecer 1.006.380, de 24 de abril de 2015.

Organização da avaliação primária

A adesão dos participantes ao processo em foco foi voluntária, feita a partir de convite dos pesquisadores à CIR. O foco para a avaliação, escolhido pelo grupo, foi o fluxo de cirurgias eletivas de colecistectomia na região, tomado como um traçador do papel e da relação entre os entes federados na gestão dos níveis de complexidade do sistema de saúde (passo 1).

Esse tema colocava intencionalmente em relevo as limitações vividas pelo gestor municipal nesse compartilhamento. "...aprender a fazer [avaliação] dentro da cirurgia geral, porque a gente tem lá o paciente com a hérnia, com a vesícula, e nós não sabemos se ele está parado aqui, no AME, se ele está parado no Estadual... A gente fica perdido" (secretário municipal).

A sensibilidade do traçador permitiu a mobilização dos atores para a busca de informações e alternativas que pudessem proporcionar-lhes posição mais sustentada e confortável nas negociações entre níveis de gestão e com prestadores privados, principal uso previsto para o processo avaliativo (passo 2). "Vamos levantar quem está vindo fazer colecistectomia aqui no Estadual... Podem estar atingindo a meta, mas não com a gente. De repente, ele [Hospital Estadual] está fazendo 500 cirurgias que não são para a gente..." (assessor técnico). "Precisamos saber dos gargalos para batalhar com o prestador para reivindicar melhoras. Diminuir esse tempo de espera..." (secretário municipal).

O grupo, bastante heterogêneo em termos de tempo de experiência e formação técnica na área da Saúde, empreendeu diversos movimentos de prospecção e retração no planejamento da coleta de dados, buscando selecionar aqueles que realmente lhe seriam úteis para a análise pretendida e projetando atores a serem incluídos ainda durante a avaliação ou apenas ao final, na discussão dos achados (passo 3). "Podemos conseguir um volume de dados sobre este tipo de problema... é olhar o problema de um outro jeito ... porque os nossos dados não são em rede, os nossos dados são localizados no serviço..." (secretário municipal). "Mas aí a gente teria que pegar pessoas concretas, para saber a trajetória que eles fizeram..." (secretário municipal).

Foram feitas explorações conjuntas e individuais dos sistemas eletrônicos de informação, e a coleta de dados qualitativos foi organizada pelos gestores em seus municípios e coordenada no campo pelos pesquisadores (grupos focais com usuários). Os dados foram analisados pelo grupo em reuniões imediatamente posteriores à coleta. "Deixa eu também já ir anotando: o que eu vou fazer no meu município é saber por que os casos ficaram na espera do AME e não no ambulatório do município... Ver quem já fez cirurgia no município. Se a maioria der urgência, já tenho explicação: foi complicação que foi para o Pronto Socorro..." (assessor técnico).

Houve também análise aprofundada dos dados empíricos em duas oficinas já no final do processo, sempre de forma articulada a utilizações futuras do material coletado (passo 4). "Eu acredito que esse trabalho também pode servir para a gente dizer assim: vamos fazer uma FPO [ficha de programação físico-orçamentária] por quantidade..." (assessor técnico). "Acho que a gente tinha que ter uma discussão, que talvez nos dê força para dizer assim: quanto desses trinta mil procedimentos a gente precisa para cirurgia geral, para atender à nossa demanda?, porque deveria ser assim com tudo..." (secretário municipal).

Realizou-se uma sessão formal de apresentação dos achados avaliativos incluída na reunião mensal da CIR, mas acredita-se que o principal canal de disseminação foram as reuniões de um grupo de trabalho da Câmara Técnica da CIR que reúne, também mensalmente, representantes do estado, municípios e prestadores privados (passo 5).

Influência exercida pela avaliação nos participantes/entorno

O processo possibilitou discussões ampliadas acerca de temas essenciais à prática de gestão, tais como integralidade do cuidado em saúde e o papel dos três níveis de gestão governamental na organização do sistema (Influência Cognitiva ¹¹). Na medida em que se identifica a carência de um conhecimento sólido na área da Saúde e de um nível de reflexão mais aprofundado sobre questões atuais do sistema por parte de muitos gestores, principalmente em municípios pequenos, é essencial valorizar a função reflexiva que pode assumir o processo de avaliação. "Eu entrei como secretário, eu nem tinha noção de saúde pública... Aprendi muito com a pesquisa, com as discussões, foi muito interessante para mim... Atrapalha a falta de comunicação do prestador com a secretaria municipal..." (secretário municipal). Colocar em questão convicções que rotineiramente surgem em discussões pode levar a uma análise mais crítica da realidade por parte dos gestores.

A tomada de decisão na gestão municipal muitas vezes é intuitiva e/ou baseada na experiência profissional do gestor e/ou de sua equipe, mais do que em informações consistentes acerca do objeto em questão. A avaliação participativa possibilitou o acesso sistematizado à perspectiva dos usuários e às informações dos sistemas eletrônicos, cuja utilização geralmente não faz parte da rotina do gestor, e que podem ser também utilizadas como fonte de recursos para a decisão (Influência Cognitiva ¹¹). "...A gente nunca tinha sentado e pegado o quadro: tantas cirurgias eram realizadas por tal prestador em tal ano... ver a meta que cada município estava atingindo... E ali foi possível. A gente se deparou com dados, informações, que realmente a gente não conhecia" (secretário municipal).

Embora as discussões tenham nascido em um grupo que já tinha uma construção "hierárquica" - "doutores" e "não doutores", "antigos "e "novatos" - foi possível a criação de um ambiente propício a que distintos pontos de vista pudessem ser explicitados e discutidos (Influência Política ¹¹). "A experiência foi valiosa, na medida em que você se sente participante do processo, com o pé no chão e dentro dele. Me senti privilegiada de poder estar colocando a questão do meu município na situação que é comum para a região... de repente você está lá se colocando, te pega um insight... o improviso é individual, mas a solução pode ser a mesma" (secretária municipal). Além disso, as atividades realizadas levaram a um enriquecimento dos debates e compreensão de diferentes visões, que favoreceram as negociações entre parcerias governamentais e público-privadas, fornecendo sustentação para novos acordos ainda durante o processo de avaliação.

Na análise dos dados coletados nas diversas oficinas, observou-se uma alteração na posição assumida pelos gestores municipais frente aos demais entes federados e prestadores de serviços, que pode ser associada a um ganho em empoderamento do grupo (Influência Afetiva ¹¹). No início do processo, algumas falas retratavam os níveis federativos como níveis hierárquicos (o que não se confirma objetivamente na organização proposta pelo SUS): "Temos que montar um produto que a gente leve a uma instância superior" (secretário municipal). Num segundo momento, solicitar informações em nível estadual aparece como um "direito": "Essa lista de espera para cirurgia... Vamos pedir no grupo de trabalho ... é um direito nosso" (assessor técnico) - suscitando uma atitude de maior segurança quanto ao papel sob sua responsabilidade. A troca de informações com os níveis estadual e federal tornou-se uma ferramenta essencial para a gestão, e não uma solicitação a ser encaminhada. Num momento subsequente, as colocações apontam para um processo de negociação em andamento: "Quando a gente conversou a respeito de ampliar o número de cirurgias eletivas com o hospital... se a gente começar a forçar isso de certa forma... " (secretário municipal).

O diálogo entre representantes dos municípios, estado, organizações sociais e prestadores privados em busca de alternativas para a gestão da espera - excessiva - por vagas de cirurgia geral, vivenciada por usuários com indicação para este procedimento, foi fortalecido. A avaliação trouxe uma caracterização mais precisa da deficiência existente e o quadro pôde se tornar objeto de negociações (Influência Instrumental dos Resultados da Avaliação ⁹). Surgiram proposições de mudanças no papel dos hospitais de pequeno porte nos municípios, que se voltarão ao atendimento de urgências, possibilitando que os hospitais de grande porte (estaduais) se voltem ao atendimento de casos de maior complexidade. "...Vários hospitais de pequeno porte muito pouco utilizados... fortalecer essa rede dos municípios pequenos, para ver se consegue cobrar mais do Hospital Estadual aquilo que, de fato, ele precisa fazer..." (secretário municipal).

Os gestores municipais tinham conhecimento, previamente ao processo avaliativo, de que o número de cirurgias eletivas efetuadas pelo Hospital Estadual (grande porte) vinha caindo. Tendo por base, entretanto, os dados sistematizados e analisados durante a avaliação, foi possível demandar, com maior firmeza, à organização privada que gerencia o hospital soluções para o aumento da oferta (Influência Simbólica dos Resultados da Avaliação ⁹). "Eles se propuseram, quando a gente apresentou essas demandas, a estudar a estruturação agora de um terceiro horário cirúrgico, noturno" (assessor técnico).

Alguns dos gestores participantes da avaliação optaram por engajar-se em iniciativas de fortalecimento da Educação Permanente na região. "Na nossa CIR, já há algumas reuniões de câmara técnica, que a gente vem colocando essa inexpressividade da participação, e uma falha é no nosso NEP [Núcleo de Educação Permanente] ... Então, ontem, nós nos comprometemos e fomos na reunião do NEP. Foi superprodutivo, foram mais duas gestoras. A gente amarrou de fazer agora um trabalho..." (secretário municipal). Considerando que o processo da pesquisa em foco tinha como um de seus principais objetivos a aprendizagem, a valorização do conhecimento expressa na ação descrita assume especial importância (Influência Conceitual ⁹ e Não Intencional ¹⁷ dos resultados da avaliação).

É importante reforçar a necessidade, especialmente em processos participativos, de que a avaliação ultrapasse o objetivo único de influência instrumental na tomada de decisão, que ainda se coloca como o mais comum/esperado tanto por aqueles que demandam como por aqueles que executam as avaliações.

Note-se que, no processo realizado nesta pesquisa, uma visão de utilidade da avaliação restrita à influência no processo decisório levaria a discussão unicamente a questões como "ampliação da oferta cirúrgica", extremamente importante, mas não a ponto de suplantar a consideração ao crescimento/amadurecimento vivido pelos gestores/gerentes.

Diversos autores corroboram essa análise e apontam inclusive, com base em dados empíricos, que o uso instrumental de um processo avaliativo é muito menos frequente do que o apregoado ^9,23,24. "...Os tomadores de decisão são influenciados por uma série de outros fatores, como, por exemplo, as expectativas dos participantes do programa e seus gestores, o apoio dos financiadores, as demandas do poder, os custos da mudança, a capacidade de realização, dentre outras, que acabam por frustrar a sua utilização imediata" ⁹ (p. 13).

A importância excessiva dirigida ao uso instrumental nega o amplo espectro de utilização dos processos avaliativos. A visão de que o conhecimento científico dos especialistas em avaliação deva ser utilizado como recurso-mestre, único, para o desenvolvimento da prática, parece extremamente restrita ²⁵.

De uma perspectiva construtivista, por exemplo, a avaliação transpõe a função de rastreamento de evidências científicas para o processo de gestão, e investe também valor na construção de um conhecimento compartilhado e rico em significados entre os atores sociais, ganhando a possibilidade de assumir outra inserção no corpo social. Configura-se como mais uma tecnologia para fortalecer os distintos interessados nos programas avaliados - inclusive beneficiários, trabalhadores de ponta - nas negociações políticas nas quais precisam se envolver.

Relembrando Freire ²⁶ (p. 32), "como trabalhar, não importa em que campo... sem ir conhecendo as manhas com que os grupos humanos produzem sua própria sobrevivência?".

Na área da Saúde, soma-se o fato de que tais processos de aprendizagem se tornam ainda mais importantes que a influência direta em decisões de programas específicos, já que estas decisões dificilmente podem ser qualificadas como sustentáveis. A estabilidade delas tem o limite do surgimento das inovações tecnológicas ou das mudanças nas relações de poder entre os interessados.

Grande parte das avaliações de programas governamentais na Saúde no Brasil tem por base a verificação do alcance de objetivos planejados segundo critérios nacionais previamente definidos - um modelo estritamente racional da tomada de decisão, referenciado à análise de sistemas ²⁷ - no qual a elaboração objetiva das metas de um programa se colocam acima do conhecimento prático do "dia a dia" das comunidades onde o mesmo é desenvolvido ²⁵. Reforçamos que este é apenas um dos enquadres possíveis para uma avaliação. De um ponto de vista construtivista, processos podem também se conectar ao interesse de indivíduos e grupos locais, evitando a comparação de sua realidade apenas com critérios externos, e facilitando sua aprendizagem e apropriação tanto dos achados como do processo avaliativo ²².

Assim como avaliar, meta-avaliar é uma tarefa que inclui riscos. Pode-se analisar criticamente avaliações concluídas ou em andamento, com base em critérios absolutamente diversos, que nem sempre se tornam suficientemente manifestos. Paradigmas - muitas vezes tão arraigados à estrutura de pensamento de um pesquisador, que lhe parece dispensável referi-los - farão com que seu julgamento tenda à valorização positiva de aspectos que para outros parecerão completamente equivocados ²⁸. Dependendo do referencial utilizado, uma avaliação/meta-avaliação pode priorizar questões administrativas e organizacionais, e ignorar, ou deixar em segundo plano, aquelas ligadas a condições sociais e políticas ²⁹.

Nesta pesquisa, foi feita a escolha metodológica por um modelo de avaliação participativo, aqui tomado segundo a perspectiva de Cousins & Whitmore ³⁰, que o definem como aquele no qual se estabelece uma relação de parceria entre avaliador e interessados na avaliação para a construção conjunta de um conhecimento avaliativo.

Tal escolha se deve à posição de que avaliações realizadas a partir de demandas/interesses específicos de atores locais apresentam maior chance de serem proveitosamente utilizadas, de forma sintonizada a um objetivo maior de desenvolvimento ³¹.

Cabe caminhar no sentido do estabelecimento de uma cultura de avaliação, e de meta-avaliação, na qual a explicitação dos valores subjacentes às análises realizadas esteja sempre presente.

Considera-se, além disso, importante fazer uma ressalva à demanda, atual e crescente, de que a perspectiva de utilização de uma avaliação para a tomada de decisão seja adotada como seu principal guia ^32,33 e, em se tratando da construção do conhecimento científico, de que sua conexão imediata à solução de problemas práticos seja hipervalorizada. Essa é uma ideia corrente e exemplo disso são os financiamentos prioritariamente dirigidos a pesquisas com intensa colaboração entre universidade e gestores/técnicos/práticos ³³. Se por um lado essa direção rompe com o modelo do pesquisador encastelado em seus processos de produção, e amplia vertiginosamente a utilização do conhecimento científico, por outro, surge o receio de que coloque em risco sua própria independência de formulação e rigor ²¹.

O uso de uma avaliação para a tomada de decisão deve ser estimulado, mas priorizá-lo como objetivo primeiro de um processo avaliativo pode implicar riscos éticos ao processo ²⁹. Um exemplo basta para explicitá-los: uma avaliação solicitada por um parceiro governamental terá mais chances de ser utilizada se os seus resultados estiverem em acordo com a política que vem sendo desenvolvida. Essa discussão fica aqui sublinhada por sua possibilidade de enriquecer a concepção de utilização dos processos avaliativos no momento atual.

Neste trabalho, a metodologia de análise baseada na diversidade de influências que pode ter uma avaliação, planejadas ou não, e na sua possibilidade de dispersão no tempo ^9,13,17, permitiu a identificação do desenvolvimento dos gestores nos campos cognitivo, político e até mesmo afetivo, ainda durante o processo realizado; e o vislumbre de sinais de mudanças que ocorrerão em termos de sustentação teórica para ajustes na conversação entre parceiros e a proposição de iniciativas que tornem vivos espaços institucionais de aprendizagem.