versão impressa ISSN 0102-311X
Cad. Saúde Pública vol.30 no.7 Rio de Janeiro jul. 2014
http://dx.doi.org/10.1590/0102-311X00137613
This cross-sectional study conducted a semantic validation of the instrument for evaluating the coordination of primary care networks, adapted to the evaluation checklist on the degree of integration of healthcare networks, considering each item’s relevance, coherence, and comprehension by the study’s reference population. The sample consisted of 56 healthcare professionals that work in the Family Health Strategy in Alfenas, Minas Gerais State, Brazil. The instrument has five dimensions and 78 items with Likert-type responses. The process involved three stages: evaluation and adaptation of the items by a group of experts, evaluation and suggestions for the items by 50 health professionals, and confirmation of the items by six health professionals. The instrument’s items proved comprehensible for the reference population. The instrument can be a useful tool to back decision-making by policymakers in reorganizing local health systems.
Key words: Questionnaires; Validation Studies; Primary Health Care
El objetivo del estudio fue efectuar la validación semántica de los ítems que componen el instrumento de evaluación de la coordinación de las redes de atención para la salud, a través de la atención primaria, con una adaptación de la lista de verificación para evaluar el grado de integración de las redes de atención de la salud, considerando la relevancia, la coherencia y la comprensión de cada ítem para la población de referencia en el estudio. Se trata de un estudio metodológico y de corte transversal. La muestra estuvo conformada por 56 profesionales de la salud que actúan en la Estrategia Salud para la Familia y reclutados en Alfenas, Minas Gerais, Brasil. El instrumento posee cinco dimensiones y 78 ítems con respuestas del tipo Likert. El proceso contó con tres etapas: evaluación y adaptación de los ítems por el grupo de especialistas, evaluación y sugerencia de los ítems, realizada por 50 profesionales de la salud, evaluación y certificación de los ítems, realizada por seis profesionales de la salud. Después de terminar la última fase de la validación semántica, los ítems del instrumento mostraron ser una herramienta útil para apoyar la toma de decisiones de los gestores en la reorganización de los sistemas de salud locales.
Palabras-clave: Cuestionarios; Estudios de Validación; Atención Primaria de Salud
Novos dispositivos de integração dos sistemas de saúde vêm sendo vislumbrados para o enfrentamento dos agravos decorrentes da transição demográfica, epidemiológica e mudanças nos padrões e estilos de vida da população 1. Dentre as propostas de reformas dos sistemas, tem sido prospectada a ordenação dos sistemas de saúde pela Atenção Primária à Saúde, especialmente por meio do fortalecimento do atributo coordenação 1.
Mendes 2 tem proposto um sistema integrado, pela implantação de uma Rede de Atenção à Saúde (RAS), tendo como pilar a Atenção Primária à Saúde, que assume o papel central no desenho e no funcionamento desses sistemas. Segundo o autor, o sucesso das RAS depende da efetividade da Atenção Primária à Saúde em três papéis fundamentais: resolubilidade, responsabilização e coordenação 2.
A coordenação se constitui em um atributo importante para mudanças no processo de produção em saúde e para a integração entre os serviços de saúde. No estudo, a coordenação é assumida como a capacidade de garantir a continuidade da atenção, de um modo integrado com os demais pontos de atenção 3.
Em estudo de revisão, observaram-se poucos instrumentos capazes de identificar as potencialidades e as fragilidades da conversão de um sistema em redes 4. Dentre os instrumentos encontrados, o que se mostrou com capacidade de avaliação dos sistemas de saúde e que colocasse a Atenção Primária à Saúde na centralidade desse processo foi um checklist elaborado por Mendes 2.
Originalmente, o checklist foi construído para avaliar o grau de integração das RAS, entretanto, pode-se constatar que o mesmo traz possibilidades de avaliar a capacidade da Atenção Primária à Saúde de coordenar as RAS porque coloca a Atenção Primária à Saúde na centralidade de um processo de integração dos diversos pontos de atenção 2. Assim, optou-se por adaptar e validar cinco das sete dimensões que compõem esse checklist, por considerar que a validação de um instrumento de aferição poderá trazer uma cartografia dos dilemas enfrentados pela Atenção Primária à Saúde para se constituir um eixo estruturante de um sistema com capacidade de coordenação das RAS.
Dessa forma, buscou-se no estudo a adaptação e validação semântica para o Brasil dos itens que compõem o instrumento adaptado, tendo em vista a coerência, a relevância e a compreensão de cada item em sua composição.
Trata-se de um estudo metodológico de corte transversal 5. Selecionou-se uma amostra aleatória de 56 profissionais de saúde vinculados à Estratégia Saúde da Família (ESF) no Município de Alfenas, Minas Gerais, Brasil.
O instrumento adaptado do checklist recebeu a nominação de Instrumento de Avaliação da Coordenação das RAS pela APS (COPAS), sendo ele composto de cinco dimensões (população, atenção primária, sistema logístico, sistema de apoio e governança) e 78 itens com respostas do tipo Likert, categorizadas de 1 a 5. A Figura 1 apresenta as etapas percorridas na investigação.
Na etapa I, oito especialistas tiveram por objetivo avaliar a equivalência gramatical e de vocabulário e a coerência entre os termos utilizados e as experiências vividas pela população a que se destina o instrumento.
A etapa II, que teve a participação de 50 profissionais, objetivou identificar problemas de entendimento, compreensão e aceitação dos termos por partes de todos os membros da população a que o instrumento se destina 6. Para tal, foram utilizados os formulários de Impressão Geral e Específica baseados no proposto pelo Grupo DISABKIDS 7; posteriormente, os dados foram confrontados entre os participantes de nível superior e médio, recorrendo-se ao índice de concordância de kappa. Para a classificação da concordância entre os participantes, foram seguidos os critérios definidos por Landis & Koch 8. Cabe mencionar que os instrumentos foram autoaplicados individualmente.
A etapa III consistiu em assegurar a compreensão dos itens reformulados por meio de encontros com seis profissionais de saúde, usando como recurso a técnica brainstorming. Tomaram-se todos os cuidados, seguindo as recomendações de Ciconelli et al. 9 que considera que as questões com mais de 15% de respondentes com dúvidas, devem ser revisadas e reaplicadas em outros respondentes. Adotou-se no trabalho a probabilidade de erro tipo I de 5%. Os dados foram analisados pelo software SPSS versão 19.0 (IBM SPSS IBM Corp., Armonk, Estados Unidos).
O estudo foi aprovado pelo Comitê de Ética em Pesquisa da Escola de Enfermagem de Ribeirão Preto da Universidade de São Paulo (EERP/USP), recebendo o Certificado de Apresentação para Apreciação Ética no 10853412.4.0000.5393. Todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido (TCLE). Os interessados em acessar o instrumento na íntegra devem entrar em contato com o autor de correspondência deste artigo.
Na etapa I, 44 (56%) itens foram submetidos a alguma modificação porque se desvelaram não compreensíveis à população do estudo e 6 (7,7%) itens foram adaptados ao contexto da Atenção Primária à Saúde.
Na etapa II, participaram 50 sujeitos, cujas características sociodemográficas e categoria profissional estão descritas na Tabela 1.
Tabela 1 Características dos profissionais de saúde participantes da fase de análise semântica do Instrumento de Avaliação da Coordenação das RAS pela APS (COPAS), segundo categoria profissional. Alfenas, Minas Gerais, Brasil, 2013.
Características | Nível médio (n = 25) | Nível superior (n = 25) | ||
---|---|---|---|---|
n | % | n | % | |
Sexo | ||||
Feminino | 22 | 88 | 18 | 72 |
Masculino | 3 | 12 | 7 | 28 |
Idade média (anos)/DP | 37,32/8,62 | 36,44/8,51 | ||
Categoria profissional | ||||
Agente comunitário de saúde | 20 | 80 | ||
Auxiliar de saúde bucal | 3 | 12 | ||
Auxiliar e/ou Técnico de enfermagem | 2 | 8 | ||
Médico | 6 | 24 | ||
Enfermeiro | 5 | 20 | ||
Fonoaudiólogo | 1 | 4 | ||
Educador físico | 1 | 4 | ||
Odontólogo | 8 | 32 | ||
Psicólogo | 1 | 4 | ||
Fisioterapeuta | 3 | 12 | ||
Tempo médio de serviço no cargo (anos)/DP | 5,02/4,36 | 4,98/3,06 |
DP: desvio-padrão.
Apesar de o instrumento COPAS receber uma boa avaliação dos profissionais, o índice de concordância entre os níveis de formação foi pobre. Verifica-se que os profissionais de nível médio apresentaram maior dificuldade, alcançando um índice de kappa de -0,283 de concordância (p = 0,028). Em relação à pertinência dos itens do instrumento para o contexto de trabalho, observam-se proporções similares entre os grupos (Tabela 2).
Tabela 2 Índice de concordância kappa (k) entre os participantes de nível médio e superior com a avaliação do Instrumento de Avaliação da Coordenação das RAS pela APS (COPAS). Alfenas, Minas Gerais, Brasil, 2013.
Variáveis | Nível técnico | Nível superior | k | Valor de p | Concordância | ||
---|---|---|---|---|---|---|---|
n | % | n | % | ||||
Avaliação geral do instrumento | |||||||
1. Muito bom | 5 | 10 | 12 | 24 | -0,164 | 0,168 | Pobre |
2. Bom | 15 | 30 | 13 | 26 | |||
3. Regular | 5 | 10 | 0 | 0 | |||
Opinião sobre os itens | |||||||
1. Todos foram fáceis de entender | 4 | 8 | 11 | 22 | -0,208 | 0,087 | Pobre |
2. Alguns foram difíceis de entender | 18 | 36 | 14 | 28 | |||
3. Todos foram difíceis de entender | 3 | 6 | 0 | 0 | |||
Dificuldades no uso das categorias de respostas | |||||||
1. Sem dificuldades | 6 | 12 | 15 | 30 | -0,283 | 0,028 | Considerável * |
2. Algumas dificuldades | 16 | 32 | 10 | 20 | |||
3. Muitas dificuldades | 3 | 6 | 0 | 0 | |||
Pertinência dos itens para o contexto de trabalho do profissional | |||||||
1. Muito importante | 18 | 36 | 18 | 36 | 0,000 | 1,000 | Pobre |
2. Às vezes importante/Não importante | 7 | 14 | 7 | 14 |
* Os grupos de participantes classificaram exatamente o oposto, por isso o sinal negativo (p < 0,05).
Referentemente à pertinência dos itens para o contexto de trabalho dos profissionais de saúde, observou-se que 21 (27%) itens foram considerados por 28 (36%) respondentes como “às vezes importantes” e “não importantes” para o seu trabalho.
No que tange à opinião sobre os itens, constatou-se que 18 (72%) profissionais de nível médio e 16 (64%) profissionais de nível superior consideraram os itens como “às vezes difíceis de entender”. As dimensões que apresentaram itens com mais dificuldades de interpretação foram sistema de apoio, apontada por 43 (86%) sujeitos, e sistema logístico por 39 (78%) sujeitos.
Na etapa III, 18 (23%) itens foram adaptados por apresentarem dúvidas e dificuldade na sua compreensão, sendo alterados, por exemplo, de territórios sanitários para áreas de abrangência da Atenção Primária à Saúde e conselho local para conselho de bairro.
A validação semântica realizada possibilitou ajustamento do instrumento, tornando-o mais compreensível aos sujeitos, especialmente para os profissionais de nível médio. Pode-se constatar as dificuldades na compreensão de alguns termos exauridos em publicações científicas como territórios sanitários, conselho local, pontos de atenção; todavia tais conceitos não foram comuns aos profissionais dos serviços, o que em tese parece se tratar de uma dificuldade de vincular a descrição semântica do discurso (pautado na prática) e a própria formação de conceitos científicos10.
Na literatura, tem-se verificado a dificuldade dos sistemas de saúde em produzir ações em saúde contínuas, integradas e sensíveis à equidade, porém os itens que expressam tal dinamicidade foram considerados pelos profissionais como “às vezes importantes” e “não importantes” para o seu trabalho. Indubitavelmente, esse constructo está sensível aos elementos constituintes de uma RAS e seu ajustamento é condição sine qua non para o fortalecimento da Atenção Primária à Saúde 11.
Entretanto, a reorganização do sistema de saúde com fortalecimento do papel da Atenção Primária à Saúde e exercício de sua função de coordenação implica legitimidade do profissional/equipe frente aos pacientes e outros prestadores, o que depende de mudanças culturais e na formação desses profissionais, já que é a dinâmica dos atores sociais que reproduz ou cria novos modelos assistenciais 12.
Atualmente, há grande preocupação com a consistência interna das pesquisas sobre sistemas de saúde e, assim, adoção de medidas que reduzam os erros sistemáticos, evitando-se ou minimizando os vieses 13. Portanto, no estudo, foram percorridos os procedimentos adotados por renomados pesquisadores da área da psicometria para a adaptação e validação de instrumentos que mensuram construtos subjetivos 6,14.
A amostra envolvida foi composta por diferentes categorias profissionais, permitindo uma visão interdisciplinar sobre os sistemas de saúde e RAS. A adoção dessa metodologia possibilitou certa homogeneidade de expressões e termos, estando eles bem compreensíveis às diversas categorias implicadas na investigação.
O instrumento COPAS se revelou como possível ferramenta a ser considerada pelos gestores e trabalhadores de saúde no diagnóstico situacional das potencialidades e fragilidades da Atenção Primária à Saúde para se conformar num eixo coordenador das RAS, podendo, dessa forma, subsidiar os atores na definição de planos e estratégias de intervenção no que concerne à estruturação e organização do sistema local, com o propósito de superar a fragmentação de atenção no Sistema Único de Saúde. Cabe considerar que este estudo descreve aspectos importantes do início de um processo de adaptação e validação de instrumento que deve englobar também outras medidas para avaliar a equivalência de mensuração, validade de estrutura dimensional e validade externa de construto.