versão impressa ISSN 0102-311Xversão On-line ISSN 1678-4464
Cad. Saúde Pública vol.31 no.6 Rio de Janeiro jun. 2015
http://dx.doi.org/10.1590/0102-311X00118814
The number of clinical guidelines is increasing worldwide, while there are concerns regarding their quality. In 2000, the Brazilian Ministry of Health began its process of creating clinical guidelines, called Clinical Protocols and Therapeutic Guidelines (PCDT). The goal of this study was to assess the quality of Brazilian guidelines approved since 2009 using the AGREE II instrument (Appraisal of Guidelines for Research and Evaluation). We identified 59 PCDT from 2009 to 2012, of which eight were randomly selected and evaluated by three independent evaluators. For the item “recommends the guidelines”, two evaluators recommended the use of all eight, but with modifications, and one did not recommend any to the guidelines. Regarding the item “global quality of the guidelines” (varying from 1 to 7), the mean was 4.25 (SD = 0.46). The results showed the need for adjustments in the PCDT in relation to AGREE II domains. However, due to the instrument’s limitations, further studies are needed, including the quality of evidence used in the PCDT.
Key words: Clinical Protocols; Practice Guidelines as Topic; Evaluation
El número de guías de práctica clínica está aumentando en todo el mundo, al mismo tiempo que existen dudas respecto a su calidad. En el año 2000, el Ministerio de Salud de Brasil inició su proceso de creación de guías clínicas, denominadas Protocolos Clínicos y Directrices Terapéuticas (PCDT). El objetivo de este trabajo fue evaluar la calidad de las guías que fueron elaboradas después de 2009, mediante el instrumento AGREE II (Instrumento para la Evaluación de Guías de Práctica Clínica). Entre 2009 y 2012, se identificaron 59 PCDT, de las cuales se han seleccionado 8, que fueron analizadas por 3 evaluadores independientes. Para el tema “recomendaría esta guía”, 2 evaluadores recomendaron el uso de las 8, pero con modificaciones y 1 no recomendó ninguna. En relación con el tema “calidad global de la guía”, la media fue de 4,25 (DP = 0,46). Estos resultados muestran la necesidad de ajustes en los PCDT, según los dominios del AGREE II. Sin embargo, debido a las limitaciones del instrumento, todavía existe la necesidad de nuevos estudios, entre ellos sobre la calidad de las evidencias utilizadas en el PCDT.
Palabras-clave: Protocolos Clínicos; Guías de Prática Clínica como Asunto; Evaluación
Ao final dos anos 1970, deu-se o início da elaboração das diretrizes clínicas em vários países 1. Desde então, houve aumento do número de diretrizes clínicas em todas as áreas médicas 2,3, elaboradas, principalmente, por hospitais, sociedades médicas, sistemas públicos e privados de saúde e organizações de pacientes. Contudo, esse aumento quantitativo de publicações é acompanhado por preocupação quanto à qualidade das recomendações contidas nos documentos 4,5,6.
Com o propósito de orientar a melhoria da qualidade das diretrizes, foi desenvolvido em 2003 um instrumento de avaliação da qualidade, o AGREE (Appraisal of Guidelines for Research and Evaluation), por profissionais de 13 países 5,7. Atualmente em sua segunda versão, AGREE II 8,9, é utilizado por instituições nacionais e internacionais que elaboram diretrizes clínicas.
Seguindo a tendência mundial, o Ministério da Saúde iniciou em 2000 o processo de desenvolvimento, disseminação e implementação dos Protocolos Clínicos e Diretrizes Terapêuticas (PCDT) para melhorar a efetividade e qualidade do atendimento ofertado 10.
Os PCDT são instrumentos-chave para a definição das linhas de cuidados para as 79 doenças contempladas no Componente Especializado da Assistência Farmacêutica (CEAF), norteando a garantia da integralidade do tratamento medicamentoso, em nível ambulatorial, para todas as doenças no âmbito do CEAF 12. Ademais, estão de acordo com o Decreto no 7.508 e com a Lei no 12.401, ambos de 2011, que norteiam as condutas diagnósticas e terapêuticas no Sistema Único de Saúde (SUS) 12,13.
Considerando-se a importância dos PCDT, o objetivo do presente estudo foi avaliar a qualidade de oito PCDT do Ministério da Saúde.
Trata-se de análise descritiva de amostra aleatória de PCDT, com base nos seguintes critérios de inclusão: revisão ou elaboração realizada pelo Ministério da Saúde após 2009 – ano no qual o Ministério da Saúde definiu a nova estrutura a ser seguida para elaboração dos PCDT 14; PCDT disponibilizado em versão completa no sítio eletrônico do Ministério da Saúde ou no Diário Oficial da União (DOU). Como critério de exclusão, foram desconsideradas diretrizes clínicas não denominadas como PCDT.
Para avaliação da qualidade dos PCDT foi utilizado o AGREE II, versão traduzida para o português e disponível online 8, que permite a análise de 23 itens divididos em 6 domínios de qualidade e 2 itens de classificação global. Para cada item os avaliadores utilizaram escalas Likert de 7 pontos, onde 1 corresponde ao “discordo totalmente” e 7 ao “concordo totalmente” 8, com exceção ao último item (recomendação do uso da diretriz), cujas respostas são: “Sim”, “Não” e “Sim, com modificações”. As análises dos PCDT selecionados foram realizadas por 3 profissionais (autores deste trabalho), conforme preconizado pelo AGREE II com expertise sobre diretrizes clínicas.
Para todos os itens de domínios e para o item de classificação global relacionado à qualidade da diretriz, foram obtidas as médias dos valores escalares. Para o item de classificação global, foi obtido ainda o desvio-padrão (DP), com o objetivo de ser utilizado no cálculo de amostras de PCDT de novos estudos.
O estudo foi aprovado pelo Comitê de Ética em Pesquisa da Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz (parecer 16/2012).
Realizou-se a busca em 8 de maio de 2012 no sítio eletrônico que disponibilizava as diretrizes publicadas pelo Ministério da Saúde. Para os PCDT selecionados e com publicações no DOU e no primeiro volume do livro de PCDT 15, foram selecionadas as versões publicadas no livro, por serem documentos mais recentes que as do DOU. Assim, localizaram-se 62 diretrizes clínicas vigentes elaboradas após 2009. Destas, três foram excluídas por não serem denominadas como PCDT pelo Ministério da Saúde. Dos 59 PCDT, sortearam-se oito: Dermatomiosite e Polimiosite, Diabetes Insípido, Esclerose Lateral Amiotrófica, Espondilose, Hemangioma Infantil, Hiperfosfatemia na Insuficiência Renal Crônica, Leiomioma de Útero, Puberdade Precoce Central. Estes PCDT foram publicados entre 23 de dezembro de 2009 e 5 de dezembro de 2011. Os documentos de Puberdade Precoce Central e Dermatomiosite e Polimiosite foram republicados no DOU para correções.
Os PCDT receberam uma avaliação média entre 3,7 e 5,0. O PCDT de Dermatomiosite e Polimiosite foi o melhor avaliado, e o de Espondilose o pior, respectivamente com pontuações médias de 5,0 e 3,7 (Tabela 1). Para o item recomendação do uso da diretriz, dois avaliadores recomendaram o uso de todas, mas com modificações, e um não recomendou qualquer diretriz. Já para o item classificação da qualidade global da diretriz, obteve-se avaliação média de 4,25 (DP = 0,46).
Tabela 1 Média dos avaliadores para os oito Protocolos Clínicos e Diretrizes Terapêuticas avaliados: Dermatomiosite e Polimiosite (DP); Diabetes Insípido (DI); Esclerose Lateral Amiotrófica (ELA); Espondilose (Esp); Hemangioma Infantil (HI); Hiperfosfatemia na Insuficiência Renal Crônica (HIRC); Leiomioma de Útero (LU); Puberdade Precoce Central (PPC).
| Itens de avaliação do AGREE II | DP | DI | ELA | Esp | HI | HIRC | LU | PPC | Média |
|---|---|---|---|---|---|---|---|---|---|
| Domínio 1: escopo e finalidade | |||||||||
| 1. O(s) objetivo(s) geral(is) da diretriz encontra(m)-se especificamente descritos | 5 | 5 | 4 | 4 | 5 | 5 | 5 | 5 | 4,75 |
| 2. A(s) questão(ões) de saúde coberta(s) pela diretriz encontra(m)-se especificamente descrtita(s) | 5 | 4 | 5 | 4 | 4 | 5 | 4 | 3 | 4,25 |
| 3. A população a quem a diretriz se destina escontra-se especificamente descrita | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5,00 |
| Domínio 2: envolvimento das partes interessadas | |||||||||
| 4. A equipe de desenvolvimento da diretriz inclui indivíduos de todos os grupos profissionais relevantes | 3 | 2 | 3 | 2 | 2 | 3 | 2 | 3 | 2,50 |
| 5. Procurou-se conhecer as opiniões e preferências da população-alvo | 2 | 3 | 3 | 2 | 3 | 2 | 2 | 3 | 2,50 |
| 6. Os usuários alvo da diretriz estão claramente definidos | 3 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 4,75 |
| Domínio 3: rigor do desenvolvimento | |||||||||
| 7. Foram utilizados métodos sistemáticos para a busca de evidências. | 4 | 4 | 4 | 4 | 4 | 3 | 5 | 4 | 4,00 |
| 8. Os critérios para a seleção de evidências estão claramente descritos | 4 | 3 | 4 | 4 | 3 | 4 | 4 | 3 | 3,63 |
| 9. Os pontos fortes e limitações do corpo de evidências estão claramente descritos. | 2 | 2 | 3 | 2 | 3 | 2 | 4 | 3 | 2,63 |
| 10. Os métodos para a formulação das recomendações estão claramente descritos. | 3 | 3 | 2 | 2 | 3 | 3 | 3 | 3 | 2,75 |
| 11. Os benefícios, efeitos colaterais e riscos à saúde foram considerados na formulação das recomendações. | 5 | 5 | 4 | 3 | 5 | 5 | 5 | 4 | 4,50 |
| 12. Existe uma relação explícita entre as recomendações e as evidências que lhe dão suporte. | 4 | 3 | 3 | 3 | 4 | 4 | 4 | 4 | 3,63 |
| 13. A diretriz foi revisada externamente por experts antes da sua publicação | 2 | 2 | 3 | 2 | 2 | 3 | 1 | 3 | 2,25 |
| 14. Um procedimento para atualização da diretriz está disponível. | 1 | 2 | 1 | 2 | 2 | 2 | 1 | 2 | 1,63 |
| Domínio 4: clareza da apresentação | |||||||||
| 15. As recomendações são específicas e sem ambiguidade. | 4 | 5 | 4 | 4 | 5 | 5 | 4 | 5 | 4,50 |
| 16. As diferentes opções de abordagem da condição ou problema de saúde estão claramente apresentadas. | 5 | 3 | 4 | 4 | 5 | 5 | 5 | 4 | 4,38 |
| 17. As recomendações-chave são facilmente identificadas. | 5 | 5 | 6 | 5 | 5 | 5 | 4 | 5 | 5,00 |
| Domínio 5: aplicabilidade | |||||||||
| 18. A diretriz descreve os fatores facilitadores e as barreiras para sua aplicação. | 3 | 3 | 3 | 4 | 3 | 3 | 3 | 4 | 3,25 |
| 19. A diretriz traz aconselhamento e/ou ferramentas sobre como as recomendações podem ser colocadas em prática. | 4 | 3 | 5 | 3 | 3 | 5 | 3 | 5 | 3,88 |
| 20. Foram consideradas as potenciais implicações quanto aos recursos decorrentes da aplicação das recomendações. | 2 | 3 | 3 | 2 | 3 | 3 | 5 | 3 | 3,00 |
| 21. A diretriz apresenta critérios para o seu monitoramento e/ou auditoria. | 3 | 3 | 3 | 3 | 3 | 4 | 2 | 4 | 3,13 |
| Domínio 6: independência editorial | |||||||||
| 22. O parecer do órgão financiador não exerceu influência sobre o conteúdo da diretriz. | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4,00 |
| 23. Foram registrados e abordados os conflitos de interesse dos membros da equipe que desenvolveram a diretriz. | 4 | 3 | 4 | 3 | 3 | 4 | 3 | 4 | 3,50 |
| Classificação da qualidade global da presente diretriz | 5 | 4 | 4 | 4 | 4 | 5 | 4 | 4 | 4,25 |
AGREE II: Appraisal of Guidelines for Research and Evaluation, segunda versão.
A diretriz clínica é uma ferramenta essencial para melhorar a qualidade da atenção em saúde. O instrumento AGREE II possibilitou avaliar a qualidade das diretrizes clínicas do Ministério da Saúde. Uma publicação recente apresenta um instrumento com uma lista de checagem online para avaliar e desenvolver diretrizes clínicas 16, o qual será muito útil para aprimorar este processo.
Os resultados desse estudo contribuem para o dimensionamento inédito da qualidade metodológica dos PCDT no Brasil, ofertando dados fundamentais para o aprimoramento da elaboração. O presente trabalho incentiva o desenvolvimento de novos estudos, que podem avaliar a qualidade das evidências utilizadas na elaboração dos PCDT, a qualidade das recomendações produzidas e as características de disseminação e implementação das diretrizes.
Os PCDT constituem-se excelentes ferramentas, contudo seriam necessárias adequações. Tais alterações envolvem os seis domínios de qualidade da ferramenta AGREE II, além de publicação de declarações claras, concisas e abrangentes acerca do processo de desenvolvimento. Isso faria com que os PCDT fossem melhor avaliados em seu conjunto, possibilitando, além de sua melhoria global, maior oportunidade para pesquisadores desenvolverem estudos com base em amostras.
Uma das principais causas da pontuação mediana obtida pelos PCDT pode ter sido a descrição insuficiente dos métodos utilizados. Diante da escassez de informações, muitos dos dados extraídos para a aplicação do AGREE II foram retirados do prefácio do volume 1 do livro de PCDT 15 que é sucinto. Outro determinante para uma menor pontuação dos PCDT é a atual política do Ministério da Saúde em publicar duas versões dos documentos, uma no DOU e outra em volume de livro contendo a compilação de alguns PCDT previamente publicados no DOU. Assim, diretrizes que aguardam publicação em livro são privadas de informações para a adequada utilização e implementação dos documentos.
Como solução aos pontos críticos cabe ao Ministério da Saúde publicar no DOU uma versão dos PCDT com todos os apêndices (fluxogramas, fichas, guia e tabelas) necessários, além de uma pronúncia clara e oficial quanto aos aspectos eminentes ao processo de elaboração dos PCDT e demais pontos técnicos dos documentos.
Finalmente, citam-se as limitações do trabalho, inerentes ao método empregado. O AGREE II adota um sistema de pontuação de caráter subjetivo para cada item, dificultando a concordância das avaliações entre os avaliadores. Por outro lado, o instrumento não se caracteriza como uma busca de uma concordância por um teste como o kappa. A proposta da aplicação do instrumento é exatamente apresentar as dimensões de cada examinador ao avaliar a diretriz. O instrumento não possui um parâmetro final para classificar as diretrizes em “metodologicamente boa” ou “metodologicamente ruim”. A avaliação não possibilita verificar a qualidade das evidências utilizadas e o conteúdo clínico das recomendações contidas nas diretrizes clínicas. Finalmente, ressalta-se que o estudo foi piloto. Futuramente, recomenda-se a realização de um estudo para avaliar a qualidade global representativa para todos os PCDT. Conforme nossos cálculos, seria necessário avaliar 50 PCDT, de um total 59 PCDT (margem de erro de 5%, nível de 95% de confiança e pelo cálculo de tamanho de amostra para a população finita) 17.