Introdução

A produção de informações sobre a ocorrência e consequências de eventos adversos a medicamentos (EAM) possui importante papel na redução destes agravos e na formulação de políticas de vigilância sanitária, incluindo a avaliação criteriosa e sistemática dos sistemas de farmacovigilância^1,2.

Diretrizes internacionais recomendam a avaliação do desempenho de sistemas de vigilância da saúde pública a partir de atributos como simplicidade, aceitabilidade, representatividade, oportunidade e qualidade dos dados^3-5. Alguns estudos têm utilizado um ou mais critérios para avaliação de um determinado atributo, como a qualidade dos dados dos sistemas de informação em saúde^6-9 ou analisado dois ou mais atributos para avaliação de sistemas de vigilância^10-12.

Estudos que avaliaram os sistemas de vigilância de saúde pública são muito heterogêneos em termos metodológicos^8,13,14, em particular, os que enfocam sistemas de farmacovigilância de países^15-17. Diferem quanto ao objetivo analisado, o agravo sob vigilância e o acesso às fontes de dados^8,13,14. A heterogeneidade quanto ao melhor enfoque metodológico avaliativo tem sido apontada, muito embora prevaleçam os atributos propostos pelo Centers for Disease Control and Prevention (CDC) dos Estados Unidos^13,14 em abordagens mais frequentemente voltadas à vigilância epidemiológica de doenças infectocontagiosas comparativamente aos sistemas de vigilância de produtos para a saúde¹³.

No Brasil, a avaliação dos sistemas de vigilância de eventos adversos de produtos sob vigilância sanitária não tem sido conduzida regularmente, sendo incipiente se comparada aos sistemas de vigilância epidemiológica, provém de iniciativas pontuais^11,18,19 e carece de diretrizes específicas que estimulem e orientem tais abordagens nas diferentes esferas governamentais.

O Sistema Nacional de Notificações para a Vigilância Sanitária (Notivisa) é um sistema informatizado em plataforma web, gerenciado pela Agência Nacional de Vigilância Sanitária (Anvisa) e utilizado para a notificação de eventos adversos supostamente associados ao uso de produtos sob vigilância sanitária. Cada grupo de produtos conta com um formulário padronizado integrado ao Notivisa. O formulário que registra as informações sobre danos à saúde relacionados com medicamentos, doravante denominado de Notivisa-medicamento, é o principal repositório de dados do sistema de farmacovigilância no Brasil. O objetivo deste estudo foi avaliar o desempenho do Notivisa-medicamento.

Método

Foi conduzido um estudo de avaliação em saúde de corte transversal entre 2008 e 2013. A partir de estudo de revisão da literatura⁸ e diretrizes internacionais de avaliação de sistemas de vigilância^3,4 foram elaborados atributos utilizados na avaliação de desempenho do Notivisa-medicamento (Quadro 1). A escolha dos atributos (simplicidade, aceitabilidade, representatividade, completude, consistência, validade, erro preditivo positivo e oportunidade), dos critérios de avaliação e dos valores de referência foram baseados na disponibilidade, acesso e facilidade no manuseio de fontes de informações. Alguns valores de referência foram definidos pelos autores, no caso de não identificação de fontes de dados.

Os atributos simplicidade e aceitabilidade foram avaliados quantitativamente, baseando-se em parâmetros originários de avaliação comparativa de formulários de notificação de reações adversas a medicamentos²⁰. O Notivisa-medicamento foi considerado complexo e com baixa aceitabilidade se a quantidade de variáveis no formulário for igual ou superior a 60 variáveis. A avaliação dos atributos se deu mediante uma simulação-teste no Notivisa-medicamento, realizada em 27 de novembro de 2015 por um dos autores. O propósito da simulação foi identificar as informações necessárias à notificação de um caso hipotético de uma reação adversa. Após o término da notificação, esta foi informada à área responsável da Anvisa para a devida exclusão.

Para o primeiro critério de avaliação do atributo representatividade (Quadro 1), considerou-se razoavelmente aceitável a diferença de até três valores para mais ou para menos no conjunto de variáveis utilizadas para comparar os dados populacionais do Notivisa-medicamento em relação aos dados da população brasileira do Censo nacional de 2010. Em relação ao segundo critério de avaliação, considerou-se satisfatória a representatividade de 100% das Unidades da Federação e das capitais brasileiras nas notificações presentes no sistema no período estudado.

Para os atributos que avaliam a qualidade dos dados – completude, validade e consistência, o valor de referência utilizado baseou-se no valor inverso do grau de avaliação “bom” (5 a 10%) adotado para mensurar incompletude, como sugerido em estudo avaliativo da qualidade de variáveis epidemiológicas e demográficas⁷. O desempenho para cada um dos dois atributos (completude e validade) foi considerado satisfatório se pelo menos 75% das variáveis do grupo relacionado aos eventos adversos graves atingissem percentuais de preenchimento iguais ou acima de 90%.

Para o atributo validade foram estabelecidas regras para cada variável analisada, de maneira a avaliar a razoabilidade dos valores declarados na base de dados, uma vez que a verdadeira acurácia não é possível ser estimada¹⁰. O nome do paciente, por exemplo, foi considerado válido se apresentasse ao menos dois nomes aceitáveis (nome e sobrenome). A idade, outro exemplo, foi considerada admissível se registrada entre 0 e 110 anos.

Para a avaliação da consistência, representada pela coerência das respostas em variáveis relacionadas²¹, as variáveis estudadas foram: a) “Data de óbito” e Gravidade do evento”; b) “Grupo de idade” e “Idade” e c) “Via de administração” e “Forma farmacêutica”. Registros com “Data de óbito” devem constar na variável “Gravidade do evento” apenas na opção “Óbito”. Se a variável “Grupo de idade”: indicasse o grupo Criança (6 a 12 anos), os dados na variável “Idade” deveriam corresponder a essa faixa etária. Do contrário, considerou-se como resultado inconsistente. Procedeu-se de forma análoga para a variável via de administração. Caso a opção fosse intramuscular, duas formas farmacêuticas seriam aceitáveis: solução e suspensão injetável. O desempenho relacionado à consistência foi considerado satisfatório se os três conjuntos de pares de variáveis supracitados atingissem percentuais iguais ou acima de 90%.

O valor de referência do atributo erro preditivo positivo (EPP) foi definido pelos autores como ≤ 10%. Acima deste percentual, o Notivisa-medicamento seria classificado como insatisfatório.

Os registros considerados como de não interesse para notificação no Notivisa-medicamento foram: queixa técnica sem danos à saúde do paciente, intoxicação medicamentosa e eventos adversos a vacinas, imunoglobulinas e soros hiperimunes, pois contam com formulários específicos para notificação. Tal condição incluem os registros que porventura citaram a palavra “infecção”, EAM não ocorridos no Brasil e aqueles que envolveram produtos não medicamentosos, como sangue, cosméticos e produtos para saúde, igualmente detentores de mecanismos de registro específicos. Nos campos em branco da variável “princípio ativo do medicamento” foi utilizada a variável “nome comercial do medicamento”, como critério de classificação do produto como medicamento ou não.

O atributo oportunidade utilizou os critérios da Anvisa²² para a definição dos prazos, em dias, para as etapas dos processos de vigilância: (1) Dd1 – diferença entre a data de recebimento da notificação e a data da ocorrência do evento adverso; (2) Dd2 – diferença entre a data da notificação no Notivisa e a data de recebimento da notificação; e (3) Dd3 – diferença entre a data de avaliação da notificação na Anvisa e a data da notificação no Notivisa. Esses prazos foram analisados de acordo com a gravidade do caso notificado: a) óbito: 0 a 7 dias (Dd1 e Dd2) e 0 a 5 dias (Dd3); b) demais casos de eventos adversos graves: 0 a 15 dias (Dd1 e Dd2) e 0 a 10 dias (Dd3); e c) casos de eventos adversos não graves: 0 a 30 dias (Dd1, Dd2 e Dd3). O sistema foi avaliado como oportuno se, desconsiderando o grupo de eventos adversos não graves, pelo menos 75% das notificações observaram os respectivos prazos.

Para a avaliação dos atributos completude, validade, consistência, EPP e oportunidade, em 15 de junho de 2015 os pesquisadores tiveram acesso a banco de dados fornecido pela Anvisa em planilha eletrônica (Microsoft Office Excel^Ⓡ), com notificações sobre EAM do Notivisa-medicamento extraídas em 11 de março de 2015. Sempre que possível, analisou-se todos os registros de EAM com data de notificação entre 1º de janeiro de 2008 e 31 de dezembro de 2013.

Não foi realizado qualquer tipo de procedimento de limpeza e exclusão de registros no banco de dados. Todos os registros disponíveis foram considerados como notificações de par medicamento-evento adverso sujeitas à avaliação.

Foram avaliadas apenas as variáveis identificadas no banco de dados, excluindo-se sete não passíveis de classificação em um dos domínios do formulário. Para cada um dos domínios analisados (evento adverso, medicamentos/empresa, paciente ou usuário, outras informações e avaliação por especialistas da Anvisa) foi selecionado pelo menos 1/3 das variáveis, totalizando 42 (Quadro 2). Para as variáveis em que a obrigatoriedade do preenchimento foi apenas para uma delas, considerou-se todas como de preenchimento obrigatório. A identificação do tipo de preenchimento não foi possível constar em duas variáveis (Quadro 2).

O domínio “Avaliação por especialistas da Anvisa”foi criado para atender ao objetivo do estudo, sendo que suas variáveis foram evidenciadas apenas no banco de dados, posto que não estão disponíveis no formulário de notificação, e todas as variáveis foram consideradas de preenchimento não obrigatório.

Os critérios que orientaram a escolha das variáveis em cada um dos domínios estudados (Quadro 2) diferenciaram-se conforme as especificidades de cada atributo analisado, considerando uma seleção baseada no conhecimento prévio e no interesse dos autores em atender ao objetivo do estudo, na análise do manual do usuário (profissional da saúde) do sistema²³, no banco de dados, no formulário virtual para notificação e na relevância das variáveis em um contexto farmacoepidemiológico e de farmacovigilância.

Um banco de dados com as váriáveis de interesse para cada atributo foi organizado em planilha eletrônica (Microsoft Office Excel ^®). As análises foram realizadas no programa estatístico SPSS versão 18.03 ^®. Os atributos completude, validade e consistência foram analisados em dois grupos, obedecendo ao critério de gravidade do caso: 1) eventos adversos graves; e 2) eventos adversos não graves. Os primeiros correspondendo àqueles que motivaram ou prolongaram a hospitalização e resultaram em óbito, anomalia congênita, ameaça à vida, incapacidade persistente ou significativa e efeito clinicamente importante²³. Razões de proporções com seus intervalos de confiança (IC) de 95%, comparando as variáveis relacionadas aos eventos graves e não graves, foram estimadas para os atributos completude e validade. No caso do atributo oportunidade, os dados foram apresentados em três grupos: a) óbitos; b) demais eventos graves; e c) evento adversos não graves.

O excesso ou déficit da população masculina como percentual do total da população foi calculado como sendo a diferença entre os sexos dividido pelo total da população e multiplicado por 100.

O estudo teve aprovação do comitê de ética em pesquisa do Hospital de Clínicas de Porto Alegre e permissão institucional da Anvisa para o uso da base de dados nominais do Notivisa, salvaguardados o sigilo e a privacidade das informações de pacientes e notificadores.

Resultados

O Notivisa-medicamento armazena notificações de EAM de todo o território nacional desde janeiro de 2008¹⁸. Seu formulário destinado ao profissional da saúde é composto por cinco domínios enquanto aquele reservado aos detentores de registro de medicamentos apresenta um domínio adicional, denominado “Notificador Primário”²⁴. Os domínios do primeiro formulário são: 1) Evento Adverso; 2) Medicamentos/Empresa; 3) Paciente ou Usuário; 4) Outras informações; e 5) Pendências²³.

Discussão

A despeito de sua abrangência nacional, relevância para a identificação de sinais de segurança convincentes e constituição do sistema nacional de farmacovigilância, o Notivisa-medicamento foi considerado como deficiente em seis dos oito atributos avaliados: simplicidade, aceitabilidade, representatividade, completude, consistência e oportunidade. São dignas de nota as baixas frequências de notificação consideradas como oportunas em até sete dias de casos envolvendo óbitos e mesmo para os eventos classificados como não graves correspondendo a, respectivamente, 40,5% e 67,8%. Em geral os achados apontam que o desempenho do Notivisa-medicamento foi avaliado inoportuno se considerados os baixos percentuais de avaliação dos óbitos e demais casos graves nos prazos definidos pela própria Agência.

As limitações identificadas na maioria dos atributos podem comprometer as potencialidades do sistema de farmacovigilância. A existência de elevada quantidade de variáveis no formulário Notivisa-medicamento caracterizando-o mais como um sistema de registro de notificações de EAM do que um sistema para a vigilância de pares de medicamento-evento adverso pode ser um fator determinante de parcela relevante das limitações encontradas nos atributos avaliados.

A simplicidade está estreitamente relacionada à aceitabilidade e oportunidade de sistemas de vigilâncias³. O Notivisa-medicamento foi considerado como complexo devido à grande quantidade de variáveis a serem preenchidas para a notificação de EAM, podendo, inclusive, comprometer o grau de completude das variáveis. A necessidade de consultar múltiplas fontes de dados também torna o processo de notificação complexo e demorado. Tais condições desestimulam a notificação e, também, a agilidade do processo de vigilância, como a avaliação dos eventos graves por especialistas da Anvisa.

A quantidade de informações registradas para cada caso foi considerada como extensa na avaliação de um novo sistema americano de vigilância de EAM de pacientes atendidos em ambulatórios e tratados em serviços de urgência hospitalares²⁵. O nível de detalhamento dos formulários pode depender da utilização prevista dos dados, recursos disponíveis²⁶ e dificuldade na caracterização do agravo, que no caso dos EAM se destacam pela ausência de sinais patognomônicos e inexistência de testes laboratoriais que permitam a confirmação do seu diagnóstico²⁷.

O excesso de campos em formulários para notificações de agravos pode estar relacionado a vários fatores, como não orientação técnica na escolha das variáveis necessárias para a tomada de decisões acerca das medidas a serem conduzidas e para a construção do conhecimento epidemiológico do agravo na população. Ainda há poucos estudos de avaliação dos sistemas de vigilância em relação não apenas a sua eficiência como também quanto aos seus objetivos e propósitos²⁸.

No período estudado, o sistema não forneceu dados nacionalmente representativos em termos de população e cobertura geográfica. Um dos prováveis motivos é que o sistema recebe em maior frequência, principalmente, notificações de pacientes atendidos em hospitais em caráter de urgência e emergência situados em grandes cidades. A notificação de EAM oriunda de cidades de pequeno porte refletindo ambientes não-hospitalares não tem sido suficientemente estimulada e explorada. Situações que podem afetar a representatividade incluem a cobertura geográfica heterogênea, predomínio de fontes de notificação urbana, populações minoritárias não alcançadas pelo sistema de vigilância e fontes de dados que não incluem todas as modalidades assistenciais⁴.

Neste estudo, apenas a validade, um dos atributos que compõe a qualidade dos dados, se mostrou satisfatório. A disponibilidade de determinadas ferramentas de consultas como bulário eletrônico e sistemas de codificação da CID-10, ATC e WHO-ART contribuem para o aumento da completude, consistência e validade dos dados ao facilitar o preenchimento de variáveis. Completude e validade estão entre os quatro atributos mais analisados na literatura científica brasileira⁸.

As baixas taxas de completude constatadas neste estudo podem estar relacionadas às informações requeridas pelo formulário para notificação as quais podem não estar disponíveis às fontes notificadoras entre a coleta dos dados e a notificação do caso, ocasionando um trade off entre os atributos completude e oportunidade. As informações incompletas e não suficientemente caracterizadas nos prontuários dos pacientes e demais registros médicos também são obstáculos a ambos os atributos²⁹. Neste estudo, a avaliação do atributo oportunidade, desde a primeira etapa da vigilância (recebimento da notificação do caso pela fonte notificadora) até a fase final (avaliação do caso na Anvisa), apresentou um desempenho insatisfatório. Este achado compromete uma das principais atribuições dos sistemas de vigilância de EAM representada pela detecção, em tempo oportuno, de sinais de segurança³⁰.

As deficiências na qualidade dos dados possuem profundas implicações para todas as partes interessadas na farmacovigilância¹⁰. Os profissionais e gestores de vigilância sanitária podem extrair conclusões equivocadas e tomar medidas de regulação erradas. Os detentores de registros de medicamentos podem ser demandados a suspender a comercialização de um medicamento na ausência de sólida base de evidência. Os profissionais de saúde podem equivocadamente alterar suas práticas clínicas e os pacientes podem ter seu tratamento seguro e eficaz negado¹⁰.

Algumas recomendações para aumentar a consistência e completude do Notivisa-medicamento passam pela definição de rotinas informatizadas que realizem a crítica de inconsistência dos dados entre campos do formulário ou que alertem o digitador no momento da entrada de dados no sistema e pelo incentivo às fontes notificadoras para registrar as notificações sobre EAM mais próximo possível da data de início do evento adverso^10,28,31. Igualmente importante é dar conhecimento dos principais problemas detectados no sistema as fontes notificadoras encarregadas de registrar as notificações no Notivisa-medicamento. A melhoria dos atributos completude, consistência e oportunidade é, em parte, considerada fonte notificadora-dependente.

Segundo Getz et al.¹⁰ a Food and Drug Administration (FDA), a agência reguladora dos Estados Unidos, tem propiciado assessoramentoa para o indivíduo completar uma notificação de EAM no sistema MedWatch. Esta conduta implica em redução de problemas relacionados com a variabilidade da qualidade dos dados uma das reconhecidas limitações deste tipo de sistema de informação³².

Este estudo tem limitações. Nem todos os atributos definidos pelas referências nas quais o estudo se baseou foram avaliados, como estabilidade, sensibilidade, valor preditivo positivo, duplicidade de registros e custos. Em uma revisão sistemática, aproximadamente metade dos artigos (48/99) avaliaram apenas um ou dois atributos e poucos estudos avaliaram mais de dez atributos¹³. A diretriz do CDC sugere que os atributos avaliados podem ser selecionados, segundo o contexto e objetivo da avaliação³. Os valores e parâmetros de referência utilizados para alguns dos atributos no presente estudo apresentam limitações quanto à validação dos mesmos, inclusive aqueles baseados em estudos publicados. O uso de regras simples e eventualmente arbitrárias de validade para avaliar a razoabilidade dos valores declarados nos registros na ausência de dados reais é também uma limitação deste estudo. Estudos futuros podem coletar dados reais direto na fonte primária para comparar com aqueles registrados na base de dados, visando avaliar melhor o atributo validade¹⁰.

Embora haja aumento progressivo do número de notificações registradas no Notivisa-medicamento no período estudado, tal tendência não vem sendo acompanhada de melhoria do desempenho de alguns de seus atributos, nem mesmo para os registros de eventos adversos graves. Assim, espera-se que os resultados deste estudo sirvam para promover melhorias que resultem em informações completas, oportunas e confiáveis, sobretudo aos gestores da vigilância sanitária. Cabe sugerir pelo menos quatro linhas de atuação: i) realização de estudos aprofundados de alguns dos atributos avaliados, considerando outras formas de avaliação; ii) avaliação de outros atributos que não foram objeto de análise neste estudo, como estabilidade, sensibilidade e valor preditivo positivo; iii) elaboração de um manual de boas práticas para monitoramento da qualidade de dados e avaliação de sistemas de farmacovigilância; e iv) diversificação e focalização das iniciativas de sensibilização das fontes notificadoras sobre a importância de melhoria da qualidade das notificações a serem registradas no Notivisa-medicamento.