Introdução

Diversas áreas da ciência que necessitam de informação para tomada de decisão¹ têm demonstrado interesse crescente em avaliar a qualidade da informação². Contudo, embora não haja ainda consenso na literatura sobre definições teóricas e operacionais, há uma tendência a estudá-la sob três grandes vertentes: uma que trata da qualidade ou valor transcendente (ou valor filosófico, ou metafísico) da informação, outra que se baseia nos aspectos intrínsecos e outra nos atributos contingenciais³. Em cada uma dessas vertentes existem atributos específicos que podem ser monitorados e avaliados.

Paim et al.³ declaram que, nos aspectos intrínsecos, os atributos de qualidade são inerentes ao produto-informação (dado, documento ou texto) que ao serem tratados em termos precisos e identificáveis, podem ser mensurados e quantificados. A completeza é um desses atributos e resulta da inclusão de todos os dados necessários para responder a uma questão de determinado problema. No âmbito dos Sistemas de Informação em Saúde (SIS), essa dimensão é também denominada de completitude e pode ser entendida como "o grau em que os registros de um sistema de informação possuem valores não nulos"⁴.

Nas últimas quatro décadas, foram implantados e/ou implementados no Brasil vários SIS, o que ampliou o uso da informação para a gestão do setor saúde e consolidou uma rede de informações composta por sistemas de racionalidade epidemiológica, de assistência à saúde (produção de serviços), monitoramento de programas de saúde, gerenciamento de serviços, entre outros⁵. Os dados gerados por estes sistemas compõem uma grande base nacional que tem como finalidade primordial a produção de indicadores de saúde que retratem as condições de saúde da população no que diz respeito ao processo saúde-doença e aos aspectos administrativos dos serviços de saúde⁶.

Com o avanço da microinformática e a efetivação do processo de descentralização das ações de saúde, o processamento desses dados passou a ser de responsabilidade das Secretarias Municipais de Saúde (SMS)⁷. Atualmente, a alimentação das bases de dados nacional com os dados produzidos nas SMS ocorre via internet, com periodicidade regulamentada em portarias ministeriais. Cabe ao Ministério da Saúde (MS) a consolidação e a disponibilização desses dados no sítio do Departamento de Informática do Sistema Único de Saúde (Datasus) (http://www.datasus.gov.br), proporcionando amplo acesso aos gestores, pesquisadores, profissionais de saúde e a sociedade em geral.

Embora as informações dos SIS constituam relevantes fontes de dados secundários que tem como uma das principais vantagens a ampla cobertura populacional, é comum à maioria dos autores a recomendação para que se observe a qualidade dos dados registrados^8-11, especialmente no que diz respeito à cobertura dos eventos, à confiabilidade das informações e à completitude dos dados^9,11,12. Essa premissa deve-se ao fato de que, em todas as etapas do ciclo de produção da informação podem ocorrer problemas na qualidade desta envolvendo produtores, gestores e usuários¹³. Se estas questões não forem levadas em consideração, o conhecimento gerado com base nesses dados pode não representar adequadamente a realidade estudada⁹.

O gerenciamento da qualidade da informação dos SIS do Brasil ainda não é realizado de forma organizada e sistemática, avaliando-se apenas partes do ciclo de produção da informação. As iniciativas são pontuais e mais frequentes nas regiões Sul e Sudeste do país. Os métodos utilizados são diversos e em 90% das análises são priorizadas as dimensões confiabilidade, validade, cobertura e completitude. A completitude é a segunda dimensão mais avaliada nas análises referente ao SIM, ao Sinasc e ao Sinan¹.

Ainda que se verifique um aumento do interesse em se avaliar a completitude, ele ainda é insuficiente para dar conta do grande volume e da diversidade de dados que são produzidos pelos atuais SIS. O monitoramento e avaliação dessa dimensão é uma importante ferramenta para averiguar se o preenchimento dos instrumentos de coleta e/ou banco de dados é realizado de forma adequada, contribuindo para identificar fragilidades e potencialidades dos dados produzidos pelo SIS e com isso ampliar o seu uso e/ou recomendar estratégias visando a melhoria da qualidade da informação.

É nesse contexto que este trabalho teve como objetivo revisar a literatura acerca dos métodos aplicados para avaliar a completitude dos dados dos SIS do Brasil. Espera-se fornecer elementos que reforcem a discussão sobre a instituição de uma política nacional de avaliação que englobe todos os aspectos que influenciam na qualidade da informação, bem como estimular a adoção desses métodos por pesquisadores, gestores e profissionais de saúde de modo a ampliar o número de estudos dessa dimensão de qualidade da informação.

Métodos

Para identificação de artigos publicados em revistas científicas foram consultadas as bases de dados bibliográficas Medical Literature Library of Medicine On-Line (Medline) via PUBMED, Scientific Electronic Library Online (SciELO) e Literatura Latino-Americana e do Caribe (Lilacs) via Biblioteca Virtual em Saúde (BVS). Adicionalmente, realizou-se busca manual nas referências dos artigos selecionados.

A busca eletrônica foi realizada utilizando-se os seguintes descritores: "sistemas de informação", "qualidade", "qualidade de dados" e "qualidade da informação". Limitou-se a busca aos limites de assunto "humanos", aos idiomas português e inglês e às publicações realizadas nos últimos 10 anos.

Incluíram-se artigos, dissertações e teses que avaliaram o preenchimento das variáveis dos sistemas de informações de abrangência nacional. Foram excluídos editoriais; artigos de revisão; análises epidemiológicas descritivas que utilizaram indicadores do próprio sistema ou complementadas com outras fontes de dados que não foi precedida de avaliação da completitude; estudos em duplicidade nas bases de dados; estudos de avaliação de outras dimensões de qualidade sem incluir a completitude e análises abordando aspectos operacionais dos SIS.

Para descrever os estudos quanto à execução e à divulgação dos resultados foram utilizadas as seguintes variáveis: afiliação institucional do primeiro autor; categoria do estudo; procedência; ano e periódico de publicação.

O detalhamento dos métodos empregados foi descrito a partir da síntese das seguintes informações: sistema de informação, fontes de dados, meios de acesso, local e período de realização, dimensão de qualidade avaliada, unidade de análise selecionada, indicadores empregados, escore para classificação, variáveis utilizadas e análise estatística. A dimensão de qualidade e os métodos aplicados pelos estudos para realizar as avaliações foram categorizados segundo as definições conceituais propostas por Lima et al.¹. Quando os estudos analisaram mais de uma dimensão de qualidade foram considerados apenas os dados referentes à avaliação da completitude.

Resultados

Foram identificados 972 estudos, dos quais 941 obtidos da busca eletrônica e 31 do exame na lista de referências.

Dos estudos identificados nas bases de dados 873 foram excluídos após análise do título, uma vez que não descreviam aspectos relacionados à avaliação da qualidade dos dados dos SIS, permanecendo 68 artigos para análise dos resumos. Desses, excluiu-se 25 por estarem em duplicata. Após averiguação dos 43 resumos restantes, selecionou-se 17 para leitura de texto completo, visto que 23 tratavam de avaliação de outros atributos de qualidade que não a completitude, um realizou apenas análise epidemiológica, um de revisão narrativa e dois utilizaram dados primários para análise qualitativa da qualidade dos dados. Procedeu-se a exclusão de mais um artigo subsequentemente à leitura por avaliar apenas a confiabilidade dos SIS, o que contabilizou 16 estudos da busca on line.

Sequencialmente, realizou-se busca manual nas referências dos 16 estudos selecionados e três foram adicionados à lista de estudos desta revisão, que ficou composta por 18 artigos e uma dissertação. O processo de seleção dos estudos pode ser visualizado na Figura 1.

Figura 1 Fluxograma do processo de seleção dos estudos.Fonte: Autora, 2013 

Dos dezenove estudos revisados, seis estudaram o SIM; dois o SIM/Sinasc; quatro o Sinasc; cinco o Sinan; um o Sishiperdia e um o Siscolo. As publicações só surgiram a partir do ano de 2005, com um pequeno incremento observado em 2009, entretanto ainda em número escasso, um estudo/ano, em média. Foram encontrados predominantemente em periódicos da área de saúde pública ou saúde coletiva, representando 61% (Quadro 1).

Quanto à afiliação institucional do primeiro autor, 84,2% estão vinculados a instituições de ensino superior, predominando universidades federais. Apenas 15,8% dos autores são oriundos dos serviços de assistência à saúde, das esferas federal¹⁴, estadual¹⁵ e municipal¹⁶. Um número expressivo (36,8%) destes estudos foi produto de programas de pós-graduação, incluindo Doutorado¹⁷, Mestrado^14,18-20 e Especialização^15,21.

O objetivo de verificar exclusivamente a completitude foi comum em aproximadamente 80% dos estudos (n = 15). Além de avaliar a qualidade dos dados, Glatt¹⁴, Malhão et al.²², criaram e aplicaram indicadores e/ou índices de avaliação da completitude; Vanderlei et al.²³ avaliaram os preditores do óbito neonatal; Costa e Frias^24,25 averiguaram a evolução do adequado preenchimento das variáveis do SIM e SINASC entre os municípios; e, Almeida et al.¹² examinaram se as informações disponíveis nos SIS são suficientes para avaliar o perfil e a magnitude da mortalidade perinatal, comparando a disponibilidade de informações sobre nascidos vivos, óbitos fetais e neonatais precoces no Registro Civil, SIM e SINASC.

A avaliação da qualidade dos dados referente aos sistemas de informação de racionalidade epidemiológica (SIM, Sinasc e Sinan) foi realizada em 90,5% dos estudos. Apenas dois sistemas de informação de monitoramento de programas de assistência à saúde tiveram a completitude dos seus dados mensurados: o Sishiperdia e o Siscolo. Dentre as várias unidades de análise disponíveis nos SIS de racionalidade epidemiológica, foram priorizadas os nascidos vivos; os óbitos (menores de um ano, fetais, mulheres com câncer de mama e suicídio); e, os casos notificados de AIDS em crianças e adultos, febre tifoide, gestantes HIV positivo, crianças expostas ao HIV e tuberculose (Quadro 1).

Em 94,7% dos estudos os autores utilizaram os bancos de dados dos SIS, dos quais 61% acessaram-no via internet ^{12,15,17-19,24,25,27,29,31}. Todavia, Zillmer et al.²¹ transcreveram os dados das fichas de cadastro do Sishiperdia arquivadas na unidade básica de saúde. Os demais estudos tiveram acesso às informações nas secretarias estadual^16,20,23,30 e municipal de saúde²⁸ e na Coordenação Nacional do Programa em estudo, (DST/AIDS¹⁴ e Tuberculose²². E ainda, três estudos coletaram dados em mais de uma fonte de informação^15,17,28 (Quadro 1).

A maioria dos estudos foi realizada com dados procedentes da região sudeste (36,8%). O Brasil e o Nordeste foram contemplados com 26,3% das análises, ambos ocupando a 2ª posição. No Sul, apenas dois estudos acerca da completitude dos dados do Sinasc e do Sishiperdia foram publicados no período analisado. Predominou a análise de dados organizados em série histórica com períodos iniciados a partir da década de 2000. O estudo sobre a completitude dos casos notificados de AIDS foi o que apresentou o período mais longo analisado: 23 anos. Testes estatísticos aplicados aos resultados foram encontrados em 42,1% dos estudos. O mais comum foi a regressão linear simples, em decorrência de que grande parte dos estudos analisou a tendência da completitude por meio de série temporal (Quadro 1).

Mais da metade dos autores (n = 12) optaram por avaliar exclusivamente a qualidade do preenchimento das variáveis. Diversos termos foram utilizados para designar esse preenchimento, sendo completitude (n = 9) e completude (n = 5) os mais frequentes. Dentre os estudos que avaliaram mais de uma dimensão de qualidade destacaram-se as seguintes: consistência^14,26,27, duplicidade de registros¹⁴, acessibilidade²⁶, oportunidade²⁶, clareza metodológica^26,27, validade^17,28 confiabilidade^28,30 e cobertura¹².

Como os instrumentos de coleta de dados são específicos para cada SIS, entre os cinco sistemas avaliados, identificou-se 290 tipos de variáveis selecionadas. De um modo geral, foi mais estudada a completitude das variáveis de identificação individual (escolaridade, idade, sexo, raça/cor, estado civil); as que são definidas nos manuais e instrucionais dos SIS como variáveis essenciais ou de preenchimento obrigatório, ou ainda aquelas de interesse do próprio pesquisador para atender aos objetivos do estudo.

Para mensurar a magnitude da completitude, o cálculo do percentual de campos incompletos foi utilizado em 63% dos estudos. Consideraram-se "campo completo" aquele cujo preenchimento é feito com "categoria distinta daquelas indicativas de ausência de dados"¹⁴, e "incompleto", o campo preenchido com o código de informação "ignorada" definido nos instrucionais ou manuais de preenchimento dos sistemas e, aqueles que são deixados "em branco" pelo profissional responsável pelo preenchimento ou pelo digitador quando do processamento das informações. Quando os autores analisaram diretamente o documento original de coleta de dados, as questões que apresentaram caligrafia ilegível^21,28 ou opções de repostas preenchidas simultaneamente²⁸ também foram consideradas incompletas.

Os escores utilizados para classificar o grau de completitude eram distintos e apresentaram intervalos de classes bem variados, tanto quando se avalia a qualidade dos dados pelo aspecto da completeza ou pela ausência de informação (Quadro 2).

O escore elaborado por Romero e Cunha^26,27 foi utilizado em 36,8% (7/19) dos estudos. Em segundo lugar com 21,1% (4/19) das citações, o recomendado pela Coordenação Nacional do Sinan (14) e em terceiro, com 15,8 % (3/19) o proposto por Costa e Frias⁹. Também foram encontrados escores elaborados pelo próprio autor^9,14,20. Os estudos de Pedrosa et al.²⁸, Vanderlei et al.²³ e Zillmer et al.²¹ descreveram a frequência relativa do preenchimento das variáveis sem, contudo, classificar os resultados obtidos (Quadro 1). Adaptações dos escores propostos são realizadas livremente pelos autores. Para os casos em que os SIS já atingiram uma qualidade excelente dos dados produzidos, novos escores estão sendo definidos para se adequar ao atual padrão de qualidade do sistema²⁰.

Quanto às técnicas aplicadas, verificou-se que foi empregada, em todos os estudos, a análise descritiva de indicadores do próprio banco de dados. Destes, 26,3% usaram-na exclusivamente; 36,8% adicionaram à análise de série temporal; 15,8% verificaram a concordância entre avaliadores e a busca ativa de registros, respectivamente; 10,5%, à análise descritiva utilizando indicadores de distintos bancos de dados; e, 5,3%, realizaram respectivamente, a técnica de comparação com critérios, e, o relacionamento de registros usando a linkage inter e intrabanco de dados. Convém ressaltar que alguns autores^17,26-28 empregaram até três técnicas diferentes para avaliar a qualidade dos dados dos SIS.

Discussão

A despeito da compreensão de que a avaliação da qualidade envolve aspectos multidimensionais, esta revisão se limitou a investigar os métodos utilizados para avaliar apenas uma dessas dimensões. A qualidade e a pertinência das informações produzidas, com intuito de conhecer as condições de saúde da população, podem estar comprometidas quando se verifica variáveis com preenchimento inadequado. Dados incompletos inviabilizam a avaliação de outras dimensões de qualidade²⁷ e o uso de técnicas como linkage ¹⁷, que contribuem para melhorar a qualidade do preenchimento e expandir o escopo do uso dessas informações em estudos epidemiológicos e na tomada de decisões.

Embora haja crescente interesse na avaliação da completitude, ainda é muito pequeno o número de estudos publicados. Outrossim, estudos sobre qualidade dos dados são mais frequentes nas regiões sul e sudeste do país¹, que são mais desenvolvidas e onde os SIS já superaram esses problemas requerendo avaliação de outros aspectos de qualidade. Apenas dois estudos foram financiados pelo MS, o que traduz o baixo investimento das instâncias gestoras que priorizam iniciativas relativas à cobertura do SIM e ao preenchimento da causa básica de óbito²⁵. Outro aspecto que pode ter limitado a localização dos estudos é a priorização do uso de palavras-chave em detrimento aos Descritores em Ciências da Saúde (DeCS) para descrever o conteúdo dos estudos^35,36.

A menor frequência de estudos com abrangência municipal e a pequena participação de autores vinculados aos serviços de saúde traz à tona a questão já levantada por Branco desde 1996⁶ sobre a necessidade de se dotar os municípios de capacidade técnica, administrativa e institucional, para garantir "maior envolvimento destes com a produção, processamento e análise das informações, o que tenderia em muito melhorar a qualidade dos dados". O menor volume de informações produzidas no nível municipal facilitaria a identificação de falhas no preenchimento e a correção se daria de forma mais ágil, devido à maior proximidade com a fonte de captação de eventos. Também possibilitaria a realização de estudos mais detalhados, melhor monitoramento da coleta de dados e o desenvolvimento de novos mecanismos para se adquirir mais consistência nas informações registradas^7,23.

O uso de diferentes métodos e técnicas para avaliar a completitude inviabilizam sínteses e comparações dos resultados dos estudos entre mesmos SIS. Esse cenário é idêntico ao descrito por Lima et al.¹, ao revisar amplamente as iniciativas brasileiras para avaliar a qualidade dos dados dos SIS, e por Pedraza³⁷, ao analisar criticamente a literatura sobre a qualidade dos dados do SINASC. Esta situação remete à necessidade de mais estudos nessa área que contribuam com a sistematização e a divulgação destes métodos, observando as especificidades de cada SIS e identificando as contribuições que cada um deles pode trazer ao conhecimento e à melhoria da qualidade da informação.

Independente de a completitude ter sido avaliada de forma isolada ou em conjunto com outras dimensões de qualidade, a magnitude dos campos preenchidos ou incompletos ("em branco" e/ou "ignorados") foi mensurada, inicialmente, utilizando-se a frequência relativa. Embora Malhão et al.²² e Glatt¹⁴ tenham criado e aplicado índices nas suas avaliações, ressaltaram que estas medidas-resumo são limitadas, pois não refletem o grau de preenchimento entre as variáveis. Outrossim, não permitem avaliar pequenos avanços ou retrocessos na qualidade dos mesmos. Portanto, é necessário aprimorar a construção destas medidas, estabelecer parâmetros e validá-los¹⁴ para que possam ser amplamente utilizados.

As múltiplas definições para campo "incompleto" refletem a baixa clareza metodológica dos manuais de preenchimento dos SIS, já identificadas no SIM, no Sinasc^26,27,32 e no SISHIPERDIA³⁸. Recomendações atuais referentes a esses problemas apontam para a necessidade de padronização e divulgação das definições¹, inclusive adotando conceitos internacionais e adequação na elaboração de itens nos formulários de coleta³² permitindo comparações mais fidedignas. Constata-se então que a clareza metodológica é outra dimensão de qualidade que precisa ser avaliada para todos os SIS. Entretanto, dispor apenas de instruções claras e padronizadas não é garantia de informação de qualidade²⁵. É preciso que os profissionais de saúde envolvidos no processo sejam devidamente capacitados a respeito de como coletar esses dados³², bem como sejam conscientizados sobre a importância da qualidade dos dados.

A maioria dos autores considerou "incompleto" aqueles campos que apresentaram a categoria "ignorada" ou "em branco". Todavia, a variável definida como "ignorada" traz muitos questionamentos pela falta de clareza com que é abordada nos instrucionais de preenchimento²⁷. Há vários tipos de interpretações que vão desde o dado ignorado por parte do informante, à resposta sem informação ou à resposta que, apesar de preenchida, não era aceita pelo sistema e passava a ser identificada como "ignorada"³⁹. Já as variáveis "em branco" são interpretadas como um reflexo da falta de cuidado e da pouca importância dada pelo profissional no preenchimento do instrumento de coleta²⁴. Glatt¹⁴ acrescentou à definição de campo "incompleto", o preenchido com numeral zero, data ignorada ou termo que indique ausência de dados (não consta, não informado, etc.). Por isso, maior atenção deve ser dada quando se analisa banco de dados que apresenta campos com perguntas abertas. Quando se analisou o instrumento original de coleta de dados também foram considerados "incompletos" campos com respostas simultâneas²⁸ ou aqueles cuja letra do profissional que o preencheu estava ilegível gerando dúvidas²¹.

Uma vantagem que poucos pesquisadores de países da América do Sul dispõem²⁷ é a coleta de dados para o estudo a partir de download dos bancos de dados e/ou a tabulação desses dados diretamente do sítio do Datasus. Embora exista esta facilidade de acesso, as análises de completitude a partir dessas informações refletem a qualidade do preenchimento após o envio de dados para a base nacional. Esses dados estão sujeitos a erros inerentes ao próprio sistema decorrentes de falha na execução da transferência¹⁵ e aos procedimentos para limpeza do banco de dados realizadas pela Coordenação Nacional dos Programas e/ou sistemas de informação antes da sua disponibilização¹⁴ .

A restrição de variáveis para acesso público no sitio do Datasus é uma limitação para estudos com alguns sistemas de informação. Enquanto no SIM e Sinasc pode-se efetuar download dos bancos de dados de todas as variáveis, exceto as de identificação do indivíduo, no Sinan, Sishiperdia e Siscolo só é possível realizar tabulação das variáveis selecionadas pelo Datasus, Secretaria de Assistência à Saúde (SAS) ou Secretaria de Vigilância em Saúde (SVS), ocasionando redução no escopo dessas avaliações.

Em síntese, observou-se que a completitude ainda é uma das dimensões de qualidade pouco explorada nos SIS do Brasil. Os escassos estudos realizados evidenciam que os problemas observados são comuns a quase todos os sistemas de informação, ocasionando, em algumas situações, limitações no uso dessas informações para a tomada de decisões. Estudos semelhantes aos identificados, com diversos níveis de complexidade, são factíveis de serem realizados pelas equipes responsáveis pela coleta, processamento e retroalimentação das informações nos três níveis de gestão do SUS e universidades, auxiliando na divulgação das informações coletadas e na melhor completitude dos dados.

Estudos dessa natureza contribuem para identificar inadequações estruturais nos instrumentos de coleta de dados; carência de treinamento dos operadores em decorrência de atualizações do sistema de informação; revisão de documentos técnicos referentes à classificação de variáveis, entre outras. Podem ainda, se constituir em estratégias para melhoria da qualidade dos dados e informações, ao estimular o uso integrado de bancos de dados, possibilitando o resgate de informações incompletas ou inconsistentes.