Assessment of diagnostic accuracy in nursing: paper versus decision support system

Assessment of diagnostic accuracy in nursing: paper versus decision support system

Autores:

Heloísa Helena Ciqueto Peres,
Rodrigo Jensen,
Thaís Yamasaki de Campos Martins

ARTIGO ORIGINAL

Acta Paulista de Enfermagem

On-line version ISSN 1982-0194

Acta paul. enferm. vol.29 no.2 São Paulo Mar./Apr. 2016

http://dx.doi.org/10.1590/1982-0194201600030

Introdução

O prontuário do paciente é um documento que corresponde à memória escrita da pessoa sob cuidados, o qual consiste de registros identificatórios, sociodemográficos, clínicos, entre outros. Este é indispensável na comunicação entre a equipe de saúde e o paciente, bem como para a segurança, continuidade, eficácia e qualidade da assistência.(1)

Atualmente, com a diversidade de profissionais envolvidos na atenção ao paciente e demandas legais de manutenção e preservação de registros, o volume de papel, que precisa ser armazenado, atingiu dimensões de difícil gerenciamento, requerendo recursos de arquivamento de grande porte.(2,3) Além de facilitar o acesso à informação e reduzir o volume de papel armazenado, os Registros Eletrônicos de Saúde (RES) também podem contribuir para a solução de problemas clínicos, quando integrados a Sistemas de Apoio à Decisão (SAD).

Os SAD são sistemas de informação destinados a melhorar a tomada de decisão clínica. Características individuais dos pacientes são combinadas a uma base de conhecimento informatizada e algoritmos geram recomendações específicas para cada paciente. Existem vários modos de apoio à decisão, incluindo alertas de valores críticos e sugestões para várias questões de cuidado.(4)

O Sistema de Documentação Eletrônica do Processo de Enfermagem da Universidade de São Paulo (PROCEnf-USP®) é um SAD clínica de enfermagem desenvolvido a partir de pesquisas de produção tecnológica envolvendo docentes da Escola de Enfermagem da USP e enfermeiros do Hospital Universitário da USP, com Registro de Programa de Computador na Revista da Propriedade Industrial. O sistema permite ao usuário (enfermeiro ou estudante de enfermagem) realizar hipóteses diagnósticas no ambiente hospitalar. Após a escolha dos diagnósticos de enfermagem que melhor caracterizam a situação do paciente, o usuário procede à seleção dos respectivos resultados, intervenções e atividades de enfermagem, considerando os recursos (humanos, materiais e estruturais) disponíveis para a condução do cuidado.(5)

Acredita-se que o PROCEnf-USP® possa apoiar o raciocínio clínico do enfermeiro, por sua estrutura estar em acordo às linguagens da NANDA International (NANDA-I), da Classificação das Intervenções de Enfermagem (NIC) e da Classificação dos Resultados de Enfermagem (NOC), designadas NNN (NANDA-I, NIC, NOC), e possuir a capacidade de sensibilizar diagnósticos para a escolha do enfermeiro a partir de dados da avaliação do paciente, por meio de questionários ramificados, estruturados em 4 domínios e 28 classes.(5)

O PROCEnf-USP® pode gerar sugestões de diagnósticos a partir de dados da avaliação, alertas clínicos e interpretação de dados de sinais vitais, saturação de oxigênio e índice de massa corporal, bem como valoração de escalas de classificação de pacientes e de úlcera por pressão.(2)

Esse SAD possui dois ambientes, um profissional, que compreende a documentação real de dados de avaliação clínica do paciente e, um acadêmico, que se destina ao incremento do pensamento crítico e aprimoramento do raciocínio diagnóstico de estudantes de enfermagem. O ambiente acadêmico possui as mesmas características do ambiente profissional, permitindo a criação de pacientes fictícios para favorecer o aprendizado por meio de simulação de casos clínicos com as mesmas características da documentação real.(5)

Frente ao crescente número de novos SAD, destaca-se a relevância destes sistemas serem rigorosamente avaliados antes da ampla divulgação na prática clínica. As etapas do processo de avaliação qualitativa e quantitativa dos sistemas são descritas na literatura, visando a segurança dos cuidados clínicos e os resultados dos pacientes, bem como a influência dos sistemas no desempenho profissional.(4)

Esta pesquisa parte dos questionamentos: o sistema PROCEnf-USP® apoia os graduandos na determinação de diagnósticos de enfermagem acurados? Há diferenças no grau de acurácia dos diagnósticos determinados com o uso do sistema ou manuscrito?

O presente estudo teve como hipótese que o PROCEnf-USP®, apoia o graduando a estabelecer diagnósticos de enfermagem com maior grau de acurácia em comparação ao manuscrito.

Um diagnóstico é acurado quando reflete o real estado do paciente ou quando se adapta às condições clínicas do mesmo. Em uma mesma situação, podemos identificar diagnósticos altamente acurados e outros de baixa acurácia.(6) A acurácia diagnóstica deve estar contemplada no ensino de enfermagem para permitir aos futuros profissionais estabelecer referências úteis para definir o papel de diagnosticadores. Dispor de métodos confiáveis e válidos para avaliar a acurácia dos diagnósticos de enfermagem permitirá avançar o conhecimento sobre o processo diagnóstico e aumentar a confiabilidade dos estudos clínicos sobre diagnósticos de enfermagem.(7)

Diante do exposto, essa pesquisa contribui para o despertar da necessidade da inserção de tecnologias da informação e comunicação na formação dos enfermeiros, possibilitando enfatizar os aspectos importantes do processo de enfermagem de maneira problematizadora, crítica, construtiva e interativa.

Nesse contexto, esse estudo teve por objetivo comparar o grau de acurácia dos diagnósticos de enfermagem determinados, por graduandos de enfermagem, no sistema PROCEnf-USP® e manuscrito.

Métodos

Trata-se de um estudo descritivo-exploratório, de abordagem quantitativa, tendo por população alunos do curso de graduação em enfermagem de uma Universidade Pública do Estado de São Paulo, que cursavam a disciplina de Administração em Enfermagem. Foram critérios de inclusão no estudo: preenchimento manuscrito e no PROCEnf-USP® a análise do caso clínico proposto na atividade.

A disciplina em questão aborda a temática de sistemas de informação em saúde e é oferecida no sétimo semestre do curso de graduação. No ano de 2013 cursaram a disciplina 53 alunos e, destes, 25 aceitaram participar do estudo assinando o Termo de Consentimento Livre e Esclarecido. Considerando os critérios de inclusão, 17 graduandos compuseram a amostra do estudo.

A coleta de dados foi realizada entre abril e agosto de 2013. Para a caracterização do perfil dos alunos, foi utilizado um instrumento com questões sociodemográficas, contato prévio com o conteúdo de diagnóstico de enfermagem e processo de enfermagem durante a graduação, contato prévio com sistemas de documentação eletrônica e uma questão sobre a preferência do aluno quanto à determinação dos diagnósticos no PROCEnf-USP® e manuscrito. Uma aula teórica foi ministrada pela docente do módulo e contemplou o conteúdo e discussões sobre RES e SAD, bem como o processo de implementação do PROCEnf-USP® no Hospital Universitário da USP. Para a determinação dos diagnósticos no sistema foi disponibilizado login e senhas individuais, bem como livros da classificação NANDA-I 2012-2014 para livre consulta, visando a determinação de diagnósticos de enfermagem no sistema e no papel.

Em relação à coleta de dados referente à acurácia diagnóstica foi utilizado um estudo de caso relacionado à saúde do adulto e do idoso, e o respectivo “padrão-ouro” de determinação de diagnósticos elaborado por especialistas e validado em estudo prévio.(7)

No registro manuscrito o instrumento de coleta de dados apresentava colunas para a indicação do diagnóstico de enfermagem, características definidoras, fatores de risco e fatores relacionados, sendo determinados estes pelos alunos no formato de texto livre. No registro no PROCEnf-USP® os alunos deveriam seguir as etapas: responder os questionários de avaliação do paciente conforme os dados do Estudo de Caso, incluir as características definidoras, os fatores de risco e os fatores relacionados, indicar os diagnósticos de enfermagem e ou, selecionar diagnósticos de enfermagem sensibilizados pelo sistema. Por meio desse registro, posteriormente, foi possível rastrear a determinação dos diagnósticos no sistema de cada graduando relacionado ao estudo de caso, identificando se o diagnóstico tinha sido indicado pelo aluno ou a partir da sugestão do sistema.

Os alunos realizaram a análise do Estudo de Caso, em sala, durante a disciplina. Para a mensuração do grau de acurácia dos diagnósticos de enfermagem elaborados pelos graduandos no papel e no PROCEnf-USP®, foi utilizada a Escala de Acurácia de Diagnósticos de Enfermagem (EADE) versão 2.(8)

A medida da escala EADE possui variação de zero a 13,5 e categoriza os diagnósticos de enfermagem quanto aos valores: zero = acurácia nula; 1 = acurácia baixa; 2 a 5,5 = acurácia moderada; e 9 a 13,5 = acurácia alta. A avaliação da acurácia diagnóstica dos alunos foi realizada por um dos pesquisadores do estudo.

Os dados coletados foram digitados em uma planilha do programa Excel® e processados no pacote estatístico SPSS® versão 17. Foi utilizado o teste não paramétrico de Wilcoxon sinalizado, que compara duas amostras pareadas (manuscrito e PROCEnf-USP®) e leva em consideração as grandezas das diferenças e seus sinais. Foi também realizado o teste de Poder para testar o tamanho da amostra e indicar a probabilidade de detectar uma real diferença entre as proporções estabelecidas no estudo. O teste de Poder indicou que a amostra constituída por 17 sujeitos é representativa e apresenta 74% de chances de detectar diferenças significativas, se realmente existirem, entre os grupos de alunos que responderam integralmente os estudos de caso no PROCEnf-USP® e manuscrito.

Extraído da dissertação de mestrado “Avaliação de acurácia de diagnósticos de enfermagem em sistemas de documentação eletrônica” do Programa de Pós-Graduação em Gerenciamento em Enfermagem da Escola de Enfermagem da Universidade de São Paulo, 2014.

O estudo foi registrado na Plataforma Brasil sob o numero do Certificado de Apresentação para Apreciação Ética (CAAE) 0037.0.196.196-11.

Resultados

Fizeram parte do estudo 17 alunos de enfermagem com média de idade de 22 anos, predominância do sexo feminino (92%), que já haviam cursado disciplina específica de diagnósticos de enfermagem durante a graduação (64%), expostos a contato teórico-prático prévio a diagnósticos de enfermagem durante estágio supervisionado (60%), com processo de enfermagem durante a graduação (84%) e com algum SAD (62,5%).

Na comparação dos diagnósticos de enfermagem elaborados no PROCEnf-USP® e manuscrito, de acordo com o teste de Wilcoxon sinalizado, houve diferença estatística na determinação dos diagnósticos de acurácia alta (valor de p = 0,013), demonstrando que os diagnósticos determinados com apoio do PROCEnf-USP® apresentam maior grau de acurácia (Tabela 1).

Tabela 1 Comparação do grau de acurácia de diagnósticos de enfermagem indicados por alunos de enfermagem de modo manuscrito e com apoio do PROCEnf-USP® (n=17) 

Grau de acurácia de diagnósticos Manuscrito PROCEnf-USP® p-value
Med (Mín-Máx) Med (Mín-Máx)
Acurácia nula 1,5 (1,0-5,0) 1,5 (1,0-4,0) 0,916
Acurácia baixa 0 (0-0) 0 (0-0) -
Acurácia moderada 1,0 (0-4,0) 2,0 (0-4,0) 0,361
Acurácia alta 1,0 (0-4,0) 3,0 (0-15) 0,013

Med - Mediana; Mín - Mínimo; Max - Máximo

Na análise do Estudo de Caso foram identificados pelos 17 alunos ao total 245 diagnósticos de enfermagem, entre estes, diagnósticos indicados livremente (manuscrito e PROCEnf-USP®) e sugeridos pelo PROCEnf-USP®. Destaca-se que a maior parte dos diagnósticos que obtiveram alta acurácia foram sugeridos pelo SAD do PROCEnf-USP®. A distribuição dos diagnósticos no papel e no PROCEnf-USP®, segundo o grau de acurácia, é apresentado na tabela 2.

Tabela 2 Diagnósticos de enfermagem identificados pelos alunos, no PROCEnf-USP® e manuscrito, segundo o grau de acurácia (n=245) 

Nursing diagnoses Grau de acurácia diagnóstica Total
Acurácia nula Acurácia baixa Acurácia moderada Acurácia alta
Pro-CEnf-USP
Determinação do aluno 51 0 9 17 77
Sugestão do sistema 35 0 2 23 60
Manuscrito
Determinação do aluno 80 0 12 16 108
Total 166 0 23 56 245

Ao término da atividade foi perguntado aos alunos a preferência quanto à determinação do diagnóstico, no PROCEnf-USP® ou manuscrito, 52% dos alunos indicaram ter mais facilidade para determinarem diagnósticos manuscritos.

Discussão

O uso de SAD no ensino de enfermagem pode favorecer o desenvolvimento de habilidades cognitivas como raciocínio clínico, resolução de problemas e a tomada de decisão em enfermagem. Estudos mostram uma avaliação positiva e a satisfação dos alunos com o uso de cenários clínicos simulados, considerando-os úteis para o envolvimento do graduando na aprendizagem clínica.(9)

O uso de SAD a diagnósticos de enfermagem, quando utilizados no ensino e que permitam avaliar a acurácia diagnóstica do aluno ou seu raciocínio clínico, podem oferecer benefícios ao aprendizado do aluno, uma avaliação mais objetiva do professor, o desenvolvimento de pesquisas e o processo de desenvolvimento do raciocínio clínico do graduando.(10)

A aplicação desses sistemas no ensino coaduna-se às Diretrizes Curriculares para os cursos de Graduação em Enfermagem no Brasil, privilegiando a formação crítica e reflexiva do enfermeiro, e capaz de buscar e utilizar novos conhecimentos para o desenvolvimento da prática profissional.(10) Um estudo no qual foi aplicado um modelo de apoio à decisão no ensino de diagnósticos de enfermagem a graduandos de enfermagem, demonstrou que estes podem apoiar o ensino do raciocínio clínico de forma inovadora e proporcionar uma avaliação mais objetiva do raciocínio clínico e acurácia diagnóstica do aluno.(11)

A contribuição do PROCEnf-USP® no ensino, utilizando simulações em laboratório, permite ao graduando intervir no campo de conhecimento da enfermagem, utilizando raciocínio clínico e linguagem padronizada, interligando-o ao campo profissional.

Com relação à avaliação da acurácia diagnóstica, este estudo demonstrou que os graduandos de enfermagem apresentaram desempenho superior na determinação de diagnósticos de grau altamente acurado com o uso do sistema PROCEnf-USP®, quando comparado ao diagnóstico indicado manualmente.

Acredita-se que a incorporação deste tipo de sistema no ambiente acadêmico possibilita o desenvolvimento de metodologias ativas com o uso de tecnologias educacionais na perspectiva do ensino autônomo, crítico e reflexivo, para apoiar e implementar o ensino do raciocínio clínico de enfermagem.

O PROCEnf-USP® foi desenvolvido com a participação ativa de enfermeiros e docentes de enfermagem, aliados ao contínuo aprimoramento teórico-prático do Processo de Enfermagem do HU-USP, o que acredita-se que tenha contribuído para os resultados favoráveis obtidos nas pesquisas de avaliação do sistema realizadas.(2,5)

Em estudo prévio, o PROCEnf-USP® foi avaliado pelos requisitos de qualidade da norma ISO/IEC 25010 e os resultados indicaram que a característica Adequação Funcional atingiu a qualidade necessária para os requisitos considerados na avaliação dos enfermeiros docentes, clínicas médica e cirúrgica, entre outras unidades, e especialistas em informática. Evidenciou-se que, do ponto de vista funcional, o PROCEnf-USP® é uma ferramenta que atende as necessidades dos usuários, além de viabilizar a execução do Processo de Enfermagem com base no conhecimento científico.(2)

No Brasil o panorama da documentação eletrônica do processo de enfermagem é marcado por sistemas que podem ser apresentados apenas como uma digitalização do seu correspondente manuscrito, a partir de um check list dos diagnósticos sem a adoção de linguagem padronizada.

Autores afirmam que uma documentação estruturada proporciona dados de enfermagem mais significativos e confiáveis em comparação à documentação livre.(12) Em acordo a essas recomendações, o PROCEnf-USP® conta com um sistema padronizado de linguagem, além de dados mínimos de enfermagem que estabelecem dados essenciais, que são documentados no cuidado de enfermagem.(2,5)

No estudo, de 245 diagnósticos indicados pelos alunos, 166 (86 [PROCEnf-USP®] e 80 [manuscrito]) obtiveram acurácia nula, ou seja, 68% dos diagnósticos. Fenômenos como este são previstos na literatura, na qual em uma mesma situação clínica é possível serem identificados diagnósticos altamente acurados e com baixa acurácia, isso dá-se pela complexidade e subjetividade dos diagnósticos de enfermagem.(6)

A documentação acurada dos dados e das informações clínicas é um dos requisitos do cuidado de enfermagem baseado em qualidade. A documentação é importante para a continuidade do cuidado, para desenvolver o conhecimento clínico, aprimorar a comunicação clínica, fundamentar julgamentos, garantir a segurança e para gerenciar o cuidado de enfermagem.(13)

Com base nos achados deste estudo sugere-se que o PROCENF-USP® pode apoiar o graduando em enfermagem a estabelecer diagnósticos de enfermagem e favorecer um alto grau de acurácia, em comparação aos diagnósticos indicados manualmente.

Em relação à preferência dos alunos em determinarem os diagnósticos manuscritos superiores, comparado ao software, pode-se considerar como um resultado esperado, uma vez que a maior parte dos graduandos teve seu primeiro contato com o software durante a pesquisa e possuíam pouca habilidade no uso de RES e SAD. Acredita-se que com tempo de uso do PROCEnf-USP® os graduandos adquiram habilidades e competências para seu manejo, além de compreensão sobre a complexidade dos dados e das informações do sistema.(14)

Para tanto, é importante a adoção de mecanismos de aprendizagem que estimulem os usuários na construção de conhecimentos tecnológicos e da própria linguagem padronizada na formação e na prática profissional.(2,15)

Considera-se que no Brasil, grande parte dos enfermeiros apresentam competências básicas sobre informática, desconhecendo o potencial de uso de algumas tecnologias, apesar de este recurso ser um grande aliado à prática clínica e gerencial diária do enfermeiro.(16)

É evidente que, pelo irrevogável avanço tecnológico, o aprendizado sobre informática na enfermagem e o desenvolvimento destas competências devem ser contemplados na formação dos enfermeiros, aproximando os profissionais em formação de novas tecnologias do processo de trabalho do enfermeiro.(2)Iniciativas como a Technology Informatics Guiding Education Reform (TIGER) hoje traçam competências de informática básicas, informacionais e de gestão a serem desenvolvidas pelo enfermeiro, destaca-se um estudo brasileiro que a partir desta matriz apresenta as competências essenciais ao enfermeiro na gestão(17) e estas poderiam ser aplicadas também ao uso de SAD e RES.

Quanto às limitações deste estudo, sugere-se, para futuros estudos, ampliar o número de alunos e de Estudos de Caso na pesquisa e de replicação em ambiente clínico, com enfermeiros, a fim de analisar se haveriam resultados próximos.

Conclusão

Este estudo demonstrou diferença estatisticamente significante nos diagnósticos com alto grau de acurácia diagnóstica determinados pelos graduandos no PROCEnf-USP® em relação ao modo manuscrito. Conclui-se que o sistema PROCEnf-USP®, apoia o graduando a estabelecer diagnósticos de enfermagem com maior grau de acurácia em comparação ao manual, contribuindo para a inovação da adoção de tecnologias no ensino do raciocínio clínico em enfermagem.

REFERÊNCIAS

1. Pinto VB. Prontuário eletrônico do paciente: documento técnico de e comunicação do domínio da saúde. Rev Eletrôn Bibliotec Ciênc Inform [Internet]. 2006. [citado 2014 Jan 30]. Disponível em: .
2. Oliveira NB. Avaliação de qualidade do registro eletrônico do processo de enfermagem [dissertação]. São Paulo: Escola de Enfermagem da Universidade de São Paulo. 2012.
3. Bollela VR. Gestão hospitalar. In: Galvão M, Ricarte IL. Prontuário do paciente. Rio de Janeiro: Guanabara Koogan. 2012; p.147-60.
4. Garg AX, Adhikari NKJ, McDonald H, Rosas-Arellano MP, Devereaux PJ, Beyene J et al. Effects of computerized clinical decision support systems on practitioner performance and patient outcomes: a systematic review. JAMA. 2005; 293(10):1223-38.
5. Peres HH. Sistema de documentação eletrônica do processo de enfermagem: desenvolvimento, avaliação e implementação no Hospital Universitário da Universidade de São Paulo [tese]. São Paulo: Escola de Enfermagem da Universidade de São Paulo, 2009.
6. Lunney M. Accuracy of nursing diagnoses: concept development. Int J Nurs knowl. 1990; 1(1):12-7.
7. Matos FG. Construção de instrumento para avaliação de acurácia diagnóstica [dissertação]. São Paulo: Escola de Enfermagem da Universidade de São Paulo, 2006.
8. Matos FG, Cruz DA. Construção de instrumento para avaliar a acurácia diagnóstica. Rev Esc Enferm USP. 2009; 43(Spec):1088-97.
9. Hoffman K, Dempsey J, Levett-Jones, Noble D, Hickey N, Jeong S, et al . The design and implementation of an Interactive Computerized Decision Support Framework (ICDSF) as a strategy to improve nursing students clinical reasoning skills. Nurse Educ Today. 2011; 31(6):587-94.
10. Jensen R, Silveira OS, Ortega NR, Lopes MH. Software application that evaluates the diagnostic accuracy of nursing students. Int J Nurs Knowl. 2012; 23(3):163-71.
11. Lopes MH, Jensen R, Cruz DA, Matos FG, Silveira OS, Ortega NR. Applications of a model based on fuzzy logic for evaluating nursing diagnostic accuracy of students. Int J Med Inform. 2013; 82(9):875-81.
12. Keenan G, Falan S, Heath C, Treder M. Establising competency in the use of North American Nursing Diagnosis Association, Nursing Outcomes Classification and Nursing Interventions Classification Terminology. J Nurs Meas. 2003; 11(2):183-98.
13. Tornavall E, Wilhelmsson S. Nursing documentation for communicating and evaluating care. J Clin Nurs. 2008; 17(16):2116-24.
14. Abbaszadeh A, Sabegui H, Borhani F, Heydari A. A comparative study on effect of e-learning and instructor-led methods on nurses’documentation competency. Iran J Nurs Midwifery Res. 2011; 16(3):235-43.
15. Ohno-Machado L. Eletronic health records: monitoring the return on large investments. Highlights. J Am Med Inform Assoc. 2013; 20 (e1): 1.
16. Carvalho EC, Bachion MM. Processo de enfermagem e sistematização da assistência de enfermagem – intenção de uso por profissionais de enfermagem. Rev Eletron Enferm [Internet]. 2009; [citado 2014 Jan 31];11(3):466.Disponível em: .
17. Jensen R, Guedes ES, Leite MM. Informatics competencies essential to decision making in nursing management. Rev Esc Enferm USP. 2016; 50(1):109-17.
Política de Privacidade © Copyright, Todos os direitos reservados.