versão impressa ISSN 0066-782Xversão On-line ISSN 1678-4170
Arq. Bras. Cardiol. vol.105 no.5 São Paulo nov. 2015 Epub 25-Ago-2015
https://doi.org/10.5935/abc.20150101
Escores de risco para cirurgia cardíaca não podem continuar sendo neglicenciados.
Avaliar o desempenho do Age, Creatinine and Ejection Fraction Score (ACEF Score) na predição de mortalidade dos pacientes submetidos à cirurgia de revascularização miocárdica e/ou valvar eletiva, e compará-lo a outros escores.
Estudo de coorte prospectivo no banco de um centro terciário brasileiro. Foram avaliados 2.565 pacientes operados de maneira eletiva entre maio de 2007 e julho de 2009. Para uma análise mais detalhada, o desempenho do ACEF Score foi comparado ao do InsCor e ao do EuroSCORE por meio de testes de correlação, calibração e discriminação.
Os pacientes foram estratificados em leve, moderado e grave para todos os modelos. A calibração foi inadequada para o ACEF Score (p = 0,046) e adequada para o InsCor (p = 0,460) e o EuroSCORE (p = 0,750). Na discriminação, a área abaixo da curva ROC apresentou-se questionável para o ACEF Score (0,625) e apropriada para o InsCor (0,744) e o EuroSCORE (0,763).
Embora simples e prático, o ACEF Score, ao contrário do InsCor e do EuroSCORE, não se mostrou acurado para predizer mortalidade nos pacientes submetidos à cirurgia de revascularização miocárdica e/ou valvar eletiva em centro terciário brasileiro. (Arq Bras Cardiol. 2015; [online].ahead print, PP.0-0)
Palavras-chave Procedimentos Cirúrgicos Cardíacos / mortalidade; Revascularização Miocárdica; Probabilidade; Doenças das Valvas Cardíacas / cirurgia; Estudos de Coortes
Risk scores for cardiac surgery cannot continue to be neglected.
To assess the performance of “Age, Creatinine and Ejection Fraction Score” (ACEF Score) to predict mortality in patients submitted to elective coronary artery bypass graft and/or heart valve surgery, and to compare it to other scores.
A prospective cohort study was carried out with the database of a Brazilian tertiary care center. A total of 2,565 patients submitted to elective surgeries between May 2007 and July 2009 were assessed. For a more detailed analysis, the ACEF Score performance was compared to the InsCor’s and EuroSCORE’s performance through correlation, calibration and discrimination tests.
Patients were stratified into mild, moderate and severe for all models. Calibration was inadequate for ACEF Score (p = 0.046) and adequate for InsCor (p = 0.460) and EuroSCORE (p = 0.750). As for discrimination, the area under the ROC curve was questionable for the ACEF Score (0.625) and adequate for InsCor (0.744) and EuroSCORE (0.763).
Although simple to use and practical, the ACEF Score, unlike InsCor and EuroSCORE, was not accurate for predicting mortality in patients submitted to elective coronary artery bypass graft and/or heart valve surgery in a Brazilian tertiary care center. (Arq Bras Cardiol. 2015; [online].ahead print, PP.0-0)
Keywords: Cardiac Surgical Procedures / mortality; Myocardial Revascularization; Probability; Heart Valve Diseases / surgery; Cohort Studies
A cirurgia cardíaca representa um grande impacto no sistema de saúde pela utilização considerável de recursos humanos e financeiros. Assim, a estratificação do risco torna-se cada vez mais importante1.
Na prática clínica, existem três formas de utilizar um escores de risco em uma população específica. A mais simples, mas também a menos ideal, é a aplicação imediata de um escore externo, sem nenhuma adaptação do modelo. A recalibração, que mantém as mesmas variáveis do modelo, tem seus pesos ajustados com base em seus próprios dados. O remodelamento é a escolha de novas variáveis em função dos fatores de risco locais. Sem dúvidas, essa última opção oferece a melhor acurácia e o melhor desempenho2.
No Brasil, a formulação do InsCor3 de dez variáveis, produto do remodelamento de dois modelos internacionais4,5, traz informações sobre o impacto dos fatores de risco locais. No entanto, o EuroSCORE, de 17 variáveis, permanece o mais utilizado no país6-8. Com o tempo, controvérsias relacionadas à superestimação do EuroSCORE levaram ao desenvolvimento do EuroSCORE II9. Esse modelo, ainda mais complexo, teve problemas relacionados à sua validação externa, inclusive no Brasil10, o que levou a repensar sobre a escolha de escores internacionais e pela preferência de modelos cada vez mais simples.
O Age, Creatinine and Ejection Fraction Score (ACEF Score) foi proposto em 2009 para predizer mortalidade em pacientes adultos submetidos à cirurgia cardíaca eletiva11. A característica principal desse escore é sua praticidade, pois a razão entre a idade e a fração de ejeção é a base do cálculo, somando-se um ponto adicional quando a creatinina pré-operatória for > 2,0 mg/dL. O ACEF Score foi desenvolvido e validado unicamente na Itália12, onde obteve boa acurácia, excelente calibração e parcimônia na aplicação clínica. Esse modelo, que obteve desempenho similar ao do EuroSCORE, nunca foi validado fora da Itália, nem muito menos comparado com algum modelo brasileiro.
O objetivo deste estudo foi avaliar o desempenho do ACEF Score e comparar seu desempenho com o InsCor e o EuroSCORE na predição de mortalidade dos pacientes submetidos à cirurgia de revascularização miocárdica e/ou valvar eletiva em centro terciário brasileiro.
Estudo retrospectivo e observacional realizado a partir de banco de dados prospectivo do Instituto do Coração (InCor) do Hospital das Clínicas da Faculdade de Medicina da Universidade de São Paulo (HC-FMUSP).
Antes de iniciar esta análise, a hipótese de que o registro incluía dados para todas as variáveis dos modelos escolhidos teve que ser confirmada. Assim, para a realização da validação estatística, o tamanho da amostra deveria incluir, no mínimo, cem óbitos. Dados publicados pelo InCor mostraram uma mortalidade de 4,8% para cirurgia coronária eletiva e de 8,4% para cirurgia valvar eletiva13; desse modo, o número mínimo de pacientes seria de 2.084. Optamos, então, pelo número de pacientes operados consecutivamente de forma eletiva entre maio de 2007 e julho de 2009, o que perfez um total de 2.565 pacientes.
Os critérios de inclusão no estudo foram ter idade ≥ 18 anos e ter passado por cirurgia valvar (troca ou plástica), Cirurgia de Revascularização Miocárdica (CRM; com ou sem a utilização de circulação extracorpórea) ou cirurgia associada (CRM e cirurgia valvar), de forma eletiva, no período estabelecido.
A coleta de dados dos pacientes incluídos neste registro foi realizada por um médico pós-graduando e supervisionado por dois médicos assistentes do Departamento de Cirurgia Cardiovascular do InCor. Na época, uma planilha foi confeccionada para contemplar todas as variáveis descritas pelos modelos 2000 Bernstein-Parsonnet e EuroSCORE14. Nesta análise, foram coletadas 60 variáveis pré-operatórias por paciente e colocadas numa interface criada em Excel. Após o registro ser avaliado, observou-se que ele também poderia proporcionar informação para a validação do ACEF Score − e, mais ainda, poderia comparar seu desempenho ao do InsCor e do EuroSCORE.
O valor do ACEF Score foi calculado por paciente seguindo a equação disponível na publicação do modelo.
Age (y) /EF (%) + 1 (if preoperative serum creatinine value> 2.0 mg/dL
O valor aditivo do InsCor foi calculado a partir de um gráfico com sistema de pontuação própria e o do EuroSCORE, a partir do site http://www.euroscore.org/calc.html. Foram respeitadas todas as definições atribuídas às variáveis dos modelos (Quadro 1) junto a seus respectivos valores e classificadas segundo sua importância com o evento morte. O seguimento se limitou à fase hospitalar, tendo como desfecho primário a mortalidade hospitalar, que compreendeu o período entre a cirurgia e a alta hospitalar. Para otimização e completude dos dados, todas as informações registradas no Departamento de Cirurgia Cardiovascular foram confinadas ao Serviço de Informática do Incor.
Quadro 1 Modelos e suas respectivas variáveis
ACEF Score | InsCor | EuroSCORE |
---|---|---|
Idade, fração de ejeção e creatinina = 2 mg/dL | Idade acima de 70 anos, sexo feminino, cirurgia associada coronária + valva, infarto recente, reoperação, cirurgia de valva aórtica, cirurgia de valva tricúspide, creatinina > 2 mg/dL, fração de ejeção < 30%, eventos pré-operatórios (uso de inotrópico pré-operatórios, choque cardiogênico, ressuscitação cardíaca, uso de balão intra-aórtico, Insuficiência renal aguda, massagem cardíaca, intubação orotraqueal, taquicardia ou fibrilação ventricular) | Idade, gênero, DPOC, doença vascular periférica, disfunção neurológica, creatinina, endocardite, cirurgia cardíaca prévia, estado crítico pré-operatório (uso de inotrópico pré-operatórios, choque cardiogênico, ressuscitação cardíaca e uso de balão intra-aórtico), angina instável, infarto do miocárdio recente, fração de ejeção do ventrículo esquerdo, hipertensão pulmonar (PSAP > 60 mmHg), emergência, cirurgia associada, cirurgia na aorta e CIV pós-infarto |
ACEF Score: Age, Creatinine and Ejection Fraction Score; DPOC: doença pulmonar obstrutiva crônica; PSAP: Pressão Sistólica da Artéria Pulmonar; CIV: Comunicação Interventricular
Para avaliar o desempenho do ACEF Score, do EuroSCORE e do InsCor na predição de mortalidade, foi realizada a validação preditiva dos modelos em 2.565 pacientes. A validação foi feita mediante testes de calibração e discriminação. A calibração foi calculada utilizando o teste de Hosmer-Lemeshow (H-L), que mostra o grau em que o modelo se adapta aos dados. Desse modo, ele tem uma interpretação diferente, se o teste de H-L não é significativo (p > 0,05), o modelo tem ajuste adequado. Modelos bem ajustados não mostram significância no teste, indicando que a previsão do modelo não é significativamente diferente dos valores observados.
A discriminação que distingue entre pacientes de baixo e alto risco foi medida pela área abaixo da curva Característica de Operação do Receptor (ROC, sigla do inglês Receiver Operating Characteristic). As variáveis contínuas foram expressas como média ± desvio padrão, e as variáveis categóricas, como percentagens. O desempenho dos modelos foi medido pela comparação entre mortalidade observada e esperada nos grupos de risco estabelecidos pelos modelos. O teste exato de Fisher foi utilizado para as tabelas de contingência. Valor de p < 0,05 foi considerado significativo. A análise estatística foi realizada com o auxílio do software Statistical Package for the Social Sciences(SPSS), Statistics Desktop, versão 22.0, para Windows (IBM Corporation Armonk, Nova Iorque, Estados Unidos).
O Termo de Consentimento Livre e Esclarecido foi dispensado por incluir unicamente dados sem identificação.
Dos 2.565 pacientes analisados, 167 pacientes (6,5%) morreram. A média das idades foi de 59,62 ± 13,35 anos, e 913 (35,59%) pacientes eram do sexo feminino. O valor médio da fração de ejeção foi de 56,62% ± 12,99%. O valor médio dos escores na amostra foi de 1,18 ± 0,54, 3,48 ± 3,31 e 3,78 ± 2,87 para o ACEF Score, InsCor e EuroSCORE, respectivamente. Foram realizadas 1.130 (44,1%) CRM isoladas; 679 (26,5%) cirurgias da valva mitral; 580 (22,6%) cirurgias da valva aórtica e 176 (6,86%) CRM + cirurgia valvar. Assim mesmo, foram registrados 449 (17,5%) casos de reoperação e 100 (3,9%) pacientes com creatinina > 2 mg/dL.
Houve correlação positiva alta entre EuroSCORE e InsCor (Spearman, r = 0,770; p <0,0001), moderada entre EuroSCORE e ACEF Score (Spearman, r = 0,527; p < 0,0001) e baixa entre InsCor e ACEF Score (Spearman, r = 0,301; p < 0,0001) para predizer mortalidade na amostra estudada.
O ACEF Score apresentou associação com óbito (p < 0,0001). No entanto, o teste H-L não mostrou um bom ajuste do modelo (p = 0,046) (Tabela 1). Para uma melhor análise, o ACEF Score foi dividido em três categorias (Tabela 2). Por outro lado, o InsCor, além de mostrar associação com óbito (p < 0,0001), apresentou bom ajuste (p = 0,460) no teste H-L, (Tabela 3). Na tabela 4, o InsCor foi dividido em três categorias. Ainda assim, o EuroSCORE teve associação com óbito (p < 0,0001) e bom ajuste (p = 0,750) no teste H-L (Tabela 5). Na tabela 6, o EuroSCORE foi dividido em três categorias.
Tabela 1 Associação entre o ACEF Score, óbito e o teste de Hosmer-Lemeshow
Grupo | Total | Óbito | |||
---|---|---|---|---|---|
Sim | Não | ||||
Observado | Esperado | Observado | Esperado | ||
1 | 256 | 14 | 10,26 | 242 | 245,74 |
2 | 256 | 9 | 11,81 | 247 | 244,19 |
3 | 257 | 11 | 12,72 | 246 | 244,28 |
4 | 257 | 7 | 13,38 | 250 | 243,62 |
5 | 259 | 11 | 14,20 | 248 | 244,80 |
6 | 255 | 21 | 14,73 | 234 | 240,27 |
7 | 257 | 10 | 15,76 | 247 | 241,24 |
8 | 257 | 25 | 17,39 | 232 | 239,61 |
9 | 257 | 25 | 21,35 | 232 | 235,65 |
10 | 254 | 34 | 35,42 | 220 | 218,58 |
Tabela 2 ACEF Score dividido em risco leve, moderado e grave
Risco | n | Percentagem observada | IC 95% | Percentagem esperada | LI | IC 95% | ||
---|---|---|---|---|---|---|---|---|
LI | LS | LS | Valor de p | |||||
Leve | 769 | 4,4 | 3,0 | 5,9 | 4,6 | 3,1 | 6,0 | |
Moderado | 1.028 | 4,8 | 3,5 | 6,1 | 5,6 | 4,2 | 7,1 | 0,046 |
Grave | 768 | 10,9 | 8,7 | 13,1 | 9,6 | 7,5 | 11,7 |
IC 95%: intervalo de confiança de 95%; LI: limite inferior; LS: limite superior.
Tabela 3 Associação entre o InsCor, óbito e o teste de Hosmer-Lemeshow
Grupo | Total | Óbito | |||
---|---|---|---|---|---|
Sim | Não | ||||
Observado | Esperado | Observado | Esperado | ||
1 | 641 | 14 | 15,76 | 627 | 625,24 |
2 | 601 | 17 | 22,54 | 584 | 578,46 |
3 | 287 | 11 | 13,26 | 276 | 273,74 |
4 | 162 | 7 | 9,20 | 155 | 152,80 |
5 | 402 | 33 | 28,00 | 369 | 374,00 |
6 | 293 | 37 | 31,54 | 256 | 261,46 |
7 | 179 | 48 | 46,69 | 131 | 132,31 |
Tabela 4 InsCor dividido em risco leve, moderado e grave
Risco | n | Percentagem observada | IC 95% | Percentagem esperada | LI | IC 95% | ||
---|---|---|---|---|---|---|---|---|
LI | LS | LS | Valor de p | |||||
Leve | 1.242 | 2,5 | 1,6 | 3,4 | 3,1 | 2,2 | 4,1 | |
Moderado | 851 | 6,0 | 4,4 | 7,6 | 5,9 | 4,3 | 7,5 | 0,460 |
Grave | 472 | 18,0 | 14,5 | 21,5 | 16,5 | 13,2 | 19,9 |
IC 95%: intervalo de confiança de 95%; LI: limite inferior; LS: limite superior.
Tabela 5 Associação entre o EuroSCORE, óbito e o teste de Hosmer-Lemeshow
Grupo | Total | Óbito | |||
---|---|---|---|---|---|
Sim | Não | ||||
Observado | Esperado | Observado | Esperado | ||
1 | 294 | 5 | 3,83 | 289 | 290,17 |
2 | 377 | 10 | 6,79 | 367 | 370,21 |
3 | 280 | 6 | 6,96 | 274 | 273,04 |
4 | 383 | 11 | 13,11 | 372 | 369,89 |
5 | 332 | 15 | 15,60 | 317 | 316,40 |
6 | 228 | 11 | 14,63 | 217 | 213,37 |
7 | 232 | 18 | 20,19 | 214 | 211,81 |
8 | 268 | 40 | 35,73 | 228 | 232,27 |
9 | 171 | 51 | 50,18 | 120 | 120,82 |
Tabela 6 EuroSCORE dividido em risco leve, moderado e grave
Risco | n | Percentagem observada | IC 95% | Percentagem esperada | LI | IC 95% | ||
---|---|---|---|---|---|---|---|---|
LI | LS | LS | Valor de p | |||||
Leve | 951 | 2,2 | 1,3 | 3,1 | 1,9 | 1,0 | 2,8 | |
Moderado | 943 | 3,9 | 2,7 | 5,2 | 4,6 | 3,2 | 5,9 | 0,750 |
Grave | 671 | 16,2 | 13,5 | 19,0 | 15,8 | 13,0 | 18,6 |
IC 95%: intervalo de confiança de 95%; LI: limite inferior; LS: limite superior.
A área abaixo da curva ROC foi de 0,625 (IC 95% 0,58-0,67; p < 0,0001) para o ACEF Score, de 0,744 (IC 95% 0,70-0,79; p < 0,0001) para o InsCor e de 0,763 (IC 95% 0,72-0,80; p < 0,0001) para o EuroSCORE (Figura 1). Observou-se sobreposição entre as curvas ROC do EuroSCORE e do InsCor. No entanto, o ACEF Score apresentou a menor área e esta não se sobrepôs a dos outros modelos.
Escores de risco devem ser fórmulas lineares e simplificadas para predição de mortalidade ou morbidades à beira do leito e sem a necessidade de calculadoras ou de outros assistentes pessoais15.
Esses instrumentos são normalmente avaliados em termos de precisão (poder discriminatório), calibração e desempenho clínico. Muitos autores têm destacado que o nível de precisão raramente ultrapassa uma área sob a curva ROC de 0,75 (valor que é inadequado para fins clínicos), e que a calibração pode ser imprecisa para os grupos de baixo e alto risco16. Escores de risco são desenvolvidos por meio de métodos estatísticos e validados posteriormente em outras populações, para avaliar sua aplicabilidade clínica. Eles são desenvolvidos para serem utilizados em grandes populações, como é o caso do EuroSCORE, construído a partir de 19.030 pacientes com quase 450 eventos. Isso, evidentemente, permite a inclusão de um número muito grande de preditores independentes no modelo (consideram-se dez eventos por preditor)17. Entretanto, a publicação do ACEF Score confirma a hipótese experimental de que um escore de risco pode ser desenvolvido com base em um número muito limitado de fatores de risco. A evidência de que o risco de mortalidade em cirurgias cardíacas eletivas pode ser previsto com apenas três fatores de risco parece entrar em conflito com a hipótese geral de que quanto mais fatores de risco considerados, mais preciso e melhor calibrado será o modelo. No entanto, uma série de considerações clínicas, práticas e matemáticas pode justificar esse aparente paradoxo.
Wells e cols.18 concluíram que “menos é mais” na análise multivariada. Assim, em vez de incluir muitas variáveis, modelos poderiam ser mais consistentes e eficazes, quando confinados a poucas variáveis (bons preditores). Neste estudo, contudo, os três fatores de risco utilizados na pontuação do ACEF Score foram também incluídos no InsCor e EuroSCORE. Talvez uma vantagem do ACEF Score, além de sua simplicidade, seja que as variáveis idade e fração de ejeção são utilizadas em sua forma contínua − ao invés da forma categórica dos outros dois modelos. A inclusão de um grande número de variáveis independentes aumenta o risco de multicolinearidade, o que, em termos práticos, seria o risco de informação redundante no modelo19. No entanto, para casos individuais e, principalmente, nos complexos, simplificar muito um modelo pode ser arriscado.
A pergunta seria: escore nacional ou internacional; simples, intermediário ou complexo − o que será mais fácil, barato e apropriado?
Após publicação do banco de dados administrativo do Sistema Único de Saúde (SUS), mostrando uma mortalidade em cirurgia cardíaca de 8% no Brasil20, foram feitos esforços relacionados à validação de modelos de risco internacionais21 e à formulação de modelos nacionais22.
Comparar resultados brutos de um banco de dados administrativo com um banco de dados clínico, e ainda voluntário, como o da Society Thoracic Surgery(STS), nos Estados Unidos, é inaceitável. Ressalte-se que o registro do STS representa 10% do total das cirurgias realizadas anualmente nos hospitais de referência dos Estados Unidos23.
Nesse contexto, são importantes os dados do serviço público de saúde da Itália. Na região da capital, Roma, a mortalidade em CRM no mesmo período em que se realizou a análise brasileira foi de 5,4%. Quando se dividiu a mortalidade por status socioeconômico (nos mesmos hospitais), a mortalidade no grupo socioeconômico mais elevado (mais favorecidos economicamente e mais instruídos) foi de 4,8%. No grupo mais desfavorecido (os mais pobres e menos instruídos), a mortalidade foi de 8,2%24.
Não existem dúvidas de que o SUS inclui a faixa de pacientes mais carentes submetidos à cirurgia cardíaca no Brasil, onde menos de 30% dos procedimentos são realizados pelo setor privado25. O cenário atual é extremamente oportuno, pois propicia espaço para a procura de escores de risco mais acurados em nossa realidade, sabendo que quanto mais simples e eficaz um modelo, melhor custo-efetividade terá o sistema.
Por todas essas razões, o ACEF Score, validado na Itália, foi escolhido para ser validado no Brasil, seguindo todas as recomendações de seus autores (on label). No entanto, embora o ACEF Score tenha se mostrado comparável ao EuroSCORE, ele se revelou inferior ao InsCor e ao EuroSCORE e, inclusive, foi inadequado para nossa realidade.
Por outro lado, o EuroSCORE confirmou seu bom desempenho no Brasil6,7. No entanto, por ser mais complexo e apresentar a mesma acurácia que o InsCor (áreas das curvas ROC sobrepostas), deve ser preferido unicamente para avaliações individuais.
O EuroSCORE foi recentemente remodelado9 e passou a ser chamado “EuroSCORE II”. No entanto, essa versão não foi escolhida para este estudo, porque, além de ser mais complexa, ela trouxe para o Brasil10 as mesmas dificuldades que apresentou em vários centros no mundo26-28.
Neste estudo, pudemos observar que o ACEF Score, mesmo aplicado on label, mostrou sua deficiência para uma população hipoteticamente com características similares às da população que o originou.
Assim, a acurácia do InsCor de dez variáveis foi melhor que à do ACEF Score de três variáveis e similar à do EuroSCORE de 17 variáveis, mostrando que modelos de complexidade intermediária possam ser preferidos.
Primeiro, como não havia registro de pacientes, o cálculo do ACEF Score foi realizado retrospectivamente. No entanto, os responsáveis pelo cálculo não tinham conhecimento dos desfechos. Segundo, embora seja um registro com pacientes provenientes de várias regiões do Brasil, os dados foram coletados de um único centro terciário, caracterizando o estudo como unicêntrico.
O ACEF Score, embora simples e prático, não conseguiu predizer mortalidade nos pacientes submetidos à cirurgia de revascularização miocárdica e/ou valvar eletiva em centro terciário brasileiro.