Revisão sistemática de estudos de acurácia

Revisão Sistemática de
Estudos de Acurácia
Diagnóstica
Wagner Iared

Sumário
 Conceitos
 Método
 Objetivos
 Busca de estudos primários
 Avaliação da qualidade
 Apresentação dos resultados
 Interpretação
 Perspectivas

RS de Estudos de Acurácia
Diagnóstica
Leeflang M, et al. Cochrane Database of Systematic Reviews 2008, Issue 4. Art. No.: CD007394

Diagnóstica
Porcel JM, et al. Chest. 2014 Sep 4. doi: 10.1378/chest.14-0820. [Epub ahead of print]

Diagnóstica
Iared W, et al. J Ultrasound Med 2010; 29:419–425

Diagnóstica
Grimberg A, et al. Sao Paulo Med J. 2010; 128(2):90-5

Diagnóstica
Iared W, et al. Sao Paulo Med J. 2011; 129(4):250-60

Conceitos
 Estudos de acurácia
 Revisão Sistemática

Conceitos
 Estudos de Acurácia
 Estudos que objetivam dimensionar o valor da
informação fornecida por um dado exame,
teste, prova ou característica
 Critério Diagnóstico → Condição Alvo
em determinado espectro de pacientes

 Quantificação do poder de um teste
diagnóstico
 Sensibilidade (Sn)
 Especificidade (Sp)
 Valores preditivos (VP+; VP-)
 Razão de verossimilhança (LR+; LR-)
 Curva ROC
 Área sob a curva
Conceitos

Conceitos
 Revisão Sistemática
 Trabalho científico secundário
 Casuística - trabalhos primários
 Ensaios clínicos controlados
 Estudos de acurácia
 Coortes
 Metodologia clara
 Reprodutível

Hierarquia das evidências
intervenção
 Revisões sistemáticas de ensaios clínicos
randomizados
 Ensaio clínico randomizado
 Coortes
 Estudos casos e controles
 Séries de casos
 Estudos in vitro / modelos animais
 Consenso /Opinião de especialista

Hierarquia das evidências
acurácia
 Revisões sistemáticas de estudos de
acurácia melhor desenhados
 Estudos de acurácia com bom padrão
referência, cegamento e espectro de
pacientes adequado
 Padrão referência menos confiável
 Estudos sem cegamento
 Consenso, opinião de especialista

Definição dos objetivos
 Avaliar um novo teste
 Mais barato ou menos invasivo, proposto para
substituir outro existente
 Propor o uso de um teste para rastreamento
(screening) em massa de determinada doença
 Alta sensibilidade
 Especificidade variável
 Propor um teste com potencial para substituir o
atual padrão “ouro”
 altamente sensível e específico
 Comparar testes diferentes
 Comparar critérios diferentes de um mesmo
teste

Exemplos
 Acurácia do US Doppler para prever
malignidade em neoplasias foliculares da
tireóide
 Implicação potencial:
Reduzir o número de cirurgias desnecessárias

Exemplos
 Acurácia do US para diagnóstico de derrame
pleural em pacientes internados em ambiente
de terapia intensiva
 Implicação potencial: Oferecer um exame
 com acurácia melhor que o RX com raios verticais
 mais disponível e menos oneroso que a TC

Pesquisa da literatura
bases de dados
 MEDLINE
 EMBASE
 LILACS
 CENTRAL
 WEB OF SCIENCE / ISI WEB OF KNOWLEGE
 OUTROS
 BUSCA MANUAL
 LITERATURA CINZENTA
 BANCOS DE TESES
 ANAIS DE CONGRESSO

Estratégia de busca
 Teste avaliado – index test
 Condição alvo
 Palavras, sinônimos e descritores (DeCS / MeSH)
 Filtros
 Controverso
 Viés de relato (report bias)

Exemplo
("Thyroid Gland "[MeSH Terms] OR Thyroid [Text
Word]) AND ("Ultrasonography, Doppler, Duplex
"[MeSH] OR Doppler[Text Word]) AND
(“Follicular “[MeSH] OR Follicular [Text Word])
Estratégia MEDLINE via PubMED:

Exemplo
“Sensitivity” OR “Specificity” OR “ROC” OR “accuracy” OR "likelihood
ratio" OR "area under curve"
Proposta de filtro:

Avaliação da qualidade
 Aplicabilidade
 Risco de viés

 Viés de seleção / recrutamento
 Refere-se à maneira (não apropriada) com
que os participantes entram no estudo
 Ex: critérios de seleção inadequados
 Viés de aferição
 Refere-se à maneira (não apropriada) com
que as medidas são realizadas
 Ex: estudos sem cegamento

 Viés de confusão
 Refere-se à interpretação (não apropriada)
sobre associações encontradas
 Ex: o index test é parte do padrão referência
(maior eixo do baço comparado com o índice
esplênico ou volume esplênico)

 Validade interna (risco de viés)
 Qualidade metodológica do estudo
 Resultados obtidos não sofreram influência de
outros fatores além daqueles em estudo
 Validade externa (aplicabilidade)
 Capacidade de generalização dos resultados
obtidos
 População estudada corresponde à prática
clínica

QUADAS
 Quality assessment of diagnostic accuracy
studies
 14 perguntas (checklist)
 Validade interna (10 perguntas)
 Risco de viés
 Validade externa (2 perguntas)
 Espectro de pacientes / aplicabilidade
 Relato (2 perguntas específicas)

QUADAS
1. O espectro de pacientes estudados foi significativo (em relação
aos pacientes que vão ser submetidos ao teste na prática
clínica)?
2. Os critérios de seleção foram claramente descritos?
3. O padrão referência é adequado para classificar a condição
alvo?
4. o período de tempo decorrido entre a realização do teste
avaliado e do padrão referência foi suficientemente curto?
5. Todos os pacientes, ou uma amostra randomizada, foram
submetidos ao padrão referência?

QUADAS
6. Todos os pacientes foram submetidos ao mesmo padrão
referência, independentemente do resultado do teste avaliado?
7. O padrão referência era independente do teste avaliado?
8. A execução do teste avaliado foi descrita com detalhes
suficientes para a sua reprodução?
9. A execução do padrão referência foi descrita com detalhes
suficientes para a sua reprodução?
10. O teste avaliado foi interpretado sem o conhecimento dos
resultados do padrão referência?

QUADAS
11. O padrão referência foi interpretado sem o conhecimento dos
resultados do teste avaliado?
12. Os dados clínicos disponíveis no momento da interpretação do
teste avaliado serão os mesmos disponíveis na prática clínica?
13. Os resultados indeterminados/inconclusivos foram relatados?
14. As eventuais desistências foram relatadas?

QUADAS
1. Espectro de pacientes
2. Critérios de seleção
3. Padrão referência
4. Intervalo de tempo
5. Verificação parcial
6. Verificação diferencial
7. Independência entre os testes
8. Detalhamento metodológico – teste avaliado
9. Detalhamento metodológico – padrão referência
10. Cegamento para o teste avaliado
11. Cegamento para o padrão referência
12. Disponibilidade de dados clínicos
13. Resultados indeterminados/inconclusivos
14. Exclusões/desistências
VALIDADE INTERNA

QUADAS
VALIDADE EXTERNA

QUADAS
RELATO

QUADAS
representação gráfica

QUADAS 2
 Domínio 1 - Patient Selection
A) Risco de Viés
B) Preocupação quanto à aplicabilidade
 Domínio 2 - Index Test(s)
A) Risco de Viés
 Domínio 3 - Reference Standard
A) Risco de Viés
 Domínio 4 - Flow and timing
A) Risco de Viés

QUADAS 2
 Fase 1
 Definição da questão da revisão
 Fase 2
 Adaptação específica para a revisão
 Fase 3
 Elaboração de um fluxograma
 Fase 4
 Julgamento da aplicabilidade e do risco de
viés (alto, baixo, não claro)

QUADAS 2 - FASE 1
 Index test
 Teste único
 Comparar testes
 Comparar diferentes “cut-off”
 Padrão referência
 Único
 Mais de um
 Qual (quais)
 Seleção de pacientes
 Faixa etária
 Gravidade da doença
 Fluxo e tempo
 Intervalo de tempo entre os testes

QUADAS 2 - FASE 2
 Adaptação específica para a revisão
 Verificar questões pertinentes
 Pode-se usar o QUADAS como base
 Sugestões no Revman 5.2
 Avaliar questões potencialmente não aplicáveis
 Estipular outras questões potencialmente
pertinentes
 Reprodutibilidade
 Época do estudo / geração dos equipamentos utilizados
 Testar a ferramenta adaptada com ao menos dois
revisores

QUADAS 2 - FASE 2
Testar a ferramenta adaptada com ao menos
dois revisores

QUADAS 2 - FASE 3
Elaboração de um fluxograma
Fluxograma do processo de
inclusão, razão e número de
pacientes excluídos e/ou que não
receberam o index test ou o padrão
referência

QUADAS 2 - FASE 4
Julgamento da aplicabilidade e do risco de viés
Baseado nas questões elaborada anteriormente
(yes, no, unclear)
 Risco de viés
 high risk, low risk, unclear risk
 Preocupações quanto à aplicabilidade à
população de interesse definida quando a
pergunta da pesquisa foi elaborada
 high risk, low risk, unclear risk

QUADAS 2
 Seleção de pacientes
 Risco de viés
 Uma série consecutiva de pacientes, ou uma amostra randomizada foi arrolada
no estudo?
 Evitou-se um desenho de estudo tipo caso-controle?
 O estudo evitou exclusões inapropriadas?
 Aplicabilidade
 Há preocupações sobre o espectro de pacientes incluídos não estar de acordo
com a pergunta da revisão?
 Index test
 Risco de viés
 O teste avaliado foi interpretado sem o conhecimento dos resultados do padrão
referência?
 Se um limiar foi usado, ele foi pré especificado?
 Aplicabilidade
 Há preocupações sobre o teste avaliado, sua condução ou interpretação diferirem
da pergunta da revisão?

QUADAS 2
 Padrão Referência
 Risco de viés
 O padrão referência é adequado para classificar a condição alvo?
 O padrão referência foi interpretado sem o conhecimento dos resultados do teste
avaliado?
 Aplicabilidade
 Há preocupações sobre o padrão referência, sua condução ou interpretação não
se correlacionar com a pergunta da revisão?
 Fluxo e tempo
 Risco de viés
 O intervalo de tempo decorrido entre a realização do teste avaliado foi
adequado?
 Todos os pacientes foram submetidos ao padrão referência?
 Todos os pacientes foram incluídos na análise?
 Aplicabilidade
 N/A

QUADAS 2
representação gráfica

 Extrair de cada estudo o número de casos:
 Verdadeiros positivos
 Falsos positivos
 Falsos negativos
 Verdadeiros negativos
 Tabela 2 x 2
TABULAÇÃO DOS DADOS

Apresentação dos Resultados
Fluxograma do processo de inclusão

Gráfico de floresta

Gráfico de floresta
Boland GW, et al. Radiology.2011;259(1):117-26

Curva ROC

Comparando testes
Iared W, et al. J Ultrasound Med 2010; 29:419–425

Impacto clínico
Nomograma de Fagan
Boland GW, et al. Radiology.2011;259(1):117-26

Conceitos Básicos em Testes Diagnósticos
 Sensibilidade
 Especificidade
 Valor preditivo positivo
 Valor preditivo negativo
 Likelihood Ratio (Razão de Verossimilhança)
 Positivo
 Negativo

Doença
D+ D-
Teste + a b a+b
- c d c+d
a+c b+d a+b+c+d
Tabela 2 X 2

Doença
D+ D-
Teste
+ a B a+b
- c D c+d
a+c b+d a+b+c+d
Sensibilidade e Especificidade
db
d
ca
a




dadeespecifici
adesensibilid

Valor Preditivo
Doença
D+ D-
Teste + a b a+b
- c d c+d
a+c b+d a+b+c+d
ba
a
VP


dc
d
VP



Razão de Verossimilhança
(Likelihood ratio)
Doença
D+ D-
Teste + a b a+b
- c d c+d
a+c b+d a+b+c+d
db
b
ca
a
LR


db
d
ca
c
LR



dadeespecifici
LR


1
adesensibilid
dadeespecifici
LR
adesensibilid-1

Doença
D+ D-
Teste + a b a+b
- c d c+d
a+c b+d a+b+c+d
Razão de Verossimilhança
(Likelihood ratio)

Teorema de Bayes
Thomas Bayes
Pastor presbiteriano, Londres, 1701-1761
Membro da Royal Society em 1742

dadeespecifici
LR


1
adesensibilid
Interpretação do Likelihood ratio
 LR positivo (1 a infinito)
Infinito – exclui normalidade
LR >10 – mudança significativa
5 – 10 – mudança moderada
2 – 5 mudança pequena
LR = 1 não há mudança

Interpretação do Likelihood ratio
 LR negativo (zero a 1)
Zero – exclui doença
LR < 0,1 – mudança significativa
0,1 – 0,2 – mudança moderada
0,2 – 0,5 – mudança pequena
LR = 1 não há mudança
dadeespecifici
LR
adesensibilid-1


Nomograma de Fagan
LR+ = 6,2
LR- = 0,7
Probabilidade pré-teste= 15%
Probabilidade pós-teste
Teste +: =50%
Teste -: =11%

Graph of Conditional Probabilities
0,000
0,200
0,400
0,600
0,800
1,000
0,000 0,200 0,400 0,600 0,800 1,000
Pre-Test Probability of Disease
Post-TestProbabilitiyofDisease
Test Negative Test Positive
LR+ e LR- = 1

Curva de Probabilidade Condicional
Graph of Conditional Probabilities
0,000
0,100
0,200
0,300
0,400
0,500
0,600
0,700
0,800
0,900
1,000
0,000 0,100 0,200 0,300 0,400 0,500 0,600 0,700 0,800 0,900 1,000
Pre-Test Probability of Disease
Post-TestProbabilityofDisease
Test Positive Test Negative
- The Meaning of Diagnostic Test Results: A Spreadsheet for Swift Data Analysis P.M. MacEneaney, D.E.
Malone. Clinical Radiology (2000) 55, 227-235 ftp://radiography.com/pub/Rad-data99.xls

Impacto clínico
Nomograma de Fagan
• Probabilidade pré teste: 14%
• LR+: 6,07
• LR-: 0,18
• Pobabilidade pós teste
•Resultado positivo: 51%
• Condição Alvo: Neoplasia folicular maligna da tireóide
• Critério Diagnóstico: Presença de fluxo central
predominante ao US Color Doppler

Impacto clínico
Nomograma de Fagan
• Probabilidade pré teste: 14%
• LR+: 6,07
• LR-: 0,18
• Pobabilidade pós teste
•Resultado negativo: 3%
• Condição Alvo: Neoplasia folicular maligna da tireóide
• Critério Diagnóstico: Presença de fluxo central
predominante ao US Color Doppler

INTERPRETAÇÃO DOS RESULTADOS E
DESENVOLVIMENTO DE RECOMENDAÇÕES
 Os objetivos da revisão foram atingidos?
 A revisão foi conclusiva?
 Ressaltar a aplicação dos resultados na
prática
 População a que o teste se destina (espectro)
 Arguir possíveis consequências de testes
falso positivos ou falso negativos
 Testes não conclusivos
 Indicar em que área mais estudos são
necessários

Qualidade dos estudos
iniciativas
 CONSORT
 guideline para autores de ensaios clínicos
randomizados
 STARD
 guideline para autores de estudos de acurácia
Lancet 2001; 357: 1191–94
JAMA 2001; 285: 1987–91
Intern Med 2001; 134: 657–62
Radiology 2003; 226:24–28
The Lancet
Annals of Internal Medicine
British Medical Journal
Clinical Chemistry
Journal of Clinical Microbiology
Nederlands Tijdschrift voor Geneeskunde. January, 2003

CONSIDERAÇÕES FINAIS
RS Estudos de Acurácia
 Ferramenta valiosa para
 Avaliar testes individuais
 Comparar diferentes testes
 Estudos primários de melhor qualidade
 STARD
 Número maior de RS de estudos de acurácia
 Importância de se familiarizar com esse tipo de
trabalho científico
 Avaliação crítica
 Interpretação dos resultados

Revisão sistemática de estudos de acurácia

Mais conteúdo relacionado

Mais procurados (20)

Destaque (20)

Semelhante a Revisão sistemática de estudos de acurácia (20)

Último (20)

Revisão sistemática de estudos de acurácia