Aproximación a la valoración crítica de documentos científicos

Una vez elaborada la pregunta clínica¹ y encontrado el artículo (o artículos) en el que se trata de responder a la misma tras una búsqueda exhaustiva y sistematizada en las fuentes de información bibliográfica², los siguientes pasos que plantea la Medicina Basada en la Evidencia (MBE), son los de realizar una valoración crítica del documento encontrado y evaluar su aplicabilidad a nuestra práctica clínica. Esta fase va a resultar fundamental ya que a menudo la calidad de los artículos científicos es deficiente, no se ajustan al problema clínico que se trata de resolver, tienen errores metodológicos que comprometen los resultados o éstos son presentados de forma que limitan su correcta interpretación.

Todos los pasos de la MBE (expuestos en la tabla 1) son importantes, pero la experiencia indica que el mayor temor surge al enfrentarse a la valoración crítica³. La valoración crítica de documentos científicos es un proceso fundamental para el cual el clínico debe adquirir las destrezas y habilidades necesarias y que consta de tres etapas: juzgar si son válidos (próximos a la verdad y con rigor científico), decidir sin son importantes (y, en consecuencia, valiosos en potencia para el lector en su condición de clínico) y aplicables (en la práctica clínica habitual)⁴. El método estructurado de pensamiento y trabajo que propone la MBE para resolver nuestras dudas derivadas de la práctica clínica habitual supone un cierto esfuerzo, cuyos resultados serán visibles a medio y largo plazo. Para ello es preciso conocer las técnicas y hábitos de aprendizaje desarrollados por el Evidence-Based Medicine Working Group de la Universidad de McMaster (Canadá), y que han sido expuestos en un libro⁵ y en una serie de 34 artículos publicados en la revista JAMA (desde el año 1993 hasta el año 2000) sobre cómo leer críticamente los documentos científicos más comunes: artículos sobre tratamiento, sobre pruebas diagnósticas, sobre efectos perjudiciales de una exposición y sobre pronóstico, pero también sobre guías de práctica clínica, análisis de decisión, evaluación económica, etc. Sin duda, esta serie de JAMA (cuyo texto completo se puede recuperar en la web del Centre for Health Evidence [Universidad de Alberta]: http://www.cche.net/usersguides/main.asp) constituye un cuerpo doctrinal básico para adentrarse en los aspectos de la valoración crítica de documentos científicos, uno de los pilares de la MBE, que se puede complementar con otra serie interesante de artículos publicados en otras revistas (Ann Intern Med, BMJ, CMAJ, Med Clin, etc) o libros de texto clásicos sobre el tema^6-10.

Criterios a considerar en la valoración crítica

La valoración tendrá que comenzar necesariamente juzgando si el estudio trata de contestar a nuestra pregunta clínica. Esta cuestión debería haberse resuelto en las fases de búsqueda y selección del artículo. Sin embargo debe ser comprobada antes de dedicar nuestro tiempo a un análisis más detallado. Para ello, nos fijaremos en el tipo de población estudiada, el tipo de intervención terapéutica o diagnóstica evaluada, el diseño del estudio y los criterios empleados para la medición de los resultados^4,6,11,12.

Para contestar a una pregunta sobre eficacia o efectividad de una intervención terapéutica o preventiva el diseño más apropiado es el ensayo clínico aleatorizado. Por sus requisitos metodológicos, el ensayo clínico es el tipo de diseño que mayor grado de evidencia nos aporta. Sin embargo existen distintos aspectos de la práctica clínica que también generan preguntas (etiología, pronóstico, diagnóstico), que a menudo no pueden ser respondidas mediante ensayos clínicos, por lo que tendrán que utilizarse otros tipos de diseño: estudios de cohortes, estudios de casos y controles, series de casos, etc^4,6,11,12.

La valoración crítica va a ser diferente en función del tipo de pregunta clínica y del diseño elegido en el estudio evaluado. Existen criterios de valoración comunes a cualquier estudio entre los que merece la pena destacar: adecuación del diseño y de la población estudiada a la pregunta de investigación, tamaño muestral suficiente, homogeneidad de los grupos comparados al inicio del estudio, seguimiento uniforme y completo de los sujetos de estudio, medición y análisis apropiados de los resultados e interpretación adecuada de los mismos^4,6,11,12.
En cuanto a los criterios de valoración específicos, éstos han sido excepcionalmente expuestos por el Evidence-Based Medicine Working Group en forma de guías de interpretación y siguiendo el siguiente esquema:

• ¿Son válidos sus resultados?
• ¿Cuáles son los resultados?
• ¿Son aplicables en tu medio?

En MBE es prioritaria la relevancia clínica de los resultados más que la significación estadística. Este paso nos remite al conocimiento de los temas metodológicos de la evidencia científica, lo que implica al menos un pequeño esfuerzo, necesario para poder entender y juzgar lo que se publica. ¿Cuánta metodología debe saber un clínico para responder a esas preguntas?. En la tabla 2 se exponen los conceptos metodológicos y epidemiológicos fundamentales necesarios para realizar la valoración crítica en MBE y una adecuada compresión de los resultados, tanto en relación con estudios terapéuticos, pronósticos y de efectos secundarios como en relación con estudios sobre pruebas diagnósticas (que, en nuestra experiencia, son el tipo de estudios que plantean mayor dificultad de interpretación).
La valoración crítica de la literatura es un aspecto delicado, quizás conflictivo, de la MBE. Aunque los criterios utilizados están suficientemente acreditados para ayudar al pediatra en el mejor uso de la bibliografía, se consideran que son en exceso generales, no contemplan todos los posibles diseños de estudio, permiten un amplio margen de subjetividad en la interpretación y si se aplican de forma rígida puede conllevar al tan temido "recetario". Así, se ironiza acerca de una posible nueva forma de autoritarismo dogmático proveniente esta vez no de la "Roma galénica" sino de la "Oxford cochraniana".
Está claro que no todos los pediatras tienen que ser expertos en metodología de la MBE, pero si consumidores inteligentes de bibliografía y de argumentos científicos.

Programa de habilidades en lectura crítica de documentos científicos

En el apartado de la valoración crítica de documentos ha tenido una labor fundamental el programa CASP (Critical Appraisal Skills Programme), que es un programa del Servicio de Salud Inglés que intenta ayudar a adquirir habilidades para hacer lectura crítica y obtener así la evidencia científica necesaria para las decisiones clínicas. Trabaja con programas locales de promoción de cuidados de salud basados en la evidencia y colabora con el Centro de MBE de la Universidad de Oxford. En España existe un grupo CASP que se denomina CASPe (Programa de habilidades en lectura crítica: http://www.redcaspe.org), que forma parte de una organización internacional llamada CASP internacional (CASPi), desde donde podemos acceder a los programas CASP de distintos países (Reino Unido, Francia, Canadá, Noruega, etc)⁴.
El programa CAPSe consta de varios nodos (actualmente en Madrid, Cataluña, País Vasco, Comunidad Valenciana, Galicia y Castilla La Mancha y dos nodos en desarrollo en Cantabria y Extremadura) y un nodo coordinador nacional en Alicante. También se reconocen nodos virtuales, que son redes asociadas que usan la estructura de CASPe para objetivos específicos y permiten a la organización usar los canales de organización clásicos en la clínica; dicho de otro modo, los nodos virtuales son redes de lectura crítica orientada a especialidades clínicas y, actualmente, se reconocen dos: farmacología y oncología.

El objetivo de este programa es ayudar a los decisores sanitarios, en particular, y a los médicos, en general, a desarrollar habilidades para la lectura crítica sobre la mejor evidencia de la literatura. Las habilidades en lectura crítica permiten evaluar sistemáticamente los resultados de los trabajos publicados, su validez, su importancia y su aplicabilidad. El logotipo de la CASP son tres flechas consecutivas con las palabras BUSCAR--> VALORAR--> ACTUAR, que representan los tres pasos necesarios a seguir para usar la evidencia en el trabajo y que, en realidad, son los mismos pasos propuestos por la MBE: 1º) buscar la evidencia; 2º) valorar la evidencia que se ha identificado; esto implica valorar sistemáticamente la evidencia para comprobar cuán válidos son los resultados, cuáles son los resultados y cuán relevantes son los resultados para mi trabajo (es el núcleo fundamental del CASP); 3º) si la evidencia es válida y relevante, actuar en función de la misma.
La aproximación pedagógica del programa CASP se desarrolla en los talleres de lectura crítica, cuyos fundamentos se basan en los siguientes puntos:

1. Aprender debe ser divertido y participativo, y las habilidades deben difundirse en cascada.
2. El trabajo se llevará a cabo sobre problemas (escenarios) concretos relacionados con la práctica diaria; el escenario clínico y el artículo seleccionado para su lectura crítica se entrega unos días antes a los participantes en el taller, para que se lea y prepare con anterioridad.
3. Los materiales docentes deberán ser de la máxima calidad conceptual y formal.
4. Los talleres deben ser preferentemente multidisciplinarios; se usarán las técnicas de trabajo en pequeños grupos, y al final se realiza una puesta en común en donde se realiza una discusión general del artículo y se establecen las conclusiones pertinentes sobre la validez e importancia del artículo.
5. Los talleres deben ser sometidos a evaluación y mejora continua.

Los talleres de lectura crítica son un método eficaz de aprendizaje en la valoración crítica de documentos científicos, lo que ayudará a perder el miedo a este núcleo "duro" del nuevo paradigma científico que es la MBE.

En la página web de CASPe se ofrecen recursos de gran interés para el aprendizaje en la lectura crítica de documentos. Conviene destacar el apartado “Herramientas” (http://www.redcaspe.org/herramientas/index.htm), con “herramientas para lectura crítica” en el que se exponen las guías para realizar la lectura crítica de cuatro tipos de artículos (ensayo clínico, artículo sobre diagnóstico, revisión y evaluación económica) y “herramientas para actuación” en el que se puede acceder a calculadoras para diagnóstico, tratamiento y metanálisis.

Aspectos de la aplicabilidad de las pruebas científicas a la práctica clínica

Tras demostrar que la mejor evidencia externa encontrada en la literatura es válida e importante, nos encontramos ante la pregunta decisiva y fin último de la MBE: ¿se puede integrar esta evidencia científica con nuestra maestría clínica e incorporarla en la asistencia de nuestro paciente?. Este paso puede realizarse tanto con un paciente concreto como constituir la base para el desarrollo de guías de práctica clínica.
Una de las preguntas básicas a responder es si la diferencia entre su paciente y los pacientes del estudio es demasiado significativa para que sus resultados puedan ser de utilidad. El resto de conocimientos a considerar varía en función del objetivo del estudio (estudios sobre tratamiento, diagnóstico, efectos perjudiciales, pronóstico, etc) teniendo siempre presente el triángulo beneficio-perjuicios-costes de la intervención sanitaria considerada (terapéutica, preventiva, diagnóstica, de cribado, etc) y la interrelación con los potenciales conflictos de interés de la interrelación pacientes-médico-industria farmacéutica^13,14,15.

Tal como apreciamos en la tabla 1, la MBE combina perfectamente la teoría (pasos 2 y 3) con la práctica (pasos 1, 4 y 5). A nivel teórico implica tener unos mínimos conocimientos en bibliometría y búsqueda de información bibliográfica (paso 2) y en epidemiología y bioestadística (paso 3). Pero el objetivo final de la MBE es esencialmente práctico: se parte de un problema clínico a través de una pregunta estructurada (paso 1) y se finaliza con su aplicación (paso 4) y adecuación (paso 5) en nuestra práctica médica. En el paso final surge el problema más importante: no es suficiente con crear “evidencias”, es preciso utilizarlas, difundirlas e implementarlas en la práctica clínica, porque sino, convertimos en un marco teórico estéril el camino de la MBE^12,16 (el capítulo sobre la idoneidad de la evidencia científica a la práctica clínica constituirá el siguiente capítulo de esta serie).

Cómo citar este artículo

González de Dios J, Buñuel Álvarez JC, Ochoa Sangrador C. La valoración crítica de documentos científicos y su aplicabilidad a la práctica clínica: aspecto clave en la toma de decisiones basada en las mejores pruebas científicas. Evid Pediatr. 2006;2:37.

Bibliografía

1. Buñuel Álvarez JC, Ruiz-Canela Cáceres J. Cómo elaborar una pregunta clínica. Evid Pediatr. 2005;1:10.
2. González de Dios J, Buñuel JC. Búsqueda eficiente de las mejores pruebas científicas disponibles en la literatura: fuentes de información primarias y secundarias. Evid Pediatr. 2006;2:12.
3. González de Dios J. Pasos a seguir en la práctica de la Medicina Basada en la Evidencia. Pediatr Integral. 1999;4:54-8.
4. González de Dios J. Valoración crítica de documentos científicos. Los programas CASP y los bancos CAT. Pediatr Integral. 2001;6:350-6.
5. Sackett DL, Richardson WS, Rosenbert W, Haynes RB. Medicina Basada en la Evidencia. Cómo ejercer y enseñar la MBE. Madrid: Ed. Churchill Livinngstone;1997.
6. Department of Clinical Epidemiology and Biostatistics. McMaster University Health Sciences Centre. How to read clinical journals: I. Why to read them and how to start reading them critically. Can Med Assoc J. 1981;124:555-8.
7. Evidence-Based Medicine Working Group. Evidence-based medicine. A new approach to teaching the practice of medicine. JAMA. 1992;268:2420-5.
8. Rosenberg W, Donald A. Evidence based medicine: an approach to clinical problem-solving. BMJ. 1995;310:1122-6.
9. Sackett DL, Rosenberg WMC, Gray JAM, Haynes RB, Richardson WS. Evidence based medicine: what it is and what it isn´t. BMJ. 1996;312:71-2.
10. Guerra Romero L. La medicina basada en la evidencia: un intento de acercar la ciencia al arte de la práctica clínica. Med Clin (Barc). 1996;107:377-82
11. González de Dios J. Lectura crítica de documentos científicos. An Pediatr Contin. 2003;1:51-5.
12. González de Dios J. De la Medicina basada en la evidencia a la Evidencia basada en la medicina. An Esp Pediatr. 2001;55:429-39.
13. González de Dios J. Aplicabilidad de los resultados de nuestra valoración crítica de documentos a nuestra práctica clínica. Pediatr Integral. 2003;7:239-40.
14. González de Dios J. Toma de decisiones en la práctica clínica: del modelo tradicional al nuevo modelo basado en pruebas. Pediatr Integral. 2003;Nº especial 6:19-26.
15. González de Dios J, Paredes C. Bioética, conflicto de intereses, industria farmacéutica y ensayos clínicos en Pediatría. An Pediatr (Barc). 2005;62:223-9.
16. Ochoa Sangrador C. Estudios de evaluación de la adecuación de la práctica clínica a la evidencia cientifica. An Pediatr (Barc). 2003;58(Supl 4):219-28.