Título
Fecha
Texto
Rev. argent. neurocir. v.22 n.3 Ciudad Autónoma de Buenos Aires jul./sep. 2008
La verdad y la evidencia IV. La evidencia estadística
Hay tres clases de mentiras, las mentiras, las condenadas
mentiras y las estadísticas.
Benjamín Disraeli1
Vimos cómo la física debió recurrir a la estadística para resolver problemas en aquellos terrenos considerados "complejos", es decir, en donde no se pueden manejar todas las variables por insuficiente conocimiento. La mecánica estadística surgió así como una solución para la explicación de los hechos en la termodinámica, que hasta ese momento predecía y describía los mismos a nivel tan sólo fenomenológico. Tuvo un gran éxito en este campo aplicando los principios mecánicos y estadísticos, comprendiendo a los gases como constituidos por innumerables partículas (moléculas, átomos) y no pretendiendo conocer el comportamiento individual de cada partícula, sino el de todas, en la forma de un promedio para el conjunto (ensamble según la terminología de Gibbs). Así se comprendió que la temperatura es una abstracción útil, pero no tiene una existencia propia: sólo existen moléculas individuales, cada una moviéndose independientemente (pero actuando en conjunto) para producir ese efecto.
Predicción versus explicación. Medir en la actividad clínica
Como vimos, la aplicación del método científico a objetos no físicos, aumentó mucho la capacidad de explicación en estos campos del saber como la biología entre otros.
Los grandes avances dentro de la Medicina fueron, sin embargo, criticados2-5 porque se asociaba ciencia a estudios hipotético-deductivos y experimentales, y nos encontrábamos en el campo clínico, con muchos datos que los pacientes ofrecían, que eran considerados "blandos"2, porque no podían ser expresados en forma numérica, como para tener algún tipo de peso en la evaluación de resultados de tratamientos médicos o quirúrgicos, ya que se perdía la capacidad de predicción, en los mismos cuadros que se trataban. Así se impuso, a partir de mediados de los setenta del siglo pasado, un aspecto de la medicina práctica que ha dado en denominarse clinimetría2-5, que buscaba más que explicar los cuadros clínicos, predecir su resultado en el momento en que el paciente se presenta a la consulta o se diagnostica. Para esto, los datos "blandos", tales como: severo, moderado o leve, debieron ser reemplazados por escalas numéricas, que permitían tratarlos como "duros". Estas escalas deben cumplir una serie de requisitos que nos aseguren que estamos midiendo bien. Los revisamos a continuación someramente6.
Validez6
Capacidad de describir con certeza el fenómeno que trata.
Hay distintas formas de dar validez a una medida: Criterio: se toma como base un patrón elegido por consenso, p. ej., para la longitud, el metro patrón. Cuando no existe un criterio "standard", es más difícil validar por este medio. Deben tomarse datos que no dejen duda, como mortalidad, o tiempo de estadía. Si existe un método standard, entonces pruebas estadísticas de correlación, comparación de porcentajes o concordancia, pueden ser aplicados para validar el nuevo método.
Constructo: comparar los resultados de la prueba que se toma con otro método ya conocido y aceptado. Igualmente, deben aplicarse los métodos estadísticos antes mencionados.
Contenido: una escala debe ser simple y evitar redundancias (medir varias veces el mismo componente), o tener en cuenta componentes de bajo valor. Aquí la autoridad de quien o quienes confeccionan la escala, puede ayudar, paro no es garantía de validez. Un ejemplo vivido por muchos de nosotros es la escala para la graduación del estado clínico en la HSA de la WFNS, cuya confección le fuera encargada a Charles Drake.
Confiabilidad
El error en la medida que se toma, debe ser mínimo. Para ello, es necesaria la mayor coincidencia entre resultados obtenidos por un mismo observador sobre el mismo caso, y entre diferentes observadores. Se mide con el coeficiente kappa, cuyo valor 0,8-1, indica una coincidencia casi perfecta. Otros valores menores se denominan: sustancial, moderado, regular, leve o malo, de mayor a menor. Este coeficiente se utiliza especialmente cuando la escala tiene más de dos opciones.
Por ejemplo, la escala de Rankin modificada, utilizada recientemente en el ISAT7, tendría, según algunos, una coincidencia moderada entre observadores6 (kappa entre 0,41 y 0,60).
Otra escala de resultado muy utilizada, como la de Glasgow (GOS), presenta un índice de coincidencia inter e intraobservador que deja que desear, aunque es mejor que la coincidencia entre evaluadores en la Escala de coma de Glasgow8. Es una observación corriente que nuestra evaluación del estado de conciencia de los pacientes agudos en Terapia Intensiva frecuentemente no coincide con la del médico de guardia, (cuando el paciente está en condiciones de ser evaluado).
Es muy importante para la confiabilidad de una escala, que un nivel sea bien diferente de sus inmediatos superior e inferior9. La proposición de transformar la escala de resultado de Glasgow llevándola de 5 a 8 niveles10 por ejemplo, la hacía menos confiable8 .
Es muy efectivo que cuando se administra una escala, quien lo hace tenga a su disposición un resumen escrito que defina con exactitud las características específicas de cada nivel8.
Algunos han intentado aumentar la confiabilidad mediante un entrenamiento especial de los examinadores11.
Las mediciones hechas sobre encuestas telefónicas suelen ser poco confiables8.
Consistencia interna
Es determinada por la variación dentro de la evaluación, es decir el grado en que los ítems miden un constructo. Se estudia con el coeficiente alfa de Cronbach6. Coeficientes altos indican buena consistencia, pero pueden estar influidos hacia arriba por cierta redundancia.
La redundancia es la repetición en la medición de un ítem. Hace así ineficiente la escala, ya que su administración dura más. Por otro lado, aumenta artificial y engañosamente el coeficiente de consistencia y la confiabilidad6.
Información suministrada por las escalas
El empleo de una escala suministra un número, que no puede ser utilizado para realizar cálculos porque no se refiere a una magnitud continua o discontinua (como edad, peso, talla, TA, resultados de exámenes de laboratorio, etc.), sino que representa la posición del paciente en un orden (de más malo a más bueno o viceversa) y en donde, que tenga un puntaje de cuatro, no significa que esté el doble de peor o mejor que otro que tiene dos. Los resultados de las escalas son magnitudes no paramétricas y deben ser tratados con pruebas estadísticas específicas (tests no paramétricos)6.
El examinador
Es muy determinante para la medición objetiva sobre un paciente, quién la realiza, en todo momento, pero especialmente cuando se trata de resultados (imprescindibles para la ansiada predicción)10.
Lo más conveniente es que sea alguien experimentado, que no tenga relación previa con el paciente ni con los médicos tratantes y que no esté acuciado por algún interés en el caso. Así son malos medidores: 1) los médicos tratantes. 2) El propio paciente, que puede estar deprimido y verse mucho peor de lo que está, o carecer de "insight" y verse mucho mejor, por lo que las medidas de calidad de vida podrían verse sesgadas, ya que se refieren todas, por definición, a la opinión del paciente. 3) Los familiares, que vieron la evolución del enfermo, pueden estar eufóricos con su evolución inmediata, comparando el estado actual con el de ingreso, o estar deprimidos por el estado en que quedó, cuando vuelve al seno familiar y se experimenta su cambio de personalidad.
El examinador neutro deberá estudiar al paciente y encuestar a los familiares, para emitir un dictamen objetivo10.
En busca de la evidencia estadística
La temperatura de un gas en las mismas condiciones de presión y volumen, será la misma o los valores de su medición tendrán una distribución normal con una dispersión muy baja. Por eso los resultados de la mecánica estadística han sido tan buenos.
La medición de la temperatura de los seres humanos en las mismas condiciones de presión atmosférica y temperatura ambiente, variará seguramente mucho más que la de los gases por lo que su distribución será normal, pero con una dispersión mucho mayor de sus valores. La Biología y más aún la Medicina, son ciencias de lo variable1, por lo que los resultados de sus estudios se mueven dentro de un margen de probabilidad1.
Los grandes números
La probabilidad es el cálculo (pronóstico) de la frecuencia de aparición de un determinado hecho luego de una serie de ensayos. Si realizo todos los ensayos posibles, tendré una probabilidad que se transformará en certeza. Lamentablemente, suele ser imposible tener a disposición todos los ensayos, por lo que hay que conformarse con una inferencia, a partir de un número limitado de ellos, que llamamos muestra. Cuanto mayor sea el número de ensayos, más exacto podrá ser el resultado del cálculo aunque nunca llegaremos a la certeza. Esto es el azar. El aspecto de la realidad que parece no estar sujeto a las reglas de la causalidad (que hasta el momento conocemos, agregaría un determinista moderado). Por eso, ante la aparición de un resultado poco esperable, deberíamos esforzarnos por encontrar una causa a la que atribuirlo, antes de hacer intervenir el poder del azar.
En Medicina, cuando es necesario comparar dos métodos de tratamiento diferentes (medicamentos, procedimientos quirúrgicos), se requerirá una muestra de tamaño importante, ya que si es necesario el ensayo, las diferencias entre ambos serán leves.
La posibilidad de planificar un ensayo clínico que no viole la ética y que permita demostrar fehacientemente la primacía de un tratamiento sobre otro, se hace así difícil, si no imposible.
La solución que ha dado nuestra sociedad a este problema, han sido los ensayos multicéntricos randomizados. Multicéntricos, porque permiten acumular en el menor tiempo posible una cantidad de observaciones acorde a los requerimientos del ensayo. Viendo las exigencias de la clinimetría es difícil que los scores obtenidos en distintos centros sean confiables, si es que se han elegido las escalas adecuadas.
El sesgo del clínico
La randomización (asignación al azar de un paciente a uno u otro tratamiento) está dirigida a evitar el "sesgo de susceptibilidad"3,4. Esto es la aplicación intencional o no, del criterio del clínico en la selección de un tratamiento o el otro, que podría incidir en el resultado final.
Pero, como venimos insistiendo, ¿no es la función del clínico seleccionar terapéuticas tratando de adaptarlas a las características del paciente? Esto es lo que pretendemos hacer todo el tiempo. Justamente, si fuéramos capaces de estratificar nuestros pacientes por sus características clínicas, psicológicas, etc, no necesitaríamos randomizar.
Si conociéramos exactamente en cuántos estratos se divide la población de pacientes a tratar, no randomizaríamos. La randomización es la consecuencia de nuestro desconocimiento del conjunto de parámetros que podrían dar origen a diferentes grupos de pacientes2,3.
Esto es muy evidente en algunos estudios conocidos, como el de endarterectomía carotídea (EC), vs. aspirina13 en que ingresaron pacientes con el solo criterio de ser sintomático y poseer una estenosis hemodinámicamente significativa (>70%) y cirujanos con el exigente criterio de tener una morbimortalidad quirúrgica menor del 6% en estos casos. El resultado de este estudio estaba cantado antes de realizarlo. Si ponemos cirujanos con menor morbimortalidad que el tratamiento clínico, los resultados del ensayo serán favorables a la cirugía. El gran optimismo generado por este estudio, hizo que en los EE.UU. en 1996, se realizaran 130.000 EC, el doble que en el año en que se publicó el estudio (1991)14.
La realidad es que la morbimortalidad de la EC en los EE.UU. en 1997 (seis años después), comentada en un editorial de la revista Stroke variaba en promedio entre el 5 y 11% 15, prácticamente el doble de lo necesario. Los grandes números (Medi Care) indican que estas cifras representan la verdadera morbimortalidad de la EC. Los autores conceden que "las estimaciones de las tasas de complicación de la EC basadas en muchos estudios que aparecen en la literatura médica pueden ser bajos, y la posibilidad de varios tipos de sesgos debe ser reconocida" 15. Esto parece comprobarse en un estudio canadiense aparecido el año siguiente, que dice diplomáticamente que "las tasas de ACV de la EC en un gran centro metropolitano de Norteamérica son ligeramente mayores que las de estudios publicados"16. Es decir que la morbimortalidad de menos del 6% en estenosis severas sintomáticas sería un resultado quizá extraordinario para esta operación, ubicado un par de desvíos standard por debajo de la media (Fig. 1) para un grupo acreditado de especialistas en cirugía vascular. En busca de una causa del mismo, los autores del editorial15 reconocen que puede haber varios factores "perioperatorios" que influyen en el resultado (que no analizan), pero que es la experiencia del cirujano el más influyente. Habría que agregar que otros factores no perioperatorios podrían influir también, como por ej., el tipo de pacientes de cada centro (sesgo por falta de estratificación)2, 3, por ejemplo, de datos del NASCET se concluye que los pacientes con estenosis moderada en terapia médica tuvieron 2,7% más de riesgo absoluto y 60% relativo de tener un ACV lacunar que los operados y un 3,6% absoluto y 57% relativo, más, de tener un ACV cardioembólico14. ¿Hizo esto diferencias en el resultado final de los pacientes con estenosis moderada? (protección absoluta 7% a favor de la cirugía). Nunca lo sabremos.
Fig.1. Distribuciones posibles de los porcentajes de morbimortalidad de la EC entre los cirujanos vasculares y neurocirujanos de los EEUU. Interpretación personal de datos aportados por (15).Los pacientes de cada cirujano constituirían una muestra. %MM: morbimortalidad. Frec:. Número de cirujanos (datos no provistos) por lo tanto, abcisa no graduada. La línea verde marcaría la media del universo de todos los cirujanos que realizan EC en Medi Care. La línea roja marca una morbimortalidad de 6%. La superficie de las curvas a su izquierda representa el número de cirujanos en condiciones de realizar la EC. A y B: curvas extremas. Si los resultados son muy disímiles, la curva sería parecida a la A, con muchos cirujanos "malos" pero también bastantes "buenos". Si los cirujanos tienen todos resultados parecidos, la dispersión es menor y la curva se parecerá a la B. En ambos casos, los cirujanos en condiciones de realizar la EC serán, proporcionalmente, pocos.
La política propuesta por los autores del editorial mencionado15 en base a esta "evidencia": prohibir el ejercicio de la endarterectomía carotídea a quienes tengan más del 6% de morbimortalidad(¡!). Este es uno de los artículos más reaccionarios que se hayan publicado en nombre de la "evidencia", que pasa así a ser un dogma en cuyo nombre se hace justicia. Igual que en la Edad Media.
¿No es más científico ver si los centros "retrasados" pueden mejorar sus cifras mediante la investigación de factores influyentes (incluso en los centros con "buen cirujano"), o la docencia de algunos detalles de la técnica que pueden influir en el resultado?
El problema "científico" de la evidencia, se transforma así en un problema social, cuando un paciente debe viajar muchos kilómetros para someterse a un procedimiento "standard" en un "Centro" que termina teniendo una morbimortalidad no acorde a la publicada, sino "ligeramente mayor".
El diseño del estudio
Vemos pues, cómo se puede influir en el resultado de un estudio mediante el diseño del mismo. Otro ejemplo en este tema, es la serie de estudios NASCIS (I, II, III)17-19, que se extendió por alrededor de quince años, para terminar estableciéndose que "la evidencia no sostiene un beneficio clínico de la metilprednisolona administrada por 24 o 48 horas en el tratamiento de pacientes con lesión aguda de la médula espinal"20, y que "el beneficio de su administración antes de las 8 horas ha sido sugerido, pero no probado" 20. Mientras tanto, durante al menos ese lapso, este tratamiento fue de inclusión obligatoria en todo protocolo de manejo de la lesión medular aguda, en base, especialmente, a los resultados del NASCIS II18, con su famosa ventana de las 8 horas, agravando quizá la evolución de algún paciente por los efectos adversos del corticoide.
Con estos ejemplos, podemos ver que la "multicentricidad randomizada", aunque goza de gran prestigio, puede llevar a riesgos incalculables para los pacientes y no asegura que el estudio esté libre de sesgos, intencionales o no. También hemos visto, en análisis críticos desde estas columnas, que con los mismos números presentados en estudios de este tipo, pueden hacerse elaboraciones que, si bien no dirigidas al punto final de los mismos, nos brindan información muy apreciable acerca de los tratamientos propuestos y sus debilidades.
Los metaanálisis
Otra forma de adquirir seguridad en las decisiones clínicas para el diagnóstico y tratamiento que nuestra sociedad propone, son los metaanálisis. Se puede acumular un número muy apreciable de observaciones, juntando varias publicaciones sobre el mismo tema, con igual formato. Las revisiones sistemáticas se limitan a resumir la bibliografía sobre el tema. Los metaanálisis utilizan métodos cuantitativos para el resumen, para ayudar a planificar nuevos estudios o para extraer conclusiones sobre efectividad terapéutica. El metaanalista es en parte científico, en parte matemático, pero especialmente auditor de los diferentes ensayos analizados.
La selección de los trabajos que serán incluidos en la revisión debería realizarse según la calidad de los datos que ofrecen21. El mayor proveedor de evidencia médica de este tipo es la Biblioteca Cochrane.
Alguna de estas evidencias puede luego ser utilizada en forma de "guidelines". Las Sociedades Científicas suelen encargar esto a un grupo de expertos, que clasifican la evidencia acumulada y además pueden aportar su experiencia consensuada (nivel de evidencia C). Estas publicaciones han alcanzado gran prestigio, y constituyen los protocolos de tratamiento en casi todo el mundo, para todas las especialidades. También en los Servicios de Terapia Intensiva. Un ejemplo de ello son las guidelines para la hemorragia intracerebral (HIC) emitidas por la Asociación Americana del Corazón y el American Stroke Council en 200722, de las que reproducimos algunos ítems.
Diagnóstico
1) La hemorragia intracerebral (HIC) es una emergencia médica que frecuentemente continúa sangrando tempranamente con deterioro progresivo, déficit clínico severo y alta mortalidad y morbilidad consecuente, y debe ser reconocida y diagnosticada rápidamente (Clase I, nivel de evidencia A).
2) La TAC y IRM son ambas opciones de primera elección (Clase I, nivel de evidencia A). En pacientes con contraindicaciones para la IRM, se debe hacer TAC (Clase I, Nivel de evidencia A).
Tratamiento
1) El monitoreo y manejo de pacientes con hematoma intracerebral debería tener lugar en terapia intensiva por la agudeza de la enfermedad, elevaciones frecuentes de la PIC y TA, necesidad frecuente de intubación y ventilación asistida y múltiples complicaciones clínicas (Clase I, nivel de evidencia B).
2) Debería siempre usarse terapia antiepiléptica apropiada para el tratamiento de crisis clínicas en pacientes con hematoma intracerebral (Clase I, nivel de evidencia B).
3) Se coincide ampliamente deberían ser tratadas las causas de fiebre y administrada medicación antipirética para bajar la temperatura en pacientes febriles por Stroke (Clase I, Nivel de evidencia C).
4) Como para pacientes con ACV isquémico, son recomendadas la movilización y rehabilitación tempranas, en pacientes con hematoma intracerebral que están estables.
Siguen recomendaciones Clase II para tratamiento de la PIC, hiperglucemia, TA, factor VII y profilaxis antiepiléptica, utilización de fibrinolíticos, etc.
Cirugía
1) Pacientes con hemorragia cerebelosa >3 cm que se están deteriorando neurológicamente o que tienen compresión del tronco cerebral y/o hidrocefalia por obstrucción ventricular, deberían tener extirpación quirúrgica de la hemorragia lo más rápido posible.
Vienen después recomendaciones clase II o III no dándole valor al uso de urokinasa estereotáctica, endoscopía, apoyando la evacuación de hematomas lobares, desaprobando la evacuación del hematoma supratentorial dentro de la primeras 96 hs, pero dejando una duda sobre el beneficio de hacerlo dentro de las 12 hs.
Vemos que hay mucho Perogrullo en las recomendaciones de Clase I en los niveles A o B, como el tratamiento de las convulsiones y la fiebre, el diagnóstico por imágenes y la rehabilitación temprana, mientras que sobre los temas centrales, no hay evidencias ni consenso. Raro, en una patología tan frecuente como la hemorragia cerebral. Es más, alguna evidencia Clase I, A o B (la mejor), podría hasta ser objetada, si tomamos p.ej. los ítems de diagnóstico urgente y la internación en UTI, frente a la pobre evidencia sobre el armamentario terapéutico que después se presenta.
Desmitificando
En 2006, HJ Cloft publicó en AJNR un artículo sobre el valor de p23, digno de ser leído detenidamente. Dice que cuando uno observa un valor de p< 0,05 (significativo) debe hacerse varias preguntas: 1) En qué me afecta, es decir, ¿tiene valor para mi práctica cotidiana? Hay trabajos experimentales que presentan un valor de p muy significativo, pero no pueden ser aplicados directamente al ser humano y no sirven para el clínico, y otros trabajos sobre un solo caso, pueden ayudarnos a reflexionar sobre un tema específico.
La segunda pregunta, y más importante a mi entender, es: ¿Coincide el resultado con mi experiencia? Este valor dado a la experiencia del lector muestra que todavía hay una mentalidad crítica muy saludable que es libremente expresada, previniendo contra algunos mitos "científicos" como p.
La tercera pregunta es: ¿se aplicaron los tests adecuados? Para responder a esta pregunta, hay que saber estadística.
Cloft habla de "minería" de datos, cuando en un estudio retrospectivo se analizan distintos parámetros (variables) con múltiples pruebas, hasta que una da un valor significativo de p y sobre este dato, se realiza una hipótesis, (al revés del método científico, que comienza con una hipótesis). Dice que hay una tendencia a publicar los datos "positivos", y que cuando p no es significativo, el trabajo no se publica (sesgo de publicación). "El lector debe tener en consideración la posibilidad de que el autor pueda ganar dinero, prestigio o alguna otra cosa de valor, basado en los resultados de su estudio. Lamentablemente, este sesgo personal puede afectar la interpretación de los resultados consciente o inconscientemente"22.
Conclusión
Los esfuerzos por esclarecer los problemas que enfrentamos diariamente en nuestra actividad no siempre tienen el resultado deseado, debido a la intrínseca dificultad de los temas analizados y a "factores extrínsecos" entre los que no debemos olvidar los objetivos del grupo hegemónico que enfoca el problema y produce el conocimiento.
Debemos cultivar la razón crítica para evaluar la evidencia que continuamente se nos ofrece en la práctica de nuestra profesión. El conocimiento de la ciencia estadística puede ayudarnos en la compleja tarea de detectar sesgos voluntarios o involuntarios y, cuando el sesgo parece no existir, evaluar el peso de las conclusiones para incorporarlas o no conceptualmente (no algorítmicamente), al ejercicio de nuestra actividad.
Bibliografía
1. Disraeli, B. Citado por: Sentís, J, Pardell, H, Cobo, E, Canela, J. Manual de bioestadística. Masson, Barcelona, 2003.
2. Feinstein, AR. An additional basic science for clinical medicine: I. The constraining fundamental paradigms. Ann Int Med 1983, 99: 393-7.
3. Feinstein, AR. An additional basic science for clinical medicine: II. The limitations of randomized trials. Ann Int Med 1983, 99: 544- 50.
4. Feinstein, AR. An additional basic science for clinical medicine: III. The challenge of comparison and measurement. Ann Int Med 1983, 99: 705-12.
5. Feinstein, AR. An additional basic science for clinical medicine: IV. The development of clinimetrics. Ann Int Med 1983, 99: 843-8.
6. Lyden, PD, Lau, GT. A critical appraisal of stroke evaluation and rating scales. Stroke 1991, 22: 1345-52.
7. Internacional Subarachnoid Aneurysm Trial (ISAT). Collaborative Group. Internacional Subarachnoid Aneurysm Trial (ISAT) of neurosurgical clipping vs. endovascular coiling in 2143 patients with ruptured intracranial aneurysms: a randomized trial. Lancet, 2002, 360: 1267-74.
8. Maas, AIR, Braakman, R, Schouten, HJA, Minderhoud, JM van Zomeren, AH. Agreement betweeen physicians on assessment of outcome following severe head injury. J. Neurosurg 1983, 58: 321- 5.
9. Sugiura, K, Muraoka, K, Chishiki, T, Baba, M. The Edinburgh-2 coma scale: a new scale for assessing impaired conciousness. Neurosurgery 1983, 12: 411-5.
10. Jennet, B, Bond, M. Assessment of outcome alter severe brain damage. Lancet 1975, i: 480-4.
11. Lyden, PD, Brott, T, Tilley, B, Welch, KMA, Mascha, EJ, Levine, S, Haley, EC et al. Improved reliability of the NIH stroke scale using video training. Stroke 1994, 25: 2220-6.
12. Jennet, B, Snoek, J, Bond, MR, Brooks, N. Disability after severe head injury: observations on the use of the Glasgow Outcome Scale. J Neurol Neurosurg Psychiat 1981, 44: 285-93.
13. North American Symptomatic Carotid Endarterectomy Trial. Beneficial effects of carotid endarteredtomy in symptomatic patients with high-grade carotid stenosis. NEJM 1991, 325: 445-53.
14. Barnett, HJM, Taylor, DW, Eliasziw, M, Fox, AJ, Ferguson, GG, Haynes, RB, Rankin, RN, et al. Benefit of carotid endarterectomy in patients with symptomatic moderate or severe stenosis. N Eng J Medicine 1998, 339: 1415-25.
15. Goldstein, LB, Moore, WS, Robertson, JT, Chaturvedi, S. Complication rates for carotid endarterectomy. A call for action. (Editorial). Stroke 1997, 889- 90.
16. Smurawska, LT, Bowyer, B, Rowed, D, Maggisano, R, Oh, P, Norris, JW. Changing practice and costs of carotid endarteredtomy in Toronto, Canada. Stroke 1998, 29: 2014-7.
17. Bracken, MB, Shepard, MJ, Hellenbrand, KG, Collins, WF, Leo- Summers, L, Freeman, DF, et al. Methyl prednisolone and neurological function 1 year after spinal cord injury: results of the National Acute Spinal Cord Injury Study. J Neurosurg 1985, 63: 704-13.
18. Bracken, MB, Shepard, MJ, Collins, WF jr, Holford, TR, Baskin, DS, Eisemberg, HM, Flamm, E, et al. Methilprednisolone or nalloxone treatment after acute spinal cord injury: 1 year follow up data- Results of the Second National Acute Spinal Cord Injury Study. J Neurosurg 1992, 76: 23-31.
19. Bracken, MB, Shepard, MJ, Holford, TR, Leo-Summers, L, Aldrich, EF, Fazl, M et al. Administration of methylprednisolone for 24 or 48 hours or tirilazad mesylate for 48 hours in the treatment of acute spinal cord injury: 1 year follow up- Results of the Third National Acute Spinal Cord Injury Randomized Cotrolled Trial. J Neurosurg 1998, 89: 699-706.
20. Hadley. MN. Pharmacological therapy alter acute spinal cord injury. Neurosurgery 2002, 50 (Supp to number 3): S63- S72.
21 López- Arrieta, JM. Role of meta- analysis of clinical trials for Alzheimer's disease. Drug Develop Res 2002, 56: 401-11.
22. Broderick, J, Connolly, S, Feldmann, E, Hanley, D, Kase, C, Krieger, D, Mayberg, M, et al. Guidelines for the Management of Spontaneous Intracerebral Hemorrhage in Adults: 2007 Update: A Guideline From the American Heart Association/American Stroke Association Stroke Council, High Blood Pressure Research Council, and the Quality of Care and Outcomes in Research Group. Stroke 2007; 38: 2001-23.
23. Clofp, HJ. The value of a P value. AJNR 2006; 27: 1389-90.