Articulos

7 DE NOVIEMBRE DE 2014 | ESCRIBIR

¿Cómo hacer que las investigaciones publicadas sean más verdaderas?

En la actualidad, muchos resultados de las investigaciones publicadas son falsos o exagerados y se estima que 85% de los recursos de investigación se desperdician.

En la actualidad, muchos resultados de las investigaciones publicadas son falsos o exagerados, y se estima que 85% de los recursos de investigación se desperdician.

Para hacer que más investigación publicada sea cierta, las prácticas que han mejorado la credibilidad y la eficacia en sectores específicos pueden ser trasplantadas a otras áreas que se beneficiarían con ellos, las posibilidades incluyen: la adopción de la investigación en colaboración a gran escala, la cultura de la replicación, el registro, compartir, prácticas de reproducibilidad, mejores métodos estadísticos, normalización de las definiciones y análisis, umbrales estadísticos más apropiados y la mejora en los estándares de diseño de los estudios, revisión por pares, información y difusión de la investigación, y formación de la fuerza de trabajo científico.

La selección de intervenciones para mejorar las prácticas de investigación requiere un examen riguroso y pruebas experimentales siempre que sea posible.

Las intervenciones óptimas necesitan comprender y aprovechar las motivaciones de los distintos actores que operan en la investigación científica y que difieren en el grado en que están interesados en la promoción de resultados publicables, financiables, traducibles, o rentables.

Las modificaciones deben hacerse en el sistema de recompensas de la ciencia que afecta a los tipos de intercambio de bienes (por ejemplo, publicaciones y becas) y a los bienes académicos adquiridos (por ejemplo, de promoción o de otro beneficio académico o administrativo) y en la introducción de las valores de cambio que estén mejor alineados con la investigación reproducible y traducible.
Los logros de la investigación científica son increíbles. La ciencia ha crecido a partir de la ocupación de algunos diletantes en una industria global vibrante, con más de 15 millones de personas autores de más de 25 millones de artículos científicos solo entre 1996-2011. Sin embargo, los descubrimientos principales, verdaderos y de fácil aplicación son muchos menos. Muchas de las nuevas asociaciones y / o efectos propuestos son falsos o muy exagerados y la traducción del conocimiento en aplicaciones útiles es a menudo lenta y potencialmente ineficiente.
Dada la abundancia de datos, la investigación sobre la investigación (es decir, meta-investigación) puede derivar en estimaciones empíricas de la prevalencia de factores de riesgo de las altas tasas de falsos positivos (estudios de poca potencia, pequeños tamaños del efecto; baja probabilidad pre-estudio, flexibilidad en los diseños, definiciones, resultados, análisis, prejuicios y conflictos de intereses; y la falta de colaboración). Actualmente, se estima que el 85% de los recursos de investigación se desperdician.
________________________________________
Intervenciones efectivas
Necesitamos intervenciones efectivas que mejoren la credibilidad y la eficiencia de la investigación científica. Algunos factores de riesgo de resultados falsos son inmutables como las muestras pequeñas, pero otros son modificables. Debemos disminuir los sesgos, los conflictos de interés y la fragmentación de los esfuerzos en favor de una investigación sin sesgos, transparente y colaborativa con una mayor estandarización.
Sin embargo también debemos considerar la posibilidad de que las intervenciones que mejoran la eficiencia científica puedan causar daños colaterales o desperdiciar recursos. Para dar un ejemplo extremo, podríamos eliminar todos los falsos positivos simplemente descartando todos los estudios con mínimos sesgos, haciendo las preguntas de investigación tan intrascendentes que a nadie le importen (o que nadie tenga conflictos de interés) con los resultados o esperando que todos los científicos de un campo unan fuerzas en un único protocolo estandarizado y plan de análisis: la tasa de error podría reducirse a cero simplemente porque ninguna investigación se haría jamás. Por lo tanto se propone que sean cuales sean las soluciones, deben ser pragmáticas, aplicables e idealmente susceptibles de ser evaluadas de modo fiable acerca de su rendimiento.
Actualmente, las mayores decisiones acerca de cómo se hacen las investigaciones se basan a menudo en convenciones o en la inercia en lugar de ser altamente imaginativas o basadas en la evidencia.. Por ejemplo, existen pruebas de que los revisores de los subsidios tienen típicamente modestos curriculum vitae y la mayoría de los científicos más influyentes no revisan las aplicaciones para subsidios y no están financiados por el gobierno, incluso en los EE.UU., donde puede decirse que está el mayor impacto científico en este momento por encima de cualquier otro país (por ejemplo en acumulación de citaciones).
Las prácticas no meritocráticas, incluido el nepotismo y un conservadurismo injustificable están probablemente generalizadas. La lealtad y la confirmación de sesgos son poderosos en los procesos científicos. En la asistencia sanitaria y en la práctica clínica, mientras que la medicina basada en la evidencia se ha fortalecido con el tiempo, algunos sostienen que se encuentra actualmente en crisis y la terminología “basada en la evidencia” ha sido usurpada para promover las creencias basadas en los expertos y en las agendas de la industria..
Tenemos poca evidencia experimental acerca de la forma y el momento en los que el arbitraje debe ser hecho (por ejemplo, basado en el protocolo, basado en el manuscrito, después de la publicación) o acerca de cómo deben asignarse los fondos.
Muchas de las estructuras científicas dominantes datan de la Edad Media (como las jerarquías académicas) o del siglo XVII (sociedades científicas, publicaciones en journals), pero su idoneidad para el estado actual del crecimiento de la ciencia es incierta.
Al mismo tiempo, hay una evidente tensión en la esperanza de que las decisiones sean a la vez más imaginativas y más basadas en la evidencia; puede ser el caso de que la burocracia y la práctica de la ciencia requieran a diferentes personas con diferentes habilidades, e incluso puede ser que un sistema demasiado centrado en la eliminación de la discriminación injusta también elimine la discriminación razonable requerida para tomar decisiones sabias.
Mientras que sin duda podríamos introducir cambios que hicieran que la ciencia sea peor, también podríamos introducir deliberadamente otros para que sea mejor. Una opción sería trasplantar a las disciplinas científicas las prácticas de investigación que han resultado exitosas cuando se aplicaron en otros ámbitos.
La adopción de investigaciones colaborativas a gran escala con una fuerte cultura de la replicación ha sido exitosa en muchos campos biomédicos, en particular en genética y epidemiología molecular. Estas técnicas han ayudado a transformar a la epidemiología genética desde un campo espurio a uno creíble. Estas prácticas pueden ser aplicadas a otros campos de la investigación observacional y más allá.
La replicación tiene diferentes connotaciones en los distintos diseños. Para los laboratorios básicos y la investigación preclínica, la replicación debe ser viable por defecto pero, incluso en esos casos, debe haber un entendimiento a priori de las características esenciales de un estudio que se necesitan paraque sea replicado y cuánta heterogeneidad es aceptable.
Para alguna investigación clínica, la replicación es difícil, especialmente para las que son muy grandes, a largo plazo o para los estudios caros. La perspectiva de la replicación debe ser considerada e incorporada en el diseño de la agenda de investigación en un campo determinado. De lo contrario, algunas cuestiones no se abordan en absoluto o son abordadas por estudios individuales que no se replican, mientras que otros son sometidos a múltiples repeticiones innecesarias o incluso a meta-análisis redundantes que los combinan.
El registro de los estudios randomizados (y más recientemente el registro de sus resultados) ha mejorado la transparencia de la investigación en los ensayos clínicos y ha permitido probar los sesgos en los reportes selectivos. Incluso si no los han remediado por completo muestran la redundancia y permiten una mejor visualización de la evolución del cuerpo completo de la investigación en un campo dado. El registro está actualmente propuesto para muchos otros tipos de investigación incluidos los estudios observacionales en humanos y en no humanos.
Compartir datos, materiales y software ha sido promovido en muchos campos “ómicos” creando un sustrato para las prácticas de reproductibilidad. Hacerlo también en los ensayos clínicos podría, del mismo modo, promover la credibilidad de la investigación clínica. Han sido debatidas algunas desventajas, como la posibilidad de que múltiples analistas realicen análisis contradictorios, dificultades con las des-identificación de los participantes, y posibilidad de que las partes introduzcan incertezas en los resultados que afecten intereses como en el caso de las emisiones diésel y el riesgo de cáncer.
Se ha propuesto la disociación de ciertos tipos de investigación de conflictos específicos de sus sponsors o autores (no sin debate) para diseños diversos y análisis costo efectivos, metanálisis, y guías de práctica clínica. Para todos estos tipos de investigación, la participación de los sponsors se ha visto que promueve resultados más favorables.
La adopción de métodos estadísticos más favorables, definiciones estandarizadas, análisis y definiciones más restringidas de qué es un “descubrimiento” y qué es un “éxito” pueden disminuir la cantidad de resultados falsos positivos en campos que han sido hasta ahora demasiado indulgentes (como la epidemiología, psicología, o economía). Esto les permitiría ganar una credibilidad más parecida a la de los campos que tradicionalmente han sido más rigurosos en este sentido, como las ciencias físicas.
Mejorar los estándares de diseño de los estudios mejora la fiabilidad de sus resultados. Por ejemplo, para estudios de intervención con animales, esto puede incluir la randomización y el cegamiento de los investigadores. Hay un interés creciente en en proponer listas de cotejo (checklists) para que un estudio sea aprobado, lo que es vital para su utilidad es asegurar que tanto los elementos de la lista sean esenciales y que las declaraciones de adhesión a los mismos sean verificables.
La presentación de informes, revisión, publicación, difusión y revisión posterior a la publicación de la investigación permite dar forma a su fiabilidad. Actualmente hay varios esfuerzos para mejorar y estandarizar la presentación de estos informes (por ejemplo, como el catalogado por la Iniciativa Ecuatorial) y múltiples ideas sobre cómo cambiar la revisión por pares (por quién, cómo y cuándo) y la difusión de la información.
Por último, la formación adecuada y la educación continua de los científicos en los métodos de investigación y en la cultura estadística también son muy importantes.