el esc
é
ptico
66
anuario 2020
Introducción
La publicación de protocolos de revisiones sistemá-
ticas y metaanálisis previamente a su publicación es
considerada una buena práctica en el contexto de la
realización de este tipo de estudios (Editors, 2011). El
sesgo de publicación se produce cuando la publicación
de los resultados de un estudio se ve alterada por las
características de los resultados de la investigación.
El concepto de sesgo de publicación comprende dos
aspectos fundamentales: los resultados del estudio y
la no publicación (Song et al., 2010). Varios estudios
recogidos en la literatura científica han reportado de
un sesgo en la difusión de los resultados de las inves-
tigaciones que no son revisiones sistemáticas o metaa-
nálisis (como por ejemplo ensayos clínicos) (Booth et
al., 2012; Dickersin et al., 1992; Hopewell et al., 2009;
Simes, 1986), sin embargo, mucho menos se sabe so-
bre el fin que siguen las propuestas de revisiones siste
-
máticas o metaanálisis.
Las revisiones sistemáticas y los metaanálisis, si es-
tán correctamente realizados, se considera que propor-
cionan el máximo de evidencia científica posible, ya
que suponen una síntesis de los resultados de estudios
individuales, que además en el caso de los metaanálisis
permiten generar conclusiones objetivas fundamenta-
das sobre análisis estadísticos cuantitativos. Sin em-
bargo, parece que comienza a haber evidencias de que
las revisiones sistemáticas y los metaanálisis pueden
no estar siendo realizados con toda la calidad y reque-
rimientos metodológicos que los estudios de ese nivel
precisan cabiendo por tanto la posibilidad de que los
resultados de las mismas estuvieran sesgados. Existen
evidencias claras de que hay revisiones sistemáticas
que no están siendo publicadas (Tricco et al., 2009) y
más preocupante aún la existencia de discrepancias en-
tre los protocolos prepublicados y los resultados final
-
mente publicados en la revisión sistemática (Kirkham
et al., 2010; Silagy et al., 2002). Prepublicar mediante
un protocolo la intención de realizar la una revisión
sistemática es una buena práctica ya que reduce sesgos
de publicación, fomenta la transparencia en la realiza-
ción de este tipo de trabajos y fundamentalmente evita
la duplicación de esfuerzos entre diferentes grupos de
investigación.
Sin embargo, aunque la publicación de los protoco-
los de revisiones sistemáticas y metaanálisis minimiza
el sesgo al establecer explícitamente las hipótesis y
métodos
a priori
sin conocimiento previo de los re-
sultados, es preocupante el hecho de que la revisión
sistemática o el metaanálisis finalmente publicado di
-
fiera de lo preespecificado en el protocolo (Silagy et
al., 2002) o el hecho de que el protocolo se publique y
la revisión sistemática nunca llegue a serlo.
Se ha sugerido que el hecho de publicar el protocolo
de la revisión sistemática o el metaanálisis puede ser
un mecanismo para evitar que finalmente la revisión
sistemática no sea publicada (Moher et al., 2007). Hay
razones que pueden ser esgrimidas por los investiga-
Seguimiento de los protocolos de
revisiones sistemáticas y metaanálisis
sobre
acupuntura
publicados en
revistas científicas indexadas en el
Journal Citation Reports
Proyecto de investigación presentado a la Beca de investigación «Sergio
López Borgoñoz» de ARP-Sociedad para el Avance del Pensamiento Crítico
Grupo de investigación:
y
Azucena Santillán-García. Enfermera del Hospital Universitario de
Burgos, socia de ARP-SAPC
y
María Romero Moreno. Estudiante de Grado de Enfermería. Facultad
de Enfermería y Terapia Ocupacional. Universidad de Extremadura
y
José M. Morán. Profesor Titular de Universidad de Metodología de
la Investigación en Ciencias de la Salud. Departamento de Enfermería.
Universidad de Extremadura
el esc
é
ptico
67
anuario 2020
dores para terminar no publicando una revisión; hasta
el 12 % de investigadores encuestados han indicado
que la revisión finalmente no se publicó porque una
vez realizada se vio que era demasiado amplia, mien-
tras que hasta el 10 % de investigadores ha indicado
que la razón para la no publicación era exactamente
la contraria, pocos estudios eran elegibles para ser in-
cluidos en una revisión o metaanálisis (Tricco et al.,
2009).
En los últimos años se viene observando en la lite-
ratura científica un incremento en el número de proto
-
colos de revisiones sistemáticas y metaanálisis sobre
potenciales aplicaciones terapéuticas de la acupuntura
que están siendo publicados en revistas indexadas en el
Journal Citation Reports
. Actualmente no se ha reali-
zado un seguimiento del fin que han tenido estos estos
protocolos en términos de si la revisión fue finalmente
publicada y si la revisión se ajustó a los requerimientos
que estaban incluidos en el protocolo correspondiente.
No quedan claros los intereses que han llevado a este
incremento que por ejemplo en el caso de la revista
Medicine
(Baltimore) ha provocado que en el periodo
2010-2019 se haya pasado de no haber publicado nin-
gún protocolo de revisión sistemática o metaanálisis
sobre acupuntura hasta el año 2014 y desde ese año se
haya incrementado desde 3 (2014) hasta más de 80 en
el año 2019 (Figura 1).
Como se ha indicado anteriormente, no existe hasta
el momento un estudio que haya realizado un segui-
miento del fin que están teniendo los protocolos de
revisiones sistemáticas sobre posibles pseudoterapias
y en concreto sobre los publicados referentes a las po-
tencialidades terapéuticas de la acupuntura. La situa-
ción que se nos plantea puede representar un problema
grave y de proporciones no bien ponderadas ya que
la literatura científica disponible a través de las bases
de datos más usualmente utilizadas entre los profeso-
res sanitarios —
Medline, Scopus, Web of Science
— se
está saturando con este tipo de protocolo, siendo uti-
lizado por otros investigadores como fuente de infor-
mación válida, en muchos casos como si ya fuera una
Foto de Maksim Goncharenok en Pexels
Figura 1: Protocolos de revisiones sistemáticas y metaanálisis
sobre acupuntura en la revista
Medicine
(Baltimore) y artículos
sobre «acupuntura» en general (fuente: datos propios)
el esc
é
ptico
68
anuario 2020
revisión sistemática finalizada y en general de forma
abrumadora mostrando
resultados positivos acerca de
los beneficios de la acupuntura.
Objetivos
El
objetivo primario
de este proyecto es identificar
los protocolos de revisiones sistemáticas referentes a
acupuntura y verificar si la revisión ha sido publicada.
Como
objetivos secundarios
del presente proyec-
to se plantean:
y
Verificar si en el caso de haber sido citado en la
literatura científica el protocolo, este lo ha sido de
forma correcta (indicando que es un protocolo y no
una revisión finalizada).
y
Analizar el tiempo medio desde la publicación
del protocolo hasta la publicación de la revisión si
esta existe.
Metodología
Se realizará una búsqueda sistemática de protoco-
los de revisiones sistemáticas y metaanálisis a través
de la base de datos
Scopus
. Se utilizarán los términos
“PROTOCOL” AND (“SYSTEMATIC REVIEW”
OR META-ANALYSIS) AND ACUPUNCTURE. Se
limitará a título,
abstract
y palabras clave. No se esta
-
blecerán límites temporales.
Una vez que se identifiquen los registros se selec
-
cionarán aquellos publicados en revistas indexadas
en el
Journal Citation Reports,
y se comprobarán
las citaciones que ha recibido cada protocolo. Se irá
creando una base de datos en la que se incluya si la
revisión sistemática correspondiente al protocolo ha
sido publicada. Se incluirán las fechas de publicación
para analizar el tiempo transcurrido.
Finalmente se analizarán todas las citaciones reci-
bidas por cada protocolo verificando si la misma es
correcta (se indica que es un protocolo) o incorrecta
(se cita como si fuera una revisión sistemática o me-
taanálisis ya terminado).
Los resultados de este proyecto se consideran de
gran interés para la comunidad científica. Una vez
completado el mismo se procederá a la elaboración
de un manuscrito el cual será sometido a publicación
preferentemente en una revista incluida en el
Journal
Citation Reports
. Véase el cronograma de la Tabla 1.
El análisis y la base de datos se gestionará a través
del
software
SPSS 22.0.
Roles de los investigadores
Un investigador (M.R.M.) realizará las búsquedas
sistematizadas en
Scopus
e identificará los registros
correspondientes a los protocolos de revisiones siste-
máticas o metaanálisis (mediante análisis de título y el
resumen) para determinar su elegibilidad e inclusión
en la base de datos. Se excluirán los resúmenes que no
estén definidos específicamente como protocolos de
revisión sistemática o metaanálisis y aquellos que no
tengan relación directa con posibles aplicaciones te-
rapéuticas de la acupuntura. Los registros que se con-
sideren pertinentes se obtendrán en texto completo y
posteriormente serán examinados por otro miembro
del equipo (J.M.M.). Se consultará al tercer miembro
del equipo cuando la pertinencia de inclusión no esté
clara (A.S). Una vez constituida la base de datos se
procederá al análisis de las citaciones mediante el uso
de
Scopus
. La pertinencia de la citación en otros tra-
bajos se realizará por J.M.M. y A.S. Finalmente los
tres miembros del equipo investigador participarán en
el análisis global de los resultados y en la elaboración
del manuscrito.
Aportación de la presente propuesta al cuerpo
de conocimiento sobre el tema
1. No hay estudios en la literatura científica que ha
-
yan examinado la aparición del sesgo de publicación
a nivel de revisión sistemática y metaanálisis relacio-
nados con las posibles propiedades terapéuticas de la
acupuntura.
No existe hasta el momento un estudio que
haya realizado un seguimiento del fin que
están teniendo los protocolos de revisiones
sistemáticas sobre posibles pseudoterapias
Tabla 1. Cronograma del proyecto (en meses)
el esc
é
ptico
69
anuario 2020
2. La frecuencia de revisiones sistemáticas no pu-
blicadas a partir de protocolos publicados es desco-
nocida.
3. Las razones para no publicar revisiones siste-
máticas una vez que si se publicó el protocolo de la
misma son diferentes a las razones para no publicar
estudios individuales (por ejemplo, ensayos clínicos).
Las razones más comunes para no publicar revisiones
sistemáticas incluyen la falta de tiempo y el rechazo
del manuscrito, pero en el caso de las terapias alter-
nativas no está claro si pudieran existir otros intereses
relacionados con la aparición de estas en literatura
científica (aparentando que su estudio y evaluación se
asemeja al de los demás procedimientos que siguen
escrupulosamente el método científico).
Bibliografía
1. Booth, A., Clarke, M., Dooley, G., Ghersi, D., Moher, D., Petti-
crew, M., & Stewart, L. (2012). The nuts and bolts of PROSPERO:
An international prospective register of systematic reviews.
Syste-
matic Reviews
, 1, 2. https://doi.org/10.1186/2046-4053-1-2
2. Dickersin, K., Min, Y. I., & Meinert, C. L. (1992). Factors in-
fluencing publication of research results. Follow-up of applications
submitted to two institutional review boards.
JAMA
, 267(3), 374-
378
3. Editors, T. Pl. M. (2011). Best Practice in Systematic Reviews:
The Importance of Protocols and Registration.
PLOS Medicine
,
8(2), e1001009. https://doi.org/10.1371/journal.pmed.1001009
4. Hopewell, S., Loudon, K., Clarke, M. J., Oxman, A. D., & Dic-
kersin, K. (2009). Publication bias in clinical trials due to statistical
significance or direction of trial results.
The Cochrane Database of
Systematic Reviews
, 1, MR000006
5. Kirkham, J. J., Altman, D. G., & Williamson, P. R. (2010). Bias
Due to Changes in Specified Outcomes during the Systematic
Review Process.
PLOS ONE
, 5(3), e9810. https://doi.org/10.1371/
journal.pone.0009810
6. Moher, D., Tetzlaff, J., Tricco, A. C., Sampson, M., & Altman,
D. G. (2007). Epidemiology and reporting characteristics of syste-
matic reviews.
PLoS Medicine
, 4(3), e78. https://doi.org/10.1371/
journal.pmed.0040078
7. Silagy, C., Middleton, P., & Hopewell, S. (2002). Publishing
Protocols of Systematic Reviews: Comparing What Was Done
to What Was Planned.
JAMA : The Journal of the American Me-
dical Association
, 287, 2831-2834. https://doi.org/10.1001/
jama.287.21.2831
8. Simes, R. J. (1986). Publication bias: The case for an interna-
tional registry of clinical trials.
Journal of Clinical Oncology: Official
Journal of the American Society of Clinical Oncology
, 4(10), 1529-
1541.
https://doi.org/10.1200/JCO.1986.4.10.1529
9. Song, F., Parekh, S., Hooper, L., Loke, Y. K., Ryder, J., Sutton, A.
J., Hing, C., Kwok, C. S., Pang, C., & Harvey, I. (2010). Dissemination
and publication of research findings: An updated review of related biases.
Health Technology Assessment
(Winchester, England), 14(8), iii, ix-xi,
1-193.
https://doi.org/10.3310/hta14080
10. Tricco, A. C., Pham, B., Brehaut, J., Tetroe, J., Cappelli, M., Ho
-
pewell, S., Lavis, J. N., Berlin, J. A., & Moher, D. (2009). An internatio
-
nal survey indicated that unpublished systematic reviews exist.
Journal
of Clinical Epidemiology
, 62(6), 617-623.e5. https://doi.org/10.1016/j.
jclinepi.2008.09.014