15. Juni 2021

Registered Reports

Was sind RR?

Klassisches Publikationsformat:


(cos.io/rr)

(Chambers et al., 2014)

Registered Reports

Was sind RR?

Registered Report:


(cos.io/rr)

(Chambers et al., 2014)

Registered Reports

Was sind RR?

Registered Report:


(cos.io/rr)

(Chambers et al., 2014)

Registered Reports

Warum RR?

Questionable Research Practices

  • Selektives Berichten (AVs, Bedingungen, Studien)
  • Sequenzielle Datenerhebung/ Optionales Stoppen
  • Exkludieren von Fällen
  • HARKing
  • Exploration als Konfirmation markieren
  • …

(John et al., 2012; Simmons et al., 2011)

Registered Reports

Wo?

Zeitschriften (beispielhaft):

  • Learning and Instruction
  • British Journal of Educational Psychology
  • Frontiers in Education
  • Journal of Educational Psychology
  • Zeitschrift für Bildungsforschung
  • …

Für eine vollständigere Liste: cos.io/initiatives/registered-reports

Registered Reports

Tipps & Guidelines






  • “Practical Considerations”
    (Kiyonaga & Scimeca, 2019)

Publikation & Evaluation entkoppeln

Was?

Klassisch

  • Zeitschrift: Publikation & Evaluation



Entkopplung

  • direkte Publikation des Artikels (über Zeitschrift oder Repository)

  • Evaluation des Manuskripts
    • durch Zeitschriften (potentiell auch mehrere)
    • durch Review Services

Publikation & Evaluation entkoppeln

Warum?


  • File-drawer effect
    (Rosenthal, 1979)


  • Publikationszeiten verkürzen
    (z.B. bei Arbeit unter Zeitdruck während einer Pandemie; Kwon, 2020)

Publikation & Evaluation entkoppeln

Wie?

Publikation von Preprints

Review

 

 

Open Peer Review

Was?

Merkmale:

  • Identitäten der Reviewer*innen/ Autor*innen offen
  • Inhalte der Reviews offen
  • Antworten der Autor*innenen offen
  • offen für erweiterte Community
  • Zeitpunkt offen

Open Peer Review

Warum?

Vorteile

  • Anerkennung der Leistung für Reviewende (Anreizstrukturen)
  • potenzielle konkurrierende Interessen/ biased gatekeeping leichter erkennbar
  • Schnelligkeit der Dissemination (preprint oft nicht möglich bei blind review) (Wang, 2016)


Unklar

  • Qualität des Feedbacks?
    • Keine Unterschiede in Review-Qualität, Review-Empfehlung und Zeit der Anfertigung des Reviews (signed review: van Rooyen et al., 1999, öffentliches posten: 2010)

    • Höhere Qualität, konstruktiver, längere Bearbeitungszeit, Review-Empfehlnug tendenziell positiver (Walsh et al., 2000)

Open Peer Review

Warum?

Nachteile

  • fehlende Standards
  • Geringere Reviewquote (van Rooyen et al., 1999)
  • negative Folgen kritischer Gutachten ggü. etablierten Forscher*innen?

Open Peer Review

Beispiele

Collabra: Psychology:
Veröffentlichung der double-blind Reviews ohne Namen der Reviewenden bei Publikation (Supplemental Material)

PLOS ONE/ Frontiers in Education:
Kommentierung durch Peers (Kommentarfunktion)

F1000:

  • Veröffentlichung der “signed” Reviews
  • Veröffentlichung der Antworten
  • Kommentierung durch Peers

 

Chambers, C. D., Feredoes, E., D. Muthukumaraswamy, S., J. Etchells, P., & 1 Cardiff University Brain Research Imaging Centre, School of Psychology, Cardiff University; (2014). Instead of “playing the game” it is time to change the rules: Registered Reports at AIMS Neuroscience and beyond. AIMS Neuroscience, 1(1), 4–17. https://doi.org/10.3934/Neuroscience.2014.1.4

John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling. Psychological Science, 23(5), 524–532. https://doi.org/10.1177/0956797611430953

Kiyonaga, A., & Scimeca, J. M. (2019). Practical Considerations for Navigating Registered Reports. Trends in Neurosciences, 42(9), 568–572. https://doi.org/10.1016/j.tins.2019.07.003

Kwon, D. (2020). How swamped preprint servers are blocking bad coronavirus research. Nature, 581(7807), 130–131. https://doi.org/10.1038/d41586-020-01394-6

Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638–641. https://doi.org/10.1037/0033-2909.86.3.638

Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632

van Rooyen, S., Delamothe, T., & Evans, S. J. W. (2010). Effect on peer review of telling reviewers that their signed reviews might be posted on the web: Randomised controlled trial. BMJ, 341(nov16 2), c5729–c5729. https://doi.org/10.1136/bmj.c5729

van Rooyen, S., Godlee, F., Evans, S., Black, N., & Smith, R. (1999). Effect of open peer review on quality of reviews and on reviewers’ recommendations: A randomised trial. BMJ, 318(7175), 23–27. https://doi.org/10.1136/bmj.318.7175.23

Walsh, E., Rooney, M., Appleby, L., & Wilkinson, G. (2000). Open peer review: A randomised controlled trial. British Journal of Psychiatry, 176(1), 47–51. https://doi.org/10.1192/bjp.176.1.47

Wang, P. (2016, March). Open Peer Review: An Innovation in Scientific Publishing. iConference 2016 Proceedings. https://doi.org/10.9776/16315