MENU
  • Home
  • Actueel
    • Nieuws
  • Inhoud
    • Laatste nummer
    • Archief
    • Rubrieken
    • Redactioneel
    • Artikelen
    • Boekbespreking
    • Dankwoord
    • Vacature
    • In Memoriam
    • Jaaroverzicht
    • Diversen
  • Auteurs
    • Overzicht auteurs
    • Auteursrichtlijnen
  • Abonnementen
    • Abonnement aanvragen
    • Voorwaarden en wijzigingen
  • Over TCW
    • Achtergrond
    • Redactie
    • Adverteren
    • Contact
Inloggen
Inhoud
Inhoudsopgave jaargang 45 (2017) / nummer 2
PDF  

Redactioneel

Anika Batenburg, Marijn H.C. Meijers, Johanna van Oosten
22 juni 2017

Samenvatting

Binnen de sociale wetenschappen wordt de laatste jaren steeds meer aandacht besteed aan het zo integer mogelijk uitvoeren en rapporteren van empirisch onderzoek (e.g., Koole & Lakens, 2012; Masicampo & Lalande, 2012; Simmons, Nelson & Simonsohn, 2011). Om meer inzicht te krijgen in de robuustheid en betrouwbaarheid van reeds bestaande bevindingen, is het repliceren van empirische bevindingen een belangrijk onderdeel van de wetenschap.

 

Binnen verschillende vakgebieden zijn er themanummers verschenen waarin enkel replicatieonderzoek werd gepubliceerd, bijvoorbeeld in Social Psychology (Nosek & Lakens, 2014) en Journal of Advertising (Eisend, Franke & Leigh, 2016). Het Journal of Marketing Behavior heeft in elke uitgave een zogenoemde replication corner. Daarnaast verscheen er in het tijdschrift Communication Methods and Measures een special uitgave over ‘questionable research and publication practices in communication science’ (Vermeulen & Hartmann, 2015) en in het Journal of Experimental Social Psychology een uitgave over ‘methodological rigor and replicability’ (Stangor & Lemay, 2016).

 

Ondanks deze aandacht blijft het publiceren van directe replicaties lastig, omdat de meeste tijdschriften de voorkeur geven aan het naar buiten brengen van nieuwe bevindingen boven het verifiëren van al bestaande bevindingen (Giner-Sorolla, 2012). Dit leidt ertoe dat directe replicaties een zeldzaamheid zijn binnen onze discipline. Verschillende onderzoekers wijzen echter wel op het grote belang van replicatiestudies (Levelt, Drenth & Noort, 2012; Koole & Lakens, 2012; Simons, 2014). Replicatiestudies zouden een belangrijkere plek in de literatuur kunnen krijgen door ze bijvoorbeeld online direct te linken aan het originele artikel (Koole & Lakens, 2012). Met deze speciale uitgave willen we binnen de communicatiewetenschap replicatieonderzoek verder stimuleren. Allereerst dient deze uitgave als een ‘testcase’: hoe verloopt het uitvoeren, rapporteren en publiceren van replicatieonderzoek precies? Daarnaast hopen we onderzoekers hiermee de charmes en het belang van replicaties te laten inzien, en daarmee te inspireren om vaker replicatieonderzoek uit te voeren.

 

Bij de replicaties in deze speciale uitgave werd er gebruik gemaakt van pre-registratie (zogenaamde registration reports; Chambers, Feredoes, Muthukumaraswamy & Etchells, 2014; Nosek & Lakens, 2014). Bij zo’n registration report ligt de focus voor de referent vooral bij de relevantie van de onderzoeksvraag en de kwaliteit van de methode in plaats van bij de (significante) uitkomsten. Voor deze uitgave betekende dat concreet dat de auteurs een onderzoeksvoorstel (theorie en methodesectie) indienden en dat dit voorstel vervolgens werd beoordeeld op de relevantie en gedegenheid ervan. Na goedkeuring van de referenten konden de auteurs overgaan tot het uitvoeren van het onderzoek. Vervolgens werd het complete artikel nog eens van commentaar van de referenten voorzien en werd beoordeeld of het onderzoek daadwerkelijk goed was uitgevoerd. Indien dat het geval was, werd het artikel geaccepteerd, ongeacht of de resultaten in lijn met de bevindingen van de originele studie waren of niet. Naast het repliceren van een bestaande studie, hebben we de auteurs gevraagd om een korte reflectie te schrijven op het proces.

 

In de eerste bijdrage van Monique Pollmann en collega’s wordt een veelgeciteerd onderzoek van Van Kleef, De Dreu en Manstead (2004) gerepliceerd. In het originele onderzoek werd gevonden dat wanneer mensen onderhandelen met een persoon die aangeeft boos te zijn, zij vaker concessies doen dan wanneer ze onderhandelen met een persoon die aangeeft blij te zijn. Het experiment werd herhaald onder een groep van 147 Nederlandse studenten. De onderzoekers vonden dat, net als in de originele studie, proefpersonen eerder geneigd waren concessies te doen aan boze dan aan blije onderhandelaars.

 

Johanna van Oosten repliceerde in de tweede bijdrage een experiment van Nekmat (2012), waarin de effecten van het presenteren van een mening aan een online publiek, en het effect van de gelijksoortigheid van het publiek, op elaboratie, leereffecten en attitudeverandering werden onderzocht. Het experiment werd herhaald onder een groep van 121 Nederlandse studenten, waarbij participanten werd gevraagd hun mening over een blog over ‘sexting’ te delen met vrienden, met vreemden, of deze blog slechts te lezen zonder hun mening hierover met anderen te delen. In deze replicatiestudie werden enkel niet-significante patronen gevonden (die wel in de richting van het originele onderzoek lagen): cognitieve elaboratie en geleerde inhoud waren het hoogst in de ‘ongelijksoortig publiek’-conditie (‘vreemden’), gevolgd door de ‘gelijksoortig publiek’-conditie (‘vrienden’), en het laagst in de conditie zonder zelfexpressie.

 

In de derde bijdrage repliceerden Isabelle Cuykx en Tim Smits een recente studie van Pagani, Goldsmith en Perracchio (2015), waarin werd aangetoond dat het laten zien van een originele Engelse tv-reclame in de landen Italië, Duitsland en Spanje tot minder positieve advertentieattitudes en merkattitudes leidde dan het laten zien van een ingesproken of ondertitelde versie. In tegenstelling tot de originele studie, werden er in Wallonië (waar men meer gewend is aan ingesproken tv-reclames, zoals in de originele onderzoekslanden) geen verschillen tussen de drie condities gevonden. In Vlaanderen (waar men meer gewend is aan ondertitelde tv-reclames) had men de voorkeur voor de ondertitelde of de originele Engelse tv-reclame boven de ingesproken reclame.

 

In deze speciale uitgave hebben de auteurs dus niet alle originele resultaten kunnen repliceren, in één geval liet de replicatiestudie zelfs andere bevindingen zien dan het originele onderzoek. Dit is echter nog geen indicatie dat de eerdere bevindingen niet robuust of betrouwbaar zijn. Allereerst bleek het binnen onze discipline erg lastig om pure, directe replicaties uit te voeren. De auteurs van de huidige bijdragen gaven in hun reflectie bijvoorbeeld aan dat de steekproef vaak anders is dan de originele steekproef en het stimulusmateriaal vaak moet worden aangepast vanuit een andere taal of context, wat de resultaten natuurlijk kan beïnvloeden. Zelfs wanneer de auteurs van de originele publicatie alle medewerking verleenden, konden er kleine verschillen in de procedure ontstaan, schrijven Monique Pollmann en collega’s in hun reflectie (Pollmann et al., 2017). In de reflectie van Johanna van Oosten in dit nummer over het doen van replicatieonderzoek wordt dan ook gepleit voor het doen van meerdere conceptuele replicaties (Van Oosten, 2017). Eén enkele replicatie is niet voldoende om de betrouwbaarheid en robuustheid van bevindingen daadwerkelijk aan te tonen. Er zijn vele replicaties van een studie nodig om duidelijke conclusies te kunnen trekken (zie bijvoorbeeld Klein et al., 2014; Open Science Collaboration, 2015; Schweinsberg et al., 2016).

 

De auteurs van de verschillende bijdragen vonden het doen van replicatieonderzoek een interessante en leerzame exercitie. Zo gaven ze allemaal aan dat ze nu meer aangespoord waren nog beter naar de methodesectie van een artikel te kijken. Daarbij gaven Tim Smits en Isabelle Cuykx ook aan dat het doen van replicatieonderzoek tot meer theoretische reflectie leidt en daardoor, vaak tegen het heersende idee in, juist een goede oefening is voor thesisstudenten. Studenten worden zo namelijk niet alleen genoodzaakt goed naar de methode- en resultatensectie te kijken en deze tot zich te nemen, maar ook aangespoord eens goed te bekijken of er geen gedeelten van de theorie onderbelicht zijn gebleven (Smits & Cuykx, 2017).

 

We willen de auteurs en referenten bedanken voor het werk dat zij hebben verricht voor dit special issue. We zijn blij met het eindresultaat, en we wensen u dan ook veel leesplezier en inspiratie toe!

Vorige Inhoudsopgave Volgende
Twitter Facebook Linkedin
Delen Print PDF

Literatuur

  • Chambers, C., Feredoes, E., Muthukumaraswamy, S. D., & Etchells, P. J. (2014). Instead of “playing the game” it is time to change the rules: Registered Reports at AIMS Neuroscience and beyond. AIMS Neuroscience, 1(1), 4-17.
  • Eisend, M., Franke, G. R., & Leigh, J. H. (2016). Reinquiries in advertising research. Journal of Advertising, 45(1), 1-3.
  • Giner-Sorolla, R. (2012). Science or art? How aesthetic standards grease the way through the publication bottleneck but undermine science. Perspectives On Psychological Science, 7, 562-571. doi:10.1177/1745691612457576
  • Klein, R. A., Ratliff, K. A., Vianello, M., Adams Jr, R. B., Bahník, Š. Bernstein, M. J., & Cemalcilar, Z. (2014). Investigating variation in replicability. Social Psychology, 45, 142-152. doi: 10.1027/1864-9335/a000178
  • Koole, S., & Lakens, D. (2012). Rewarding replications: A sure and simple way to improve psychological science. Perspectives on Psychological Science, 7(6), 608-614.
  • Levelt, W. J. M., Drenth, P., & Noort, E. (2012). Falende wetenschap: De frauduleuze onderzoekspraktijken van sociaal-psycholoog Diederik Stapel. Tilburg University, Universiteit van Amsterdam, Rijksuniversiteit Groningen.
  • Masicampo, E. J., & Lalande, D. R. (2012). A peculiar prevalence of p values just below .05. Quarterly Journal of Experimental Psychology, 65(11), 2271-2279.
  • Nekmat, E. (2012). Message expression effects in online social communication. Journal of Broadcasting & Electronic Media, 56, 203-224. doi:10.1080/08838151.2012.678513
  • Nosek, B. A., & Lakens, D. (2014). Registered reports: A method to increase the credibility of published results. Social Psychology, 45, 137-141. doi: 10.1027/1864-9335/a000192
  • Pagani, M., Goldsmith, R., & Perracchio, A. (2015). Standardization vs. adaptation: consumer reaction to TV ads containing subtitled or English dubbed ads. International Journal of Advertising, 34(4), 702-714.
  • Schweinsberg, M., Madan, N., Vianello, M., Sommer, S. A., Jordan, J., Tierney, W., … Uhlmann, E. L. (2016). The pipeline project: Pre-publication independent replications of a single laboratory’s research pipeline. Journal of Experimental Social Psychology, 66, 55-67.
  • Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359-1366.
  • Simons, D. J. (2014). The value of direct replications. Perspectives on Psychological Science, 9(1), 76-80.
  • Stangor, C., & Lemay, E. P. (2016). Introduction to the special issue on methodological rigor and replicability. Journal of Experimental Social Psychology, 66, 1-166.
  • Van Kleef, G. A., De Dreu, C. K., & Manstead, A. S. (2004). The interpersonal effects of anger and happiness in negotiations. Journal of personality and social psychology, 86(1), 57-76.
  • Vermeulen, I., & Hartmann, T. (2015). Questionable research and publication practices in communication science. Communication Methods and Measures, 9(4), 189-192.

© 2009-2021 Uitgeverij Boom Amsterdam


De artikelen uit de (online)tijdschriften van Uitgeverij Boom zijn auteursrechtelijk beschermd. U kunt er natuurlijk uit citeren (voorzien van een bronvermelding) maar voor reproductie in welke vorm dan ook moet toestemming aan de uitgever worden gevraagd:


Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch door fotokopieën, opnamen of enig andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikelen 16h t/m 16m Auteurswet 1912 jo. Besluit van 27 november 2002, Stb 575, dient men de daarvoor wettelijk verschuldigde vergoeding te voldoen aan de Stichting Reprorecht te Hoofddorp (postbus 3060, 2130 KB, www.reprorecht.nl) of contact op te nemen met de uitgever voor het treffen van een rechtstreekse regeling in de zin van art. 16l, vijfde lid, Auteurswet 1912. Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16, Auteurswet 1912) kan men zich wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten, postbus 3060, 2130 KB Hoofddorp, www.cedar.nl/pro).

No part of this book may be reproduced in any way whatsoever without the written permission of the publisher.

Jaargang 48/2020 | nr. 4

ABONNEER je nu NIEUWSTE nummer VORIGE nummers
© 2009-2021