diff --git a/05_replication_failure/latex_src/references.bib b/05_replication_failure/latex_src/references.bib index a9759f0..bc2e974 100644 --- a/05_replication_failure/latex_src/references.bib +++ b/05_replication_failure/latex_src/references.bib @@ -78,4 +78,16 @@ keywords = "Metaphor", keywords = "Mandarin", keywords = "Language and thought " -} \ No newline at end of file +} + +@article{Westfall:Kenny:Judd:2014, + title={Statistical power and optimal design in experiments + in which samples of participants respond to samples of stimuli.}, + author={Westfall, Jacob and Kenny, David A and Judd, Charles M}, + journal={Journal of Experimental Psychology: General}, + volume={143}, + number={5}, + pages={2020}, + year={2014}, + publisher={American Psychological Association} +} diff --git a/05_replication_failure/latex_src/replication_failure_main.tex b/05_replication_failure/latex_src/replication_failure_main.tex index ed87f66..d62f962 100644 --- a/05_replication_failure/latex_src/replication_failure_main.tex +++ b/05_replication_failure/latex_src/replication_failure_main.tex @@ -1,5 +1,5 @@ -\documentclass[a4paper,doc]{apa6} +\documentclass[a4paper, doc, 10pt]{apa6} \usepackage[T1]{fontenc} \usepackage[utf8]{inputenc} \usepackage[german]{babel} @@ -10,62 +10,43 @@ \title{Replication failure} \author{Felicia Saar, David-Elias Künstle} \affiliation{Kurs Linguistics for Cognitive Science, Universität Tübingen} +\shorttitle{} \begin{document} \maketitle{} -In \cite{Boroditsky20011} werden drei Studien vorgestellt die zeigen dass Sprache, insbesondere die Muttersprache stark unsere Art zu denken beeinflusst. Die ist eine Evidenz für die Whorf Hyphothese, die besagt, dass wie ein Mensch denkt von Grammatik und Wortschatz seiner Muttersprache beeinflusst wird in soweit, dass ein Mensch mit einer anderen Muttersprache nicht mehr die selben Gedankengänge haben kann. \cite{Boroditsky20011} zeigt in der ersten Studie, dass im Englischen die Zeit horizontal und in Mandarin vertikal wahrgenommen wird. Aus der zweite Studie folgt, dass bei Mandarin-Englisch Zweisprachlern die Ausrichtung der Zeit davon abhängt, wann sie beganen Englisch zu lernen und aus dem dritten Experiment, dass die Tendenz aus der Muttersprache durch eine kurze Übungsphase auch zum anderen verändert werden kann. +In \cite{Boroditsky20011} werden drei Studien vorgestellt, die zeigen, dass Sprache -insbesondere die Muttersprache- stark unsere Art zu denken beeinflusst. +Dies ist eine Evidenz für die Whorf Hyphothese, die besagt, dass wie ein Mensch denkt von Grammatik und Wortschatz seiner Muttersprache entscheidend %TODO entschieden? +beeinflusst wird. +\cite{Boroditsky20011} zeigt in der ersten Studie, dass im Englischen die Zeit horizontal und in Mandarin vertikal wahrgenommen wird. Aus der zweiten Studie folgt, dass bei bilingualen Mandarin-Englisch Sprechern die Ausrichtung der Zeit davon abhängt, wann sie begannen Englisch zu lernen. Im dritten Experiment wird gezeigt, dass die Tendenz zu einer Zeitrepräsentation durch eine kurze Übungsphase auch zu derjenigen der anderen Sprache verändert werden kann. -Die Wahl der Experimente ist soweit schlüssig - zunächst eines um die Grundlage als Zusammenhang von Sprache und Zeitorientierung zu legen, um dann die wahrgenommene Zeitorientierung einmal direkt (Experiment 3) und einmal indirekt durch die Sprachlerndauer (Experiment 2) zu modulieren. -Schaut man jedoch genauer, kann man hier Lücken finden. So ist zum Beispiel vorstellbar, dass die Intensität mit der eine Sprache unser Denken beeinflusst nicht unbedingt von der Dauer des Lernens dieser, sondern auch von der Intensität des Lernens, dem kulturellen oder intellektuellen Umfeld, dem Anteil des Anwendens und weiteren schwer kontrollierbaren Variablen liegt. -Insbesondere problematisch bei so einer zeitlich integralen Variable wie dem Sprachlernen ist, dass die Beeinflussung unseres Denkvermögens höchstwahrscheinlich nicht linear ist. -So scheint ein kurzes Lernen in Experiment 3 die gesamte Spracherfahrung, kurzzeitig, zu überschreiben. Dies ist in Hinblick auf die kortikale Flexibilität durchaus plausibel. -Jedoch macht dies die Glaubwürdigkeit der Ergebnisse von Experiment 2 in doppelter Hinsicht unglaubwürdig. Zum einen ist damit die Länge des Englischlernens scheinbar sehr unwichtung, und zum anderen macht eröffnet es die Möglichkeit, dass Ereignisse kurz vor dem Experiment die wahrnehmung der Zeitorientierung mehr beeinflussten als die letzten Jahre Sprache. +Die Wahl der Experimente ist soweit schlüssig - zunächst wird als Grundlage der Zusammenhang von Sprache und Zeitorientierung dargelegt, anschließend die wahrgenommene Zeitorientierung einmal direkt (Experiment 3) und einmal indirekt durch die Sprachlerndauer (Experiment 2) moduliert. +Jedoch lassen sich hier Lücken finden. So ist zum Beispiel vorstellbar, dass die Intensität, mit der eine Sprache unser Denken beeinflusst, nicht unbedingt von der Dauer des Lernens, sondern auch von der Intensität des Lernens der Sprache, dem kulturellen oder intellektuellen Umfeld, dem Anteil des Anwendens und weiterer schwer kontrollierbarer Variablen abhängt. +Insbesondere problematisch bei einer zeitlich integralen Variable wie dem Sprachlernen ist, dass die Beeinflussung unseres Denkvermögens höchstwahrscheinlich nicht linear ist. +So scheint eine kurze Lernphase in Experiment 3 die gesamte Spracherfahrung kurzzeitig zu überschreiben. Dies ist im Hinblick auf die kortikale Flexibilität durchaus plausibel. +Jedoch macht dies die Glaubwürdigkeit der Ergebnisse von Experiment 2 in doppelter Hinsicht unglaubwürdig. Zum einen ist damit die Länge des Englischlernens scheinbar sehr unwichtig, und zum anderen eröffnet es die Möglichkeit, dass Ereignisse kurz vor dem Experiment die Wahrnehmung der Zeitorientierung mehr beeinflussen könnten als die letzten Jahre Spracherfahrung. -\cite{January2007417} stellt in sechs Anläufen die Experimente von \cite{Boroditsky20011} nach. Dabei wird versucht die Unterschiede mit persönlichem Kontakt zu Boroditzky zu minimieren, sodass insbesondere die letzten beiden Anläufe theoretisch ohne Unterschied zum Vorbild laufen sollen. -Dennoch finden sich in der statistischen Auswertung nicht die signifikanten Effekte. Dabei kritisiert der Autor insbesondere auch den unschlüssigen Zusammenhang von Experiment 1 und 3, also den Langzeiteinfluss. +\cite{January2007417} stellt in sechs Anläufen die Experimente von \cite{Boroditsky20011} nach. Dabei wird versucht, die Unterschiede zwischen den Experimenten in Zusammenarbeit mit Boroditzky zu minimieren, sodass insbesondere die letzten beiden Anläufe theoretisch ohne Unterschied zum Vorbild ablaufen sollen. +Dennoch finden sich in der statistischen Auswertung nicht die signifikanten Effekte. Insbesondere kritisiert der Autor den unschlüssigen Zusammenhang von Experiment 2 und 3, also den Langzeiteinfluss. -Die Grundlage der theoretischen Argumentation von \cite{Boroditsky20011} wird von \cite{Chen2007427} angegriffen. In Text aus Nachrichten und Googlesuche sowie durch vier Experimente wird der Anteil von horizontalen und vertikalen Verständnis von Zeit in Englisch und insbesondere Mandarin bestimmt. -Mit dem Ergebnis, dass auch in Mandarin der horizontale Ausdruck häufiger ist, wiederlegt der Autor die Ergebnisse des ersten Experiments von \cite{Boroditsky20011}. Frei nach ex falso quodlibet werden dadurch auch die Interpretationen der beiden anderen Experimente hinfällig. +Die Grundlage der theoretischen Argumentation von \cite{Boroditsky20011} wird von \cite{Chen2007427} angegriffen. In Text aus Nachrichten und Googlesuche sowie durch vier Experimente wird der Anteil von horizontalen und vertikalen Verständnis von Zeit in Englisch und Mandarin bestimmt. +Mit dem Ergebnis, dass auch in Mandarin der horizontale Ausdruck häufiger verwendet wird, widerlegt der Autor die Ergebnisse des ersten Experiments von \cite{Boroditsky20011}. Frei nach ex falso quodlibet verlieren dadurch auch die Interpretationen der beiden anderen Experimente ihre Gültigkeit. Nichts desto trotz verteidigt~\cite{Boroditsky2011123} die These mit Berufung auf eine Vielzahl an Referenzen. -Es wird noch einmal klar gestellt, dass Mandarinsprecher Zeit mehr im vertikalen Sinne nutzen als Englischsprecher. -In einem erneuten Experiment mit einer größeren Stichprobe kommen die Authoren auch zu einem dazu passenden Ergebnis. -Dabei werden Knöpfe horizontal oder vertikal angeordnet zur Bewertung der Zeitrelation von Bildern mit der abhängigen Variable Reaktionszeit verwendet. -Sowohl bei Englisch- als auch Mandarinsprecher gibt es einen Effekt in der horizontalen Kondition, aber bei der vertikalen nur für die Mandarinsprecher. Jedoch zeigten im gesamten die Englischsprecher signifikant kürzere Reaktionszeiten. -Die Autoren erklären dies mit vermutlich größerer Gewohnheit an psychologischen Reaktionszeitexperimenten, was jedoch die schwäche der Stichprobe offenbart. +Es wird noch einmal festgestellt, dass Mandarinsprecher Zeit mehr im vertikalen Sinne verstehen als Englischsprecher. +In einem erneuten Experiment mit einer größeren Stichprobe kommen die Autoren erneut zu einem dazu passenden Ergebnis. +Dabei werden Knöpfe horizontal oder vertikal angeordnet und zur Bewertung der Zeitrelation von Bildern mit der abhängigen Variable Reaktionszeit verwendet. +Sowohl bei Englisch- als auch Mandarinsprechern gibt es einen Effekt in der horizontalen Kondition, bei der vertikalen jedoch nur für die Mandarinsprecher. Insgesamt zeigten die Englischsprecher allgemein signifikant kürzere Reaktionszeiten. +Die Autoren erklären dies mit einer vermuteten größeren Gewohnheit an psychologische Reaktionszeitexperimente, was jedoch die Schwäche der Stichprobe offenbart. +\cite{Westfall:Kenny:Judd:2014} zeigen eine weiter mögliche Fehlerquelle auf. In ihrem Paper analysieren sie verschiedene Versuchsdesigns und erklären, warum die verwendeten Stimuli einen ebenso großen Einfluss auf die Ergebnisse eines Experiments haben, wie die teilnehmenden Versuchspersonen. Genauso, wie Stichprobe der Teilnehmer zufällig gewählt und groß genug sein sollte, muss dies auch für die Stimuli gelten, insbesondere wenn anzunehmen ist, dass große individuelle Unterschiede zwischen den Reaktionen der Versuchspersonen bestehen. +\cite{Boroditsky20011} verwendet im ersten Experiment 16 Sätze über die Reihenfolge der Monate im Jahr. Diese bilden einen sehr kleiner Teil der in natürlicher Sprache vorkommenden Sätze mit Zeitbezug. +Die Schwierigkeiten in der Replikation des Experiments deuten darauf hin, dass die Effektstärke begrenzt ist. - -% %%% ASSIGNMENT DESCRIPTION %%% - -% The work by Boroditsky on language and thought has been criticized for not -% replicating, as a simple google search for "Boroditsky replication failure" -% will reveal. -% %%% DONE: Paper beschrieben - -% For this assignment, please conduct a literature search on which -% studies did not replicate, and whether Boroditsky responded to these -% accusations (probably, her webpage is likely to provide ample references to her -% responses). -% %%% DONE: January -% %%% DONE: Chen -% %%% TODO: Homepage -% %%% DONE: Boroditzky 2011 - -% The paper by Westfall et al. (2014) provides some indications of -% the power of experiments with subjects and items - and one question that this -% statistical study raises with respect to Boroditsky's work is whether her -% experimental designs have enough power to make replication likely. -% %%% TODO: Westfall - -% In your essay (2 pages approximately), clarify whether at the end of the day -% you think Boroditsky is on to something, or whether you prefer to stay agnostic -% (or even think that there is just nothing there). -% %%% DONE: Paper eingeordnet und Kommentiert -% %%% TODO: Conclusion - -% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +Die Idee, dass die (Mutter-)Sprache das menschliche Denken und damit die Zeitwahrnehmung beeinflusst, erscheint jedoch subjektiv sehr plausibel. Viele kennen das Gefühl, beim Lernen und Sprechen einer Fremdsprache eine neue Bedeutungsebene von Wörtern und Konzepten zu erkennen. +Viele Lerntechniken basieren darauf, sich die Lerninhalte in verschieden Formen räumlich zugänglich zu machen. Es erscheint logisch, dass die gelernte räumliche Vorstellung auch die Reaktionszeiten in Experimenten verändert. +Wir vermuten, dass auch noch viele andere Einflüsse eine Rolle spielen, die schwer zu kontrollieren sind. Diese können sowohl kurzfristig (Tagesform, Instruktionssprache, Versuchsleitereffekte) als auch langfristig (Sozialisation, Bildung, Übung in Versuchen) vorliegen. +Dies erschwert die experimentelle Untermauerung der Theorie. \printbibliography{}