False Positive คือการอ้างว่ามีผลกระทบทั้งที่ในความเป็นจริงไม่มี ไม่มีใครรู้ว่าสัดส่วนของเอกสารที่ตี พิมพ์มีผลลัพธ์ที่ไม่ถูกต้องหรือเกินจริง แต่มีสัญญาณว่าสัดส่วนนั้นไม่น้อย นักระบาดวิทยา John Ioannidis ได้ให้คำอธิบายที่ดีที่สุดสำหรับปรากฏการณ์นี้ในเอกสารที่มีชื่อเสียงในปี 2548 ซึ่งมีชื่อว่า ” ทำไมผลการวิจัยที่ตีพิมพ์ส่วนใหญ่จึงเป็นเท็จ ” สาเหตุหนึ่งที่ Ioannidis ให้ผลลัพธ์ที่ผิดพลาดมากมายเรียกว่า ” pการแฮ็ก” ซึ่งเกิดขึ้นจากแรงกดดันที่นักวิจัยรู้สึกว่าต้องการบรรลุนัยสำคัญทางสถิติ
ในการสรุปผลจากข้อมูล นักวิจัยมักอาศัย การ ทดสอบนัยสำคัญ
พูดง่ายๆ ก็คือการคำนวณ ” ค่า p ” ซึ่งเป็นความน่าจะเป็นของผลลัพธ์เช่นเราหากไม่มีผลกระทบจริงๆ หาก ค่า pน้อยเพียงพอ ผลลัพธ์จะถูกประกาศให้มีนัยสำคัญทางสถิติ
ตามเนื้อผ้า ค่า pที่น้อยกว่า .05 เป็นเกณฑ์สำหรับนัยสำคัญ หากคุณรายงานp <.05 ผู้อ่านมักจะเชื่อว่าคุณได้พบผลลัพธ์ที่แท้จริงแล้ว อย่างไรก็ตาม บางทีอาจไม่มีผลกระทบใด ๆ และคุณได้รายงานผลบวกลวงแล้ว
วารสารหลายฉบับจะเผยแพร่การศึกษาที่สามารถรายงานผลกระทบที่มีนัยสำคัญทางสถิติอย่างน้อยหนึ่งรายการเท่านั้น นักศึกษาระดับบัณฑิตศึกษาเรียนรู้อย่างรวดเร็วว่าการบรรลุp <.05 ในตำนานเป็นกุญแจสู่ความก้าวหน้า การได้รับปริญญาเอกและเป้าหมายสูงสุดในการได้รับการตีพิมพ์ในวารสารที่ดี
บรูซเพิ่งสำเร็จการศึกษาระดับปริญญาเอกและได้รับทุนอันทรงเกียรติเพื่อเข้าร่วมทีมวิจัยชั้นนำในสาขาของเขา การทดลองครั้งแรกของเขาไม่ได้ผลดีนัก แต่บรูซปรับแต่งขั้นตอนอย่างรวดเร็วและดำเนินการศึกษาครั้งที่สอง สิ่งนี้ดูมีแนวโน้มมากกว่า แต่ก็ยังไม่ให้ ค่า pน้อยกว่า .05
บรูซรวบรวมข้อมูลเพิ่มเติมด้วยความมั่นใจว่าเขากำลังทำบางอย่างอยู่ เขาตัดสินใจทิ้งผลลัพธ์บางรายการ ซึ่งดูออกนอกลู่นอกทางอย่างเห็นได้ชัด
จากนั้นเขาสังเกตเห็นว่ามาตรการหนึ่งของเขาให้ภาพที่ชัดเจนขึ้น ดังนั้นเขาจึงมุ่งเน้นไปที่สิ่งนั้น การปรับแต่งเพิ่มเติมอีกเล็กน้อย และในที่สุด Bruce ก็พบเอฟเฟกต์ที่น่าประหลาดใจเล็กน้อยแต่น่าสนใจจริงๆ ซึ่งได้ค่าp <.05 เขาเขียนผลการศึกษาอย่างระมัดระวังและส่งไปยังวารสารที่ดีซึ่งยอมรับรายงานของเขาเพื่อตีพิมพ์
บรูซพยายามอย่างมากที่จะค้นหาเอฟเฟกต์ที่เขารู้ว่าซุ่มซ่อนอยู่ที่ไหน
สักแห่ง นอกจากนี้ เขายังรู้สึกกดดันที่จะต้องทำให้p < .05 สูงขึ้น ดังนั้นเขาจึงสามารถประกาศนัยสำคัญทางสถิติ เผยแพร่การค้นพบของเขา และลิ้มรสความสำเร็จอันหอมหวาน
มีเพียงสิ่งเดียวที่จับได้: ไม่มีผลจริง แม้จะมีผลลัพธ์ที่มีนัยสำคัญทางสถิติ แต่ Bruce ได้เผยแพร่ผลบวกลวง
Bruce รู้สึกว่าเขากำลังใช้ข้อมูลเชิงลึกทางวิทยาศาสตร์เพื่อเปิดเผยผลที่ซ่อนอยู่ในขณะที่เขาทำตามขั้นตอนต่างๆ หลังจากเริ่มศึกษา:
ปัญหาคือตัวเลือกทั้งหมดเหล่านี้ทำขึ้นหลังจากเห็นข้อมูล บรูซอาจเก็บเชอร์รี่โดยไม่รู้ตัว – เลือกและปรับแต่งจนได้p ที่เข้าใจยาก < .05 แม้ว่าจะไม่มีผลกระทบ การเลือกและการปรับแต่งดังกล่าวอาจพบบางสิ่งในข้อมูลที่p <.05 ได้อย่างง่ายดาย
นักสถิติมีคำกล่าวว่า หากคุณทรมานข้อมูลมากพอ พวกเขาจะสารภาพ ทางเลือกและการปรับแต่งหลังจากเห็นข้อมูลเป็นแนวทางปฏิบัติการวิจัยที่น่าสงสัย การใช้สิ่งเหล่านี้ไม่ว่าจะโดยเจตนาหรือไม่ก็ตามเพื่อให้ได้ผลลัพธ์ทางสถิติที่ถูกต้องคือpการแฮ็กซึ่งเป็นสาเหตุสำคัญประการหนึ่งที่การเผยแพร่ผลลัพธ์ที่มีนัยสำคัญทางสถิติอาจเป็นผลบวกปลอม
สัดส่วนใดของผลงานที่เผยแพร่ผิดพลาด?
นี่เป็นคำถามที่ดีและเป็นคำถามที่โหดเหี้ยม ไม่มีใครรู้คำตอบซึ่งน่าจะแตกต่างกันไปในแต่ละสาขาการวิจัย
ความพยายามครั้งใหญ่และน่าประทับใจในการตอบคำถามเกี่ยวกับจิตวิทยาสังคมและความรู้ความเข้าใจได้รับการเผยแพร่ในปี 2015 นำโดย Brian Nosek และเพื่อนร่วมงานของเขาที่ Center for Open Science โครงการ Replicability Project: Psychology (RP:P) มีกลุ่มวิจัย 100 กลุ่มทั่วโลก แต่ละคนดำเนินการทำซ้ำอย่างรอบคอบจากหนึ่งใน 100 ผลลัพธ์ที่เผยแพร่ โดยรวมแล้วมีการทำซ้ำประมาณ 40 กรณีที่ค่อนข้างดีในขณะที่ประมาณ 60 กรณี การศึกษาการจำลองมีผลน้อยกว่าหรือน้อยกว่ามาก
การศึกษาการจำลองแบบ 100 RP:P รายงานผลกระทบที่มีขนาดโดยเฉลี่ยเพียงครึ่งหนึ่งของผลกระทบที่รายงานโดยการศึกษาดั้งเดิม การทำซ้ำที่ดำเนินการอย่างรอบคอบอาจให้ค่าประมาณที่แม่นยำกว่า การศึกษาต้นฉบับที่ถูก แฮ็ก ดังนั้นเราสรุปได้ว่าการศึกษาต้นฉบับประเมินผลกระทบที่แท้จริงสูงเกินไปโดยเฉลี่ย 2 เท่า ที่น่าตกใจ!
วิธีหลีกเลี่ยงการแฮ็กp
วิธีที่ดีที่สุดในการหลีกเลี่ยง การแฮ็ คคือการหลีกเลี่ยงการเลือกหรือปรับแต่งใด ๆ หลังจากเห็นข้อมูล กล่าวอีกนัยหนึ่ง หลีกเลี่ยงการทำวิจัยที่น่าสงสัย ในกรณีส่วนใหญ่ วิธีที่ดีที่สุดในการดำเนินการนี้คือการลง ทะเบียนล่วงหน้า
การลงทะเบียนล่วงหน้ากำหนดให้คุณต้องเตรียมแผนการวิจัยโดยละเอียดล่วงหน้า รวมถึงการวิเคราะห์ทางสถิติที่จะใช้กับข้อมูล จากนั้นคุณลงทะเบียนแผนล่วงหน้าพร้อมประทับวันที่ที่Open Science Frameworkหรือลงทะเบียนออนไลน์อื่นๆ
แล้วทำการศึกษาวิเคราะห์ข้อมูลตามแผนและรายงานผลว่าเป็นเช่นไร ผู้อ่านสามารถตรวจสอบแผนที่ลงทะเบียนล่วงหน้าและมั่นใจได้ว่ามีการวิเคราะห์ระบุไว้ล่วงหน้าและไม่ถูกแฮ็ก การลงทะเบียนล่วงหน้าเป็นแนวคิดใหม่ที่ท้าทายสำหรับนักวิจัยหลายคน แต่น่าจะเป็นหนทางแห่งอนาคต
การประมาณค่ามากกว่าค่าp
การล่อลวงให้pแฮ็คเป็นหนึ่งในข้อเสียใหญ่ของการพึ่งพาค่าp อีกประการหนึ่งคือ เกณฑ์ p <.05 ส่งเสริมการคิดแบบขาวดำ: เอฟเฟกต์มีนัยสำคัญทางสถิติหรือไม่ก็ได้ ซึ่งฟัง ดูเหมือนเป็นการบอกว่ามีเอฟเฟก ต์อยู่หรือไม่มี
แต่โลกนี้ไม่ใช่ขาวดำ หากต้องการทราบเฉดสีเทาจำนวนมาก จะดีกว่ามากหากใช้การประมาณ ค่า มากกว่าค่าp จุดมุ่งหมายของการประมาณคือการประมาณขนาดของผลกระทบ ซึ่งอาจเล็กหรือใหญ่ เป็นศูนย์หรือเป็นลบก็ได้ ในแง่ของการประมาณค่า ผลบวกปลอมคือการประมาณค่าที่มากกว่าหรือมากกว่าค่าที่แท้จริงของผลกระทบ
ลองศึกษาสมมุติฐานเกี่ยวกับผลกระทบของการบำบัด ตัวอย่างเช่น การศึกษาอาจประเมินว่าการบำบัดช่วยให้ความวิตกกังวลลดลงโดยเฉลี่ย 7 จุด สมมติว่าเราคำนวณช่วงความเชื่อมั่น จากข้อมูลของเรา ซึ่งเป็นช่วงความไม่แน่นอนด้านใดด้านหนึ่งของการประมาณการที่ดีที่สุดของเราที่ [4, 10] สิ่งนี้บอกเราว่าค่าประมาณ 7 ของเราน่าจะอยู่ในระดับประมาณ 3 คะแนนจากระดับความวิตกกังวลของผลกระทบที่แท้จริง ซึ่งเป็นค่าเฉลี่ยที่แท้จริงของผลประโยชน์ของการบำบัด
กล่าวอีกนัยหนึ่ง ช่วงความเชื่อมั่นบ่งชี้ว่าค่าประมาณของเราแม่นยำเพียงใด การทราบค่าประมาณและช่วงความเชื่อมั่นนั้นให้ข้อมูลมากกว่าค่าp ใดๆ
ฉันอ้างถึงการประมาณว่าเป็นหนึ่งใน “สถิติใหม่” เทคนิคเหล่านี้ไม่ใช่เรื่องใหม่ แต่การใช้เทคนิคเหล่านี้เป็นวิธีหลักในการสรุปผลจากข้อมูลสำหรับนักวิจัยหลายๆ คนอาจเป็นเรื่องใหม่และเป็นก้าวสำคัญ นอกจากนี้ยังช่วยหลีกเลี่ยงการบิดเบือนที่เกิดจากการแฮ็ค
Credit : UFASLOT888G
