《統計與謊言》一文所討論的是有意用統計數字來撒謊的一些事例,但其實統計本身就蘊含許多陷阱,即使是誠實的研究人員也往往陷入錯誤的結論而不自知,其中很重要的一個誤區叫做Simpson’s Paradox(辛普森悖論)。這是選擇性偏差的一個特例;其他常見的選擇性偏差還包括倖存者偏差和Berkson’s Paradox
辛普森悖論最著名的案例來自一篇1975年發表在《Science》的論文(參見《Sex Bias in Graduate Admissions》,http://homepage.stat.uiowa.edu/~mbognar/1030/Bickel-Berkeley.pdf),文章對UC Berkeley在1973學年研究所招生的數據做了統計,發現男生的錄取率是3738/8442=44.3%,而女生則是1494/4321=34.6%。如果這個結果就這樣被媒體報導,幾乎可以確定校方會被嚴厲批評為性別歧視的男性沙文主義者,然而…
論文作者把錄取人數根據不同的系所細分開來。因爲系所太多,這裏我們只檢驗其中最大的四個,這時男生的錄取率是1123/2127=52.8%,女生是439/1101=39.9%,差距更大了!不過請看更詳細的資料:
系所 |
男生 |
女生 | ||||
錄取 |
申請 |
錄取率 |
錄取 |
申請 |
錄取率 | |
A |
512 |
825 |
62.1% |
89 |
108 |
82.4% |
B |
353 |
560 |
63.0% |
17 |
25 |
68.0% |
C |
120 |
325 |
36.9% |
202 |
593 |
34.1% |
D |
138 |
417 |
33.1% |
131 |
375 |
34.9% |
總計 |
1123 |
2127 |
52.8% |
439 |
1101 |
39.9% |
四個系所中,只有C略偏男生,而且差別很小,A、B和D都優先錄取女生,其中A對女性的偏愛程度極高,明顯不是統計噪音。
之所以會有這樣互相矛盾的兩種結論,在於決定錄取率的最重要變數其實是系所:A和B的整體錄取率是2/3,而C和D只有1/3。如果忽略這個主要變數,硬是把所有的數據叠加在一起,那麽真正影響男女錄取率差別的,就是他們的系所選擇偏好,而不是性別本身。
總結來説,辛普森悖論是主變數被忽略不計,直接將全部數據對次要變數做統計分析時,可能出現的是非顛倒。這似乎是個很簡單的道理,然而這個世界充滿了因爲對這個悖論無知而產生的錯誤結論,對政治、文化、經濟都有深遠的影響。
例如自由市場論者喜歡强調自由競爭,說這會讓能者出頭獲勝。但在自由市場經濟裏,能力並不是成功的頭號條件,資源和機運才是決定性的。像是Trump有何德何能,能在公平競爭下脫穎而出?他靠的是有錢可以雇人幫他考SAT、有錢可以請人幫他寫介紹信、有錢可以讓醫生僞造骨刺證明來逃避兵役、有錢可以收買地方政客、運氣好碰上民粹興起等等。
把人與人的競爭放大到國與國的層面,辛普森悖論也同樣被歐美宣傳體系利用來扭曲事實。國家的治理成果,其實主要取決於是否有足夠的人力、財力、物力、科技能力,以及將這些能力有效統籌運用的組織紀律。這些先進國家習慣了自身應對挑戰有充分資源(主要來自上代的掠奪)的優勢(包括能高薪養廉),反過來宣傳説他們的成功源自西式民主體制的優越性。這次新冠疫情是很無情的打臉;英美或許沒有自我反思的能力,但是廣大的第三世界自然會得到客觀的結論。
美國爲了彌補蓄奴和種族歧視的歷史包袱,廣汎采納了Affirmative Action(平權措施),也是利用辛普森悖論來為錯誤政策正名。學生的成績,其主要變數是天分和努力,忽略這些因素不計,直接針對種族這個次要變數來做文章,自然就導致更嚴重的歧視,只不過受害者換成了亞裔。
正因爲要做統計性的結論必須小心避免許多類似辛普森悖論的陷阱,醫學界堅持大規模隨機雙盲對照實驗其實是最基本的要求;這裏事先獨立決定的隨機取樣,就是爲了避免造成各種選擇性偏差,包括辛普森悖論在内。中醫教的信徒遇到盲腸炎或外傷時,並不優先去看中醫,只有在現代科學的能力極限外,才敢大肆吹噓沒有統計意義的軼事,這不但是不知避免選擇性偏差,而且是故意製造選擇性偏差,那麽顛倒是非自然難免,事實上顛倒是非正是他們的目的。
【後註一】博客這裏的留言欄,和我私下收到的通訊,都有質疑我對中醫評價的聲浪,我想在這裏分享一下我給其中一人的回信,解釋爲什麽我會説得那麽決絕、不留情面。至於一人單挑龐大的利益集團,我連美國霸權都公開批評六年了,難道中醫教自認勢力比美國更大嗎?
我明白有些從業的中醫其實存心很善良,只是誤入歧途,就很難跳出來。你看高能物理界多少人去追捧超弦這樣的僞科學?他們照理說是科學界的精英啊!很多中醫原本就不是做科學的,從這個角度看,我或許有些話説得重了;不過從國家民族的觀點,這是確確實實的極大隱憂,如果現在不改進,20年後隨著中國國力持續上升,全世界都會跟著搞這些無用的花樣,那時只怕枉死的人數要以百萬甚至千萬計。我支持中國崛起,是爲了全人類的福祉,不是要用中國版的愚昧和謊話來取代美國版。一般人看不清未來倒也罷了,我既然能預見這事,如果爲了怕衝突而退縮,就無法面對自己的良心。
你還記得幾年前有讀者羡慕我料事如神嗎?那時我就說世事看得太清其實是一個很大的負擔:一般人可以渾渾噩噩地過日子,我卻能確定真的危險和錯誤所在,再加上良心太好,不願意支吾過關,這輩子只好一直得罪人。
【後註二】醫學界一直都知道安慰劑(Placebo)對多數病患有明顯的“療效”(精確地說,是病患會主觀地覺得好些,但是疾病本身的進程並不受影響),但是最新的研究(參見《Placebos without deception reduce self-report and neural measures of emotional distress》,https://www.nature.com/articles/s41467-020-17654-y)發現即使事先對病人聲明是安慰劑,也能同樣地減低主動病痛程度。很不幸的,人類心理天生就有很强的非理性趨勢,這種安慰劑效應導致全世界到處都有巫毉充斥的問題。
【後註三,2024/07/19】今天上《龍行天下》節目(參見《從歐美選舉展望未來國際局勢》)中提到過去八年的美國大選民調出現持續固定的偏差,原因應該來自白左民衆特別樂意參與民調,而同樣的現象也出現在魚類生物學家在珊瑚礁采樣時,遇到若干熱帶魚特別喜歡自投羅網,有興趣的讀者可以在此閲讀原始論文《Testing assumptions of mark–recapture theory in the coral reef fish Lutjanus apodus》。
我個人對魚類生物學並無絲毫興趣,會找到這篇刊在《Journal of Fish Biology》的論文,純粹是爲了深入瞭解統計偏差。
如王先生所说,“睡前消息”节目至少让理性人能够更有力地批评中医资本。但可惜的是,在节目传播过程中,王思聪的转发成为了重要环节,中药资本得以利用信息差制造阴谋论并巩固中医教基本盘。
王思聪被噤声更有可能是因为他在微信朋友圈表示核酸检测是在测试“奴性或血性”,并明确表示拒绝参与核酸检测,所以我猜测微博被炸号多半是他的爹地在帮他“保护性删号”。无理性的纨绔子弟都可明白中药资本的操作,学习过王先生《常见的狡辩论》一文的本博读者更不应当轻信拙劣的阴谋论了。
給35樓
從蓮花清瘟上,看不出睡前消息是通過對錯誤的傳播,讓大眾認識更加偏離客觀實際。是不是哪裡誤會了?睡前消息屬於商業媒體,自然不會完全以中國的社會公益為主要核心。馬前卒自己也說了,他做網站的目的是幫觀眾節省看專業問題的時間,他本人並不比觀眾更高明多少。但是做媒體人的最基本的,敢於發聲追求真相、不要公然胡說八道、不販賣民粹,這些原則睡前消息基本都做到。這世界上不存在什麼完美的媒體,無論知識面或是道德良知。在資訊爆炸的環境下,本來就要有自己判斷的能力。蓮花清瘟的問題存在這麼久,甚至世界衛生組織推薦這種事都能造假,該問的是為何到今天才在睡前消息引爆下有了足夠的討論量。光就這點,能不能介紹給大家知道其他更完美的媒體人在哪裡?
剛好看到另一個活生生例子,在這裡分享:https://www.patreon.com/posts/ying-guo-phebao-54729624
這個圖表中間的數字是對的,作者依此數據算出了"Covid-19疫苗....令接種者感染後的死亡風險增加了431.25%"的結果,做出了"打疫苗風險更大"的荒謬結論。這個計算的問題出在決定死亡率的最重要變數其實是感染者年齡,忽略主要變數而把所有的數據加在一起,那麽真正影響死亡率的,就是他們打疫苗的比例,而不是疫苗本身。
提一件和中医相似的事情: 气功以及后来的法轮功. 气功实际上民间宗教, 武术, 中医的集大成者, 宣称练习气功不光是练武术, 还能医疗, 还能提高社会道德. 改革开放初期, 中国大陆曾经兴起过一阵气功热, 连钱学森这样的人都要研究. 虽然钱学森也许想用科学的方法来测试是否真有特异功能, 然而各种"气功大师"很快就冒出来骗钱, 愚弄大众, 其中不少还披着发扬传统文化, 能强身健体的名号, 王先生曾写过民国时代编出来中医和武术的神话以振奋民心的事, 我认为就是历史的押韵. 当时中国正处于信仰真空, 经济科技与美国差距极大, 主政者对于这些东西是剿是抚, 一直意见不一, 可能还是想借助神话和宗教信仰来稳住局面. 然而, 到了90年代后期, 中国要加入世贸组织, 社会也要进一步发展科技, 不能再允许这些荒唐的东西毒害愚化社会了, 加上法轮功越来越难以控制, 高层才终于下了决心要铲除法轮功, 结果法轮功逃到了海外成了一个大麻烦. 可见, 当社会的信心越发坚固,科技经济越是发展的时候, 上层对这些骗人东西的铲除就越坚决, 反之则越犹豫不决. 借助历史神话来振奋稳固社会, 只能解一时之需, 终究要在酿成大祸前铲除.
因此, 我建议, 在建言打击中医腐败集团的时候, 也许应当策略性的多用法轮功的教训来做警示, 并建议在社会信心和科技经济发展条件具备的今天, 坚决拆分中医.