開放科學在荷蘭

這篇文章是2016年在荷蘭進行異地研究時寫的網誌，也是從這篇開始正式在華文學術圈與公眾媒體自力推廣開放科學觀點和實作方法。原始文章來自個人網站，內文介紹的部分資訊目前已經失效，轉載至MATTERS做為紀錄，還有測試Hugo網站轉貼至MATTERS的相容性。

相信大家聽過一個名詞：科學普及(Popular Science，簡稱科普)，這是由專業科學家，書寫通俗易懂的書藉文章或進行公開演講，也可能參與媒體節目，向大眾傳播科學家們殫心竭慮收集分析資料後產生的知識精華。英語世界的科普活動已有數十年的歷史，至今已出現不少投入科普活動的知名科學家。中文世界最近較知名的例子，當然是謝伯讓老師的大腦簡史。而你正在閱讀的本文，要介紹比科普更進一步，將科學知識透明化與公開化的開放科學運動(Open Science)。

開放科學運動之興起

開放科學運動的成因在歐美學術圈之內蘊釀已久，比較為大眾所知的近因可從諾貝爾經濟學獎得主Daniel Kahneman的科普佳作《快思慢想》（Thinking, Fast and Slow）見到端倪。Kahneman在書中引用一系列社會心理學「促發效應」(Priming effect)研究，佐證要推銷給讀者的核心概念：「人類心智能運用環境中的提示，在自動與主控的認知系統之間切換。」然而，就在這本書出版當年，統計學家運用剛開發出來偵測出版偏誤（publication bias）的方法，確認這一系列「促發效應」的研究論文報告的真實效果極低，只是剛好達到統計顯著的指標而已。以常用的統計顯著水準0.05做比喻，只是在二十次失敗實驗之後，剛好出現唯一一次成功實驗的結果。這篇文章要正式定稿前，長期研究心理科學研究再現性的社會心理學家Ulrish Schimmack在個人部落格貼出專業分析文：「Reconstruction of a Train Wreck: How Priming Research Went off the Rails」，分析這一系列促發研究如何引導社會心理學往無法獲得可靠知識的方向發展，讓這類文獻如同脫軌的火車衝撞好不容易建立起來的知識體系。雖然《快思慢想》的開頭九章，是Kahneman建立畢生學問精華的基石，卻因為充滿瑕疵證據的第四章，讓整本《快思慢想》的科學知識價值打了折扣（註1）。

促發效應的案例呈現科學社群之內長久不為人知的一面，但是「快思慢想」的瑕疵更顯現這類研究案例經歷長久發展之後，對科普造成難以逆轉的傷害，甚至是大眾對專業科學家的信任。

於是，Kahneman在書籍出版隔年寫了一封給學術界的公開信。他在信中建議心理學家如何對實驗結果看起來很美妙的研究，設計可信的再現研究，檢驗真正的知識價值。Kahneman主張的研究模式現在被稱為「註冊再現研究」(Registered Replication Research)，而且已有科學家身體力行，現在最知名的註冊再現研究，像是2015年轟動全球科學界的消息「270科學家合作，僅能重複36%心理學實驗結果」。有許多心理學家，更運用這種模式檢驗科普圈中常被介紹的心理學發現。有興趣的讀者，可參考筆者的另一篇文章。

開放科學是什麼？

這波註冊再現研究的出現，揭示開放科學的兩個核心理念：透明(Transparency)與公開(openness)。科學專業的具體實踐是在收集資料前，要為他人能有效檢驗產生的結果，而預先註冊(pre-registered)所有研究資料。凡是有預先註冊的研究，不論是不是再現他人的研究結果，都可稱為「註冊研究」。預先註冊研究正式發表之後，就算是非專業但有能力從事科學研究的人士，都能運用透明公開的資料，重現專業科學家的發現。當前的開放科學，是基礎科學家與支持科學研究的公私機構所推動的運動，運動的目標是面向大眾。那麼，初次得知這個名稱的讀者，要如何認識這波運動的內容呢？

從事實驗心理學研究的筆者，藉著過去這一年在荷蘭訪問的機會，除了學習以註冊研究模式進行個人的研究，也從直接與間接管道了解開放科學運動的進行現況。筆者發現，在開放科學運動的幾個面向上，都有荷蘭科學家投入的身影，荷蘭政府也正在推動科學文獻的開放取用，並製定明確的政策目標及推動策略。由於筆者本身研究領域的關係，以下說明提到的人物，都是現在活躍的荷蘭心理學者。

根據維基百科，開放科學包括六個方向的運動：開放取用(Open Access)、開放源碼(Open Source)、開放資料(Open Data)、開放的研究流程(Open Methodology)、開放的同儕審查(Open Peer Review)、以及開放的教育資源(Open Educational Resource)。

此外，2016年開始的歐盟計畫「提昇歐洲開放科學訓練品質」(Facilitate Open Science Training for European Research，簡稱FOSTER)也提出開放科學運動的相關細項目標，並訂定明確的執行檢核效標。無論是維基百科或FOSTER的分類方式，都表達出一項概念：這項運動的參與者可以是個人、機構、國家、甚至跨國組織。為便於說明，本文根據維基百科的六大方向來和讀者說明什麼是開放科學運動。

1.開放取用的研究文獻(Open Access Journals)

閱讀及整理過去的研究成果，是所有科學活動的開始。現今的科學文獻是科學家投稿給有同儕審查制度的期刊，經過同儕審查被接受後，才由出版社發行，最後再讓圖書館訂購收藏，提供從事科學研究的人士搜尋。有長久歷史的學術出版社(例如荷蘭的Elsevier)，已發展出需要使用者付費，才能檢索文獻的機制。隨著要支付的訂購費用越來越高，學術圈已有集體抗議這種付費出版模式的行動，這種模式也使科學文獻只對有訂購的機構開放，而非向所有人開放。所以開放取用運動的目標，就是達到有能力上網檢索的人士，能自由取用科學家的研究論文。現在實踐開放取用的具體方式有兩種途徑：一種是論文作者個人實踐的綠色途徑(Green Route)，另一種是由出版社發行開放取用期刊的黃金途徑(Gold Route)。

綠色途徑是論文作者將期刊接受的論文手稿(post-printed manuscript)，放在公開的社群網站，讓任何人可經由網路搜尋取得。論文手稿是依既定的論文格式撰寫，提供出版社編輯排版的原始稿件。許多期刊允許作者將這類稿件放在公開的資料庫網站，如果想確定接受稿件的期刊是否允許自由取得，可利用SHERAP/RoMEO這個網站查詢，也可得知投稿的期刊支持開放取用的程度。任何有允許公開論文手稿的研究者，都能運用合法的資料庫平台公開手稿，像是由設在美國維吉尼亞州的開放科學中心（Center for Open Science）所經營的開放科學平台（Open Science Framework, OSF）。除此之外，還有提供科學研究者的社群網站Academia與Research Gate。例如我一直在注意的兩位荷蘭實驗心理學者：Bernhard Hommel與Rolf Zwaan，已將個人曾發表過的與最新的著作，持續公開於這兩個網站。他們都是荷蘭科學界中生代的代表，以身作則也讓與他們合作的後輩也效法實踐綠色途徑。

綠色途徑仰賴研究者的個人意願，除非有機構強制推動，讀者就算查到想要的文獻，如果研究者不想讓自己的著作依此模式公開，只能從出版社的付費管道索取論文。至於黃金途徑的終極目標就是要出版社提供百分之百的開放取用論文，而荷蘭的教育部與大學聯盟(VSNU)已訂出2024年要讓荷蘭境內公民皆可自由取用所有科學文獻的目標，他們從2014年開始和Elsevier等主要學術出版社談判，已有初步成果。VSNU將階段性成果整理成懶人包，提供世界各國參考。我摘出其中談判的四個要點：(1)由最需要收藏文獻的機構首長擔任主要談判人員，例如大學校長；(2)談判人員有所屬機構的充分授權；(3)堅守底線，例如不妥協於Elsevier所要求的收取額外40%出版費用；(4)政策支持，也就是荷蘭教育部已宣佈的目標。2016年底正好發生台灣與其它國家的科研機構向Elsevier要求談判的行動，荷蘭邁向黃金途徑的經驗值得學習。

2.開源軟體(Open Source Software)

收集資料是科學研究的重要步驟，要收集有意義的資料，運用設計良好的程序是重要環節。專業科學家的養成過程中，有一部分是熟練操作收集資料程序的軟體，這類軟體通常能編輯符合研究目的程序腳本。開放科學強調科學研究程序的可重製性，開源軟體以開放原始碼的方式，讓使用者自由使用與修改軟體內容，達成可重製研究的要求。這段時間我個人收集資料用的軟體都是荷蘭心理學研究者開發的開源軟體，除了為各位介紹這些軟體之外，也在此分享我的個人使用心得。

QRTEngine

我的研究有一部分需要透過網路問卷平台Qualtrics進行實驗，由於需要紀錄填答者的按鍵反應，並且根據註冊研究要求，在正式收集資料前要備份程序腳本，雖然我的合作夥伴以前曾經編寫程序一樣的Qualtrics平台腳本，但是這個版本需要許多道人工操作程序，才能置入新的刺激項目，不利未來的重製研究。準備過程中，我找到了萊登大學（Leiden University）Henk van Steenbergen領導的團隊開發的QRTEngine，發現符合我的研究需求，因而花了一些時間學習運用這套函式庫編輯程序腳本。

Qualtrics是一套互動式網頁平台，能讓問卷設計者編輯各種網路問卷，也讓設計者可自行撰寫javascript，在問卷網頁呈現自己想要的互動方式。然而，心理學實驗需要的互動方式與問卷項目隨機程序相當複雜，QRTEngine開發團隊將這些要求化為一系列簡單的javascript函式。就算不完全了解javascript的寫作邏輯，甚至不會寫程式，只要依腳本設置對應的函式，設計者就能打造出研究所需要的網路問卷。收集好的資料可透過團隊提供的程式，轉換成任何資料分析軟體都能處理的格式。

然而遺憾的是，當我完成研究的時候，QRTEngine也停止更新。因為Qualtrics主要用於市場商業調查，2016年系統更新後，為了讓問卷設計能相容於各式上網載具，大幅減低使用者自行編輯javascript的彈性，2017年之後可能無法再使用同一套腳本進行相同的研究。。幸好，我常用的另一套開源軟體OpenSesame，有了新的進展。

OpenSesame

OpenSesame是目前任教於格羅寧根大學（University of Groningen）的Sebastiaan Mathôt，在就讀博士班時期與同事一起開發出來的。OpenSesame的核心程式碼是以python撰寫，所以熟悉python的人能自行改變或增加OpenSesame的功能。開發團隊設計一套簡單易上手的使用者介面，即便是不懂python的使用者，在自行操作幾種範例之後，也能掌握編輯實驗腳本的基本方法。第三版開始的OpenSesame提供連結OSF專案庫的功能，研究者可直接在使用者介面將編輯好的腳本與收集完成的資料，備份到OSF專案庫。如果研究者的OSF專案庫是公開的，有意再製研究的人士，可直接在自己的OpenSesame使用者介面下載腳本，在不同地點直接再現實驗程序。

2016年七月，開發團隊在github公開OpenSesame網頁版WEBOS的原始碼，使用者可以安裝於自己管理的伺服器，直接執行單機版OpenSesame的腳本。不過網頁版的功能還不夠完整，只能執行一些程序簡單的腳本。我看好網頁版的未來發展，是取代QRTEngine的潛力工具。

3.開放資料(Open Data)

開放資料的概念，可從資料的保存（data reservation）與資料的取用（data access）兩方面描述。科學文獻報告的結果，都是原始資料的分析精華，保留原始資料則可回溯發現新知識的過程。保存資料的概念雖在科學研究者中人盡皆知，但非所有科學家有相同的共識。VSNU在2012年頒佈的荷蘭科學研究守則The Netherlands Code of Conduct for Scientific Practice中，對於有關可核實性（Verifiability）的項目，明訂加盟的大學從事科學研究的教師與學生，均有義務保留研究資料至少十年。

相關守則的依據是VSNU規劃將近十年的治理方針（The codes of good goverance），這些守則應該也是近年荷蘭推動高等教育升級方案的依據。查閱這個守則的公開資訊時，我發現研究守則的最新版出爐的前一年，正好爆發轟動荷蘭學術界的Diederik Stapel研究造假案。案件爆發前，Diederik Stapel是任教於VSNU的蒂爾堡大學（Tilburg University）的心理學教授，由於長期以來源不明的資料發表論文，被該校師生匿名檢舉之後，調查委員會清查從他攻讀博士時期開始發表的論文，發現有58篇已發表的論文都無法提出可供核實的資料。由於Diederik Stapel從博士班到服務過的三所大學皆是VSNU的會員(阿姆斯特丹大學、格羅寧根大學、蒂爾堡大學)，這件案例的教訓，應是促成VSNU將研究人員的責任具體載明於科學研究守則的重要因素。

在最理想的落實狀態下，開放資料的取用，是讓論文讀者能直接取得原始資料，核實獲得論文數據與圖表的真實性。如果整個學術界能達到這樣的境界，類似Diederik Stapel的案例就不可能發生。到目前為止，至少VSNU師生最近四年發表的論文，讀者都能獲得完整保存的資料，但是其它機構的研究者資料可就不一定了。蒂爾堡大學的博士生Chris Hartgerink為此提出一套折衷方案，將心理學期刊內論文的統計數據轉換成格式化資料，包裝為R套件 ，讓這些期刊文獻的讀者可以自行做初步檢核。

這套方案源起Chris Hartgerink與同校的博士生Michele Nuijten合作開發的R套件 statcheck。statcheck的功能是掃瞄及擷取論文中的統計數據，再檢驗統計數據是否符合報告所提計算統計數據的必要參數。現在原作者Michele Nuijten還推出網站版statcheck，使用者可以直接上傳論文pdf或網頁網址，從網站獲得檢查結果。而statcheck也被改造為自動化程式機器人，在知名的期刊論文核實網站pubpeer，張貼最新一期的心理學期刊論文數據核實簡報。有逛pubpeer的讀者會發現在該網站上有關心理學期刊的貼文大多數都是statcheck的作品。《自然》（Nature）期刊曾在2016年11月底以statcheck為例發表一篇評論，倡議pubpeer的核實應更具建設性。數據核實是評價科學論文真正價值的第一步，如何發掘某篇論文的錯誤或待澄清的地方，有賴讀者親自動手。我認為這是開放科學運動真正的目標，刺激那些在論文發現問題的研究者，做出更有意義的研究。

4.開放的研究流程(Open Methodology)

研究流程的開放模式有兩種：

重現(replication)：完整執行從收集資料到資料分析的完整步驟；重製(reproduce)：完整執行從原始資料到資料分析的所有步驟。第一種的難度與成本顯然較高，第二種則可以與開放資料運動一起推廣。2016年有兩套荷蘭學者所推出的開源軟體JASP與osfr，皆有助推廣第二種重製模式。根據學習與操作的難易度，我姑且為之命名為新手級與專業級。

JASP是由阿姆斯特丹大學心理學系教授Eric-Jan Wagenmakers領軍的團隊開發，目的是推廣Eric-Jan Wagenmakers長期研究的貝式統計方法。JASP的使用者介面效法知名的商用統計軟體SPSS，但是多了一些SPSS沒有的特色。我提出兩個值得親自嘗試的特點：

首先是輸出的報表檔重新打開後，不只有圖表，還有原使用者的操作介面，所以JASP不需要看操作手冊學習，就可從開發團隊提供的範例檔了解想做的統計方法。第二，只要把JASP的報表檔上傳到OSF平台，就可讓他人透過任何網頁瀏覽器閱覽，所以如果老闆要你把跑完統計的結果寄給他看，只要將連結網址傳給老闆就好。如果對如何操作有興趣，可以參考我的介紹文。

osfr是一套R套件，作者是前面提過的Chris Hartgerink。這個套件的功能是讓使用者自行撰寫R腳本管理OSF專案。最早已提到OSF可讓研究者自行管理要公開的檔案內容，對於重製模式來說，最理想的重製是讓讀者只要執行一套腳本，就能獲得文獻中呈現的所有圖表以及數據。如果論文作者提供有套用osfr函式庫的R腳本，讀者能直接執行與檢視這套腳本，了解論文作者如何製造放在論文之中的圖表。雖然osfr還有一些臭蟲尚待更正，，未來這個套件對開放科學的貢獻值得期待。有興趣的讀者，可以在youtube觀看Chris Hartgerink的示範影片，了解如何操作。(影片已失效)

5.開放的同儕審查(Open Peer Review)

同儕審查是專業期刊決定研究者投稿的論文是否達到設定品質的評估程序。從1665年Henry Oldenburg在英國皇家學會（Royal Society）發表第一篇同儕審查的論文開始，同儕審查演變至今已成為專業科學家發表論文必過的關卡，以及具備擔任論文審查者的義務。各種科學期刊皆發展出一套有利於符合要求的審查制度，新進科學家也要學習如何辨識能刊登研究成果的期刊。但是科學研究的透明度與公開性－－–正如開源運動、開放資料、開放研究流程所追求的目標，並不是傳統科學期刊重視的價值。像是開放原始碼、開放資料、開放研究流程，並非主流科學期刊的審查重點。現今許多主流科學期刊審查重視的，是想法夠不夠新穎，以及研究結果是不是夠顯著。開放同儕審查的運動方向，就是從論文評審者集體發起，引導學術界人士重視透明度公開性價值的運動。

英國皇家學會從2017年元旦開始，正式啟動Openness Initiative。這項運動徵求願意署名參與的學者，從2017年元旦開始，一旦收到期刊論文的審查邀請，將以作者是否在第三方平台（如OSF）公開原始研究資料，以及完成研究流程所需材料或軟體設定，做為接受審查該論文的條件。因此我們可以說，這項運動結合前面提到的所有運動目標，是科學社群內部發起的價值觀革新運動。

Openness Initiative與荷蘭有什麼關係？這項運動的主要發起者是來自英荷德美等四個國家，現任發言人Richard Morey來自美國，取得博士學位後到格羅寧根大學任教，期間與前面提到的Eric-Jan Wagenmakers合作開發許多貝氏統計方法，也是JASP的主要奠基者。2015年轉任英國卡迪夫大學，每年夏天還是會在阿姆斯特丹和Eric-Jan Wagenmakers一起舉辦貝式統計工作坊。在深入認識開放科學的過程中，我同時對貝氏統計有進一步了解，正是因為幾位核心人物也是開放科學運動的推廣者。讀者如果對貝氏統計有興趣，可以從這兩位學者的著作入手。

2012年英國皇家學院支持的出版社Ubiquity Press開始發行四本公開同儕審查紀錄的開放取用期刊：Journal of Open Archaeology Data、Journal of Open Psychology Data、Open Health Data、Journal of Open Research Software，這一系列期刊的政策包含了本文介紹至此的五個開放科學運動宗旨。專攻這些期刊領域的朋友，可以考慮將最新的研究成果投稿到這些期刊中。其中心理學《Journal of Open Psychology Data》的現任主編Jelte Wicherts，是statcheck主要作者Michèle Nuijten的指導教授。這群蒂爾堡大學師生挺身而出的行動，見證有理想的荷蘭科學家，透過全面實踐開放科學，回應震驚全國的學術醜聞所帶來的反思。

6.開放的教育資源(Open Educational Resource)

如果同儕審查是推動開放科學的科學社群內部力量，教育就是召喚非專業卻關心科學發展的大眾，理解開放科學意義的外部管道，目前在學的大學生，即是他們第一波教育對象。說起和開放科學相關的課程，我推薦的第一門課程是Eric-Jan Wagenmakers在阿姆斯特丹大學開設Good Science, Bad Science，授課內容全部公開在個人網站。這門課程主要介紹如何運用新的研究方法，評價一份研究成果的價值，以及提昇個人研究內容的公開性與透明度。課程偏向讓有初步認識的學生，透過動手操作來學習。由於教材都是開放資料，教師可以按照需要改造成對應在任何程度學生的課程中。

另一門值得介紹的課程是埃因霍溫科技大學的Daniel Lakens在Cousera推出的Improving your statistical inferences。這門課程內容在台灣的大學課程裡，相當於研究所的進階統計，但是短短七週課程涵蓋傳統的次數主義（Frequentist Statistics）與貝氏統計(Bayesian Statistics)兩大統計取向，第六週更談到科學哲學的議題，檢視開放科學運動的思想基礎。我自己親自完成每週作業後，認為這門課適合給想自我成長的科學研究人員，以及具備起碼基礎，想更上一層樓的學生們。除此之外，我也認為這門課的教材與作業設計，都是實現開放科學的必備技能。

透過Daniel Lakens的課程，我也注意到有新一代的荷蘭科學家正在尋找運用MOOC(大規模公開線上課程)推廣開放科學的最佳方法。萊登大學的博士生Tim van der Zee與Improving your statistical inferences之類的課程合作，設計有對照組的A/B測試，找出能增益學習者學習效益的影片設計模式。Tim在部落格文章以及與我與他的私人通信，都提到他的MOOC研究都會以註冊研究的規格設計與執行。如此可以讓更多有志人士了解如何進入開放科學，也能在這個人人被大量數據淹沒的時代，由MOOC的設計者與發行者開拓一條實踐開放科學的道路。

荷蘭的運動模式台灣學得來嗎？

這篇文章的寫作架構得自Daniel Lakens的課程，部分內容介紹也得自他的指點。2016年的台灣科學界面臨前所未有的信任危機，跨入2017年依然方興未艾。類似的情節在2011年的荷蘭也曾發生過，但是從六個層面的開放科學運動，可以看到荷蘭的科學社群到政府機構，在研究工作內容到大眾知識傳播，進行提昇科學研究公開透明的改造工程。那麼台灣的科學界與社會能否從荷蘭的經驗得到脫胎換骨的機會？

以需要機構力量推動的科學文獻開放檢索，以及制訂科學研究守則等政策措施來說，現在的台灣政府與大學都面對更急迫複雜的問題，很難期待在一到三年出現會讓人有所期待的進展。就以2016年底開始的各大學停止訂閱Elsevier的事件為例，台灣是各大學圖書館組織的全國學術電子資訊資源共享聯盟(CONCERT)，每年負責與各主要出版社談判議價。我不清楚該聯盟負責談判人員的層級有多高，應該不會如同VSNU的做法，由大學校長親自出馬談判。而且談判人員也沒有得到政府的具體支持，像推動全面開放取用的明確年限。從Elsevier事件的最新發展可見，台灣社會還未形成對科學研究內容公開透明的要求或期待。但是在開放教育資源看到的例子，同樣致力發展MOOC的台灣各所大學，也許是培養台灣開放科學人才的可行途徑。

個人活動有希望為突破現狀帶來一些機會，特別在開源軟體、開放資料、以及開放研究流程。由於之前曾自學當紅的資料科學與機器學習方法，經過這一年的學習與研究經驗，我確認這些層面的運動是能讓受過高等教育的台灣民眾，最快理解開放科學價值的途徑，然而開放科學與資料科學有基本動機的差異。開放科學是確保科學知識的品質，建立在研究成果的可再現程度，需要有理論與問題意識引導資料的收集與分析。資料科學從已存資料探勘有意義的模式，理解人類行為的模式或誘因，知識品質建立在預測的優劣。兩者會使用的工具大致相同，對研究資料公開透明的要求幾乎一樣，但是追求知識的動機和目標有別。預期在幾年之內台灣的開放科學運動需要與資料科學合流，直到大眾能充分理解為止。

2016年十月曾透過網路視訊，與台灣關心心理科學研究品質的老師們一起辦了一場研討會。結束後就規劃寫幾篇介紹荷蘭開放科學現況的文章，之後陸續發生許多相關的新聞，又花了不少時間消化資訊。這篇文章以荷蘭的人物與機構為主角，提供讀者作為認識開放科學的開始。如果有興趣了解更多推動開放科學的概念與做法，可以經由參與開放科學中心「大使計畫」，與可就近接觸的人士詢問討論，目前亞洲地區只有我與北京清華大學的胡傳鵬。期許藉此引出更多志同道合之士，提昇中文世界的科學知識品質與公開透明。

註1： Kahneman本人於2017/2/14親自在Schimmack的該則部落格貼文回應，肯定Schimmack等人的指教，也正面看待促發效應研究會得到正面證據的支持。