學術出版市場為何需要用Web3技術重構？_ING

研究種類：DeSci,ScientificPublishing

原文作者:?PhilippKoellinger,ChristianRoessler,ChristopherHill

貢獻者：xinyang@DAOrayaki.org

審核者：DAOctor@AOrayaki.org

原文:?WhyWeNeedToFundamentallyRethinkScientificPublishing

“現有的學術期刊系統已經千瘡百孔。這篇文章我們討論了潛在的解決方案，包括我們需要什么樣的期刊，以及web3技術帶來的新的可能。”

科學哲學家DavidDeutsch指出，科學的目的是發現關于世界的解釋知識，這些知識既是真實的，又是“難以改變的”1。

證實、批評以及提出新的解釋和發現都依賴學術期刊。對于絕大多數領域來說，在著名的學術期刊上發表論文，可以賦予科學工作以合法性，吸引全世界研究人員的注意，為未來的研究獲取資助者的資助，并且對于科學家找到工作和獲得晉升都至關重要。

這樣看來，頂級學術期刊已經成為科學合法性的守門人。但是，在頂級期刊上發表論文，真的與做好科學工作是一回事嗎？如果不是，是否有一個更好的、現實可行的解決方案？

我們相信是有的。在這個系列中，我們將審視當前的學術生產體系，并描述由此產生的結構性問題，同時也將探討web3技術如何使我們能夠建立一個新的體系來解決這些問題。

作為排名和評價工具的學術期刊

在當前的學術生產模式下，科學家需要不斷提供其“生產力”的證據，以促進其職業發展，獲取未來研究資助，因為雇主和資助機構使用這樣的評價過程。

這種評價過程中的問題在于，評價者并沒有時間充分參與每個科學家所做的研究。僅僅徹底研究一位科學家以前的所有工作就可能需要幾天、幾周甚至幾個月。

這對評價者來說不切實際，哪怕你再勤奮善良。于是，評價者不得不依靠啟發式方法，以便更容易評估科學家的工作成果，如科學家發表了多少篇經同行評審的論文，以及是否在頂級期刊上發表。

因此，在學術期刊上發表文章是當前科學家的關鍵績效指標。這一指標已經成為不同領域的科學研究被評價和排名的黃金標準。一些期刊被認為比其他期刊更有聲望，所以這些期刊對科學家的職業生涯影響更大，同時也為研究結果本身增加了含金量。

學術期刊的編輯也因此在科學界具有很大的影響力。正是他們決定哪些投稿屬于他們的范圍，并且“足夠好”，可以進行詳細的評估，而且是由他們來最終決定接受或拒絕投稿2。

這里是Publon在2018年對同行評審系統現狀進行的一個很好的總結。值得注意的是，大多數同行評審是匿名的，即使文章被接受發表也一樣。這意味著評審過程缺乏責任人，這一學術生產關鍵過程中是否存在爭權奪利、馬虎、武斷和利益沖突，則無人知道。此外，期刊的審查過程通常很慢，需要幾個月或幾年的時間才能出版，而且往往有很多針對期刊的各種投稿要求，如格式要求，在浪費科學家的時間，他們要投稿不同的期刊，直到最后找到一個出版渠道。

學術期刊在科學家的職業生涯中起著關鍵的把關作用，但期刊選擇或拒絕文章的方式通常不對公眾透明。不僅效率低下，而且不負責任。此外，期刊還決定了公眾在什么條件下可以獲得他們采納的文章。對絕大多數期刊來說，發表的文章要么藏在付費頁后面，要么就需要支付大量的出版費，這些數千美元的費用必須由作者或其雇主支付。我們下面將進一步討論期刊的這種商業模式。

引文和影響

衡量學術出版物的重要性和質量的一個流行指標是其被引用的次數。一篇文章被引用的次數越多，它就被認為對某一領域的科學論述越重要。引文很容易計算和比較，因此很快成為判斷科學家是否成功的定量啟發式方法。這極大地激勵了科學家把增加引文本身作為目的。

但獲得大量的引用并不等同于進行良好的科學研究。用引文作為“影響力”代表的一個問題是，科學工作需要時間來傳播和積累引文。平均來看，科學論文在發表后的2-5年內達到引用高峰。??這使得使用引用次數來評估科學家最新工作的影響幾乎是不可能的。資助者和機構需要在一項發現的引文生命周期結束之前做出分配決定，而引文數量需要幾年時間來積累，所以他們使用了一個更直接的方式：用期刊聲譽來判斷科學家最新工作的影響。在許多領域，如果一個科學家沒有在“頂級期刊”上發表過至少一篇或幾篇近期的文章，幾乎不可能被聘用或晉升。

影響因子?是衡量期刊聲譽的代表，它衡量過去兩年中發表的文章的年平均引用次數。期刊聲譽和影響因子是一個指標，根據設計，這些指標集合了所有在期刊上發表的論文的聲譽，而不考慮其具體論文質量和影響。但是，期刊內部的引文分布通常是高度傾斜的——一本期刊中大約一半的論文占到期刊總引文的85%。?由于在同一期刊上發表的文章在引用模式上的巨大差異，期刊的影響因子只能粗略地代表期刊內發表論文的質量和重要性。?此外，小型期刊的影響因子可能會因為收錄一篇或幾篇迅速積累大量引文的文章而波動巨大。

Sui推出學術研究獎，將支持技術、金融、經濟等領域的學術研究:5月18日消息，Sui宣布推出Sui Academic Research Awards (SARAs)，該獎項將支持包括去中心化系統、智能合約、加密安全、加密經濟學、區塊鏈應用、金融技術、代幣化、公共政策和權利、去中心化社會領域的學術研究。申請者必須附屬于一個公認的學術機構或研究中心，Sui可為學者提供資金支持。[2023/5/19 15:12:17]

不同領域的期刊影響因子也有很大差異，部分原因是特定領域的引文文化和一個學科的絕對規模，但也與期刊規模和被計算的出版物類型有關。?因此，期刊的影響因子部分是由與其發表的文章質量無關的方面驅動的。

影響因子指標最初并不是為了作為期刊質量的代表而使用的。它最早由EugeneGarfield設計，圖書館管理員采用它來幫助決定訂閱哪些期刊。?由于它已經成為期刊聲譽的重要組成部分，以營利為目的的訂閱期刊從此學會了利用各種策略來優化其影響因子，來從中獲利。

當一個指標被作為目標優化時，它往往就不再是衡量真正關注的對象的好指標了。1?科學家們一直是影響因子的接受方，也經常發出譴責，但還是不得不采用這一規范，因為機構只能以此評判學術生產力。盡管人們一再呼吁放棄將期刊影響因子作為衡量學術界和機構學術生產力的標準，但它仍然是最廣泛使用的衡量標準，部分原因是人們對應該使用何種替代措施缺乏共識112。

帶來的后果就是，知名期刊已經學會了管理他們的文章組合，就像人們分散押注不確定的市場一樣。從本質上講，編輯們是根據某篇文章未來預期產生的引用次數來對論文下注；這種組合產生的引用次數越多，影響因子就越高，這反過來又能推動收入。

但是，著名期刊一旦獲得這種聲望，也會成為市場推手：因為它們在學者和記者的注意力經濟中擁有很大的"市場份額"，在它們那里發表的文章可能會獲得更多的引用，從而產生飛輪效應，鞏固現有期刊的收益，使它們極難被取代。因此，高影響因子的期刊很可能比發表相同質量文章的另一期刊獲得更多的引用，從而使影響因子離一個有用的衡量標準更遠了。

在目前的激勵結構下，創新性勝過可重復性

實證結果的獨立重復對于科學界尋求更好解釋世界如何運作至關重要。131?如果結果無法復現，一項新穎的發現可能是錯誤或捏造的，只能依賴某人的權威而不是客觀證明。不幸的是，在學術出版物的聲望等級中，可重復的得分遠不如創新和令人驚訝的結果高。例如，只有3%的心理學期刊明確鼓勵提交重復研究，而許多期刊則明確表示他們不發表重復研究1?。

因此，科學家們幾乎沒有動力去產生可復現的研究結果。相反，他們面臨的是一種“不發表就滅亡”，甚至是“無影響就滅亡”的文化，這種文化以新穎性和影響力為基礎，決定了他們在學術界的成功。1?使用引用率和影響因子作為衡量學術生產力的核心問題之一是，它們沒有考慮到已發表研究的可重復性。新穎的、令人驚訝的和具有顛覆性的結果更有可能得到關注和引用，因此受到編輯和期刊的追捧——盡管新穎的和令人驚訝的發現也更可能是假的。

可重復性與常用的績效指標脫鉤，導致許多科學領域出現了嚴重的可重復危機。131?1?1?1?2?科學家們產生新穎的、吸引眼球的結果的動機是如此強烈，已有許多徹頭徹尾的數據操縱和欺詐案例見諸報道。21223此外，糟糕的研究設計和數據分析，以及研究人員在分析數據時的自由度，都鼓勵了虛假發現。131?2?最近對社會科學領域的高影響力論文進行的大規模復現研究發現，只有約60%的原始結果可以被復現。1?1?超過70%的研究人員曾試圖復現另一位科學家的實驗，但沒有成功，超過一半的人沒有重復自己的實驗。

更糟糕的是，不可重復的研究往往比可重復的研究被引用得更多，2?而在強烈矛盾的重復結果之后，論文的引用模式只作了適度的調整。由于這種支持創新性而反對可重復性的偏見，科學工作并沒能有效地自我糾正。由于發表的文章中的引文只是向后看，文章的讀者幾乎無法確定一項研究的新發現是否可復現和值得信賴。期刊也有動力不為復現提供便利，因為成功的復現并不新穎，不足以獲得大量的關注，而不成功的復現則會破壞期刊的質量保證聲明。

在技術附錄中，我們更詳細地探討了期刊編輯選擇新穎性和反對重復現有結果的研究的動機。作為對比，我們提供了一個能使整個研究事業價值最大化的“理想”標準。在一個理想的學術評估體系中，重復，尤其是最初幾次重復，將獲得明顯更多的權重。

目前，將可重復性與影響力分開，缺乏對現有工作進行重復的激勵措施，以及缺乏對重復結果進行“前瞻性”觀察的激勵措施，這些都導致了今天許多學術領域的不穩定狀態。1?從根本上說，目前獎勵科學家發表盡可能多的“高影響力”研究的做法與科學工作的目標，即找到可靠的解釋之間存在著脫節。

然而，盡管有其固有的缺陷，著名的期刊和學術機構仍然在這種模式下運作，而科學家們幾乎別無選擇，只能配合，因為他們的職業前途主要取決于此。

科學家學術論文描述針對以太坊PoS鏈的3種攻擊方法:10月31日消息，來自斯坦福大學和以太坊基金會的計算機科學家Caspar Schwarz-Schilling、Joachim Neu、Barnabé Monnot、Aditya Asgaonkar、Ertem Nusret Tas、David Tse最近撰寫一份新白皮書，描述了針對以太坊PoS（權益證明）鏈的3種攻擊方法。該白皮書揭示了最近出現的兩次以太坊網絡攻擊，并且該論文的作者改進了這些技術。

除了前兩種方法（理論上會造成“短程重組”和“對抗性網絡延遲”）的改進之外，計算機科學家還提出了第三種攻擊。“結合兩種改進的攻擊技術，我們獲得了第三種攻擊，它允許擁有極少權益（stake）且無法控制網絡消息傳播的對手進行甚至是遠程（long-range）共識鏈重組。”作者們補充說，“誠實但理性或有意識形態動機的驗證者可以利用這種攻擊來增加他們的利潤或阻塞協議，從而威脅到PoS Ethereum的激勵一致性和安全性。該攻擊還可能導致投票處理擁堵導致共識不穩定。”

同時，以太坊網絡批評者使用這篇論文強調當網絡過渡到完整的PoS系統時與這些攻擊相關的潛在漏洞。Chia創始人、Bittorrent創建者Bram Cohen發布關于這項新研究的推文。Chia支持者回應稱，“讓我們在一年后重溫你的推文，看看Chia與ETH相比取得了什么成就。請考慮你的態度，正在拒絕像我這樣的社區成員。”

該論文的作者總結道，“我們的攻擊也使得可能出于意識形態動機的先天性惡意行為者推遲并在某些情況下徹底拖延達成共識的決定。第4.2節的改進攻擊為攻擊者提供了一種工具來做到這一點，即使攻擊者無法控制消息傳播延遲（這被認為是概率性的）。”（Bitcoin.com）[2021/10/31 6:23:20]

學術期刊的商業模式

傳統學術期刊要求作者將版權轉讓給出版商。版權是一種知識產權，賦予其所有者復制創造性作品的專有權，從而為版權所有者創造壟斷權力，使作品貨幣化。學術出版物市場主要由五家大型營利性公司主導，它們共同控制著50%以上的市場。2?全世界學術論文使用權的銷售額超過190億美元，這使得學術出版業的收入介于音樂產業和電影產業之間。

出版公司的兩種主要商業模式是“付費獲取”和“付費出版”。這兩種模式都依靠科學家無償的同行評審，這相當于科學家向出版業捐贈了數十億美元，出版社利用公共資金或研究人員的私人時間來提高利潤，并剝奪了科學家進行高質量評審工作的應有的公平回報。

在付費獲取模式中，期刊向個人和機構收取訂閱費。每份期刊的年度訂閱費用通常為數百美元，獲取單篇文章的費用通常在20美元至100美元之間。

大學、圖書館和政府等機構訂戶得到的是捆綁式“交易”，其中往往不僅有出版商排名最靠前的期刊，還有大量小眾或低影響力的期刊，這些旗桿如果不是因為捆綁，訂戶可能不會付費購買。這種利用市場支配地位來捆綁商品的做法，是一種強有力的反競爭策略。3?3132通過在一筆交易中占據圖書館的大部分預算，在位者可以保護自己的市場不受新來者的競爭。

這種模式下的期刊訂閱對公共資金造成巨大負擔。33例如，英國在2014年花費了5230萬美元用于年度期刊訂閱，3?而荷蘭在2018年為其公立大學訂閱一個大型出版社的期刊支付了超過1400萬美元。盡管大量公共資金用在期刊訂閱，但為大部分研究和期刊訂閱費提供資金的納稅人卻無法獲得自己稅收所支持的學術文章。

在“付費出版”模式中，作者為他們發表的每篇文章支付費用。與“付費獲取”模式不同的是，這些文章是根據開放獲取協議發表的，通常公眾可以在線獲取。不同期刊和文章類型的出版費各不相同，典型的出版費在2,000美元至11,000美元之間。3?科學家要么從研究預算中支付這些費用，要么自掏腰包，要么依靠雇主來支付費用。“付費出版”期刊的總數和市場份額每年都在增長。3?3?

“付費出版”模式的核心是一種不正當的激勵機制：文章的作者只有在稿件被接受時才付費。這意味著，每拒絕一篇稿件，期刊就會損失一筆錢。因此，開放獲取的期刊需要放寬篩選限制，以維持商業模式。雖然開放獲取期刊降低了知識獲取的門檻，而且許多期刊都是善意的、高質量的，但這個模式導致了低標準的劣質期刊在世界范圍內的流行，為幾乎沒有價值的研究打開了大門。3?3???1

因此，我們的學術評價系統陷入了兩難境地：一邊是以訂閱為基礎的出版商控制著發行渠道，他們是頑強的、不可動搖的，強有力地提取納稅人繳納的稅款。他們的嚴選的旗艦期刊讓他們有能力進行捆綁交易獲利。在另一頭，開放獲取模式以數量取勝，使劣質出版商在全球范圍內崛起，大量虛假的、不可靠的、甚至是剽竊的報告，偽裝成科學文獻。

最后，“付費獲取”和“付費出版”兩種模式都將來自底層機構的絕大多數科學家和發展中國家的人民排除在科學參與之外，從而加劇了不平等，限制了進步和發展的機會。

近年來，我們見證了免費替代方案的興起：預印本平臺，如bioRxiv、medRxiv或SSRN，它們允許科學家在網上發布其手稿的早期版本。這些預印本平臺效仿物理學家依靠Arxiv在圈子里分發自己工作成果的做法。與此類似，經濟學家也依賴NBER等工作文件平臺，主要是因為在知名的經濟雜志上發表文章往往需要多年時間。然而，預印本和工作論文沒有經過同行評審，往往與最終發表版本大相徑庭，或者根本沒有被需要同行評審的期刊接受發表。因此，非專業的讀者很難/不可能評估他們能否相信這些渠道的內容。正如我們在COVID疫情中所看到的，預印本平臺，尤其是在醫學領域，可能被濫用于傳播錯誤信息和不可靠的科學研究。

惡意加密礦工正攻擊歐洲學術超級計算機:金色財經報道，歐洲學術界的超級計算機正在受到惡意加密礦工的攻擊。受影響的機構包括蘇格蘭的愛丁堡大學。由于安全事件，該大學已將其ARCHER超級計算機下線。EGI計算機安全和事件響應團隊表示，攻擊者似乎正在嘗試挖掘Monero（XMR）。ARCHER認為，這是整個學術界的主要問題，因為在英國和歐洲其他地方，已有數臺計算機遭到破壞。[2020/5/20]

總之，目前的學術出版生態系統具有高度的剝削性和不公平性：它限制了科學進步和發展的機會；它有利于目前學術出版社的寡頭壟斷及其股東，卻犧牲了公眾的利益。雖然預印本平臺作為一種學術期刊的替代品，但它缺乏同行評審的嚴謹性，更容易成為錯誤信息的來源。

Web3技術如何為未來帶來希望

歷史上技術創新使我們生產和分享知識的能力得到了巨大的改善。這方面的例子包括印刷術的發明，科學設備的發展和改進，互聯網，以及能夠快速處理大量數據的超級計算機。

最近的一波浪潮是web3技術，該技術實現了互聯網的去中心化版本，其基礎是越來越多的公開可用、防篡改記錄的對等網絡，允許大規模的協作。Web3是對web2的中心化、不透明、數據籬笆原則的有力背離，web2是注意力經濟，也是Facebook、Google等公司成功的基礎，也是寡頭壟斷的學術出版商的專有、垂直整合的平臺。

與此相反，web3的核心前提是將所有權廣泛地分配給用戶，以及通過分布式賬本技術構建無需信任、抗審查的執行代碼。隨著web3越來越多被采用，應用程序也越來越多，我們開始好奇，精英期刊是否可以重構為web3上的科學合作。

在web3上重構目前的學術出版模式的好處是，它將根據貢獻大小，使科學家能夠在數百萬美元的學術出版業務中獲得股份。如果能成功做到這一點，它將從實質上解決當前集中模式下出現的一些挑戰和問題。雖然技術上可行，但它很可能會遭到在位者的反對：主要的出版商堅決反對所有權，認為這是一條不可逾越的紅線，他們寧可讓編輯們集體辭職，也不愿意開這樣一個危險的先例。

除了把科學家創造的價值還給科學家之外，web3還為新的合作模式、激勵制度和支付手段提供了技術能力。正如我們在DeFi上看到的那樣，金融業正面臨著可編程貨幣崛起的壓力。去中心化的自治組織DAO正在以越來越快的速度出現，從金融服務提供商到數字藝術投資集體。Web3正在涌現出激進的實驗，例如通過二次方募資、去中心化的身份管理DID、去中心化的存儲解決方案、自我托管的集體錢包，以及蓬勃發展的DAO工具包生態系統。

更重要的是，將匿名身份與學術聲譽綁定的可能性，為我們在一個完全開放、透明的科學評價系統中保護評審員的身份提供了新的視角。在web3中，我們可以以一種防篡改和可審計的方式，將一個匿名身份與真實的、高價值的科學工作貢獻掛鉤。通過將“技能證明”系統與匿名相結合，我們可以創造一個科學生態系統，既可以促進公開辯論，又可以減少偏見。

web3精神的核心是將世界去中心化，實現更多基于貢獻的價值和所有權的分配，并恢復個人對其財務、數據、貢獻和身份的主權。現在各種構件已經具備，學術期刊作為DAO有諸多好處，可以把創造的價值回饋給社區。

在Web3應用于科學的領域，一些先驅者已經開始行動。現在已經有了一個生態位系統，VitaDAO是一個Web3項目的例子，它將世界上一些偉大的長壽研究實驗室聚集在一起，為他們的研究提供資金，并對由此產生的知識產權擁有權益。其他項目，如ResearchHub，正試圖通過類似Reddit的社會機制，對科學工作進行眾包策劃。

我們所面臨的問題是全球性的，人類的未來在很大程度上取決于我們的科學引擎是否有自我糾正、證偽、批評和向真理靠攏的能力。DavidDeutsch在他的書說，只要這些核心屬性得以保持，人類就已經踏上了走向無限進步的起點。不幸的是，有經驗證據表明，在過去的幾十年里，科學進步一直在穩步減速，每投入一美元，隨著時間的推移，產生的社會回報越來越小。這一趨勢令人擔憂，一個可能的解釋是，新發現越來越難了。??但可重復危機和劣質出版也表明，我們的學術驗證機制的運轉出了問題，這是科學回報率下降的一個原因。

以正確的方式結合起來，web3技術可以轉變并大幅改善我們的科學合法性授予引擎，同時將科學家創造的價值還給科學家。

技術附錄

學術期刊基于智能體黑盒來預測稿件價值

為了改進目前的出版體系，最好能定義一個目標函數，說明期刊應該選擇什么文章，以使出版物對知識創造的貢獻最大化。基于這樣的目標函數，可以對不同的選擇機制進行比較，并對其促進知識創造的能力進行排名。這就是我們現在試圖做的事情。

作為第一步，我們可以將期刊概念化為一個預測管道，旨在根據預期價值對科學工作進行分類和分級。期刊評價過程中的每個參與者關于是什么構成了有價值的科學，都有自己的世界模型。參與者可能同意也可能不同意他們所認為的有價值的科學。而且，通常情況下，審稿人和編輯都不會明確說明他們的個人評價標準是什么。讓我們把這些潛在的異質性世界模型稱為“黑盒子”。

動態 | 安徽省檔案學會學術年會討論區塊鏈技術等在檔案創新工作中的應用:據新浪財經消息，12月19日，安徽省檔案學會在合肥舉辦了主題為“創新驅動發展”的第二屆全省檔案工作者學術年會。來自各行各業的專家與檔案工作者在6個分論壇作了31個學術報告，圍繞在機構改革中創新檔案工作、檔案服務長三角一體化發展、檔案資源建設、區塊鏈技術應用、智慧檔案館建設、檔案收藏與開發利用等內容進行了探討。[2019/12/21]

在學術出版過程的每個階段，這些黑匣子都會產生信號，這些信號被組合成一個由編輯提出的最終預測。只要預期的科學價值超過了某個期刊的設定標準，稿件就會被接受出版。如果沒有達到標準，稿件將被拒絕或被邀請重新提交，前提是評審員的要求能夠得到徹底解決。

機器學習框架：學術期刊作為集成學習

目前大多數學術期刊可以被視為一個3階段的預測過程，它結合了來自不同黑盒算法的預測。在機器學習中，這被稱為集成學習。集成學習是將不同的預測算法結合起來，以提高預測的準確性。????編輯會進行初始預測，構成對預期科學影響的初步過濾。通過“案頭”后，論文就進入了下一階段，也就是把論文發給同行評審員。評審人對該工作的預期科學價值進行自己的預測。在最后階段，編輯將這些信號與自己的信號進行權衡和匯總，形成自己的最終預測。

基于智能體的框架：努力和真相是防止噪音、串通和破壞的必要條件

在一個理想的世界里，每一個參與的黑盒子都a）花費最大的努力，b）如實報告其預測結果。之所以需要前者，是因為這些世界模型的應用成本很高：評估方法的合理性和結論的合理性所需的詳細和細微工作是一個耗時的過程。每一份提交的材料都是一個高維度的輸入，需要從多個維度進行分解和評估，以確定其預期的科學影響。如果擴大不夠格的努力，預測就變成了噪音。

如果不報告真相，我們就會遇到無端的把關風險。同樣，作者和同行評審員之間也有串通的威脅，互相提供夸大的評論。噪聲、破壞和串通是現代學術期刊同行評審過程的三種失敗模式，只有通過努力和誠實才能避免。這是一個特別尖銳的問題，因為同行評審員為出版社無償工作，而提供努力的評審幾乎沒有任何好處。

學術期刊的正規化

在抽象的意義上，我們可以認為研究工作是通過提供新的證據來確定一個假設的真實性，這些證據理想上是非常有說服力的。研究貢獻的質量取決于我們學到了多少東西，即這些信息在多大程度上提高了我們對假設的信心，以及該假設對整個科學事業的重要性。也就是說，Q=V?L。

鑒于我們現有的知識基礎，新知識的價值取決于其潛在影響，以及從這些潛在影響中獲得的收益，例如新發明。這些東西很難觀察。即使是有類似資格的評審員和編輯也可能在一定程度上對什么是V有不同意見，這受限于他們對當前知識的主觀理解，他們判斷未來影響的技巧和想象力，以及他們對哪些問題最需要解決的看法。我們預設存在有意義的真正的V，而科學工作的評估者要去“猜測”它。一般來說，能力越強越可能有更好的猜測。

我們可以參照貝葉斯規則來理解我們學到了多少東西，P(Y|X)=P(Y)?P(X|Y)/P(X)，其中P(Y)是結果Y發生的先驗可能性，而P(Y|X)是后驗可能性。P(Y|X)衡量的是X包含Y的推斷強度，我們用R表示。P(X|Y)/P(Y)衡量的是當結果為Y時，觀察到條件X的可能性有多大。我們定義P(X|Y)/P(X)=1+I，所以I=0反映了X在有Y或沒有Y的情況下一樣可能發生，因此對條件X的研究沒有學到任何東西。(這里我們假設X和Y之間的正向關系正在被檢驗，即I≥0。這并不喪失一般性，因為Y總是可以被重新標記為相反的結果，使負向關系成為正向關系。）

貢獻的質量現在可以表示為Q=V?(R-R/(1+I))，其中V是能夠預測結果Y的價值，R是Y對條件X的依賴程度，I則是我們對Y的信念因這項研究而發生的變化。請注意，R和I都對Q有正面影響，而且Q≤V。當沒有學到任何新東西，或當條件不能預測結果，或當預測結果不相關時，那么Q=0。請注意，對先前結果的重復可以是一種質量貢獻，因為它可能大大增加對假設的支持，特別是當它是最早的幾個重復之一。

一個有趣的，而且可能是常見的情況是，當一篇論文報告了令人驚訝的結果，有可能改變范式，但結果卻變成了假的。通常來說，在這種情況下，Q可能小于零，因為一個有影響力的錯誤結果可能會造成巨大的損失，不僅是科學家浪費的時間和精力，還要考慮到社會的福祉。例如，不可重復的臨床試驗會給病人和社會帶來間接成本。此外，在虛假發現的基礎上進行的未來研究不僅可能浪費資源，還可能使科學進步誤入歧途。

當貝葉斯模型出現錯誤時，證據并不能證明結論的正確性。如果假設是錯的，條件和結果之間的關系實際上是負的，但被錯誤地報告為正。那么L=R-R/(1+I))<0，這將使貢獻的質量Q為負。

如果我們把科學進步當做一個線性過程，正的Q值意味著新發現對科學進步做出了某種積極貢獻。一個錯誤的發現不僅可能對我們的知識沒有貢獻，而且實際上可能增加混亂和熵，導致科學倒退。然而，編輯可能會誤判了Q而發表這樣的論文。

動態 | Qtum量子鏈首筆Trusted IOT Alliance學術獎金授予英國謝菲爾德大學:Trusted IOT Alliance聯盟成員Qtum量子鏈基金會向英國謝菲爾德大學電子電氣工程系授予了價值6萬美元的學術獎勵。英國謝菲爾德大學提出一項技術新突破，在低耗能和低帶寬環境下執行區塊鏈協同系統可大大提升所有社區的用戶體驗。Qtum量子鏈創始人&CEO帥初說到：“謝菲爾德大學提出的這一方案將大大提升Qtum社區與Qtum治理協議在物聯網領域上大規模應用，也是Qtum邁向未來的重要一步。”[2018/7/26]

學術期刊的既定目的是發表能促進知識發展的論文。在這一點上，區分期刊應該如何審稿以促進知識發展和期刊在實踐中的實際表現是很有意義的。

在規范的情況下，期刊的預測算法應該試圖識別具有高Q值的論文。這一點很復雜，因為貢獻的真正價值本來就很難評估，并受到主觀見解和偏好的影響。此外，評審員和編輯需要努力確保所作分析的客觀和有效，但他們這樣做并沒有得到獎勵。

我們將用Q'=f(V',R',I')來表示預測的稿件質量，其中素數表示估計數量。評審員和編輯不一定會根據貝葉斯模型來評估Q，而可能會采用主觀的權重。V'在很大程度上是主觀的；R'和I'原則上可以更客觀地確定，但要把它們弄對是很費勁的，所以這個任務主要留給評審員。評審員做出報告m，其準確性取決于努力e∈0,1。一般來說，m(e)=t+ρ?(1-e)，其中t是真實值，是一個圍繞零對稱分布的隨機變量。注意，努力越大，潛在誤差ρ?(1-e)越小。

在一個典型的過程中，某編輯，i=1，對投稿進行第一次篩選。如果編輯認為提交的論文通過了某個最低限度的門檻，那么它就會被送出去進行正式評審，這個門檻會受到編輯對新穎性、可重復性等相對偏好的影響。如果論文被編輯送出進行正式評審，評審員也會對其進行類似的評估，他們同樣對不同的考核角度給予不同的權重。

然后，編輯對評價進行總結，得出對論文的最終決定。如果估計的質量高于期刊門檻，該論文下一步可能被要求修改然后重新走流程，最終被拒絕或發表。

期刊編輯面臨的一些不利因素，往往使他們偏好于創新性，反對重復。爭議性的或其他引人注意的結果會在其他研究人員試圖驗證它時獲得引用。如果通過引用實現聲譽最大化是一個目標，那么期刊不激勵和獎勵重復性工作就是合理的，盡管它們是科學事業的一個重要組成部分。重復工作的困境是，他們“不有趣”或“不可信”。如果一項重復性研究證實了原來的結果，或者否定了一個最近發表的、尚未廣為人知的結果，那么它可能不會被視為值得注意的。如果它未能證實一個眾所周知的結果，它將可能面臨質疑。此外，如果只有否定的重復工作才足夠“新穎”，可以在知名期刊上發表，那么研究人員在嘗試這樣的研究時就會面臨很大的風險，因為重復結果可能是積極的。

這些方面表明，文章的“估計質量”將基于不符合貝葉斯學習框架的權重，并可能反映出編輯和評審員之間的優先級差異，評審員為期刊創造未來引文的動力較弱。最終，評審員的判斷在最終決定中的反映程度可能比表面看來要低，這將進一步降低評審員投入努力工作的積極性。

總結一下上述觀點

編輯和評審員不一定會按照一致的加權標準來評價文章，他們的判斷很可能偏離對真實質量的最佳預測。特別是，編輯有動機將創新性看得比可重復性更重，而評審員對科學準確性的驗證可能打折扣。這可能導致出版的文獻中有許多低質量的論文。鑒于為每個期刊評估每篇論文的評審員和編輯人數不多，以及他們可能存在的異質性，出版物的最終質量在不同期刊上會有很高的差異，而每一次向不同期刊投稿都類似于抽獎活動。由于期刊要求他們評估的論文不能同時在不同的期刊上審議，這意味著從首次向期刊投稿到文章真正發表之間會有大量的時間損失。再鑒于許多期刊有不同的格式要求等，這也意味著投稿作者的大量成本。因此，目前策劃和評估科學貢獻的做法是低效的，是對資源的浪費。

如果過分強調可重復性，那么文獻就多是真正的發現，但在我們可靠的知識方面卻幾乎沒有進展。

在一個理想的世界里，期刊可以實現所宣稱的目標，即發表盡可能高質量的論文：

采用邏輯推導規則，從估計的證據強度和研究工作的新穎性來預測質量。給予評審員外在的激勵，使其努力進行核查并如實報告。在(a)和(b)都滿足的情況下，如果期刊允許向不同的出版渠道同時提交論文，以及有更多的研究人員參與評估過程，產生科學文獻的進展會更快。

DAOrayakiDAO研究獎金池：

資助地址:?DAOrayaki.eth

投票進展：DAOCommittee3/0通過

賞金總量：130USDC

References

Deutsch,D.TheBeginningofInfinity:ExplanationsThatTransformtheWorld.(PenguinBooks,2012).Goldbeck-Wood,S.Evidenceonpeerreview—scientificqualitycontrolorsmokescreen?BMJ318,44–45(1999).Huisman,J.&Smits,J.Durationandqualityofthepeerreviewprocess:theauthor’sperspective.Scientometrics113,633–650(2017).MacRoberts,M.H.&MacRoberts,B.R.Problemsofcitationanalysis.Scientometrics36,435–444(1996).Adam,D.Thecountinghouse.Nature415,726–729(2002).Amin,M.&Mabe,M.A.Impactfactors:useandabuse.Medicina63,347–354(2003).Min,C.,Bu,Y.,Wu,D.,Ding,Y.&Zhang,Y.Identifyingcitationpatternsofscientificbreakthroughs:Aperspectiveofdynamiccitationprocess.Inf.Process.Manag.58,102428(2021).Garfield,E.Thehistoryandmeaningofthejournalimpactfactor.JAMAvol.29590(2006).Aistleitner,M.,Kapeller,J.&Steinerberger,S.Citationpatternsineconomicsandbeyond.Sci.Context32,361–380(2019).Biagioli,M.&Lippman,A.GamingtheMetrics:MisconductandManipulationinAcademicResearch.(MITPress,2020).Seglen,P.O.Whytheimpactfactorofjournalsshouldnotbeusedforevaluatingresearch.BMJ314,498–502(1997).Moed,H.F.Citationanalysisofscientificjournalsandjournalimpactmeasures.Curr.Sci.89,1990–1996(2005).Ioannidis,J.P.A.Whymostpublishedresearchfindingsarefalse.PLoSMed.2,e124(2005).Moonesinghe,R.,Khoury,M.J.&ACecileJ.Mostpublishedresearchfindingsarefalse—Butalittlereplicationgoesalongway.PLoSMed.4,e28(2007).Martin,G.N.&Clarke,R.M.Arepsychologyjournalsanti-replication?Asnapshotofeditorialpractices.Front.Psychol.8,523(2017).Smaldino,P.E.&McElreath,R.Thenaturalselectionofbadscience.RSocOpenSci3,160384(2016).Camerer,C.F.etal.Evaluatingreplicabilityoflaboratoryexperimentsineconomics.Science351,1433–1436(2016).OpenScienceCollaboration.PSYCHOLOGY.Estimatingthereproducibilityofpsychologicalscience.Science349,aac4716(2015).Camerer,C.F.etal.EvaluatingthereplicabilityofsocialscienceexperimentsinNatureandSciencebetween2010and2015.NatHumBehav2,637–644(2018).Dreber,A.etal.Usingpredictionmarketstoestimatethereproducibilityofscientificresearch.Proc.Natl.Acad.Sci.U.S.A.112,15343–15347(2015).Verfaellie,M.&McGwin,J.ThecaseofDiederikStapel.AmericanPsychologicalAssociationhttps://www.apa.org/science/about/psa/2011/12/diederik-stapel(2011).Grieneisen,M.L.&Zhang,M.Acomprehensivesurveyofretractedarticlesfromthescholarlyliterature.PLoSOne7,e44118(2012).Callaway,E.ReportfindsmassivefraudatDutchuniversities.Nature479,15(2011).Schweinsberg,M.etal.Samedata,differentconclusions:Radicaldispersioninempiricalresultswhenindependentanalystsoperationalizeandtestthesamehypothesis.Organ.Behav.Hum.Decis.Process.165,228–249(2021).Baker,M.1,500scientistsliftthelidonreproducibility.Nature533,452–454(2016).Serra-Garcia,M.&Gneezy,U.Nonreplicablepublicationsarecitedmorethanreplicableones.SciAdv7,(2021).Hardwicke,T.E.etal.Citationpatternsfollowingastronglycontradictoryreplicationresult:Fourcasestudiesfrompsychology.Adv.MethodsPract.Psychol.Sci.4,251524592110408(2021).Hagve,M.Themoneybehindacademicpublishing.Tidsskr.Nor.Laegeforen.140,(2020).Aczel,B.,Szaszi,B.&Holcombe,A.O.Abillion-dollardonation:estimatingthecostofresearchers’timespentonpeerreview.ResIntegrPeerRev6,14(2021).Adams,W.J.&Yellen,J.L.Commoditybundlingandtheburdenofmonopoly.Q.J.Econ.90,475–498(1976).Greenlee,P.,Reitman,D.&Sibley,D.S.Anantitrustanalysisofbundledloyaltydiscounts.Int.J.IndOrganiz26,1132–1152(2008).Peitz,M.Bundlingmayblockadeentry.Int.J.IndOrganiz26,41–58(2008).Bergstrom,C.T.&Bergstrom,T.C.Thecostsandbenefitsoflibrarysitelicensestoacademicjournals.Proc.Natl.Acad.Sci.U.S.A.101,897–902(2004).Lawson,S.,Gray,J.&Mauri,M.Openingtheblackboxofscholarlycommunicationfunding:Apublicdatainfrastructureforfinancialflowsinacademicpublishing.OpenLibraryofHumanities2,(2016).Else,H.Naturejournalsrevealtermsoflandmarkopen-accessoption.Nature588,19–20(2020).Laakso,M.&Bj?rk,B.-C.Anatomyofopen-accesspublishing:astudyoflongitudinaldevelopmentandinternalstructure.BMCMed.10,124(2012).Solomon,D.J.,Laakso,M.&Bj?rk,B.-C.Alongitudinalcomparisonofcitationratesandgrowthamongopen-accessjournals.J.Informetr.7,642–650(2013).Clark,J.&Smith,R.Firmactionneededonpredatoryjournals.BMJ350,h210(2015).Grudniewicz,A.etal.Predatoryjournals:nodefinition,nodefence.Nature576,210–212(2019).Richtig,G.,Berger,M.,Lange-Asschenfeldt,B.,Aberer,W.&Richtig,E.Problemsandchallengesofpredatoryjournals.J.Eur.Acad.Dermatol.Venereol.32,1441–1449(2018).Demir,S.B.Predatoryjournals:Whopublishesinthemandwhy?J.Informetr.12,1296–1311(2018).Brierley,L.LessonsfromtheinfluxofpreprintsduringtheearlyCOVID-19pandemic.LancetPlanetHealth5,e115–e117(2021).SinghChawla,D.Open-accessrowpromptseditorialboardofElsevierjournaltoresign.Nature(2019)doi:10.1038/d41586–019–00135–8.IncreasingPoliticizationandHomogeneityinScientificFunding:AnAnalysisofNSFGrants,1990–2020—CSPICenter.https://cspicenter.org/reports/increasing-politicization-and-homogeneity-in-scientific-funding-an-analysis-of-nsf-grants-1990-2020/(2021).Bloom,N.,Jones,C.I.,VanReenen,J.&Webb,M.AreIdeasGettingHardertoFind?Am.Econ.Rev.110,1104–1144(2020).Polikar,R.EnsembleLearning.inEnsembleMachineLearning:MethodsandApplications(eds.Zhang,C.&Ma,Y.)1–34(SpringerUS,2012).Sagi,O.&Rokach,L.Ensemblelearning:Asurvey.WileyInterdiscip.Rev.DataMin.Knowl.Discov.8,e1249(2018).Begley,C.G.&Ellis,L.M.Raisestandardsforpreclinicalcancerresearch.Nature483,531–533(2012).

Tags：INGIONTHESCIMatching gamehyperionHeal The WorldSCIFI

UNI