????????對于廣大科研工作者來說，學術論文能夠非?？旖荨⒄?、公開（可選擇地）發(fā)布和展示自己或團隊的研究成果。在學術論文發(fā)表的過程中，除arxiv這樣的不需要同行評議的數(shù)據(jù)庫，其他數(shù)據(jù)庫所包含的期刊或會議，大都需要對投遞論文稿件進行 同行評議（Peer review），以確保未來發(fā)表論文的質量和水平。為了能夠得到適合自己研究的期刊或者會議的認可，一方面，研究者需要提高自身研究的質量和水平，另一方面，通過理解同行評議的過程，也有助于研究者有的放矢，在投稿的過程中更好的展現(xiàn)自己研究的亮點。經過第一輪的同行評議之后，期刊或者會議會給作者提供response或rebuttal的機會來回應審稿人所提出的質疑和困惑。這一過程對文章的接收同樣至關重要，作者往往同樣需要認真對待以夠通過response或rebuttal的機會，提高論文的錄用幾率。針對這一方面，本文主要從“什么是peer review？”，“如何進行response以及rebuttal？”及“response和rebuttal到底是否起作用？”這幾個角度分享一下我個人的觀點。

1. 什么是同行評議?

????????Peer review是一種學術成果審查程序，即作者的學術著作或proposal被同一領域的其他專家學者評審，并根據(jù)評審意見決定是否予以錄用（Accept）和后續(xù)正式發(fā)表（Publish）。對于計算機學科特別是人工智能領域的學術會議和期刊，其均有相對成熟和流程化的同行評議（即審稿）機制。

1.1 會議投稿

????????對于會議審稿流程而言，由于會議論文往往有比較嚴格的截止日期（Deadline），作者被要求在截止時間之前提交論文。待deadline一過，大會的程序委員會主席（Program Committee Chair或Program Chair）首先會剔除一批不符合會議投稿政策的論文，如：篇幅不合要求、一稿多投、未匿名、未注明Conflict Domain等，這些論文會直接作“Desk Reject”處理。處理之后的投稿（Submission）便為有效投稿。

????????這些稿件會由PC Chair根據(jù)一定規(guī)則（如TPMS[1]或bidding[2]）分配給高級程序委員會委員（Senior PC，IJCAI/AAAI一般是這個叫法）或領域主席（Area Chair，CVPR/ICCV/ECCV一般用此稱謂），這些人便是論文最終命運的判決者，也是在審稿最后時刻書寫meta review的meta reviewer——一般會由領域內頗有建樹、有判斷力的專家學者擔任。而后，這些meta reviewer會繼續(xù)分配稿件給到實際操刀審稿、給出具體審稿意見的審稿人（Reviewer）。對于CVPR/ICCV/ECCV等CV領域會議，近幾年每個AC負責的文章大約在30-50篇左右，而普通審稿人分配的稿件一般不超過10篇/人。以CVPR 2019為例，針對5160篇有效投稿，全球共召集了132位AC和2887位審稿人[3]，一共提交了超過15000條審稿意見，做到了平均一篇文章至少3條，其中一篇文章甚至有7條審稿意見之多。

????????在reviewer各自獨立提交審稿意見并經由AC檢查質量之后，絕大多數(shù)會議會將首輪意見開放給作者（目前Data Mining領域的KDD、ICDM等仍保持不設rebuttal環(huán)節(jié)的傳統(tǒng)），作者可根據(jù)意見內容進行rebuttal來更正審稿人理解的錯誤、解釋/澄清審稿人的疑慮、提供更多方法和實驗細節(jié)等信息。在收回作者rebuttal之后，同一篇文章的首輪意見、作者rebuttal信息均會開放給所有審稿人和責任AC，進入paper discussion環(huán)節(jié)。

????????Discussion時，AC會主持每篇文章的討論，每位審稿人根據(jù)其他審稿人意見和作者rebuttal會留言給其他審稿人。經過幾天系統(tǒng)線上討論，所有審稿人需更新自己最終意見。更新的意見以及整個討論過程，再加上AC自己的判斷會作為AC給予每篇論文生殺予奪的重要依據(jù)：若多數(shù)審稿人在rebuttal后提高了論文得分或保持accept認為可以接收，則文章有較大概率可被錄用；若多數(shù)審稿人在rebuttal后降分或保持reject，則這篇文章命運便岌岌可危?？梢钥吹?，rebuttal在整個論文錄用過程中起到了舉足輕重的作用——優(yōu)秀的rebuttal能力挽狂瀾；無力的rebuttal則于事無補甚至會畫蛇添足、過猶不及。

????????特別的，CV領域的會議如CVPR/ICCV/ECCV等在AC給予最終決定時，有開線下AC meeting的傳統(tǒng)，即在paper discussion之后會選在某個城市線下召集所有AC共同決定了投稿的最終命運。一般而言，一篇文章是否錄用由三位（有時兩位）沒有conflict domain的AC共同決定，稱作“AC Triplet”。到此，每篇會議論文最終結果（錄用與否以及oral、poster、spotlight）便蓋棺定論，等待著PC Chair公布給如坐針氈的作者們。

1.2 期刊投稿

????????與會議論文相似，期刊論文也是由其他研究者進行同行評議之后決定是否予以錄用。不過期刊審稿由于沒有deadline（期刊的special issue除外），通常不會在較短時間集中接收到的非常多稿件。一般而言，接收到的稿件會由期刊主編（Editor-in-Chief）分配給副主編（Associate Editor），之后副主編會聘請一些相關的研究者作為審稿人進行評審，有時副主編本身也會負責論文的評審意見和推薦等工作。而最終決定論文是否錄用的仍然是期刊主編。

????????與會議論文不同的是，正是由于沒有明確的deadline，期刊審稿意見的“出爐”時間往往極不確定且普遍周期較長（3-8個月不等），第一輪評審之后審稿人一般會給出如下四種推薦意見之一：1）接收（Accept）；2）接收但需要微幅修改（Accept with a minor revision）；3）接收但需要大幅修改（Accept with a major revision，有些期刊如TNNLS則稱作Reject & Resubmit）；4）拒稿（Reject）。之后，副主編會根據(jù)若干審稿人的結果綜合評定給出meta review，若meta review意見為2）和3）中其一，作者便需要準備一個詳盡的revision list來對每位審稿人的意見逐條進行response和rebuttal，同時還需要提供修改過的文章供審稿人進行下一輪評審。同樣，和會議論文不同的是，會議論文這一的rebuttal過程最多只有一次。而期刊論文如此過程可以反復多次，更像一場你一言我一語的“交談”，最終直到全部審稿人均認為達到“Accept”的程度。但需注意，有的期刊major revision只有一輪，若經過一次major revision后的文章仍未達到錄用或minor revision標準，有時便會做拒稿處理?？梢?，有效的rebuttal/response對于期刊論文的錄用仍很關鍵。

2. 如何進行rebuttal or response？

????????以上過程可看出，正規(guī)的會議和期刊同行評議過程非常嚴格、專業(yè)。更顯然的是，從論文提交時開始，作者們便處于弱勢，文章的主動權則全部移交給審稿人和AC。Response 及 Rebuttal作為整個peer review過程中少有甚至唯一的發(fā)聲機會，作者們可要牢牢把握！

2.1 會議Rebuttal

2.1.1 換位思考，理解審稿人的審稿過程

????????不論會議還是期刊，如果最終的目的是更好地展現(xiàn)自己的研究成果并使其更加順暢地被接收，了解審稿人的審稿過程，理解審稿人的心態(tài)至關重要。因此，作者在收到審稿意見后，通常情況不應將情緒和注意力完全放在抱怨和吐槽審稿人上（遇到不專業(yè)的審稿人除外，但更多情況中肯地講多為自己文章的問題），且不應站在審稿人的對立面，相反，更多的應去領會審稿人某句話背后的意圖，體會其心意，應試圖站在ta的角度去揣摩提出意見時的想法和心境，同時不要局限在可見審稿意見中寫的那么寥寥幾筆。只有練就這樣的“同理心”，才能在rebuttal時據(jù)理力爭，答在點子上，為自己扳回一城。

????????而且，從第一節(jié)的同行評議過程的描述可以看到，一個審稿人面對的稿件（尤其會議稿件）非常多，需要ta在短短幾周且不影響本職工作的情況下完成高質量評審，這對于每位審稿人都是個不輕松的任務。事實上，許多審稿人（約50%以上[5]）會在審稿意見提交deadline的最后三天內完成評審，每篇工作在審稿人處花費的時間一定非常有限。如此，我們便需要根據(jù)有限的審稿意見來“管中窺豹“，對審稿人的喜好和傾向一探究竟、琢磨一二，這對于作者如何在rebuttal時“排兵布陣”、“設定應對戰(zhàn)略”尤為重要。

????????比如，若某期刊審稿人說“文章相對會議版本唯一區(qū)別僅在于增加了xxx，而xxx這部分帶來的性能增益非常有限”，實際背后含義是“嫌棄”作者僅incremental式增加不多的新東西就投遞到期刊，顯然不是審稿人沒有看懂新加的xxx部分內容的價值，或不了解作者的技術做法；對此，可以澄清“我們工作并不是trivial/simply的增加了xxx，它有自己的intuition和insight，基于這樣的獨特設計blabla“，同時還要針對性能質疑有所回應，做到有問必答：“增加xxx之后效果提升也較顯著，并不有限，blabla（列出證據(jù)說明增益是significant的，并不marginal）”。再比如，若某會議審稿人簡單指出“novelty有限”，同時并沒有提出更多細節(jié)性缺點，則說明可能ta挑來挑去并沒有找到非常明顯的“硬傷”。要知道每位審稿人預設的身份全是paper killer，他們總在千方百計尋找論文的漏洞和不足，找夠了便足以寫出review來宣判文章“死刑”。對于上述情況，便說明文章可能就是不對該審稿人的胃口，找不到具體的不足，只好拿novelty來說事。

2.1.2 Rebuttal的形式

如今眾多會議提供了非常多樣的rebuttal形式，會議rebuttal形式主要分為以下三種：

????1. 提交PDF文檔作為rebuttal（有頁數(shù)和模版限制，方便提交新表格和插圖，如CVPR/ICCV/ECCV）；

????2. 提交一段文本作為rebuttal（有字符數(shù)限制，不方便提交新表格和插圖，如AAAI/IJCAI）；

????3. 提交PDF文檔作為rebuttal，同時提交修改后的論文（重提交的文件有類似的政策限制，如WACV）。

其中，第三種rebuttal形式更像期刊，只是rebuttal輪數(shù)也僅控制在了一輪。作者需根據(jù)不同會議的政策規(guī)定提前調研和熟悉rebuttal形式，從而在rebuttal時應對自如。

2.1.3 具體實操

本節(jié)提供一些針對具體問題和情況的實操建議，僅供參考：

Rebuttal時，針對不同review類型：

????? ? 1. 質疑 “novelty”：這類最為麻煩但也是作者們遇到可能最多的意見，作此類rebuttal時不妨重新梳理和強調文章的重要貢獻，然后澄清并不是trivial的簡單combine，再強調一下motivation和intuition，用另一種方式將文章亮點表達出來。同時，可以嘗試“圍魏救趙”，即：若審稿人針對方法的某個部件提出novelty不足，可強調其他部件或整個方法的范式是前所未有的；或claim說方法簡單有效，思路全然不同；

本節(jié)提供一些針對具體問題和情況的實操建議，供君參考：

????2. factual error：審稿人一旦找出文章的事實性錯誤，作者不妨大方承認，并表示感謝，同時表示會在final version中更正錯誤；另一種情況是，可能就是因為作者自己沒寫明白，才使得審稿人錯誤理解，如此，也可大方承認，說“我們已經修改了這部分描述，實際上是這樣做的，并不是你理解的那樣，blabla”；

????3. 質疑”漲點不足“：此類一般有兩種，一則無證據(jù)的裸噴漲點不足；二則有證據(jù)（提供了reference）噴漲點不足或噴沒有對比reference中結果。針對一，可找些證據(jù)（如列reference）論證自己方法的漲點幅度和其他state-of-the-art的漲點幅度是可比的，“你看，別人發(fā)在頂會的結果相比baseline也是漲這么多”；針對二，可試著找出這些“證據(jù)”方法和自己方法的不同之處或實驗細節(jié)的不公平之處，比如圖像分辨率不同、backbone不同等；

????4. 質疑”實驗不足“：有條件做實驗的，rebuttal中補上即可；若實驗規(guī)模太大，rebuttal期間無條件做出，可在rebuttal中承諾final version中補上（這樣力度會相對較弱）；而對于要求不合理的實驗意見，可實事求是的說明為何無需做實驗；

????5. Rebuttal時不要漏點，要逐點回應做到有問必答。若因篇幅有限，可將類似的意見合成一點，萬不可因篇幅有限擅自刪除一些要點或遺漏要點，以免造成含糊不清、渾水摸魚之嫌，一旦被審稿人發(fā)現(xiàn)會在paper discussion階段當作硬傷來“置于死地”；此外，除非基本上全是positive評價，要充分利用rebuttal file的空間，充分表達自己觀點，力圖將所有評分均拉到positive區(qū)間確保十拿九穩(wěn)；

?????6. Rebuttal時需要揣摩審稿人傾向，“一切可以團結的力量都要團結，不中立的可以爭取為中立，反動的也可以分化和利用”。有的審稿人會在意見中明確表示，“如果解決了xxx，我就會提升評分”，對此一定要充分爭??；對于某些審稿人提出的不足（如novelty），可能剛巧是另一位審稿人提出的優(yōu)點（“This paper is interesting and novel”），一定要為我所用，讓兩位審稿人在paper discussion中“短兵相接”；對于borderline的審稿人，一定要充分“拉攏腐蝕”；對于初審給了positive分數(shù)的審稿人，一定要鞏固基礎；對于初審給了negative分數(shù)的審稿人，一定要放絕大多數(shù)的精力和rebuttal篇幅來解釋澄清，爭取“冰釋前嫌”；

????7. Rebuttal是“一盤棋”，整篇rebuttal需要統(tǒng)籌協(xié)調，與正文、review配合的相得益彰，同時還需注意rebuttal篇幅資源的分配和優(yōu)化。哪位審稿人應多分配筆墨、哪個問題應多著力回應都需要根據(jù)整體審稿意見情況深入思考、統(tǒng)籌安排；

????8. Rebuttal中能縮寫的盡量縮寫，如約定俗成的PCA、CNN等不必展開，從而節(jié)省空間，將資源留給更需要的回應；

????9. Rebuttal時若發(fā)現(xiàn)審稿人的factual error，如ta提出的某個觀點有顯然錯誤、提出需要對比的數(shù)據(jù)集顯然不是該領域常用的數(shù)據(jù)等，作者可在rebuttal回應此人時首先指出其錯誤，先下一城，贏得主動。要知道rebuttal除了該審稿人之外，其他審稿人以及AC都會看到。此外，這一問題還可以在AC message（見下文）中指出，降低該審稿人意見在AC心中的置信度；

2.2 AC message

還記得上文中提到的只噴novelty而沒有其他細節(jié)問題的審稿人嗎？還記得在審稿意見中暴露factual error的審稿人嗎？……針對這些情況，作者手中仍有一件利器應對，即AC message（或Confidential comments to AC）。Rebuttal時除了作者提交的rebuttal file之外，多數(shù)會議和期刊還為作者提供了一個直接與senior reviewer（如AC和AE）對話的渠道，在AI會議中通常被稱為“AC message”，這部分內容對普通reviewers是不可見的。作者如果在審稿意見中發(fā)現(xiàn)了審稿人的“問題”，如不專業(yè)、對文章涉及領域不熟悉、自我矛盾等，均可指出，從而引起AC注意。在期刊審稿過程中，遇到類似的問題還可通過AC message來嘗試更換審稿人。以下列舉一些可能的AC message的寫法：

• Please note that Assigned Reviewer #id has made some statements that are either against the common-sense in our field or self-contradictory (ironically his/her own confidence rating is "very confident"). blabla

• We want to bring to your attention the very flawed review #id. This reviewer is self-contradictory, cf. Comment #id1, Comment #id2, and Response #id. blabla

• We would like to raise attention to AC that unfortunately Reviewer #id holds a very biased view towards the contributions of our paper. blabla

【常用句式】以下列舉一些rebuttal中的常用句式，供大家選擇使用：

• 開頭

• Thank you for your suggestion.

• Thank you for the positive/detailed/constructive comments.

• We sincerely thank all reviewers and ACs for their time and efforts. Below please find the responses to some specific comments.

• We thank the reviewers for their useful comments. The common questions are first answered, then we clarify questions from every individual review.

• We thank the useful suggestions from the reviewers. Some important or common questions are first addressed, followed by answers to individual reviews.

• 表達同意

• We thank the reviewer for pointing out this issue.

• We agree with you and have incorporated this suggestion throughout our paper.

• We have reflected this comment by …

• We can/will add/compare/revise/correct ... in our revised manuscript/our final version.

• Due to the rebuttal policy, “authors should not include new experimental results in the rebuttal”, additional results may not be included. However, we will add these mentioned experiments and discussions in our final version. Thank you for the constructive comment.（對于CVPR/ICCV/ECCV rebuttal不能提供新結果的政策）

• 表達不同意

• We respectfully disagree with Reviewer #id that ...

• The reviewer might have overlooked Table #id ...

• We can compare ... but it is not quite related to our work ...

• We have to emphasize that ...

• The reviewer raises an interesting concern. However, our work ...

• Thank you for the comment, but we cannot fully agree with the comment. As stated/emphasized ...

• You have raised an important point; however, we believe that ... would be outside the scope of our paper because …

• This is a valid assessment of …; however, we believe that ... would be more appropriate because ...

• 解釋澄清

• We have indeed stated/included/discussed/compared/reported/clarified/elaborated ... in our original paper ... (cf. Line #id).

• As we stated in Line #id, ...

• We have rewritten ... to be more in line with your comments. We hope that the edited section clarifies …

• 額外信息與解釋

• We have included a new figure/table (cf. Figure/Table #id) to further illustrate…

• We have supplemented the xxx section with explanations of ...

• Thank you for the comment. We will explore this in future work.

1. ^CVPR/ICCV/ECCV等會議在使用Toronto Paper Matching System作為準則之一進行論文分配：http://www.cs.toronto.edu/~zemel/documents/tpms.pdf

2. ^指審稿人或AC在投稿池子中申請審稿，按程度不同可大致分為：eager、willing、in a pinch、not willing等。AAAI/IJCAI等會議在沿用此方式。

3. ^http://cvpr2019.thecvf.com/files/CVPR%202019%20-%20Welcome%20Slides%20Final.pdf