| 日期 | 2026-06-10 |
| 基準 | main 6252b1b(v3.12.0 + Item 7 spec) |
| 性質 | 產品級審查:這套工具拿來產真論文,缺什麼、擋什麼、騙了自己什麼 |
| 研究者畫像 | 高教品保領域、systematic review/政策研究、中英雙語投稿、單人為主偶有共作 |
| 外部輸入 | AACSB Global Research Impact Task Force, A Framework for Research Impact (May 2026) |
| 審查軌跡 | 初稿 → 主 context 自查(3 修正)→ codex 0.137 high + gemini-3.1-pro dual-track(11+7 findings)→ 本版 |
| 狀態 | 待使用者裁定;裁定前不開 issues |
分類標記:【盲點】初衷內該有而沒有/【增補】初衷外但高價值,附說服理由/【non-goal】誠實列出為什麼不做。撞已拍板 negative scope 的提案,明寫要求推翻哪條決策。
ARS 是一台「文獻→寫作→審查→修訂」中段防錯密度極高的單篇論文品管機;它最大的結構性問題不在中段(中段是強項),而在三處:(1) 跨篇 research program 層級的 state 為零,每篇論文都從失憶開始(是盲點還是 scope 外,送裁定);(2) 品質機制全部回答「這篇有沒有錯」,沒有任何機制讓「這篇無懈可擊但平庸」變得可見;(3) 工具的旗艦防線(deterministic citation verification)在使用者自己的研究類型(政策研究、灰色文獻為主)上覆蓋率系統性最低。
Dual-track 補了第四條:本盤點初稿自己也犯了「AI 對自寫物 anchoring」的錯——兩個提案(F-4、F-5 之半)提的是 repo 已存在的東西,一個提案(F-2 novelty mirror)原始形狀踩了 hidden-ranking 紅線。修訂記錄保留在各節,因為這些誤判本身就是「為什麼這個 repo 需要 cross-model 審」的現場證據。
生命週期:grant/計畫申請 → RQ 孵化 → 文獻 → 方法設計 → 實驗/資料 → 分析 → 寫作 → 內部審查/修改 → 投稿 → rebuttal → camera-ready → 發表後 → 下一篇。(grant 段是 gemini 審查補上的,初稿漏列,見 F-13。)
| 階段 | 覆蓋 | 深度 | 判定 |
|---|---|---|---|
| grant/計畫申請 | funding_statement_guide(formatter reference)為止 | 近零 | 未拍板留白:F-13 |
| RQ 孵化 | deep-research socratic(5-layer)+ FINER guidance-tool 對話 + #257 wording advisory |
完整對話工作流;Layer 1/5 已含 impact 探問(dual-track 修正,見 F-4 撤回紀錄) | 蓋到 |
| 文獻搜尋/篩選 | lit-review / systematic-review(PRISMA)+ literature_corpus + 四索引 citation gate |
全 suite 最厚 | 蓋到;灰色文獻低覆蓋(F-3) |
| 方法設計 | research_architect(Methodology Blueprint);preregistration 僅 reference | Blueprint 為止 | 蓋到 |
| 實驗/資料蒐集 | 無。#260 只做 scholar 宣告的 provenance intake | 僅 intake/audit | non-goal(正確):Kong §3.3 rejected;companion experiment-agent 接手 |
| 分析 | synthesis(文獻層)+ meta_analysis(SR)+ figure fidelity gate #261 | 文獻層完整;primary data 分析無 | non-goal(experiment-agent 領地),邊界清楚 |
| 寫作 | academic-paper 10 modes、12 agents、style calibration、anti-leakage | 完整 | 蓋到 |
| 內部審查/修改 | reviewer 6 modes + in-pair evaluator + R&R traceability + revision/revision-coach | 全 suite 最厚 | 蓋到;「建設 vs 防禦」失衡(F-2) |
| 投稿 | formatter:cover letter、CRediT 14 角色模板、DAS 四模板、COI/funding/ethics、雙盲版去作者資訊、Pre-Output Final Checklist(皆 prompt 層);disclosure mode;journal_submission_guide(含 TSSCI 節) | prompt 層 checklist 完整(初稿低估,codex 修正);deterministic 驗證零 | F-5 改寫後仍立案:gap 是 deterministic 化不是從無到有 |
| rebuttal/response | revision(point-by-point R&R)+ revision-coach(Response Letter Skeleton)吃外部審稿意見 |
完整工作流 | 蓋到 |
| camera-ready | format-convert(LaTeX/DOCX/PDF)為止 | 排版機械層 | 蓋到 |
| 發表後 | monitoring_agent(optional:retraction/correction alert、contradictory findings、author tracking)+ literature_monitoring_strategies(citation alert 指南) | advisory 指南層,非主流程(初稿寫「全空白」過度,codex 修正) | 殘餘 gap 窄而明確:F-7 |
| 下一篇(research program) | 無任何機制 | 零 | F-1:事實成立,分類送裁 |
走查結論:中段密度世界級。前端薄是 deliberate(實驗外包、idea generation 是 Kong L2 紅線)。grant 段與「發表後+下一篇」段是未經裁定的留白——沒有任何 design lesson 記錄過為什麼不做,跟五條 Rejected mechanisms 的待遇不對等。這是本盤點送裁定的核心。
| # | 發現 | 分類 | 狀態 |
|---|---|---|---|
| F-1 | 跨篇 research program state 為零 | 增補(scope 裁定);初稿標盲點,codex 論證 POSITIONING 寫的是 research-to-publication 不含 program 管理,降級 | 送裁 §3 |
| F-2 | 品質機制無「平庸可見性」 | 盲點 | 立案 §4;形狀 2 經 codex 抓出紅線問題後重設計 |
| F-3 | 灰色文獻在四索引 citation gate 下系統性低覆蓋(初稿「全部查無」過度,已軟化) | 盲點 | 立案 §6.2 |
| F-4 | ~~RQ 孵化缺 impact-pathway 探問~~ | 撤回 | §5.1 保留撤回紀錄:提案內容已存在於 socratic Layer 1/5 |
| F-5 | submission package 檢查的 deterministic 化(初稿「無此功能」錯;prompt 層 checklist 已完整) | 增補 | 改寫後立案 §5.2 |
| F-6 | venue selection 無支援 | 增補(撞線) | §5.3;dual-track 後條件收窄為 scholar-supplied candidate universe |
| F-7 | 發表後段殘餘 gap:自我論文的 citation-context audit、errata workflow、OA self-archiving 合規 | 增補(要動 POSITIONING scope) | 改寫後立案 §5.4 |
| F-8 | env flag 無單一總表(7 個 user flag,SETUP.md env 表列 5);安全功能全 opt-in 預設關 | 盲點 | 立案 §7.1(數字經自查修正,codex 同向確認) |
| F-9 | Dogfooding 半斷流:worked example 停在 v2.7;v3.8 之後版本全為外部論文驅動(初稿「v3.4 之後全論文驅動、真實使用零痕跡」錯——v3.6.7 即 chapter-run 驅動且有 spec 記錄) | 盲點(窗口收窄後仍成立) | 立案 §7.2 |
| F-10 | 中文線止於排版:TSSCI 檢索/引用/字體有,中文審查慣例與投稿 workflow 無 | 增補 | 立案 §6.1 |
| F-11 | Multi-author:team_collaboration_protocol.md 已有 human-convention 層(初稿「零支援」錯);passport 層 multi-author state 為零 | non-goal 維持 | §8 |
| F-12 | plain-language summary / 衍生物 | non-goal 維持(撞 Paper2X),理由 §8 | — |
| F-13 | grant/funding lifecycle 整段不在走查與產品內(gemini 補抓) | 增補(scope 裁定) | §5.5 |
| F-14 | bonus hygiene:Originality 權重 repo 內部不一致(quality_rubrics.md 20% vs review_criteria_framework.md 15%,codex 抓) | 盲點(小) | 順手修,可直接開 issue |
所有跨 session 機制都是單篇內的:Material Passport 是 per-run state;resume_from_passport 續同一 run;compliance_history[]、reset_boundary[]、experiment_provenance[] 都掛在單篇 passport 上。唯二跨篇的東西:verification cache(引用查核的效能快取)、literature_corpus[](使用者外部維護重餵,No corpus mutation Iron Rule 明文不回寫)。
真實研究者的工作單位是研究線不是論文:同批文獻寫三篇、上一篇的 limitations 是下一篇的 RQ 種子、上一篇被 reviewer 打過的弱點下一篇先補、paper A 主張過 X 則 paper B 不能無意識主張 ¬X。ARS 自己的機制已經在單篇內生產這些資產(Stage 6 AI Self-Reflection、Acknowledged Limitations、R&R Traceability Matrix),但 run 結束即死。
初稿標【盲點】,論證是「copilot 服務 scholar,scholar 的存在形式是研究線」。codex 反駁:POSITIONING 的自我定義是 "full research-to-publication pipeline"——publication 是終點,research program 管理是擴張解釋。我接受:這是 scope 決定不是落在既有 scope 內的漏洞,改標【增補】,裁定權在使用者。AACSB spiral model(outcome 回饋下一輪 inquiry)是擴的理由,不是已承諾的依據。
「上一篇 limitation → 下一篇 RQ」做成 ARS 主動提案 = 撞 Kong L2。codex 進一步指出:L2 的 verb test 允許的是「對 scholar-supplied RQ 的 wording advisory」,pre-RQ 階段 surface 上篇 limitations 並不在 L2 的明文允許清單內,屬於 L2 沒有預想過的新 seam。合規形狀因此要滿足三個條件(codex 修訂):
跨篇 claim 一致性檢查(自我前作的 claim registry 對照)是 audit 不是 generation,#262 機制形狀可複用,紅線風險低。
2026-04-22 的禁令擋的是「整合外部 corpus」;research-line ledger 承接的是 ARS 自產 artifacts(passport、reflection、R&R matrix——格式 ARS 定義、內容 ARS 產出)。我判斷不在禁令射程內,但邊界是使用者拍的板。
要不要開「research line passport」設計線?最小切片:①scholar-initiated 的 prior-limitations advisory surface(上述三條件);②自我 claim registry 的 cross-paper audit。若裁定不做,建議把「research program 層」明文寫進 POSITIONING non-goal——現在它是留白,跟五條 Rejected mechanisms 的記錄紀律不對等。
防錯側:DA 3 mandatory checkpoints、Stage 2.5/4.5 integrity(zero issues 才放行)、7-mode failure checklist(no escape hatch)、generator-evaluator contract、sprint contract、citation gate、claim audit、49 條 lint。防的全是 hallucination / drift / corruption / sycophancy。
提質側:理論貢獻與論證銳度只出現在評分側(EIC/peer review 的 Originality 加權——主 rubric 20%,舊 reference 殘留 15%,見 F-14)與防守側(DA So-what test、CER stress test)。寫作期/修訂期的 coaching 全面降維到流程與排序(「選三件事改」「排優先序」)。Socratic 的深度集中在 RQ 期(5-layer 含 assumption probing 與 significance),不延伸進寫作期:沒有任何 mode 在 drafting/revision 階段陪 scholar 磨「這篇對哪條理論線的推進點、跟哪個學派對話、delta 在哪」。
結構性後果:一篇文獻完備、引用全驗證、統計無誤、論證結構完整、回應了所有模擬審稿意見的論文,可以全閘綠燈通過——而它可能是 AACSB p.13 受訪者批評的 "micro extensions of what we already know"。reviewer panel 忠實模擬現行 journal review 體制,等於把該體制推向保守增量的力場也內建了。25 modes 的 spectrum 分布(14 Fidelity / 7 Balanced / 4 Originality)顯示系統重心本來就在 fidelity。
HEEACT 評鑑工具加 S0 的原因是「AI 把報告寫到無懈可擊 = 品質訊號失效」。ARS 站在生產端,正是那台把論文寫到無懈可擊的機器。評鑑端已知 compliance ≠ perfection;生產端還沒有對應自覺。解法不是讓 ARS 學會判斷論文價值(LLM 判 novelty 不可靠,v3.0 自承 DA "attacks arguments, never premises"),是讓平庸這個屬性變得可見,判斷留給 scholar。
教訓記錄:「advisory ≠ 自動紅線安全」。本盤點初稿把 advisory 當免死金牌用了一次,被兩個模型從不同條目(F-2、F-6)獨立抓到同一原則。這條應該寫進未來所有 ARS 提案的 review 慣例:檢查紅線時,先檢查候選集是怎麼建構的,再檢查最後誰決定。
推薦先做形狀 1(最便宜、問句現成、最貼 Socratic DNA)。形狀 2 重設計後還值不值得做,送裁。
初稿提案「socratic 加 impact-pathway 探問維度」。Dual-track 兩模型一致打掉前提:socratic_mentor_agent.md Layer 1 已有 "If your research succeeds, how would the world be different?" / "Important to whom?",Layer 5(SIGNIFICANCE & CONTRIBUTION)已有 "If your research succeeds, who would make different decisions as a result?" / "Who benefits once it's filled?";research_question_agent.md 明寫 FINER 是 "guidance tool (not a scoring tool): Designs 2-3 guiding questions for each FINER dimension"。我提案要加的問題逐字級地已經存在。
誤判根因:subagent 地圖只讀了 SKILL.md 層(拿到 5-layer 的名字沒拿到 agent prompt 的問句),主 context 自查的 grep 關鍵詞(stakeholder / impact pathway / who will use)漏掉了實際表述(how would the world be different / who would make different decisions)。關鍵詞錨定偏誤 + 對自寫提案的 anchoring,雙重失效;同 model 的獨立 context(codex prompt 內含維度提示)反而抓到。
殘餘 gap 只剩一條小的:Layer 5 的探問停在「誰會不同」,沒有「發表載體通路」的具體化(學術期刊 vs 評鑑準則 vs 政策白皮書——對政策研究者這是 RQ 期就該想的 dissemination 路徑)。價值低,不獨立立案,併入 F-2 形狀 1 的問句清單即可。
初稿宣稱「submission package 完整性檢查無」。codex 修正:formatter_agent prompt 層已有完整 checklist——雙盲版去作者資訊(:673)、CRediT 14 角色模板、DAS 四模板、COI/funding/ethics statement、Pre-Output Final Checklist(內容完整性+格式合規+必要元素+投稿包四節,any FAIL → fix and re-check)。
改寫後的真 gap:這些全是 prompt 層 checklist(LLM 自我核對),零 deterministic 驗證。對照 ARS 自己的演進邏輯——citation 從 prompt 層防線走到 #182 deterministic gate 花了 8 輪——submission package 正站在同一條演進線的起點。最值得 deterministic 化的三項:①雙盲去識別化殘留掃描(PDF metadata 作者欄、acknowledgments、自引措辭 "in our previous work"、補充檔檔名)——纯 script 可驗、失敗成本高(desk reject)、對單人研究者(沒有第二雙眼睛)價值最大;②字數/結構限制 vs venue 宣告的機械比對;③reference list ↔ 正文引用的雙向 set 比對。另 codex 指出 repro_lock 明文不被 integrity gate 讀(artifact_reproducibility_pattern.md:120-128)——transparency 鏈最後一哩斷在這裡,可併入同一個 verifier。
現況:無 mode、無 agent;top_journals_by_field.md 是 EIC calibration 內部 reference。
紅線分析(dual-track 後收窄):gemini 維持我的撞線判定並補刀(「AI 內部 retrieval 哪些 venue 顯示,本身就是 Top-K filter」);codex 給出唯一可行形狀的精確條件:candidate universe 必須 scholar-supplied 或 exhaustively disclosed。亦即 ARS 不產生候選清單,只對 scholar 自己列出的 venues 填多軸事實表(scope 宣告、turnaround、OA 政策、字數限制、AI disclosure 政策——最後這項 ARS 的 venue_disclosure_policies 已有種子)。「幫我找適合的期刊」這個原始需求本身做不了(候選建構=隱性排名),能做的是「我在這四本之間猶豫」的事實比較器。價值縮水後還值不值得,送裁;優先級低於 F-1/F-2/F-5。
初稿寫「citation tracking、errata、OA self-archiving 全空白」。codex 修正:monitoring_agent 不是空白——retraction/correction alert(含對自己研究的 impact assessment)、contradictory findings 偵測、author tracking、citation alert 設定指南都在,定位是 optional 的 post-research advisory。
準確的殘餘 gap 三項(皆是「對自己論文」的視角,monitoring_agent 是「對引用的別人論文」的視角):①自我 citation-context audit:誰引用了我、把我的 claim 引成什麼樣——技術上是 L3 claim-faithfulness 的鏡像(同一套 anchor/judge 機制反向用),gemini 也獨立指出「總結 verifiable post-publication metrics 供機構 review 用」是不違反 Paper2X 的正當行政用途;②自我 errata workflow:發表後發現錯誤的更正流程支援;③OA self-archiving 合規:Sherpa Romeo 查詢、postprint 版本管理。
此提案要求修改 POSITIONING 的 scope 敘述("research-to-publication"——publication 是終點站)。若裁定不擴,建議至少把「發表後是 deliberate non-goal」寫進 POSITIONING,理由同 F-1:留白與五條 Rejected mechanisms 的記錄紀律不對等。
本盤點初稿的生命週期走查從 RQ 孵化起跳,整段漏掉 grant/計畫申請——gemini 點出這是資深研究者實際行政負擔的大宗,且是 research program 的真正起點(先有計畫核定才有研究線)。repo 現況:funding_statement_guide 只處理「論文裡的 funding 聲明」,計畫書寫作(研究目的、文獻、方法、預期成果、預算敘述)零支援。
對使用者畫像(國科會申請)這是真實年度事件。但本盤點對它的立場有保留,跟 §9 的警告同源:計畫書的「預期影響/預期成果」段是 impact-washing 的最高危文類(承諾未發生的事),ARS 若進這個文類,最自然的滑坡就是「把預期影響寫到無懈可擊」。可辯護的切法:grant 的文獻段與方法段跟 ARS 現有能力(lit-review、research_architect)高度重疊,重用即可;預期成果段只做 advisory 探問不做生成。是否值得為此開 grant-mode(vs 使用者自己拿現有 modes 拼裝),送裁。我的傾向:不開專屬 mode,在 docs 補一頁「用現有 modes 寫計畫書的組裝指南」即可,把生成式支援明文排除。
比預期好的部分(agent prompt 層實查):literature_strategist 有 TSSCI/Airiti/台灣碩博士論文網檢索策略;apa7_chinese_citation_guide 有 TSSCI 期刊引用專節;formatter 有 xeCJK + TSSCI 期刊格式路由;pipeline Stage 5 指定 Source Han Serif TC。中文研究的「找文獻→寫→排版」鏈是通的。
缺的部分:①中文審查慣例——reviewer 5 persona 與 rubric 全以國際英文期刊為框架,台灣學報審查文化無對應;②TSSCI 投稿 workflow 無;③術語強制英文("Academic terminology is kept in English")對純中文社科論文是反向摩擦——台灣教育學界多數場合要求中文術語為主、英文夾注,現行規則方向相反。
裁定問題:投入量取決於你未來兩年的 TSSCI 投稿篇數,這是只有你知道的事實。若投,①③是寫作期就會痛的;②可以人肉。
四索引(S2 / OpenAlex / Crossref / arXiv)對政策研究的核心證據型態——政府報告、評鑑手冊、白皮書、法規、無 DOI 的國際組織文件——覆蓋率系統性偏低(初稿「全部查無」過度:部分 OECD/UNESCO 出版品有 DOI 可解析;codex 修正,gemini 對本條整體判 "factual and accurately assessed")。C-V6 的精度優先設計(title-only unmatched → unresolvable,不 block)讓這些引用不被誤殺,這是對的;但後果是政策研究的 bibliography 大量落在 unresolvable,deterministic gate 的有效覆蓋率對這類研究大幅下降。旗艦防線在維護者本人的研究類型上效力最低。#250(gold set 缺 real-but-unindexed tuples)是同一個洞的工程面,本條是產品面:#250 說「量不到」,本條說「防不到」。
增補方向(成本遞增):①obtained_via: manual 的灰色文獻 entry 加 structured provenance(URL + accessed_date + archive snapshot),manual 路線從「豁免」升級成「另一種可驗」;②URL 活性 + Wayback snapshot 存在性的 deterministic 檢查(script 層、無 LLM);③接政府出版品 API(每轄區不同,維護地獄)。我的判斷:①②值得,③不值得。
說公道話:49 條 lint、191 個 script、INV-* 全跑在 CI/maintainer 層,end user 零阻力。「lint 多 = 門檻高」不成立。
真正的門檻(數字經主 context 自查修正,codex 同向確認;gemini 在此條接受了未驗證的初稿數字,是 gemini 本輪唯一的 fact-check 失手,分歧記錄於 §11):
ARS_CLAIM_AUDIT(claim audit 總開關)散在 README 行文三處、不在任何總表;ARS_CACHE_DIR 只在 design spec。問題本質不是數量是沒有單一 flag 總表。增補形狀:①ARS_PROFILE=strict|standard|minimal 一鍵 profile(已確認 repo 無此名);②單一 flag 總表進 SETUP.md(純文件工);③裁定問題:新 user 預設要不要 citation_existence=strict?打破 byte-equivalent 慣例的取捨,只有你能裁。
初稿宣稱「v3.4 之後演進全為外部論文驅動、真實使用零痕跡」。codex 打掉:v3.6.7(04-30)的 spec 明寫源自 "v3.6.5/v3.6.6 production academic chapter run" 的 17 個 drift patterns——這正是 chapter 真實使用的 repo 痕跡(也吻合維護者 memory 中的 Springer chapter 時段);v3.9.4.1 等版本是 codex post-ship 修正非論文驅動。
修正後仍成立的事實:①唯一完整 end-to-end worked example(showcase/)停在 v2.7 時代(2026-03-09),其後 9 個 minor 版的新機制(triangulation、terminal policy、claim audit、Kong track、experiment provenance)沒有任何一個出現在完整真實 run 的 artifacts 裡;②v3.8 之後(05-16 起)的 motivation 全是外部論文(Zhao/Co-Scientist/Kong/Kim);③eval gold sets 幾乎全合成(citation_extraction 51 tuples 是 fabricated DOI,#250 自知;surface_form_parity 7 項中 3 項 maintainer 自寫)。
論文驅動買到結構化 threat model(可審計、可 lint 化),但量測的是「合成威脅下的防線」不是「真實使用中的價值」。風險走向:工具變成失敗模式文獻的博物館,而不是自己寫論文時痛處的解藥。
增補形狀(成本近零,改慣例不改程式):①下一篇真論文走一次 full pipeline,產出第二個 showcase;考慮立「每 minor 至少一次 real-run smoke」的 release 慣例;②CHANGELOG 加 Real-use findings 慣例節,讓 lived experience 在 repo 留痕(v3.6.7 的 chapter-run 來源寫在 spec 內文深處,初稿盤點都沒挖到——這正說明回流痕跡需要一個固定位置)。
| 項目 | 為什麼不做 | 狀態 |
|---|---|---|
| 實驗執行/autonomous coding | Kong §3.3 rejected;scholar 跑、ARS 驗 provenance | 已拍板,維持 |
| Idea generation(RQ 提案/排序/改寫) | Kong L2,cognitive ownership 論證堅實。本盤點所有 RQ 期提案都設計成問不給;F-1 經 codex 收緊為三條件 | 已拍板,維持 |
| Paper2X auto-generation(含 plain-language summary 自動轉製) | POSITIONING rejected。評估後不提案鬆動:scholar-led 變體理論上可分,但它是 impact-washing 高危文類(S0 鏡像),dissemination design 已劃給 repo 外。不為它鬆動乾淨的紅線 | 維持 |
| Authenticated crawl / paywall bypass | 2026-04-22 拍板,集體風險論證 | 維持 |
| Data layer(外部 corpus 整合) | Passport 是唯一 input port。F-1 的 ledger 是 ARS 自產 artifacts 承接,我判斷不在射程內,邊界送裁 | 維持(F-1 邊界送裁) |
| Primary data 統計分析 | experiment-agent 領地 | 維持 |
| Multi-author 協作 | 修正:team_collaboration_protocol.md 已有 human-convention 層(roles/handoffs/approval 規則)+ intake 收 co-author data;零的是 passport 層 multi-author state(permissions、merge、co-author 確認)。維持 non-goal(單人工具的複雜度紅利就在單人),protocol 文件已足 | 維持,無需動作 |
| Grant 預期成果段的生成式支援 | F-13 評估後明文排除(impact-washing 最高危文類);文獻/方法段重用現有 modes | 新增,建議記錄 |
| 發表後段、research program 層 | 若 F-7/F-1 裁定不做 → 寫進 POSITIONING non-goal,消除留白 | 待裁 |
同意且已轉化為提案的:impact-by-design——但 dual-track 證明 ARS 的 RQ 期已經做了(F-4 撤回是好消息:理念已內建),殘餘只在寫作期延伸(F-2 形狀 1);spiral model 的跨輪迴路(F-1 的擴 scope 理由);external engagement 視角(F-2 形狀 3)。
挑戰報告本身的:①它是學校層級 advocacy 文件,分析單位是 institution(p.10 明說 impact 不該落在個別 faculty 肩上),直接搬到單人 copilot 是 category error,本盤點只取「個人研究線」中間層;②它引了 Campbell's Law(p.19 n.15)卻對自家 Assessment Tool 毫無防 gaming 設計——一張自填 narrative worksheet,正是「把 impact 敘事寫到無懈可擊」的邀請函。
挑戰使用者的(真反駁,不是迂迴同意):你同意 "research that reaches",但你的機構角色和 S0 洞見都在告訴你 reach 的敘事面有多容易造假。這份報告若被工具化,最自然的產品化路徑就是「impact statement writer」——而那正是你在評鑑端要抓的東西。本盤點刻意把 reach 的接入點全部放在源頭(RQ 期,已存在)與事實層(citation-context audit、scholar-supplied 對照集),一個都不放在敘事層;F-13 的 grant 預期成果段同理排除。gemini 對這個 refusal 的評語是 "exceptionally well-argued" 但提醒「彙整 verifiable 既成 metrics 供機構表單」是正當用途——我接受這個區分:回顧既成事實可以,前瞻承諾不行。如果你不同意這個切法,分歧值得開 issue 吵。
兩模型獨立收斂的(最高可信):①F-4 前提錯誤(兩邊都引 socratic_mentor_agent Layer 1/5 原文);②「advisory ≠ 自動紅線安全,候選集建構本身是 ranking」(codex 打 F-2 形狀 2、gemini 打 F-6,不同條目同一原則)。
codex 獨有的真 catch:F-9 時間線(v3.6.7 chapter-run 證據)、F-5 低估(formatter checklist 原文)、F-7 過度宣稱(monitoring_agent 原文)、F-1 分類與 L2 三條件、F-14 rubric 不一致、F-3 措辭軟化。本輪 codex 表現顯著優於 gemini(11 條中 9 條成立)。
gemini 獨有的真 catch:F-13 grant lifecycle 整段遺漏(codex 沒抓到);「回顧既成 metrics vs 前瞻承諾」的正當用途區分。
分歧點(cross-model 的真學習):F-8 數字——codex 判 factual error(與主 context 自查一致),gemini 判 factual(接受了未驗證的 14/9 數字)。同一條宣稱、兩個 verdict,誰做了 first-party grep 誰就對。又一次印證 [[feedback_ai_only_chains_fail_at_fluent_wrongness]]:cross-model 不是保險,first-party deterministic 驗證才是。
初稿五個被打掉/修正的宣稱全數源自同一根因:subagent 地圖讀到 SKILL.md/README 層、沒讀 agent prompt 層(formatter/socratic_mentor/monitoring 的細節全在 agent .md 內文),主 context 又對自寫提案 anchoring。教訓:對 prompt-架構 repo 做產品盤點,「功能存不存在」必須查到 agent prompt 層才算數。
| Finding | 裁定 | 落點 |
|---|---|---|
| F-1 跨篇記憶 | B:不做機制,出文件。使用者問「靠 Claude Code memory 行不行」→ 答:個人層可(重餵 passport + assistant memory 提醒),產品層不可(public skill 不能依賴使用者環境;ARS anti-leakage 哲學本來就不信 LLM 記憶;passport 是唯一 state of record) | #397(POSITIONING non-goal + cross-paper workflow guide) |
| F-2 平庸可見性 | 做形狀 1(Layer 5 問句移植進 plan/revision coaching);形狀 2/3 不做 | #393(p1) |
| F-3 灰色文獻 | 本輪未單獨立案(①manual provenance 強化可併入未來 citation-gate 線) | 報告留檔 |
| F-5 投稿包 | 做,design-first | #394 |
| F-7 發表後 | 不做:「使用者自己會查,戰線不宜拉過長」→ 寫成 recorded non-goal | #397 |
| F-8 引用防線預設 | 預設不動,加配置訪談提問讓使用者選 | #392 |
| F-9 real-run 慣例 | 做 | #395 |
| F-10 TSSCI / F-13 計畫書 | 不做:「給國際通用的 skill,用現有功能就好」 | 結案,報告留檔 |
| F-14 rubric 權重 | 修 | #396 |