探索性分析(看到結果後才做)。每格為 60 個配對情境、MCL 定位;表格每格的前後成功率與信賴區間可在下方「看全部 8 個壓力軸」查到。
多確定
多確定
多確定
設計注意這個基準的大廳終點貼近端牆:會在牆前停下的 planner,即使定位錯了也可能被判成功,這會讓 MCL 臂偏高,所以大廳類結果低估了定位失效造成的損失(同一個注意事項也適用於前一份 P3 結果)。探索性診斷(僅 tuning seed 0–59):舊 hall/odom_bias 的 MCL 成功 134 次全部是假成功(最後 10 s 定位誤差 > 1 m);改用終點離端牆 ≥ 15 m 的 hall_v3 加嚴格判定後,MCL 成功率約 0.10(GT 臂仍 240/240);hall_v3 路徑較短(約 23–26 m vs 約 47 m),兩者不完全可比(hall_fix.md)。假成功也不只出現在大廳:里程計 speed_scale 1.1–1.3 時,非大廳 MCL 成功中約 62–100% 最後 10 s 定位誤差 > 1 m(探索性)。詳見 FINDINGS.md。
五個 planner 在完全相同的情境(同地圖、同起訖點、同隱藏障礙、同行人設定)下,使用 MCL 定位各跑一次。重播由 repo 的 runner 以凍結設定重新執行,以 5 Hz 取樣。隨機抽樣的三個可以代表一般情況;挑選的兩個是為了展示差異而選,不代表整體成功率。
行人圓圈取自各 planner 自己的那一次模擬(外框為 planner 色),行人看到機器人幾乎停下時會讓行,所以同一情境的行人軌跡不一定完全重疊。時間軸的符號標出結束時刻:✓ 抵達、✕ 碰撞、◷ 逾時、■ 卡住。
一個點 = 一次訓練(一個 seed),各 240 個名義情境。虛線是 dwa 與 pp_stop。v1 的三個 seed(0.540–0.644)全都高於 v2 的三個 seed(0.463–0.508),但 3 對 3 精確排列檢定的最小可能 p 值就是 0.10(這裡 ),因此無法在 seed 層級下結論;我們不宣稱 v2 比 v1 差,也不宣稱沒有差。
v2(整包改動)相對 v1,靜態碰撞下降、動態碰撞/卡住/逾時上升,成功回合較慢(ttg 只計成功回合,有倖存者偏差);無法歸因到單一改動。
多確定
揭露
調校集上的驗證成功率,帶壓力課程,與測試集數字不可直接比較。圓圈是被選中的 checkpoint。
差值 = 成功率(PPO) − 成功率(基準)。