robot-navigation-lab · 凍結配對壓力測試

導航系統在真實干擾下失敗,問題出在哪一個環節?

  1. 載入中…

每一套導航堆疊,在哪裡垮掉?

探索性分析(看到結果後才做)。每格為 60 個配對情境、MCL 定位;表格每格的前後成功率與信賴區間可在下方「看全部 8 個壓力軸」查到。

發現 1 · 名義條件

名義條件下,定位不是瓶頸

多確定

發現 2 · 壓力曲線

不同規劃器,垮在不同的地方

看全部 8 個壓力軸

多確定

發現 3 · 定位失效

定位只在「無特徵大廳+里程計偏差」時才變成主因

觀察對象

多確定

設計注意這個基準的大廳終點貼近端牆:會在牆前停下的 planner,即使定位錯了也可能被判成功,這會讓 MCL 臂偏高,所以大廳類結果低估了定位失效造成的損失(同一個注意事項也適用於前一份 P3 結果)。探索性診斷(僅 tuning seed 0–59):舊 hall/odom_bias 的 MCL 成功 134 次全部是假成功(最後 10 s 定位誤差 > 1 m);改用終點離端牆 ≥ 15 m 的 hall_v3 加嚴格判定後,MCL 成功率約 0.10(GT 臂仍 240/240);hall_v3 路徑較短(約 23–26 m vs 約 47 m),兩者不完全可比(hall_fix.md)。假成功也不只出現在大廳:里程計 speed_scale 1.1–1.3 時,非大廳 MCL 成功中約 62–100% 最後 10 s 定位誤差 > 1 m(探索性)。詳見 FINDINGS.md。

親眼看看

同一張地圖,五個規劃器各跑一次

五個 planner 在完全相同的情境(同地圖、同起訖點、同隱藏障礙、同行人設定)下,使用 MCL 定位各跑一次。重播由 repo 的 runner 以凍結設定重新執行,以 5 Hz 取樣。隨機抽樣的三個可以代表一般情況;挑選的兩個是為了展示差異而選,不代表整體成功率。

隨機抽樣(固定種子)
挑選(展示差異)

行人圓圈取自各 planner 自己的那一次模擬(外框為 planner 色),行人看到機器人幾乎停下時會讓行,所以同一情境的行人軌跡不一定完全重疊。時間軸的符號標出結束時刻:✓ 抵達、✕ 碰撞、◷ 逾時、■ 卡住。

PPO v1 → v2

PPO v1 → v2:測試前凍結的負面結果

每個 seed 的名義成功率(GT 與 MCL 平均)

一個點 = 一次訓練(一個 seed),各 240 個名義情境。虛線是 dwa 與 pp_stop。v1 的三個 seed(0.540–0.644)全都高於 v2 的三個 seed(0.463–0.508),但 3 對 3 精確排列檢定的最小可能 p 值就是 0.10(這裡 ),因此無法在 seed 層級下結論;我們不宣稱 v2 比 v1 差,也不宣稱沒有差。

失敗結構:v1 與 v2(名義,GT + MCL 合併,各 3 個 seed)

v2(整包改動)相對 v1,靜態碰撞下降、動態碰撞/卡住/逾時上升,成功回合較慢(ttg 只計成功回合,有倖存者偏差);無法歸因到單一改動。

消融:拿掉行人速度特徵

多確定

揭露

v1 的學習曲線與確證性檢定 F6(較早的 P3 結果,測試 seed 100000+)

學習曲線(驗證集,GT 位姿,60 個調校情境)

調校集上的驗證成功率,帶壓力課程,與測試集數字不可直接比較。圓圈是被選中的 checkpoint。

確證性檢定 F6(名義 240 對,MCL,Holm 校正)

差值 = 成功率(PPO) − 成功率(基準)。

方法與誠實聲明