Presentation Hub · Concept #68

When Do Stale Rollouts Preserve On-Policy Prompt Rankings?

현재 protocol draft의 한국어·영어 발표 덱과 인용 논문별 요약입니다. 메인 덱은 정본 원고의 이론, 측정 gate, OLMo-3 GRPO 실험, 일반화 확장을 반영하며 numerical RLVR 결과는 아직 동결하지 않았습니다.

본 논문

When Do Stale Rollouts Preserve On-Policy Prompt Rankings?

2×2 분해 · exact recovery 조건 · identifiability limit · split-half gate · OLMo-3 GRPO protocol

ICLR 2027 target · 한국어 · 결과 미동결

When Do Stale Rollouts Preserve On-Policy Prompt Rankings? (EN)

Full English deck with the same 14-section theory, measurement, and experiment protocol

ICLR 2027 target · English · results pending

표적 — 2×2 칸을 점유한 방법들

g00 · token-ratio influence — 자기 부록의 28.8%가 우리 출발 증거 (원문 전체 덱)

CTPO (Cumulative Token IS)

g10 · 누적 prefix ratio + correctness theorem — 전제 위반이 우리 증명의 표적

g10 · min-ratio로 prefix 교정 안정화

NFPO (Multi-Step LR Correction)

g01 · forward-trace 계열 — g10과 대칭인 반쪽

g11 · trajectory-level ratio — 무편향이지만 분산 저주

Fresh · 배분 · Stale 학습 (인접 축)

fresh gradient 정렬 선택 — 우리 oracle의 방식, 비용 스펙트럼의 끝점

VIP (Adaptive Rollout Allocation)

학습 수율용 배분 — 우리 '결정 인증 불가'와 축 분리

cross-epoch rollout 재사용 최적화

토큰 예산 배분

SARA (Early Verdicts)

순차 판정 기반 rollout 배분

M2PO (Prosperity before Collapse)

stale 데이터 '학습' 안정화 — 우리는 '선택' 축

ASPO (Asymmetric Ratios)

응답 내부 credit 배분 — cross-prompt 선택과 직교

Predictor Family · 스케줄링

Prompt Predictive Models

작은 예측기로 프롬프트 조향 — F3 비교의 대표

HIVE (Train at Moving Edge)

historical 거름 + online 보정 hybrid

KGPS (Kalman Meets Curriculum)

난이도 posterior + drift 시 재방문 — 우리 Beta baseline의 원형

RLVR 데이터 큐레이션 관행 (경쟁 코드)

Two-Hump Problem

난이도 갭 (AC 추측 탐색 RL — LLM 아님, 인용 범위 주의)

사전학습 online data mixing

ICML 2026 Poster

메인 덱은 2026-09-01 정본 원고와 실행 설정을 기준으로 갱신했습니다. Numerical RLVR 결과는 main 40 points와 extension 72 points가 완결되기 전까지 표시하지 않습니다. 레퍼런스 덱은 개별 논문 요약이므로 상세 주장에는 원문을 확인하세요.