Data-Efficient RLVR via Off-Policy Influence Guidance

RLVR(Reinforcement Learning with Verifiable Rewards)의 데이터 선택을 heuristic이 아닌 influence function으로 정식화하고, 이를 LLM 스케일에서 실제로 계산 가능하게 만든 연구다.

• 정식화: 학습 prompt $s_0$가 validation 질의 $s_0'$의 objective를 얼마나 개선하는지를 first-order influence, 즉 두 policy gradient의 내적 $\langle \nabla_\theta J(\theta;s_0),\, \nabla_\theta J(\theta;s_0') \rangle$로 측정한다 (Pruthi et al., 2020의 RLVR 확장).
• Rollout Issue → Off-Policy Influence Estimation: on-policy gradient 계산에 필요한 rollout을 없애기 위해, 학습 전에 base policy $\beta=\pi_{\theta_0}$로 수집해 둔 offline trajectories로 현재 policy $\pi_\theta$의 gradient를 근사한다. 온라인 RL objective의 KL 항이 $\pi_\theta$를 $\pi_{\theta_0}$ 근처에 묶어 두므로 이 근사가 유효하다.
• Gradient-Scale Issue → Sparse Random Projection: full-parameter gradient의 차원 일부를 random dropout한 뒤 저차원 projection한다. 정보를 버렸는데도 유사도 rank 보존이 오히려 좋아진다 (precision@10%: 약 13% → 약 80%).
• 이 둘을 결합한 실용 추정기가 POPI(Practical Off-Policy Influence)이고, POPI 점수를 phase마다 현재 checkpoint 기준으로 재계산해 상위 10%만 GRPO로 학습하는 multi-stage curriculum이 CROPI다.
• 1.5B / 7B / 1.5B-R1 모델의 수학 추론 벤치마크에서 검증: 1.5B에서 2.66× step-level 가속, 선택 오버헤드까지 포함한 전체 기준으로도 2.16× 가속.

기존 방법의 공백. RLVR 데이터 선택 연구들(Wang et al., 2025; Bae et al., 2025; Li et al., 2025; Zhao et al., 2025; Sun et al., 2025)은 대부분 난이도(difficulty)·불확실성(uncertainty) 같은 heuristic 지표에 의존한다. 이런 지표는 (i) 성능에 대한 이론적 보장이 없고, (ii) 시나리오가 바뀌면 일반화가 잘 안 된다. 반면 influence function(Hampel, 1974; Koh & Liang, 2017)은 objective의 변화를 데이터별 기여로 분해하는 variational analysis에 기반한다:

Pre-training과 SFT에서는 influence 기반 attribution/selection이 이미 널리 검증됐지만(Grosse et al., 2023; Gu et al., 2024; Xia et al., 2024; Wang et al., 2024), RLVR 적용은 open question이었다. 이유는 두 가지다.

장벽 1 — Rollout Issue. Supervised learning과 달리 RL의 supervision은 policy rollout으로 생성해야 한다. Influence에 필요한 policy gradient

는 현재 policy $\pi_\theta$에서의 sampling을 요구한다. 저자들의 1.5B 설정(batch size 128, 최대 응답 길이 8192)에서 rollout 1 step은 평균 319.80s, forward+backward 1 step은 35.91s — rollout이 약 8.91× 비싸다. 이는 하드웨어 특성과도 일치한다: forward+backward는 compute-bound, autoregressive decoding은 memory-bandwidth-bound. 게다가 RL에서는 데이터의 utility가 policy와 함께 변하므로, 학습 전 1회 global selection(Zhao et al., 2025; Wang et al., 2025)으로는 policy의 진화를 따라갈 수 없다.

장벽 2 — Gradient-Scale Issue. LLM의 full-parameter gradient는 차원이 거대해 저장·내적 비용이 크다. LESS(Xia et al., 2024)는 SFT에서 LoRA gradient + random projection(Johnson–Lindenstrauss Lemma)으로 우회했지만, 이 논문은 RLVR의 성능 확보를 위해 full-parameter 학습을 유지한다 — raw gradient가 훨씬 크고 projection 오버헤드도 커진다.

• Off-Policy Influence Estimation — 실시간 sampling 없이 개별 데이터가 현재 online policy에 미치는 influence를 정량화하는, 이론 기반(rollout-free) 추정법. Offline RL(Levine et al., 2020)의 아이디어를 influence 추정에 이식했으며, TRPO(Schulman et al., 2015)에서 유도된다.
• Sparse Random Projection — projection 전에 gradient 차원 일부를 random dropout하는 압축 기법. 수치 노이즈를 걸러내 inner product 보존을 오히려 개선하면서 계산 효율도 높인다는 것을 실증했다. LoRA gradient를 쓰는 LESS(Xia et al., 2024)와 달리 full-parameter gradient를 직접 다룬다.
• CROPI — 위 추정기를 multi-stage 데이터 선택에 활용하는 curriculum RL 프레임워크. Full-dataset 학습과 기존 데이터 선택 baseline들(Learnability, Pass Rate, 정적 Influence, DAPO)을 모두 상회한다.

배경이 되는 GRPO(Shao et al., 2024)의 objective는 (clipping·KL 항 생략 시):

여기서 $\rho_{k,t}^{\pi_\theta}=\frac{\pi_\theta(x_{k,t}|s_{k,t})}{\pi_{\theta_{\text{old}}}(x_{k,t}|s_{k,t})}$, $\widehat{A}_{k,t}=\frac{R(\tau_k)-\widehat{\mathbb{E}}_{\pi_{\theta_{\text{old}}}}[R(\tau)]}{\widehat{\sigma}_{\pi_{\theta_{\text{old}}}}[R(\tau)]}$ (group-normalized advantage).

First-order influence 공식(Pruthi et al., 2020)을 RLVR에 적용하면, 학습 prompt $s_0$가 test query $s_0'$에서의 성능에 미치는 영향은 두 policy gradient의 내적이다:

직관: 한 step의 파라미터 업데이트 $\Delta\theta \propto \nabla_\theta J(\theta;s_0)$가 $J(\theta;s_0')$를 얼마나 올리는지를 1차 Taylor 전개로 근사한 것이다 (유도는 Appendix A). 문제는 $\nabla_\theta J(\theta;s_0)$가 기대값 $\mathbb{E}_{\tau\sim\pi_\theta}[\cdot]$이라 현재 policy에서의 rollout을 요구한다는 점이다.

Offline RL(Levine et al., 2020)의 아이디어를 따라, behavior policy $\beta$가 생성해 둔 offline trajectories $\{\tau_k\}_{k=1}^{K}\sim\beta(\cdot|s_0)$로 현재 policy $\pi_\theta$의 gradient를 근사한다. $\pi_\theta$와 $\beta$가 KL-constrained라면:

• 유도: TRPO(Schulman et al., 2015)에서 유도되며(Appendix B), GRPO objective에서 clipping을 제거하고 $\pi_{\theta_{\text{old}}}$를 $\beta$로 치환한 gradient와 동치다.
• $\beta = \pi_{\theta_0}$ 선택의 근거: 온라인 RL objective의 KL 항(Shao et al., 2024; Ouyang et al., 2022)이 $\pi_\theta$를 $\pi_{\theta_0}$ 근처로 constrain하므로, base policy의 trajectories로도 근사가 상대적으로 정확하다.
• 공짜에 가까운 비용: 학습 시작 전 모든 prompt에 대해 $\pi_{\theta_0}$로 trajectories를 미리 sampling해 $\mathcal{D}=\{s_0^{(i)},\{\tau_k^{(i)}\}_{k=1}^{K}\}_{i=1}^{N}$을 구축한다 — 이는 기존의 모든 RLVR 데이터 선택 방법이 어차피 수행하는 전처리다. 이후 phase마다 필요한 것은 rollout이 아니라 forward+backward뿐이다.
• 검증: 이 off-policy gradient가 on-policy gradient를 어느 정도 근사함을 cosine similarity 분포로 실증했다 (Appendix G).

Full-parameter gradient $g\in\mathbb{R}^d$를 그대로 projection하는 대신, 먼저 랜덤 인덱스 집합 $S\subset\{1,\dots,d\}$를 뽑아 해당 차원만 남기고 projection한다:

즉 "차원 random dropout → 더 작은 projection"과 동치라서 계산·저장 비용이 sparse ratio $=|S|/d$에 비례해 줄어든다. 놀라운 점은 정확도다. 1.5B 모델에서 학습 prompt 50개의 GRPO gradient로 projection 전후의 pairwise cosine similarity rank 보존도(precision@10%)를 측정한 결과:

저자들의 가설: gradient에 포함된 수치 노이즈(float16 연산)를 random projection이 증폭시키는데, sparsity가 정보 일부를 가리는 대신 노이즈를 대량으로 걸러내 sparse ratio 0.1 부근에서 signal-to-noise ratio가 최적이 된다.

응답 길이·pass rate 차이가 만드는 gradient norm 편향을 없애기 위해 feature를 정규화한 뒤 내적한다 — 즉 cosine similarity와 동치다 (Xia et al., 2024를 따름). $\widetilde{g}_{\beta}=\mathcal{P}_{\text{sparse}}\,\widehat{g}_{\beta}$로 두면:

이것이 POPI (Practical Off-Policy Influence) 추정기다: off-policy(rollout-free) + sparse projection(압축) + cosine 정규화(편향 제거).

Validation set 단위의 점수화. Validation set $\mathcal{D}_{\text{val}}$의 gradient feature를 개별 feature의 합 $\widetilde{g}_{\beta}(\theta,\mathcal{D}_{\text{val}})=\sum_{i=1}^{N_{\text{val}}}\widetilde{g}_{\beta}(\theta,s_0'^{(i)})$으로 정의하고, 학습 prompt의 POPI를 $\texttt{cossim}(\widetilde{g}_{\beta}(\theta,s_0),\widetilde{g}_{\beta}(\theta,\mathcal{D}_{\text{val}}))$로 계산한다.

여러 validation set의 융합. $V$개 validation set이 있을 때, 정보 검색에서 널리 쓰이는 Reciprocal Rank Fusion(RRF; Cormack et al., 2009)으로 rank를 융합한다:

어느 한 validation set에서라도 rank가 높으면(rank 값이 작으면) 융합 점수가 커진다.

Phase-level curriculum. 장기 계획과 동적 선택의 균형을 위해 batch-level이 아닌 phase-level로 선택한다. 각 phase $m$의 시작에서 현재 policy $\pi_{\theta^{(m)}}$로 전체 학습 pool의 POPI-R 점수를 다시 계산하고, 상위 $\lfloor\alpha|\mathcal{D}_{\text{tr}}|\rfloor$개(실험에서 $\alpha=0.1$)만으로 GRPO를 $E$ steps 학습해 $\pi_{\theta^{(m+1)}}$을 얻는다. 이를 $M$ phases 반복한다.

• 모델: Qwen2.5-1.5B-Instruct, Qwen2.5-7B-Instruct, DeepSeek-R1-Distill-Qwen-1.5B (이하 1.5B / 7B / 1.5B-R1).
• 학습 데이터: GSM8K-Train + MATH-Train + DeepScaleR-Preview-Dataset에서 집계한 47K개 고유 문제.
• 평가: GSM8K, MATH, Gaokao2023EN, OlympiadBench, AMC23, AIME24. 이 중 일부 test set에서 최대 100개를 샘플링해 selection용 validation set으로 사용 — 해당 task는 Targeted, 나머지는 Untargeted로 구분.
• Baselines (선택 비율 $\alpha=0.1$ 동일): Learnability(Bae et al., 2025), Pass Rate(Yu et al., 2025), 정적 Influence Function(Pruthi et al., 2020) — global-level 선택; DAPO(Yu et al., 2025) — batch-level 선택. 계산 비용 문제로 baseline 비교는 1.5B에서만 수행.
• 모든 Acc.@step은 window 5의 moving average로 smoothing한 값.

핵심 관찰:

• CROPI @500 (69.49) > Full Dataset @1k (69.42): 절반의 step으로 full-data 1k step을 넘어선다. Training curve 기준 step-level 가속은 2.66× (Figure 3).
• 정적 선택의 한계: Learnability·Pass Rate·정적 Influence는 초기엔 이득을 보이지만 빠르게 plateau — 데이터 utility를 고정된 것으로 추정해 policy의 진화에 적응하지 못하기 때문이라는 것이 저자들의 해석. 같은 influence 이론을 쓰는 "정적 Influence" baseline(@1k 68.70)과 CROPI(@1k 70.26)의 격차는 동적 재선택의 기여를 시사한다.
• 일반화: validation set에 쓰이지 않은 Untargeted 평균도 27.06(full) → 29.60(CROPI)으로 개선 — 선택된 데이터가 targeted task에의 과적합이 아니라 전반적 추론 능력에 기여함을 시사한다.
• Appendix E.5의 ablation: influence 선택을 random phase-wise 선택으로 바꾸면 성능이 뚜렷하게 하락 — 이득이 "10%만 쓰는 curriculum 구조"가 아니라 influence 신호 자체에서 나온다는 증거.

7B에서도 CROPI @300이 Full @600의 targeted 성능과 대등(57.46 vs 57.44)하고, 1.5B-R1(long-CoT distill 모델)에서도 @300 기준 targeted에서 앞선다(47.94 vs 47.12).

8× NVIDIA H100 기준. 괄호는 selection에서 처리하는 prompt 수(gradient 계산·projection·cosine similarity)와 학습 step 수. 전체 pool(완전 정답/완전 오답 제외 후)에 대해 gradient를 계산해야 하므로 selection 비용은 무시할 수 없는 수준이지만, selection으로 인한 slowdown은 약 0.81×에 그쳐 전체적으로 2.16× 가속이 유지된다. 1.5B의 직접적인 wall-clock 분석에서는 targeted accuracy 70% 도달까지 표준 GRPO 대비 2.17× 빨랐다 (Appendix E.4). 저자들은 partial subset 채점, 병렬화 가속, proxy scorer 학습 등으로 selection 비용을 더 줄일 여지가 크다고 지적한다.

1.5B 설정에서 GSM8K·MATH validation set 기준 POPI 상위 100개(top-100)와 하위 100개(bottom-100)를 checkpoint별(step 0, 200, 400, 600, 800)로 분석했다. BGE-large-en-V1.5로 embedding을 계산해 validation set 평균 embedding과의 cosine similarity를 재면, top-100이 random 샘플(baseline)과 bottom-100보다 일관되게 validation set에 의미적으로 가깝다 (Figure 5). POPI는 순수하게 gradient 공간에서 계산되지만, gradient 공간과 semantic 공간 사이의 잠재적 연결을 활용해 validation set과 관련성 높은 학습 데이터를 자동으로 찾아낸다는 해석이 가능하다.

MATH validation set으로 뽑은 top-100 prompt의 pass rate를 두 기준으로 추적했다 (Figure 6):

• Offline pass rate (base model 기준, 파란색): 초기 step 이후 하락 추세 — 0.75 → 약 0.53. 학습이 진행될수록 CROPI는 원래 base model에게 점점 더 어려운 문제를 고른다.
• Online pass rate (현재 checkpoint 기준, 초록색): 뚜렷한 상승 추세 — 0.75 → 0.87. 골라진 문제는 어렵지만 현재 모델의 learning frontier 안에 있어, 모델이 실제로 풀어내며 학습한다.

결과적으로 모델은 online pass rate 0.6~0.9 구간의 데이터로 학습하게 되는데, 이는 성능 개선이 가장 두드러지는 난이도 구간이다. 난이도를 명시적 기준으로 쓰지 않았음에도, influence 최적화가 적정 난이도 curriculum을 창발적으로 만들어 낸 셈이다. Appendix I의 추가 분석(데이터 출처·지식 카테고리·다양성 분해)까지 포함하면, CROPI는 성능뿐 아니라 선택 근거의 해석 가능성도 일정 수준 제공한다.

저자들이 명시한 한계는 네 갈래다:

• 이론: first-order influence + SGD optimizer 가정에 국한 — 더 넓은 optimizer와 influence 추정 방식으로의 확장은 future work. Off-policy gradient 추정의 error/bias/variance에 대한 이론적 분석도 제공하지 않는다.
• Offline trajectories: base model의 trajectories만 사용하므로, base model이 전부 맞히거나 전부 틀리는 prompt는 GRPO advantage가 0이 되어 gradient가 없고 선택 대상에서 빠진다. 강한 positive/negative 예시 주입, 작은 모델의 rollout으로 큰 모델 gradient 추정, 학습 중 rollout 재사용(replay buffer)은 미탐구.
• 실험 범위: single-turn 수학 QA에 한정 (multi-turn, agentic, multi-modal 미검증). 모델은 1.5B·7B, 학습은 1000 steps 미만.
• 수치 오차: gradient 계산이 float16이라 수치 오차가 무시 불가능하고 random projection이 이를 증폭할 수 있다. Dropout-then-project가 완화책이지만 근본 해결은 아니다.

RLVR 데이터 선택의 잣대를 heuristic에서 influence로 옮기고, 그 잣대를 감당 가능한 비용으로 만들었다.

• 원리: 데이터의 가치 = 학습 gradient와 validation gradient의 내적 (first-order influence). 난이도·불확실성 heuristic이 근사하던 것을 직접 계산한다.
• 비용: 학습 전 1회 수집하는 offline trajectories의 재활용(off-policy 추정) + gradient 차원 dropout 후 projection(sparse random projection, 13% → 80% rank 보존)으로 rollout-free 파이프라인 완성.
• 구조: phase마다 현재 policy 기준으로 전체 pool을 재채점해 top-10%만 학습하는 CROPI — 정적 선택이 놓치는 policy 진화를 흡수한다.
• 성과: 1.5B에서 step 기준 2.66×, selection 비용 포함 2.16× 가속. Targeted(70.26 vs 69.42)와 Untargeted(29.60 vs 27.06) 모두 full-data를 상회. 7B·1.5B-R1에서도 일관된 이득.
• 함의: 선택된 데이터가 "base엔 어렵고(offline 0.53) 지금 모델은 푸는(online 0.87)" learning frontier에 정렬된다는 분석은, influence 기반 선택이 곧 원리적 curriculum learning임을 보여준다.