Off-Policy RL · 응답 내 credit 배분

When Importance Sampling Misallocates Credit: Asymmetric Ratios for Outcome-Supervised RL

importance ratio 설계가 응답 내부의 credit 배분을 어떻게 왜곡하는지 분석하고 비대칭 비율을 제안한다 — 단위가 응답 내부 가중이라는 점이 핵심.

📄 arXiv:2510.06062 🗓️ arXiv 2025-10 ✍️ Jiakang Wang 외 2명 🏷️ cs.LG 원문 PDF ↗
ratio 설계
비대칭 importance ratio
단위
응답 내부 credit
진단
IS의 credit 왜곡 분석
직교
cross-prompt 선택과 별개
1SUMMARY

요약 — 이 논문이 한 일

논문 그대로

importance ratio 설계가 응답 내부의 credit 배분을 어떻게 왜곡하는지 분석하고 비대칭 비율을 제안한다 — 단위가 응답 내부 가중이라는 점이 핵심.

쉽게 풀면

한 답안지 '안에서' 어느 단계에 점수를 줄까의 문제 — 우리는 답안지 '사이'에서 어느 문제를 고를까.

2RELATION

우리 논문(#68)과의 관계

관계 · 직교

within-response vs cross-prompt

related work에서 명시적으로 직교 선언

공통 · 문제의식

IS가 무언가를 잘못 배분한다

왜곡의 단위가 다를 뿐

차이 · estimand

가중 vs 순위

우리 정리의 적용 대상 아님

TAKEAWAY

한 장으로 끝내는 정리

논문 그대로

IS 왜곡을 응답 내부에서 본 이웃 — 우리는 같은 문제의식을 프롬프트 간 순위에서 본다.