모든 후보 프롬프트를 현재 정책의 fresh rollout으로 채점한다 — candidate gradient와 validation gradient의 정렬(cosine)이 선택 점수. 정확도는 높지만 선택 자체의 rollout 비용이 크다.
모든 후보 프롬프트를 현재 정책의 fresh rollout으로 채점한다 — candidate gradient와 validation gradient의 정렬(cosine)이 선택 점수. 정확도는 높지만 선택 자체의 rollout 비용이 크다.
지금 학생에게 모든 문제를 새로 풀려보고 고르는 정공법 — 정확하지만 제일 비싸다.
우리 실험의 oracle(채점 기준)이 정확히 이 방식
full price와 공짜(stale) 사이에서 언제 무엇을 사야 하는가
GradAlign은 '어떻게 정확히', 우리는 '언제 싸게 되는가'
fresh 정공법의 대표 — 우리 논문에서는 채점 기준(oracle)이자 비용 스펙트럼의 반대쪽 끝점이다.