우주·항공연구 결과
LoRA 동역학의 스펙트럼 및 서브스페이스 분석
원문 발행 2026.11.06 03:17 KST블랙덱 추가 2026.11.09 14:07 KST
무엇이 새로워졌나요?
RL은 학습률이 어떤 경우든 스펙트럼을 집중시키고, SFT는 중간 학습률에서 스펙트럼을 확장합니다.
핵심 내용
- LoRA의 스펙트럼 변화가 SFT와 RL에서 다르게 나타납니다.
- RL은 스펙트럼을 집중시키고, SFT는 스펙트럼을 확장합니다.
- 서브스페이스 회전 속도도 RL이 SFT보다 빠릅니다.
내 일에 연결해 보면
그룹 평균 기준 제거가 두 단계의 동역학 차이를 유발합니다.
아직 확인해야 할 점
논문 초록에 근거한 연구 요약입니다. 실제 적용 조건과 검증 범위는 연결된 원문에서 확인해야 합니다.
요약에 참고한 원문
아래 링크는 원문 사이트의 새 창으로 열립니다.