← 목록으로
우주·항공연구 결과

LoRA 동역학의 스펙트럼 및 서브스페이스 분석

원문 발행 2026.11.06 03:17 KST블랙덱 추가 2026.11.09 14:07 KST
요약에 참고한 원문

무엇이 새로워졌나요?

RL은 학습률이 어떤 경우든 스펙트럼을 집중시키고, SFT는 중간 학습률에서 스펙트럼을 확장합니다.

핵심 내용

  1. LoRA의 스펙트럼 변화가 SFT와 RL에서 다르게 나타납니다.
  2. RL은 스펙트럼을 집중시키고, SFT는 스펙트럼을 확장합니다.
  3. 서브스페이스 회전 속도도 RL이 SFT보다 빠릅니다.

내 일에 연결해 보면

그룹 평균 기준 제거가 두 단계의 동역학 차이를 유발합니다.

아직 확인해야 할 점

논문 초록에 근거한 연구 요약입니다. 실제 적용 조건과 검증 범위는 연결된 원문에서 확인해야 합니다.

요약에 참고한 원문

아래 링크는 원문 사이트의 새 창으로 열립니다.

  1. arxivSpectral and Subspace Dynamics of LoRA in Supervised Fine-Tuning and Reinforcement Learning