← 목록으로
모빌리티·물류연구 결과

다중 칩릿 기반 저배치 모이트오브에이프트 인퍼런스 가속 방법 제시

원문 발행 2026.03.29 19:44 KST블랙덱 추가 2026.11.18 03:13 KST
요약에 참고한 원문

무엇이 새로워졌나요?

저배치 MoE 인퍼런스에서 다중 칩릿 간 동적 전문가 흐름을 조정하여 균형 잡힌 로드 분배를 달성합니다.

핵심 내용

  1. 저배치 MoE 인퍼런스에서 칩릿 간 고속 연결을 활용한 동적 전문가 스트림 조정이 가능합니다.
  2. FSE-DP는 기존 기준보다 1.22배에서 2.00배의 속도 향상과 78.8%의 칩 내 메모리 절감을 달성합니다.
  3. 동적 경로 조정을 통해 계산과 통신 간 중첩을 최적화하여 로드 균형을 유지합니다.

내 일에 연결해 보면

FSE-DP는 동적 전문가 경로를 통해 계산과 통신을 적절히 중첩하고, 칩릿 간 고속 연결을 활용하여 로드 불균형을 해소합니다.

아직 확인해야 할 점

논문 초록에 근거한 연구 요약입니다. 실제 적용 조건과 검증 범위는 연결된 원문에서 확인해야 합니다.

요약에 참고한 원문

아래 링크는 원문 사이트의 새 창으로 열립니다.

  1. arxivExpert Streaming: Accelerating Low-Batch MoE Inference via Multi-chiplet Architecture and Dynamic Expert Trajectory Scheduling