vLLM / v0.5.3.post1

이번 vLLM v0.5.3.post1는 주로 Meta Llama 3.1 모델과의 호환성을 개선하고 몇 가지 버그를 수정한 것이 주요 내용입니다. 아래는 이번 릴리즈의 주요 내용입니다:

주요 사항 (Highlights)

• Meta Llama 3.1과의 호환성 문제 해결: 이번 릴리즈에서는 vLLM과 Meta Llama 3.1 가중치 간의 설정 비호환성을 수정했습니다. 이는 Meta Llama 3.1이 정식으로 릴리즈되기 전 버전으로 테스트된 vLLM과의 호환성 문제를 해결한 것입니다. (#6693)

변경 사항 (What's Changed)

• 문서 업데이트: Meta Llama 3.1의 지원을 공식적으로 발표하는 문서가 추가되었습니다.
• 분산 시스템 관련 문서 수정: 문서 내 인수 순서 오류가 수정되었습니다.
• 버그 수정:
  • 로그 오류 수정: 청크된 사전 입력(prefill) 과정에서 발생하는 로그 오류가 수정되었습니다.
  • RoPE 오류 수정: Meta Llama 3.1 모델에서 발생하던 RoPE 관련 오류가 수정되었습니다.

이 릴리즈는 Meta Llama 3.1과 관련된 호환성을 개선하고, 문서 및 몇 가지 버그 수정을 포함하여 안정성을 높이는 데 중점을 두었습니다.

 

https://github.com/vllm-project/vllm/releases/tag/v0.5.3.post1

Release v0.5.3.post1 · vllm-project/vllm