transformers / v4.43.2

이번 transformers v4.43.2는 주로 몇 가지 버그 수정과 개선 사항을 포함한 패치 릴리즈입니다. 주요 변경 사항은 다음과 같습니다:

1. float8_e4m3fn 수정 (PR #32193):
   • modeling_utils에서 float8_e4m3fn에 대한 문제를 수정했습니다. 이는 특정 유형의 부동 소수점 연산과 관련된 문제일 가능성이 있으며, 정확한 연산 및 모델 동작을 보장하기 위한 수정으로 보입니다.
2. Deepspeed와 함께 임베딩 리사이즈 문제 수정 (PR #32192):
   • Deepspeed와 관련된 임베딩 리사이즈 작업에서 발생하는 문제를 해결했습니다. Deepspeed는 대규모 모델 학습을 최적화하기 위한 도구로, 이번 수정은 Deepspeed를 사용하는 모델에서 임베딩 크기를 조정할 때 발생하는 오류를 방지하기 위한 것입니다.
3. Forward 실행 시 불필요한 경고 제거 (PR #32176):
   • Forward 패스를 실행할 때 발생하는 불필요한 경고를 제거했습니다. 이는 사용자 경험을 개선하고, 혼란을 줄이기 위한 조치입니다.
4. RoPE: 완화된 rope 검증 (PR #32182):
   • RoPE (Rotary Position Embedding)에 대한 검증을 완화했습니다. 이는 특정 모델이나 작업에서 RoPE의 사용성을 높이기 위해 검증 조건을 덜 엄격하게 조정한 것으로 보입니다.

이번 릴리즈는 주로 모델 학습과 실행 과정에서 발생할 수 있는 몇 가지 문제를 해결하고, 사용자 경험을 개선하기 위한 작은 업데이트입니다.

 

https://github.com/huggingface/transformers/releases/tag/v4.43.2

Release v4.43.2: Patch release · huggingface/transformers