transformers / v4.43.3

이번 Hugging Face의 Transformers 릴리즈(v4.43.3)의 주요 내용은 다음과 같습니다:

1. DeepSpeed 관련 수정:
   • DeepSpeed와 함께 사용될 때 임베딩 크기를 조정하는 기능이 추가되었습니다. 이는 사용자가 모델의 임베딩 크기를 더 유연하게 조정할 수 있도록 돕는 기능입니다.
2. 기타 수정 사항:
   • Whisper 모델: 짧은 오디오에 대한 출력 형식을 수정하였습니다. 이로 인해 짧은 오디오 처리 시의 온도 설정이 개선되었습니다.
   • BigBird Pegasus 모델: _supports_param_buffer_assignment를 False로 설정하여 새로운 초고속 초기화 기능에서 일부 모델이 이상하게 동작하는 문제를 방지하였습니다.

이번 패치는 주로 버그 수정과 성능 개선을 목표로 하고 있으며, 특정 사용 사례에서의 안정성을 높이는 데 중점을 두고 있습니다.

 

https://github.com/huggingface/transformers/releases/tag/v4.43.3

Release v4.43.3 Patch deepspeed · huggingface/transformers