transformers / v4.43.2

2024. 8. 3. 20:53·AI/오픈소스 릴리즈 노트

이번 transformers v4.43.2는 주로 몇 가지 버그 수정과 개선 사항을 포함한 패치 릴리즈입니다. 주요 변경 사항은 다음과 같습니다:

  1. float8_e4m3fn 수정 (PR #32193):
    • modeling_utils에서 float8_e4m3fn에 대한 문제를 수정했습니다. 이는 특정 유형의 부동 소수점 연산과 관련된 문제일 가능성이 있으며, 정확한 연산 및 모델 동작을 보장하기 위한 수정으로 보입니다.
  2. Deepspeed와 함께 임베딩 리사이즈 문제 수정 (PR #32192):
    • Deepspeed와 관련된 임베딩 리사이즈 작업에서 발생하는 문제를 해결했습니다. Deepspeed는 대규모 모델 학습을 최적화하기 위한 도구로, 이번 수정은 Deepspeed를 사용하는 모델에서 임베딩 크기를 조정할 때 발생하는 오류를 방지하기 위한 것입니다.
  3. Forward 실행 시 불필요한 경고 제거 (PR #32176):
    • Forward 패스를 실행할 때 발생하는 불필요한 경고를 제거했습니다. 이는 사용자 경험을 개선하고, 혼란을 줄이기 위한 조치입니다.
  4. RoPE: 완화된 rope 검증 (PR #32182):
    • RoPE (Rotary Position Embedding)에 대한 검증을 완화했습니다. 이는 특정 모델이나 작업에서 RoPE의 사용성을 높이기 위해 검증 조건을 덜 엄격하게 조정한 것으로 보입니다.

이번 릴리즈는 주로 모델 학습과 실행 과정에서 발생할 수 있는 몇 가지 문제를 해결하고, 사용자 경험을 개선하기 위한 작은 업데이트입니다.

 

https://github.com/huggingface/transformers/releases/tag/v4.43.2

 

Release v4.43.2: Patch release · huggingface/transformers

Fix float8_e4m3fn in modeling_utils (#32193) Fix resize embedding with Deepspeed (#32192) let's not warn when someone is running a forward (#32176) RoPE: relaxed rope validation (#32182)

github.com

 

저작자표시 (새창열림)

'AI > 오픈소스 릴리즈 노트' 카테고리의 다른 글

오픈소스 릴리즈 노트 읽기 - 8월 1주차  (0) 2024.08.04
langchain / 0.2.12  (0) 2024.08.03
ollama / v0.3.3  (0) 2024.08.03
transformers / v4.43.3  (1) 2024.08.03
vLLM / v0.5.3.post1  (0) 2024.08.03
'AI/오픈소스 릴리즈 노트' 카테고리의 다른 글
  • langchain / 0.2.12
  • ollama / v0.3.3
  • transformers / v4.43.3
  • vLLM / v0.5.3.post1
pfldy2850
pfldy2850
인공지능의 서비스화와 현실화에 관심이 많은 엔지니어입니다.
  • pfldy2850
    DEV.DY
    Github LinkedIn
  • 전체
    오늘
    어제
    • All (105)
      • AI (68)
        • 어플리케이션 개발 (11)
        • 모델 인퍼런스 (9)
        • 검색 시스템 (11)
        • MLOps (8)
        • 기술,논문 리뷰 (7)
        • Lecture notes (10)
        • 오픈소스 릴리즈 노트 (12)
      • Infra (4)
        • Kubernetes (1)
        • Service Mesh (1)
        • Service Proxy (1)
        • Storage (1)
      • Data Engineering (4)
        • Spark (3)
        • Kafka (1)
        • Delta Lake (0)
      • 컴퓨터 공학 (2)
        • 소프트웨어 공학 (2)
      • 개발 (16)
        • ReactJS (8)
        • NodeJS (2)
        • Python (4)
        • Pytorch (1)
        • git (1)
      • 영어공부 (2)
        • GPT로 영어 회화 공부 (2)
      • 활동 (2)
        • 2017 NDC (2)
      • 기타 (1)
      • 레거시 (6)
        • OS (6)
  • 인기 글

  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.1
pfldy2850
transformers / v4.43.2
상단으로

티스토리툴바