All

안녕하세요, AI 오픈소스 프로젝트에 관심을 갖고 계신 여러분!이번 주에도 여러 흥미로운 오픈소스 프로젝트들이 새롭게 릴리즈되었습니다.여러분께 도움이 될 만한 주요 릴리즈 소식을 정리해 보았으니, 관심 있는 프로젝트가 있다면 업데이트된 기능과 버그 수정 내용을 확인해 보세요.  제가 평소에 관심있게 살펴보는 프로젝트들입니다.아래 목록에 추가하고 싶은 오픈소스 프로젝트가 있다면, 댓글로 남겨주세요!langchain-ai/langchainhuggingface/transformersvllm-project/vllmNVIDIA/TensorRT-LLMmicrosoft/DeepSpeedollama/ollama  langchain-ai/langchainlangchain-core==0.2.31https://github...

안녕하세요, AI 오픈소스 프로젝트에 관심을 갖고 계신 여러분!이번 주에도 여러 흥미로운 오픈소스 프로젝트들이 새롭게 릴리즈되었습니다.여러분께 도움이 될 만한 주요 릴리즈 소식을 정리해 보았으니, 관심 있는 프로젝트가 있다면 업데이트된 기능과 버그 수정 내용을 확인해 보세요.  제가 평소에 관심있게 살펴보는 프로젝트들입니다.아래 목록에 추가하고 싶은 오픈소스 프로젝트가 있다면, 댓글로 남겨주세요!langchain-ai/langchainhuggingface/transformersvllm-project/vllmNVIDIA/TensorRT-LLMmicrosoft/DeepSpeedollama/ollama   langchain-ai/langchainlangchain-core==0.2.29rc1https://git..

Liveness, Readiness, 그리고 Startup ProbesKubernetes에는 다양한 유형의 프로브(Probe)가 있습니다:Liveness 프로브Readiness 프로브Startup 프로브 Liveness 프로브Liveness 프로브는 컨테이너를 언제 재시작해야 하는지를 결정합니다. 예를 들어, 애플리케이션이 실행 중이지만 더 이상 진행할 수 없는 교착 상태(데드락)에 빠진 경우, Liveness 프로브가 이를 감지할 수 있습니다.컨테이너가 Liveness 프로브에서 반복적으로 실패할 경우, kubelet은 해당 컨테이너를 재시작합니다. Liveness 프로브는 Readiness 프로브의 성공을 기다리지 않으며, Liveness 프로브를 실행하기 전에 대기하려면 initialDelaySec..

https://arxiv.org/abs/2306.05685 Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaEvaluating large language model (LLM) based chat assistants is challenging due to their broad capabilities and the inadequacy of existing benchmarks in measuring human preferences. To address this, we explore using strong LLMs as judges to evaluate these marxiv.org 논문이 작성되게 된 배경LLM의 빠른 발전과 평가의 한계: 최근 몇 년간 대형 언..

안녕하세요, AI 오픈소스 프로젝트에 관심을 갖고 계신 여러분!이번 주에도 여러 흥미로운 오픈소스 프로젝트들이 새롭게 릴리즈되었습니다.여러분께 도움이 될 만한 주요 릴리즈 소식을 정리해 보았으니, 관심 있는 프로젝트가 있다면 업데이트된 기능과 버그 수정 내용을 확인해 보세요.  제가 평소에 관심있게 살펴보는 프로젝트들입니다.아래 목록에 추가하고 싶은 오픈소스 프로젝트가 있다면, 댓글로 남겨주세요!langchain-ai/langchainhuggingface/transformersggerganov/llama.cppvllm-project/vllmNVIDIA/TensorRT-LLM  langchain-ai/langchainlangchain-core==0.2.25https://github.com/langchain..

Langchain v0.2.12의 릴리즈 노트에서 주요 변경 사항을 요약하면 다음과 같습니다:Ambiguous root_validator의 업그레이드: 기존의 root_validator를 @pre_init로 업그레이드하였습니다. 이는 코드의 초기화 단계에서의 검증을 더 명확하게 하기 위한 조치입니다.단위 테스트 수정: Pydantic 2와 관련된 문제를 해결하기 위해 단위 테스트가 업데이트되었습니다.타입 주석 추가: 코드에 누락된 타입 주석이 추가되어 코드의 가독성과 유지보수성이 개선되었습니다.init_chat_model 함수 관련 수정:ChatOllama 클래스의 초기화 문제가 수정되었습니다.init_chat_model() 함수가 langchain-ollama와 langchain-community를 폴..

이번 Ollama v0.3.3 릴리즈는 여러 가지 중요한 업데이트와 수정 사항을 포함하고 있습니다. 주요 변경 사항은 다음과 같습니다:/api/embed 엔드포인트 업데이트: 이제 이 엔드포인트는 total_duration, load_duration, prompt_eval_count와 같은 통계 데이터를 반환합니다. 이를 통해 임베딩 처리에 대한 더 많은 정보를 제공할 수 있게 되었습니다./v1/embeddings API의 사용량 통계 추가: OpenAI 호환성 API에 사용량 통계가 추가되었습니다. 이를 통해 API 사용에 대한 보다 구체적인 통계 데이터를 얻을 수 있습니다./api/generate의 오류 수정:context가 제공되었을 때 빈 문자열을 반환하는 문제를 해결했습니다.context에 대해..

이번 Hugging Face의 Transformers 릴리즈(v4.43.3)의 주요 내용은 다음과 같습니다:DeepSpeed 관련 수정:DeepSpeed와 함께 사용될 때 임베딩 크기를 조정하는 기능이 추가되었습니다. 이는 사용자가 모델의 임베딩 크기를 더 유연하게 조정할 수 있도록 돕는 기능입니다.기타 수정 사항:Whisper 모델: 짧은 오디오에 대한 출력 형식을 수정하였습니다. 이로 인해 짧은 오디오 처리 시의 온도 설정이 개선되었습니다.BigBird Pegasus 모델: _supports_param_buffer_assignment를 False로 설정하여 새로운 초고속 초기화 기능에서 일부 모델이 이상하게 동작하는 문제를 방지하였습니다.이번 패치는 주로 버그 수정과 성능 개선을 목표로 하고 있으며,..

이번 transformers v4.43.2는 주로 몇 가지 버그 수정과 개선 사항을 포함한 패치 릴리즈입니다. 주요 변경 사항은 다음과 같습니다:float8_e4m3fn 수정 (PR #32193):modeling_utils에서 float8_e4m3fn에 대한 문제를 수정했습니다. 이는 특정 유형의 부동 소수점 연산과 관련된 문제일 가능성이 있으며, 정확한 연산 및 모델 동작을 보장하기 위한 수정으로 보입니다.Deepspeed와 함께 임베딩 리사이즈 문제 수정 (PR #32192):Deepspeed와 관련된 임베딩 리사이즈 작업에서 발생하는 문제를 해결했습니다. Deepspeed는 대규모 모델 학습을 최적화하기 위한 도구로, 이번 수정은 Deepspeed를 사용하는 모델에서 임베딩 크기를 조정할 때 발생하..

이번 vLLM v0.5.3.post1는 주로 Meta Llama 3.1 모델과의 호환성을 개선하고 몇 가지 버그를 수정한 것이 주요 내용입니다. 아래는 이번 릴리즈의 주요 내용입니다:주요 사항 (Highlights)Meta Llama 3.1과의 호환성 문제 해결: 이번 릴리즈에서는 vLLM과 Meta Llama 3.1 가중치 간의 설정 비호환성을 수정했습니다. 이는 Meta Llama 3.1이 정식으로 릴리즈되기 전 버전으로 테스트된 vLLM과의 호환성 문제를 해결한 것입니다. (#6693)변경 사항 (What's Changed)문서 업데이트: Meta Llama 3.1의 지원을 공식적으로 발표하는 문서가 추가되었습니다.분산 시스템 관련 문서 수정: 문서 내 인수 순서 오류가 수정되었습니다.버그 수정:로..