안녕하세요, AI 오픈소스 프로젝트에 관심을 갖고 계신 여러분!이번 주에도 여러 흥미로운 오픈소스 프로젝트들이 새롭게 릴리즈되었습니다.여러분께 도움이 될 만한 주요 릴리즈 소식을 정리해 보았으니, 관심 있는 프로젝트가 있다면 업데이트된 기능과 버그 수정 내용을 확인해 보세요.  제가 평소에 관심있게 살펴보는 프로젝트들입니다.아래 목록에 추가하고 싶은 오픈소스 프로젝트가 있다면, 댓글로 남겨주세요!langchain-ai/langchainhuggingface/transformersvllm-project/vllmNVIDIA/TensorRT-LLMmicrosoft/DeepSpeedollama/ollama  langchain-ai/langchainlangchain-core==0.2.36https://github...

최근 Lightning AI에서 AI 모델을 쉽게 서빙할 수 있도록 하는 프레임워크인 LitServe를 공개하였습니다.https://lightning.ai/docs/litserve Lightning AI | Turn ideas into AI, Lightning fastThe all-in-one platform for AI development. Code together. Prototype. Train. Scale. Serve. From your browser - with zero setup. From the creators of PyTorch Lightning.lightning.ai LitServe는 FastAPI를 기반으로 구축된 AI 모델을 위한 사용하기 쉽고 유연한 서빙 엔진입니다. 배칭(batch..

https://arxiv.org/abs/2310.08491 Prometheus: Inducing Fine-grained Evaluation Capability in Language ModelsRecently, using a powerful proprietary Large Language Model (LLM) (e.g., GPT-4) as an evaluator for long-form responses has become the de facto standard. However, for practitioners with large-scale evaluation tasks and custom criteria in consideration (e.garxiv.org   논문이 작성되게 된 배경논문 작성 배경은 ..

LogicKor는 한국어 언어모델 다양한 분야에서의 사고력을 측정하기위해 구성된 LLM-as-a-judge 방식의 멀티턴 벤치마크 데이터셋입니다. 본 데이터셋은 6가지(추론, 수학, 글쓰기, 코딩, 이해, 국어)의 카테고리의 멀티턴 프롬프트 총 42개로 구성되어있습니다. 벤치마크 리더보드 LogicKor | 한국어 언어모델 다분야 사고력 벤치마크LogicKor은 한국어 언어모델의 다분야 사고력을 측정하는 벤치마크입니다. 추론, 수학, 글쓰기, 코딩, 이해, 문법 등 다양한 분야의 사고력을 측정합니다.lk.instruct.kr 데이터셋 maywell/LogicKor · Datasets at Hugging Face[ "현대 사회는 급속도로 변화하고 있습니다. 기술의 발전, 세계화, 인구 구조 변화, 환경 문..

https://arxiv.org/abs/2303.16634 G-Eval: NLG Evaluation using GPT-4 with Better Human AlignmentThe quality of texts generated by natural language generation (NLG) systems is hard to measure automatically. Conventional reference-based metrics, such as BLEU and ROUGE, have been shown to have relatively low correlation with human judgments, especiallyarxiv.org  논문이 작성되게 된 배경자연어 생성(NLG) 시스템의 평가 어려움:..

안녕하세요, AI 오픈소스 프로젝트에 관심을 갖고 계신 여러분!이번 주에도 여러 흥미로운 오픈소스 프로젝트들이 새롭게 릴리즈되었습니다.여러분께 도움이 될 만한 주요 릴리즈 소식을 정리해 보았으니, 관심 있는 프로젝트가 있다면 업데이트된 기능과 버그 수정 내용을 확인해 보세요.  제가 평소에 관심있게 살펴보는 프로젝트들입니다.아래 목록에 추가하고 싶은 오픈소스 프로젝트가 있다면, 댓글로 남겨주세요!langchain-ai/langchainhuggingface/transformersvllm-project/vllmNVIDIA/TensorRT-LLMmicrosoft/DeepSpeedollama/ollama  langchain-ai/langchainlangchain-core==0.2.34https://github...

안녕하세요, AI 오픈소스 프로젝트에 관심을 갖고 계신 여러분!이번 주에도 여러 흥미로운 오픈소스 프로젝트들이 새롭게 릴리즈되었습니다.여러분께 도움이 될 만한 주요 릴리즈 소식을 정리해 보았으니, 관심 있는 프로젝트가 있다면 업데이트된 기능과 버그 수정 내용을 확인해 보세요.  제가 평소에 관심있게 살펴보는 프로젝트들입니다.아래 목록에 추가하고 싶은 오픈소스 프로젝트가 있다면, 댓글로 남겨주세요!langchain-ai/langchainhuggingface/transformersvllm-project/vllmNVIDIA/TensorRT-LLMmicrosoft/DeepSpeedollama/ollama  langchain-ai/langchainlangchain-core==0.2.31https://github...

안녕하세요, AI 오픈소스 프로젝트에 관심을 갖고 계신 여러분!이번 주에도 여러 흥미로운 오픈소스 프로젝트들이 새롭게 릴리즈되었습니다.여러분께 도움이 될 만한 주요 릴리즈 소식을 정리해 보았으니, 관심 있는 프로젝트가 있다면 업데이트된 기능과 버그 수정 내용을 확인해 보세요.  제가 평소에 관심있게 살펴보는 프로젝트들입니다.아래 목록에 추가하고 싶은 오픈소스 프로젝트가 있다면, 댓글로 남겨주세요!langchain-ai/langchainhuggingface/transformersvllm-project/vllmNVIDIA/TensorRT-LLMmicrosoft/DeepSpeedollama/ollama   langchain-ai/langchainlangchain-core==0.2.29rc1https://git..

https://arxiv.org/abs/2306.05685 Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaEvaluating large language model (LLM) based chat assistants is challenging due to their broad capabilities and the inadequacy of existing benchmarks in measuring human preferences. To address this, we explore using strong LLMs as judges to evaluate these marxiv.org 논문이 작성되게 된 배경LLM의 빠른 발전과 평가의 한계: 최근 몇 년간 대형 언..

안녕하세요, AI 오픈소스 프로젝트에 관심을 갖고 계신 여러분!이번 주에도 여러 흥미로운 오픈소스 프로젝트들이 새롭게 릴리즈되었습니다.여러분께 도움이 될 만한 주요 릴리즈 소식을 정리해 보았으니, 관심 있는 프로젝트가 있다면 업데이트된 기능과 버그 수정 내용을 확인해 보세요.  제가 평소에 관심있게 살펴보는 프로젝트들입니다.아래 목록에 추가하고 싶은 오픈소스 프로젝트가 있다면, 댓글로 남겨주세요!langchain-ai/langchainhuggingface/transformersggerganov/llama.cppvllm-project/vllmNVIDIA/TensorRT-LLM  langchain-ai/langchainlangchain-core==0.2.25https://github.com/langchain..