LogicKor는 한국어 언어모델 다양한 분야에서의 사고력을 측정하기위해 구성된 LLM-as-a-judge 방식의 멀티턴 벤치마크 데이터셋입니다. 본 데이터셋은 6가지(추론, 수학, 글쓰기, 코딩, 이해, 국어)의 카테고리의 멀티턴 프롬프트 총 42개로 구성되어있습니다. 벤치마크 리더보드 LogicKor | 한국어 언어모델 다분야 사고력 벤치마크LogicKor은 한국어 언어모델의 다분야 사고력을 측정하는 벤치마크입니다. 추론, 수학, 글쓰기, 코딩, 이해, 문법 등 다양한 분야의 사고력을 측정합니다.lk.instruct.kr 데이터셋 maywell/LogicKor · Datasets at Hugging Face[ "현대 사회는 급속도로 변화하고 있습니다. 기술의 발전, 세계화, 인구 구조 변화, 환경 문..

https://arxiv.org/abs/2303.16634 G-Eval: NLG Evaluation using GPT-4 with Better Human AlignmentThe quality of texts generated by natural language generation (NLG) systems is hard to measure automatically. Conventional reference-based metrics, such as BLEU and ROUGE, have been shown to have relatively low correlation with human judgments, especiallyarxiv.org  논문이 작성되게 된 배경자연어 생성(NLG) 시스템의 평가 어려움:..

안녕하세요, AI 오픈소스 프로젝트에 관심을 갖고 계신 여러분!이번 주에도 여러 흥미로운 오픈소스 프로젝트들이 새롭게 릴리즈되었습니다.여러분께 도움이 될 만한 주요 릴리즈 소식을 정리해 보았으니, 관심 있는 프로젝트가 있다면 업데이트된 기능과 버그 수정 내용을 확인해 보세요.  제가 평소에 관심있게 살펴보는 프로젝트들입니다.아래 목록에 추가하고 싶은 오픈소스 프로젝트가 있다면, 댓글로 남겨주세요!langchain-ai/langchainhuggingface/transformersvllm-project/vllmNVIDIA/TensorRT-LLMmicrosoft/DeepSpeedollama/ollama  langchain-ai/langchainlangchain-core==0.2.34https://github...

안녕하세요, AI 오픈소스 프로젝트에 관심을 갖고 계신 여러분!이번 주에도 여러 흥미로운 오픈소스 프로젝트들이 새롭게 릴리즈되었습니다.여러분께 도움이 될 만한 주요 릴리즈 소식을 정리해 보았으니, 관심 있는 프로젝트가 있다면 업데이트된 기능과 버그 수정 내용을 확인해 보세요.  제가 평소에 관심있게 살펴보는 프로젝트들입니다.아래 목록에 추가하고 싶은 오픈소스 프로젝트가 있다면, 댓글로 남겨주세요!langchain-ai/langchainhuggingface/transformersvllm-project/vllmNVIDIA/TensorRT-LLMmicrosoft/DeepSpeedollama/ollama  langchain-ai/langchainlangchain-core==0.2.31https://github...

안녕하세요, AI 오픈소스 프로젝트에 관심을 갖고 계신 여러분!이번 주에도 여러 흥미로운 오픈소스 프로젝트들이 새롭게 릴리즈되었습니다.여러분께 도움이 될 만한 주요 릴리즈 소식을 정리해 보았으니, 관심 있는 프로젝트가 있다면 업데이트된 기능과 버그 수정 내용을 확인해 보세요.  제가 평소에 관심있게 살펴보는 프로젝트들입니다.아래 목록에 추가하고 싶은 오픈소스 프로젝트가 있다면, 댓글로 남겨주세요!langchain-ai/langchainhuggingface/transformersvllm-project/vllmNVIDIA/TensorRT-LLMmicrosoft/DeepSpeedollama/ollama   langchain-ai/langchainlangchain-core==0.2.29rc1https://git..

Liveness, Readiness, 그리고 Startup ProbesKubernetes에는 다양한 유형의 프로브(Probe)가 있습니다:Liveness 프로브Readiness 프로브Startup 프로브 Liveness 프로브Liveness 프로브는 컨테이너를 언제 재시작해야 하는지를 결정합니다. 예를 들어, 애플리케이션이 실행 중이지만 더 이상 진행할 수 없는 교착 상태(데드락)에 빠진 경우, Liveness 프로브가 이를 감지할 수 있습니다.컨테이너가 Liveness 프로브에서 반복적으로 실패할 경우, kubelet은 해당 컨테이너를 재시작합니다. Liveness 프로브는 Readiness 프로브의 성공을 기다리지 않으며, Liveness 프로브를 실행하기 전에 대기하려면 initialDelaySec..

https://arxiv.org/abs/2306.05685 Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaEvaluating large language model (LLM) based chat assistants is challenging due to their broad capabilities and the inadequacy of existing benchmarks in measuring human preferences. To address this, we explore using strong LLMs as judges to evaluate these marxiv.org 논문이 작성되게 된 배경LLM의 빠른 발전과 평가의 한계: 최근 몇 년간 대형 언..

안녕하세요, AI 오픈소스 프로젝트에 관심을 갖고 계신 여러분!이번 주에도 여러 흥미로운 오픈소스 프로젝트들이 새롭게 릴리즈되었습니다.여러분께 도움이 될 만한 주요 릴리즈 소식을 정리해 보았으니, 관심 있는 프로젝트가 있다면 업데이트된 기능과 버그 수정 내용을 확인해 보세요.  제가 평소에 관심있게 살펴보는 프로젝트들입니다.아래 목록에 추가하고 싶은 오픈소스 프로젝트가 있다면, 댓글로 남겨주세요!langchain-ai/langchainhuggingface/transformersggerganov/llama.cppvllm-project/vllmNVIDIA/TensorRT-LLM  langchain-ai/langchainlangchain-core==0.2.25https://github.com/langchain..

Langchain v0.2.12의 릴리즈 노트에서 주요 변경 사항을 요약하면 다음과 같습니다:Ambiguous root_validator의 업그레이드: 기존의 root_validator를 @pre_init로 업그레이드하였습니다. 이는 코드의 초기화 단계에서의 검증을 더 명확하게 하기 위한 조치입니다.단위 테스트 수정: Pydantic 2와 관련된 문제를 해결하기 위해 단위 테스트가 업데이트되었습니다.타입 주석 추가: 코드에 누락된 타입 주석이 추가되어 코드의 가독성과 유지보수성이 개선되었습니다.init_chat_model 함수 관련 수정:ChatOllama 클래스의 초기화 문제가 수정되었습니다.init_chat_model() 함수가 langchain-ollama와 langchain-community를 폴..

이번 Ollama v0.3.3 릴리즈는 여러 가지 중요한 업데이트와 수정 사항을 포함하고 있습니다. 주요 변경 사항은 다음과 같습니다:/api/embed 엔드포인트 업데이트: 이제 이 엔드포인트는 total_duration, load_duration, prompt_eval_count와 같은 통계 데이터를 반환합니다. 이를 통해 임베딩 처리에 대한 더 많은 정보를 제공할 수 있게 되었습니다./v1/embeddings API의 사용량 통계 추가: OpenAI 호환성 API에 사용량 통계가 추가되었습니다. 이를 통해 API 사용에 대한 보다 구체적인 통계 데이터를 얻을 수 있습니다./api/generate의 오류 수정:context가 제공되었을 때 빈 문자열을 반환하는 문제를 해결했습니다.context에 대해..