개요Milvus는 컴퓨팅 노드에 대한 스토리지 및 컴퓨팅 분리와 수평적 확장성을 특징으로 하는 공유 스토리지 아키텍처를 채택합니다. Data Plane과 Control plane 분리 원칙에 따라 Milvus는 access layer, coordinator service, worker node, storage의 네 가지 계층으로 구성됩니다. 이러한 계층은 확장 또는 재해 복구와 관련하여 상호 독립적입니다. figure에 따라서 인터페이스는 다음과 같은 카테고리로 분류할 수 있습니다.DDL / DCL: createCollection / createPartition / dropCollection / dropPartition / hasCollection / hasPartitionDML / Produce: in..

Cursor는 개발자들이 생산적으로 코드를 작성하고 협업할 수 있도록 돕는 강력한 AI 기반 코드 편집기입니다. 최근 Cursor가 MCP(Model Context Protocol)를 지원하면서, 사용자는 더욱 향상된 코드 작성 환경을 경험할 수 있게 되었습니다. 이번 글에서는 Cursor에서 MCP를 어떻게 설정하고 활용하는지 살펴보겠습니다.MCP와 관련된 내용은 지난 블로그 글에서 다루었으니, 참고하시기 바랍니다! MCP(Model Context Protocol)이 뭐길래?인공지능(AI) 기술의 발전과 함께, AI 시스템이 외부 데이터와 효과적으로 연동되는 것이 점점 더 중요한 이슈로 떠오르고 있습니다. 기존에는 AI 모델이 내부적으로 훈련된 데이터만을 기반으로dytis.tistory.com  MCP..

지난 포스트에서는 MCP(Model Context Protocol)이 무엇인지, 그리고 MCP가 최근 화제가 되는 이유에 대해서 다뤘습니다.해당 내용에 대해서 관심 있으신 분들은 지난 포스트 글을 참고해주시기 바랍니다. MCP(Model Context Protocol)이 뭐길래?인공지능(AI) 기술의 발전과 함께, AI 시스템이 외부 데이터와 효과적으로 연동되는 것이 점점 더 중요한 이슈로 떠오르고 있습니다. 기존에는 AI 모델이 내부적으로 훈련된 데이터만을 기반으로dytis.tistory.com 이번 포스트에서는 그럼 MCP는 어떻게 활용할 수 있는건데?를 위하여, 간단한 실습을 하고자 합니다.Claude desktop에 Naver 검색 능력 입히기를 주제로 실습해보겠습니다.  Claude deskto..

인공지능(AI) 기술의 발전과 함께, AI 시스템이 외부 데이터와 효과적으로 연동되는 것이 점점 더 중요한 이슈로 떠오르고 있습니다. 기존에는 AI 모델이 내부적으로 훈련된 데이터만을 기반으로 작동하는 경우가 많았지만, 실시간 정보 활용과 동적 컨텍스트 유지가 필수적인 환경에서는 이러한 방식이 한계를 보였습니다. 이에 따라, AI 시스템이 외부 데이터와 원활하게 통신하고 정보를 활용할 수 있는 새로운 프로토콜이 필요해졌습니다.2024년 11월, Anthropic이 Model Context Protocol(MCP)을 오픈 소스로 공개하면서, AI 생태계에서는 새로운 변화의 바람이 불기 시작했습니다. MCP는 AI 모델이 다양한 데이터 소스와 연결되어 실시간으로 정보를 주고받을 수 있도록 설계된 프로토콜로,..

검색 시스템은 방대한 양의 데이터를 처리하여 사용자에게 적절한 정보를 제공하는 데 중점을 둡니다. 하지만 모든 데이터가 적절히 검색 가능한 형태로 저장되어 있지 않을 때, 검색 품질이 저하될 수 있습니다. 이를 해결하기 위한 핵심 기술 중 하나가 바로 Document Splitting입니다. 이 글에서는 Document Splitting의 개념, 필요성, 구현 사례를 다룹니다.  Document Splitting이란?Document Splitting은 큰 문서를 더 작은 단위로 나누는 프로세스를 의미합니다. 이 단위는 문장(Sentence), 문단(Paragraph), 또는 사용자가 정의한 특정 논리적 단위(예: 섹션, 챕터 등)일 수 있습니다.예를 들어, 10페이지에 걸쳐 있는 PDF 파일을 통째로 처..

Approximate Nearest Neighbor (ANN) 알고리즘은 고차원 데이터에서 가장 가까운 이웃을 빠르게 찾기 위한 중요한 기법입니다. ANN은 추천 시스템, 이미지 검색, 자연어 처리(NLP) 등 다양한 분야에서 사용됩니다. 이번 글에서는 DiskANN 알고리즘에 대해 살펴보고, 이 알고리즘이 대규모 데이터셋에서 효율적인 성능을 제공하는 이유를 설명하겠습니다. 왜 DiskANN인가?대부분의 주류 ANNS 알고리즘은 인덱스 구축 성능, 검색 성능 및 리콜 간에 일부 균형을 이룹니다. HNSW 및 NSG와 같은 그래프 기반 알고리즘은 현재 검색 성능 및 리콜 측면에서 최첨단 방법입니다. 메모리-resident 그래프 기반 인덱싱 방법은 메모리를 너무 많이 차지하므로, 제한된 메모리 리소스를 가..

벡터 검색과 ANN(Approximate Nearest Neighbor) 알고리즘은 대규모 데이터셋에서 유사한 항목을 빠르게 찾는 데 필수적인 기술입니다. 본 글에서는 다양한 벡터 검색 인덱스에 대해 소개합니다.  Flat Index모든 벡터를 직접 저장하며, Brute-Force 방식으로 검색합니다. 데이터셋 내의 모든 벡터를 비교하여 가장 가까운 결과를 반환하기 때문에 구현이 간단하며 정확도가 높습니다.인덱스 생성벡터의 차원을 설정합니다.모든 벡터를 데이터베이스에 추가하여 저장합니다.검색 방식쿼리 벡터를 입력합니다.저장된 모든 벡터와 비교하여 가장 가까운 이웃을 반환합니다.특징장점: 100% 정확한 결과를 반환. 모든 벡터를 비교하기 때문에 가장 가까운 이웃을 항상 정확히 찾습니다.단점: 대규모 데이..

새로운 영화를 고르거나 좋아하는 음악을 발견하는 과정은 이제 더 이상 어려운 일이 아닙니다. Netflix는 사용자가 선호할 만한 영화를 추천하고, Spotify는 개개인의 음악 취향을 분석해 알맞은 곡을 제안합니다. Google 이미지 검색은 비슷한 사진을 빠르게 찾아주며, 전자상거래 사이트에서는 구매 이력을 바탕으로 적합한 상품을 추천합니다. 이처럼 현대의 추천 및 검색 시스템은 우리의 삶을 편리하게 만들어 주고 있습니다.이 모든 기술의 중심에는 데이터를 분석하고 적합한 결과를 반환하는 Nearest Neighbor(NN) 알고리즘이 자리 잡고 있습니다. 하지만 NN 알고리즘은 데이터 양이 방대해질수록 모든 선택지를 하나하나 비교해야 하므로 속도가 급격히 느려지는 한계가 있습니다. 데이터를 효율적으로..

정보 검색(IR) 시스템은 사용자의 쿼리에 응답하여 문서를 찾아주는 역할을 합니다. 이러한 시스템이 발전함에 따라, 기존 시스템을 분석하고 이해하기 위한 포괄적인 평가 방법의 필요성도 커졌습니다.텍스트 임베딩은 일반적으로 단일 작업에 대한 소수의 데이터셋을 기반으로 테스트되며, 이는 다른 작업에서의 성능을 충분히 보여주지 못합니다. 예를 들어, 의미적 텍스트 유사성(Semantic Textual Similarity, STS)에 최적화된 임베딩이 클러스터링이나 재정렬과 같은 작업에도 동일하게 효과적인지는 명확하지 않습니다. 이로 인해 새로운 모델과 임베딩 기법이 계속해서 제안되지만, 일관된 테스트가 이루어지지 않아 해당 분야에서의 발전을 평가하기 어렵습니다.이 문제를 해결하기 위해 연구자들은 Massive..

정보 검색(IR) 시스템은 사용자의 쿼리에 응답하여 문서를 찾아주는 역할을 합니다. 이러한 시스템이 발전함에 따라, 기존 시스템을 분석하고 이해하기 위한 포괄적인 평가 방법의 필요성도 커졌습니다.BEIR(Benchmarking IR)는 다양한 작업과 정보 유형에 대해 검색 시스템의 성능을 평가하기 위한 도구입니다. 전통적인 벤치마크가 특정 작업이나 도메인에만 초점을 맞추는 것과 달리, BEIR는 여러 시나리오에서 다양한 정보 검색 모델을 테스트하는 이질적인 평가 프레임워크입니다. BEIR는 사실 확인, 질문 응답, 생물의학 정보 검색 등 다양한 작업을 위한 18개의 데이터셋을 포함하고 있고, 이러한 다양성 덕분에, BEIR는 현실 세계의 사용 사례에 가까운 방식으로 정보 검색 시스템의 범용성과 안정성을 ..

최근 자연어 처리(NLP) 분야에서 대형 언어 모델(Large Language Models, 이하 LLM)의 성과가 눈부십니다. OpenAI의 GPT-4와 Google의 PaLM 2 같은 최신 LLM은 다양한 NLP 작업에서 뛰어난 제로샷(zero-shot) 성능을 입증하며 주목받고 있습니다. 이러한 성과는 단순한 질의응답을 넘어 텍스트 순위 매기기(text ranking)라는 새로운 응용 분야로 확장되고 있습니다.이전 포스트에서 LLM을 사용하여 도큐먼트의 ranking을 매기는 방법에 대해서 다루었으니, 관심 있으신 분들은 참고하시면 좋을 것 같습니다. Retrieval을 위한 zero-shot LLM Ranker앞서서최근 자연어 처리(NLP) 분야에서 대형 언어 모델(Large Language Mo..

앞서서최근 자연어 처리(NLP) 분야에서 대형 언어 모델(Large Language Models, 이하 LLM)의 성과가 눈부십니다. OpenAI의 GPT-4와 Google의 PaLM 2 같은 최신 LLM은 다양한 NLP 작업에서 뛰어난 제로샷(zero-shot) 성능을 입증하며 주목받고 있습니다. 이러한 성과는 단순한 질의응답을 넘어 텍스트 순위 매기기(text ranking)라는 새로운 응용 분야로 확장되고 있습니다.특히, 초기의 제로샷 LLM 랭커는 주로 포인트와이즈(pointwise) 접근 방식을 따랐습니다. 이 방식은 하나의 질의(query)와 하나의 문서(document)에 대해 각각 점수를 계산한 후, 이를 바탕으로 문서를 순위별로 정렬합니다. Liang et al. (2023)와 Sacha..

정보 검색(Information Retrieval) 시스템의 성능은 다양한 메트릭으로 평가됩니다. 여기서는 주요 개념과 지표를 간단히 설명합니다.  들어가기 앞서@K검색 결과 상위 K개의 문서만 평가.예: @5는 상위 5개 문서만 반환.목적: 사용자가 주로 확인하는 상위 결과에 집중.활용: Precision@K, Recall@K, nDCG@K 등. Relevance란?사용자 쿼리와 검색 결과 간의 일치 정도. 높은 관련성은 사용자가 원하는 정보가 검색 결과에 포함되어 있음을 의미. 관련성은 주관적인 요소와 시스템의 매칭 알고리즘에 의해 평가.주요 요소:문맥적 적합성: 사용자 쿼리의 의미와 검색 결과의 내용 간의 적합성.사용자 의도: 사용자가 쿼리를 통해 무엇을 찾으려 하는지에 대한 정확한 이해.결과의 품..

Retrieval 시스템은 대규모 데이터셋에서 관련 정보를 효율적으로 식별하는 데 필수적인 기술로, 다양한 AI 애플리케이션에서 핵심적인 역할을 합니다. 이러한 시스템은 다양한 데이터 형식을 처리할 수 있도록 설계되었습니다:비정형 텍스트(예: 문서)는 주로 벡터 스토어나 어휘 검색 색인(lexical search index)에 저장됩니다.구조화된 데이터는 관계형 데이터베이스나 그래프 데이터베이스와 같은 정의된 스키마를 가진 저장소에 보관됩니다.데이터 형식의 다양성이 증가하고 있음에도 불구하고, 현대 AI 애플리케이션은 모든 유형의 데이터를 자연어 인터페이스를 통해 접근 가능하게 만드는 것을 목표로 하고 있습니다. 모델은 자연어 쿼리를 검색 색인 또는 데이터베이스와 호환 가능한 형식으로 변환하는 데 중요한..

MLflow 모델은 다양한 다운스트림 도구에서 사용할 수 있는 머신 러닝 모델을 패키징하기 위한 표준 포맷입니다. 이 포맷은 다양한 다운스트림 도구에서 이해할 수 있는 다양한 "flavors"로 모델을 저장할 수 있는 규칙을 정의합니다. Storage Format각 MLflow 모델은 임의의 파일을 포함하는 디렉토리이며, 디렉토리 루트에는 모델을 볼 수 있는 여러 유형을 정의할 수 있는 MLmodel 파일이 있습니다. MLflow 모델의 측면에서모델이란 직렬화된 객체(pickled scikit-learn 모델)이거나 mlflow.models.set_model() API로 정의된 모델 인스턴스를 포함하는 파이썬 스크립트(또는 노트북) 일 수 있습니다. Flavor는 MLflow 모델의 주요 개념인데요, ..

최근 Qwen 팀이 공개한 QwQ-32B-Preview는 AI 기술의 새로운 가능성을 제시하는 혁신적인 연구 모델입니다. 이 모델은 특히 수학과 프로그래밍 분야에서 뛰어난 성능을 보여주며, 복잡한 문제를 해결하는 데 있어 놀라운 추론 능력을 선보이고 있습니다. QwQ: Reflect Deeply on the Boundaries of the UnknownGITHUB HUGGING FACE MODELSCOPE DEMO DISCORD Note: This is the pronunciation of QwQ: /kwju:/ , similar to the word “quill”. What does it mean to think, to question, to understand? These are the deep wa..

자연어 처리와 대화형 AI 모델을 통해 복잡한 문제를 해결하려면, 단순히 언어를 이해하는 것을 넘어서 다양한 툴을 활용할 필요가 있습니다. LangChain은 이러한 필요성을 충족시킬 수 있는 프레임워크로, 특히 Tool Calling 기능을 통해 외부 데이터와의 상호작용을 쉽게 만들어 줍니다. 이 글에서는 LangChain을 활용한 Tool Calling의 작동 원리와 실제 사용 방법을 구체적인 예제를 통해 소개하겠습니다.  LangChain이란?LangChain은 자연어 처리 모델을 좀 더 강력하고 유연하게 사용할 수 있게 도와주는 Python 기반의 오픈소스 프레임워크입니다. 이 프레임워크는 AI 모델과 다양한 외부 도구를 연결하는 데 초점을 맞추고 있어, AI 모델이 API 호출, 데이터베이스 쿼..

자연어 처리와 대화형 AI 모델을 통해 복잡한 문제를 해결하려면, 단순히 언어를 이해하는 것을 넘어서 다양한 툴을 활용할 필요가 있습니다. LangChain은 이러한 필요성을 충족시킬 수 있는 프레임워크로, 특히 Tool Calling 기능을 통해 외부 데이터와의 상호작용을 쉽게 만들어 줍니다. 이 글에서는 LangChain을 활용한 Tool Calling의 작동 원리와 실제 사용 방법을 구체적인 예제를 통해 소개하겠습니다.  LangChain이란?LangChain은 자연어 처리 모델을 좀 더 강력하고 유연하게 사용할 수 있게 도와주는 Python 기반의 오픈소스 프레임워크입니다. 이 프레임워크는 AI 모델과 다양한 외부 도구를 연결하는 데 초점을 맞추고 있어, AI 모델이 API 호출, 데이터베이스 쿼..

자연어 처리와 대화형 AI 모델을 통해 복잡한 문제를 해결하려면, 단순히 언어를 이해하는 것을 넘어서 다양한 툴을 활용할 필요가 있습니다. LangChain은 이러한 필요성을 충족시킬 수 있는 프레임워크로, 특히 Tool Calling 기능을 통해 외부 데이터와의 상호작용을 쉽게 만들어 줍니다. 이 글에서는 LangChain을 활용한 Tool Calling의 작동 원리와 실제 사용 방법을 구체적인 예제를 통해 소개하겠습니다.  LangChain이란?LangChain은 자연어 처리 모델을 좀 더 강력하고 유연하게 사용할 수 있게 도와주는 Python 기반의 오픈소스 프레임워크입니다. 이 프레임워크는 AI 모델과 다양한 외부 도구를 연결하는 데 초점을 맞추고 있어, AI 모델이 API 호출, 데이터베이스 쿼..

자연어 처리와 대화형 AI 모델을 통해 복잡한 문제를 해결하려면, 단순히 언어를 이해하는 것을 넘어서 다양한 툴을 활용할 필요가 있습니다. LangChain은 이러한 필요성을 충족시킬 수 있는 프레임워크로, 특히 Tool Calling 기능을 통해 외부 데이터와의 상호작용을 쉽게 만들어 줍니다. 이 글에서는 LangChain을 활용한 Tool Calling의 작동 원리와 실제 사용 방법을 구체적인 예제를 통해 소개하겠습니다.  LangChain이란?LangChain은 자연어 처리 모델을 좀 더 강력하고 유연하게 사용할 수 있게 도와주는 Python 기반의 오픈소스 프레임워크입니다. 이 프레임워크는 AI 모델과 다양한 외부 도구를 연결하는 데 초점을 맞추고 있어, AI 모델이 API 호출, 데이터베이스 쿼..

LLM(대형 언어 모델) 어플리케이션이 갈수록 더 많은 일들을 할 수 있게 되면서, "Tool calling" 기능은 그중에서도 가장 주목할 만한 혁신 중 하나로 자리 잡고 있습니다. 이 기능은 AI가 외부의 도구나 서비스에 접근하여 문제를 해결하거나 정보를 가져오는 능력을 의미합니다. 이번 글에서는 Tool calling이 무엇인지, 어떻게 LLM 어플리케이션의 활용성을 확장하는지에 대해 살펴보겠습니다. Tool Calling이란?Tool calling은 LLM이 외부 도구나 API와 상호작용할 수 있는 기능입니다. LLM은 매우 강력하지만, 단독으로는 모든 작업을 수행하는 데 한계가 있습니다.LLM은 훈련된 데이터에 포함된 지식만을 활용할 수 있기 때문에 훈련 이후에 발생한 새로운 사건이나 정보를 알..

안녕하세요, AI 오픈소스 프로젝트에 관심을 갖고 계신 여러분!이번 주에도 여러 흥미로운 오픈소스 프로젝트들이 새롭게 릴리즈되었습니다.여러분께 도움이 될 만한 주요 릴리즈 소식을 정리해 보았으니, 관심 있는 프로젝트가 있다면 업데이트된 기능과 버그 수정 내용을 확인해 보세요.  제가 평소에 관심있게 살펴보는 프로젝트들입니다.아래 목록에 추가하고 싶은 오픈소스 프로젝트가 있다면, 댓글로 남겨주세요!langchain-ai/langchainlangchain-ai/langgraphhuggingface/transformersvllm-project/vllmNVIDIA/TensorRT-LLMmicrosoft/DeepSpeedollama/ollama  langchain-ai/langchainlangchain==0.3...

안녕하세요, AI 오픈소스 프로젝트에 관심을 갖고 계신 여러분!이번 주에도 여러 흥미로운 오픈소스 프로젝트들이 새롭게 릴리즈되었습니다.여러분께 도움이 될 만한 주요 릴리즈 소식을 정리해 보았으니, 관심 있는 프로젝트가 있다면 업데이트된 기능과 버그 수정 내용을 확인해 보세요.  제가 평소에 관심있게 살펴보는 프로젝트들입니다.아래 목록에 추가하고 싶은 오픈소스 프로젝트가 있다면, 댓글로 남겨주세요!langchain-ai/langchainlangchain-ai/langgraphhuggingface/transformersvllm-project/vllmNVIDIA/TensorRT-LLMmicrosoft/DeepSpeedollama/ollama  langchain-ai/langchainlangchain-core=..

nvitop은 상호작용이 가능한 NVIDIA 장치 및 프로세스 모니터링 도구입니다. 이 도구는 장치와 프로세스의 상태를 지속적으로 업데이트하며, 컬러풀하고 유용한 인터페이스를 제공합니다.https://github.com/XuehaiPan/nvitop?tab=readme-ov-file GitHub - XuehaiPan/nvitop: An interactive NVIDIA-GPU process viewer and beyond, the one-stop solution for GPU process managementAn interactive NVIDIA-GPU process viewer and beyond, the one-stop solution for GPU process management. - Xuehai..

pipx란?pipx는 Python으로 작성된 최종 사용자 애플리케이션을 설치하고 실행하는 데 도움을 주는 도구입니다. 대략 macOS의 brew, JavaScript의 npx, 그리고 Linux의 apt와 비슷합니다.https://github.com/pypa/pipx?tab=readme-ov-file GitHub - pypa/pipx: Install and Run Python Applications in Isolated EnvironmentsInstall and Run Python Applications in Isolated Environments - pypa/pipxgithub.com pip와 밀접한 관련이 있으며, 실제로 pip를 사용하지만, 주로 명령줄에서 직접 애플리케이션으로 실행할 수 있는 Py..

안녕하세요, AI 오픈소스 프로젝트에 관심을 갖고 계신 여러분!이번 주에도 여러 흥미로운 오픈소스 프로젝트들이 새롭게 릴리즈되었습니다.여러분께 도움이 될 만한 주요 릴리즈 소식을 정리해 보았으니, 관심 있는 프로젝트가 있다면 업데이트된 기능과 버그 수정 내용을 확인해 보세요.  제가 평소에 관심있게 살펴보는 프로젝트들입니다.아래 목록에 추가하고 싶은 오픈소스 프로젝트가 있다면, 댓글로 남겨주세요!langchain-ai/langchainhuggingface/transformersvllm-project/vllmNVIDIA/TensorRT-LLMmicrosoft/DeepSpeedollama/ollama  langchain-ai/langchainlangchain-core==0.2.36https://github...

최근 Lightning AI에서 AI 모델을 쉽게 서빙할 수 있도록 하는 프레임워크인 LitServe를 공개하였습니다.https://lightning.ai/docs/litserve Lightning AI | Turn ideas into AI, Lightning fastThe all-in-one platform for AI development. Code together. Prototype. Train. Scale. Serve. From your browser - with zero setup. From the creators of PyTorch Lightning.lightning.ai LitServe는 FastAPI를 기반으로 구축된 AI 모델을 위한 사용하기 쉽고 유연한 서빙 엔진입니다. 배칭(batch..

https://arxiv.org/abs/2310.08491 Prometheus: Inducing Fine-grained Evaluation Capability in Language ModelsRecently, using a powerful proprietary Large Language Model (LLM) (e.g., GPT-4) as an evaluator for long-form responses has become the de facto standard. However, for practitioners with large-scale evaluation tasks and custom criteria in consideration (e.garxiv.org   논문이 작성되게 된 배경논문 작성 배경은 ..

LogicKor는 한국어 언어모델 다양한 분야에서의 사고력을 측정하기위해 구성된 LLM-as-a-judge 방식의 멀티턴 벤치마크 데이터셋입니다. 본 데이터셋은 6가지(추론, 수학, 글쓰기, 코딩, 이해, 국어)의 카테고리의 멀티턴 프롬프트 총 42개로 구성되어있습니다. 벤치마크 리더보드 LogicKor | 한국어 언어모델 다분야 사고력 벤치마크LogicKor은 한국어 언어모델의 다분야 사고력을 측정하는 벤치마크입니다. 추론, 수학, 글쓰기, 코딩, 이해, 문법 등 다양한 분야의 사고력을 측정합니다.lk.instruct.kr 데이터셋 maywell/LogicKor · Datasets at Hugging Face[ "현대 사회는 급속도로 변화하고 있습니다. 기술의 발전, 세계화, 인구 구조 변화, 환경 문..

https://arxiv.org/abs/2303.16634 G-Eval: NLG Evaluation using GPT-4 with Better Human AlignmentThe quality of texts generated by natural language generation (NLG) systems is hard to measure automatically. Conventional reference-based metrics, such as BLEU and ROUGE, have been shown to have relatively low correlation with human judgments, especiallyarxiv.org  논문이 작성되게 된 배경자연어 생성(NLG) 시스템의 평가 어려움:..