All

Cursor는 개발자들이 생산적으로 코드를 작성하고 협업할 수 있도록 돕는 강력한 AI 기반 코드 편집기입니다. 최근 Cursor가 MCP(Model Context Protocol)를 지원하면서, 사용자는 더욱 향상된 코드 작성 환경을 경험할 수 있게 되었습니다. 이번 글에서는 Cursor에서 MCP를 어떻게 설정하고 활용하는지 살펴보겠습니다.MCP와 관련된 내용은 지난 블로그 글에서 다루었으니, 참고하시기 바랍니다! MCP(Model Context Protocol)이 뭐길래?인공지능(AI) 기술의 발전과 함께, AI 시스템이 외부 데이터와 효과적으로 연동되는 것이 점점 더 중요한 이슈로 떠오르고 있습니다. 기존에는 AI 모델이 내부적으로 훈련된 데이터만을 기반으로dytis.tistory.com  MCP..

지난 포스트에서는 MCP(Model Context Protocol)이 무엇인지, 그리고 MCP가 최근 화제가 되는 이유에 대해서 다뤘습니다.해당 내용에 대해서 관심 있으신 분들은 지난 포스트 글을 참고해주시기 바랍니다. MCP(Model Context Protocol)이 뭐길래?인공지능(AI) 기술의 발전과 함께, AI 시스템이 외부 데이터와 효과적으로 연동되는 것이 점점 더 중요한 이슈로 떠오르고 있습니다. 기존에는 AI 모델이 내부적으로 훈련된 데이터만을 기반으로dytis.tistory.com 이번 포스트에서는 그럼 MCP는 어떻게 활용할 수 있는건데?를 위하여, 간단한 실습을 하고자 합니다.Claude desktop에 Naver 검색 능력 입히기를 주제로 실습해보겠습니다.  Claude deskto..

인공지능(AI) 기술의 발전과 함께, AI 시스템이 외부 데이터와 효과적으로 연동되는 것이 점점 더 중요한 이슈로 떠오르고 있습니다. 기존에는 AI 모델이 내부적으로 훈련된 데이터만을 기반으로 작동하는 경우가 많았지만, 실시간 정보 활용과 동적 컨텍스트 유지가 필수적인 환경에서는 이러한 방식이 한계를 보였습니다. 이에 따라, AI 시스템이 외부 데이터와 원활하게 통신하고 정보를 활용할 수 있는 새로운 프로토콜이 필요해졌습니다.2024년 11월, Anthropic이 Model Context Protocol(MCP)을 오픈 소스로 공개하면서, AI 생태계에서는 새로운 변화의 바람이 불기 시작했습니다. MCP는 AI 모델이 다양한 데이터 소스와 연결되어 실시간으로 정보를 주고받을 수 있도록 설계된 프로토콜로,..

검색 시스템은 방대한 양의 데이터를 처리하여 사용자에게 적절한 정보를 제공하는 데 중점을 둡니다. 하지만 모든 데이터가 적절히 검색 가능한 형태로 저장되어 있지 않을 때, 검색 품질이 저하될 수 있습니다. 이를 해결하기 위한 핵심 기술 중 하나가 바로 Document Splitting입니다. 이 글에서는 Document Splitting의 개념, 필요성, 구현 사례를 다룹니다.  Document Splitting이란?Document Splitting은 큰 문서를 더 작은 단위로 나누는 프로세스를 의미합니다. 이 단위는 문장(Sentence), 문단(Paragraph), 또는 사용자가 정의한 특정 논리적 단위(예: 섹션, 챕터 등)일 수 있습니다.예를 들어, 10페이지에 걸쳐 있는 PDF 파일을 통째로 처..

Approximate Nearest Neighbor (ANN) 알고리즘은 고차원 데이터에서 가장 가까운 이웃을 빠르게 찾기 위한 중요한 기법입니다. ANN은 추천 시스템, 이미지 검색, 자연어 처리(NLP) 등 다양한 분야에서 사용됩니다. 이번 글에서는 DiskANN 알고리즘에 대해 살펴보고, 이 알고리즘이 대규모 데이터셋에서 효율적인 성능을 제공하는 이유를 설명하겠습니다. 왜 DiskANN인가?대부분의 주류 ANNS 알고리즘은 인덱스 구축 성능, 검색 성능 및 리콜 간에 일부 균형을 이룹니다. HNSW 및 NSG와 같은 그래프 기반 알고리즘은 현재 검색 성능 및 리콜 측면에서 최첨단 방법입니다. 메모리-resident 그래프 기반 인덱싱 방법은 메모리를 너무 많이 차지하므로, 제한된 메모리 리소스를 가..

벡터 검색과 ANN(Approximate Nearest Neighbor) 알고리즘은 대규모 데이터셋에서 유사한 항목을 빠르게 찾는 데 필수적인 기술입니다. 본 글에서는 다양한 벡터 검색 인덱스에 대해 소개합니다.  Flat Index모든 벡터를 직접 저장하며, Brute-Force 방식으로 검색합니다. 데이터셋 내의 모든 벡터를 비교하여 가장 가까운 결과를 반환하기 때문에 구현이 간단하며 정확도가 높습니다.인덱스 생성벡터의 차원을 설정합니다.모든 벡터를 데이터베이스에 추가하여 저장합니다.검색 방식쿼리 벡터를 입력합니다.저장된 모든 벡터와 비교하여 가장 가까운 이웃을 반환합니다.특징장점: 100% 정확한 결과를 반환. 모든 벡터를 비교하기 때문에 가장 가까운 이웃을 항상 정확히 찾습니다.단점: 대규모 데이..

새로운 영화를 고르거나 좋아하는 음악을 발견하는 과정은 이제 더 이상 어려운 일이 아닙니다. Netflix는 사용자가 선호할 만한 영화를 추천하고, Spotify는 개개인의 음악 취향을 분석해 알맞은 곡을 제안합니다. Google 이미지 검색은 비슷한 사진을 빠르게 찾아주며, 전자상거래 사이트에서는 구매 이력을 바탕으로 적합한 상품을 추천합니다. 이처럼 현대의 추천 및 검색 시스템은 우리의 삶을 편리하게 만들어 주고 있습니다.이 모든 기술의 중심에는 데이터를 분석하고 적합한 결과를 반환하는 Nearest Neighbor(NN) 알고리즘이 자리 잡고 있습니다. 하지만 NN 알고리즘은 데이터 양이 방대해질수록 모든 선택지를 하나하나 비교해야 하므로 속도가 급격히 느려지는 한계가 있습니다. 데이터를 효율적으로..

정보 검색(IR) 시스템은 사용자의 쿼리에 응답하여 문서를 찾아주는 역할을 합니다. 이러한 시스템이 발전함에 따라, 기존 시스템을 분석하고 이해하기 위한 포괄적인 평가 방법의 필요성도 커졌습니다.텍스트 임베딩은 일반적으로 단일 작업에 대한 소수의 데이터셋을 기반으로 테스트되며, 이는 다른 작업에서의 성능을 충분히 보여주지 못합니다. 예를 들어, 의미적 텍스트 유사성(Semantic Textual Similarity, STS)에 최적화된 임베딩이 클러스터링이나 재정렬과 같은 작업에도 동일하게 효과적인지는 명확하지 않습니다. 이로 인해 새로운 모델과 임베딩 기법이 계속해서 제안되지만, 일관된 테스트가 이루어지지 않아 해당 분야에서의 발전을 평가하기 어렵습니다.이 문제를 해결하기 위해 연구자들은 Massive..

정보 검색(IR) 시스템은 사용자의 쿼리에 응답하여 문서를 찾아주는 역할을 합니다. 이러한 시스템이 발전함에 따라, 기존 시스템을 분석하고 이해하기 위한 포괄적인 평가 방법의 필요성도 커졌습니다.BEIR(Benchmarking IR)는 다양한 작업과 정보 유형에 대해 검색 시스템의 성능을 평가하기 위한 도구입니다. 전통적인 벤치마크가 특정 작업이나 도메인에만 초점을 맞추는 것과 달리, BEIR는 여러 시나리오에서 다양한 정보 검색 모델을 테스트하는 이질적인 평가 프레임워크입니다. BEIR는 사실 확인, 질문 응답, 생물의학 정보 검색 등 다양한 작업을 위한 18개의 데이터셋을 포함하고 있고, 이러한 다양성 덕분에, BEIR는 현실 세계의 사용 사례에 가까운 방식으로 정보 검색 시스템의 범용성과 안정성을 ..

최근 자연어 처리(NLP) 분야에서 대형 언어 모델(Large Language Models, 이하 LLM)의 성과가 눈부십니다. OpenAI의 GPT-4와 Google의 PaLM 2 같은 최신 LLM은 다양한 NLP 작업에서 뛰어난 제로샷(zero-shot) 성능을 입증하며 주목받고 있습니다. 이러한 성과는 단순한 질의응답을 넘어 텍스트 순위 매기기(text ranking)라는 새로운 응용 분야로 확장되고 있습니다.이전 포스트에서 LLM을 사용하여 도큐먼트의 ranking을 매기는 방법에 대해서 다루었으니, 관심 있으신 분들은 참고하시면 좋을 것 같습니다. Retrieval을 위한 zero-shot LLM Ranker앞서서최근 자연어 처리(NLP) 분야에서 대형 언어 모델(Large Language Mo..