Retrieval 시스템을 위한 BEIR 벤치마크

정보 검색(IR) 시스템은 사용자의 쿼리에 응답하여 문서를 찾아주는 역할을 합니다. 이러한 시스템이 발전함에 따라, 기존 시스템을 분석하고 이해하기 위한 포괄적인 평가 방법의 필요성도 커졌습니다.

BEIR(Benchmarking IR)는 다양한 작업과 정보 유형에 대해 검색 시스템의 성능을 평가하기 위한 도구입니다. 전통적인 벤치마크가 특정 작업이나 도메인에만 초점을 맞추는 것과 달리, BEIR는 여러 시나리오에서 다양한 정보 검색 모델을 테스트하는 이질적인 평가 프레임워크입니다. BEIR는 사실 확인, 질문 응답, 생물의학 정보 검색 등 다양한 작업을 위한 18개의 데이터셋을 포함하고 있고, 이러한 다양성 덕분에, BEIR는 현실 세계의 사용 사례에 가까운 방식으로 정보 검색 시스템의 범용성과 안정성을 평가할 수 있습니다.

BEIR의 주요 혁신 중 하나는 제로샷 평가에 중점을 둔다는 점입니다. 이는 특정 작업에 대해 사전 훈련되지 않은 모델이 얼마나 잘 수행되는지를 테스트하는 방식입니다. 이를 통해 서로 다른 정보 검색 모델의 강점과 약점을 파악할 수 있으며, 특히 도메인 외 검색에서 Dense Retrieval 모델이 직면하는 과제에 대한 중요한 인사이트를 제공합니다.

 

BEIR란 무엇인가?

GitHub - beir-cellar/beir: A Heterogeneous Benchmark for Information Retrieval. Easy to use, evaluate your models across 15+ div

BEIR는 Benchmarking IR (정보 검색)의 약자로, 정보 검색 시스템(검색 시스템)이 다양한 작업과 정보 유형에 대해 얼마나 잘 수행되는지를 평가하기 위한 도구입니다. 연구자들은 기존 평가 방법의 한계를 보완하기 위해 BEIR를 개발했습니다. 

BEIR의 다양한 데이터셋 컬렉션 오버뷰

 

 

BEIR의 배경

BEIR(Benchmarking IR)는 최초의 광범위한 제로샷 정보 검색 벤치마크입니다. 기존 벤치마크와 달리 BEIR는 다양한 도메인과 작업 유형에 대해 제로샷 설정에서 현대 정보 검색 시스템을 평가합니다. 이전의 MultiReQA와 KILT 같은 연구는 단일 작업, 작은 데이터셋, 특정 도메인 등 평가 범위가 제한적이었습니다.

BEIR는 정보 검색(IR) 기법이 빠르게 발전하는 시기에 등장했습니다. 전통적으로 TF-IDF와 BM25와 같은 키워드 기반 검색 방법이 주류였으나, 최근에는 Splade와 같은 신경망 모델을 사용하여 이러한 방식을 개선하거나 대체하려는 연구가 증가하고 있습니다. 초기 신경망 기반 기법들은 기존 키워드 기반 정보 검색 기법을 보강하기 위해 사용되었습니다. 예를 들어, docT5query는 문서 확장을 위한 방법이며, DeepCT는 용어 가중치를 위한 기법입니다.

그 후 Dense Retrieval 모델이 등장하여 의미적 일치를 포착하고 키워드 기반 검색의 한계를 보완하게 되었습니다. 이러한 모델들은 쿼리와 문서를 Dense 벡터 공간에 매핑하여 검색합니다. 이후, 키워드 기반 모델과 Dense Retrieval 모델의 강점을 결합한 하이브리드 모델도 개발되었습니다.

또 다른 연구 방향으로는 Dense Retrieval 모델을 훈련하기 위한 비지도 도메인 적응 기법이 탐구되었으며, ColBERT와 같은 모델은 검색을 위해 토큰 단위 문맥화 임베딩을 도입했습니다. 특히 BERT의 크로스 어텐션 메커니즘을 활용한 신경망 기반 재랭킹(re-ranking) 기법은 성능 향상에 큰 기여를 했지만, 높은 계산 비용이 드는 단점이 있었습니다.

BEIR는 이러한 다양한 검색 시스템과 방법들이 서로 다른 도메인과 작업에서 특히 제로샷 설정에서 얼마나 잘 일반화되는지를 평가함으로써, 현대 정보 검색 시스템의 적응성을 이해하는 데 필요한 공백을 메우는 것을 목표로 합니다.

 

BEIR의 주요 기능

다양한 데이터셋과 도메인

BEIR는 정보 검색 모델의 범용성과 안정성을 평가하기 위해 설계된 벤치마크입니다. 생물정보학, 금융, 뉴스 등 다양한 도메인에 걸친 18개의 데이터셋을 포함하여, 사실 확인, 질문 응답, 문서 검색, 추천 시스템과 같은 다양한 텍스트 검색 작업을 테스트할 수 있습니다.

다양한 검색 작업 평가

BEIR는 유사도 검색, 논증 검색, 사실 확인 등 9개의 서로 다른 검색 작업을 포함하여, 현실 세계의 다양한 시나리오에서 모델을 테스트합니다. 또한 도메인 외 테스트 기능을 통해 모델이 학습하지 않은 새로운 작업에서도 얼마나 잘 일반화할 수 있는지를 평가할 수 있습니다.

표준 평가 지표 사용

BEIR는 NDCG(Normalized Discounted Cumulative Gain)와 Recall과 같은 표준 평가 지표를 사용하여 모델과 데이터셋 간의 성능 비교를 용이하게 합니다. 또한 BERT, T5, GPT 등 인기 있는 모델과의 통합 기능을 제공하여 벤치마크 과정을 간소화합니다. 오픈 소스 프로젝트로 운영되기 때문에 투명성을 유지하며, 커뮤니티의 협업과 개선이 활발히 이루어질 수 있습니다.

제로샷 평가 강조

BEIR는 모델이 사전 학습된 적 없는 작업에서 얼마나 잘 수행되는지를 측정하는 제로샷 평가에 중점을 둡니다. 이를 통해 정보 검색 시스템의 적응성을 파악할 수 있습니다. 또한 BEIR의 데이터셋은 짧은 트윗부터 길고 복잡한 과학 논문에 이르기까지 다양한 유형의 텍스트를 포함하여 웹에서 접할 수 있는 다양한 콘텐츠를 모방합니다.

 

BEIR의 한계점

패시지 검색에 집중

BEIR는 주로 패시지 검색에 초점을 맞추고 있습니다. 이는 Transformer 기반 모델의 토큰 길이 제한 때문입니다. BEIR의 대부분 문서는 Transformer 모델의 512 토큰 제한 내에 맞도록 구성되어 있습니다. 하지만 robust04 데이터셋에 포함된 뉴스 기사처럼 약 700단어에 달하는 예외적인 문서도 존재합니다. 그러나 BEIR에는 수백 페이지에 달하는 PDF 같은 긴 문서는 포함되어 있지 않습니다. 이는 향후 벤치마크가 보완할 수 있는 "블라인드 스팟"입니다.

더 어려운 벤치마크 버전 필요성

Dense Retrieval 모델이 발전함에 따라, BEIR에서의 성능도 크게 향상되었습니다. 최근 결과에 따르면, BM25와 같은 키워드 기반 검색이 이전에는 대부분의 데이터셋에서 우수했지만, 이제는 14개의 데이터셋 중 단 2개에서만 더 좋은 성능을 보이고 있습니다. 이로 인해 BEIR가 여전히 도전적인 벤치마크인지에 대한 의문이 제기되고 있습니다. 커뮤니티에서는 모델의 한계를 시험할 수 있는 더 어려운 검색 데이터셋을 포함한 "BEIR 2"가 필요하다는 논의가 이루어지고 있습니다.

도메인 외 검색에서 Dense Retrieval 모델의 한계

BEIR는 도메인 내 작업에서 뛰어난 성능을 보이는 Dense Embedding 모델들이 도메인 외 시나리오에서는 어려움을 겪는다는 것을 보여주었습니다. 예를 들어, 일부 Dense 모델은 훈련에 사용된 위키피디아 데이터셋에서는 우수한 성능을 보였지만, BEIR의 다른 17개 데이터셋에서는 키워드 기반 검색보다 성능이 낮았습니다. 이는 미지의 도메인에서 Dense 모델이 왜 성능이 떨어지는지에 대한 많은 연구를 촉발했습니다. 연구자들은 일부 데이터셋에서 훈련과 테스트 데이터 간의 중복이 높거나, 새로운 단어를 제대로 처리하지 못하는 등의 문제를 발견했습니다. 이러한 인사이트는 도메인 외 단어를 처리하는 방법과 학습 및 평가 데이터셋의 명확한 분리를 통해 더 강력한 벤치마크를 만드는 등 모델 학습 기법의 개선으로 이어졌습니다.

 

BEIR 소프트웨어 및 프레임워크

BEIR는 Python 기반의 사용자 친화적인 프레임워크로, pip을 통해 간단히 설치할 수 있습니다. 정보 검색(IR) 작업에서 모델 평가를 쉽게 할 수 있도록 설계되었으며, Sentence-Transformers, Transformers, Anserini, DPR, Elasticsearch, ColBERT, Universal Sentence Encoder 등 잘 알려진 저장소의 모델을 복제 실험하고 평가할 수 있는 포괄적인 래퍼(wrapper)를 제공합니다. 이러한 폭넓은 호환성 덕분에 BEIR는 학술 연구와 산업 응용 모두에 유용합니다.

이 프레임워크는 Precision(정밀도), Recall(재현율), 평균 정밀도(MAP), 평균 역순 랭킹(MRR), 정규화된 누적 이득(nDCG) 등 다양한 정보 검색 평가 지표를 제공합니다. 이를 통해 다양한 top-k 설정에서 검색 모델을 포괄적으로 평가할 수 있습니다.

BEIR는 유연성이 뛰어나 사용자가 기존 모델을 새로운 데이터셋에서 평가하거나, 새로운 모델을 BEIR 벤치마크 데이터셋에서 테스트할 수 있습니다. 또한, 서로 다른 형식의 데이터셋 문제를 해결하기 위해 BEIR는 코퍼스(본문), 쿼리(질문), 관련성 판단(qrels)에 대한 표준 포맷을 도입했습니다. 이러한 표준화 덕분에 연구자와 개발자들이 다양한 데이터 검색 작업에 대해 모델을 테스트할 때 더욱 효율적으로 평가할 수 있습니다.

 

BEIR에서 사용되는 평가 지표

BEIR는 주 평가 지표로 Normalized Discounted Cumulative Gain (nDCG@10)을 사용합니다. 이는 벤치마크 내 다양한 모델과 데이터셋 간의 결과를 비교할 수 있도록 선택된 지표입니다.

nDCG@10이 선택된 이유는 다음과 같습니다:

• 현실적인 균형 필요성: 실제 응용 사례에서는 정밀도(Precision) 중심일 수도, 재현율(Recall) 중심일 수도 있기 때문에 이를 균형 있게 평가할 수 있는 지표가 필요했습니다.
• 순위 고려 여부: Precision과 Recall 같은 지표는 검색 결과의 순위를 고려하지 않지만, 정보 검색 작업에서는 순위가 중요한 요소입니다.
• 다양한 관련성 판단: 평균 역순 랭킹(MRR)과 평균 정밀도(MAP) 같은 순위 기반 지표는 이진 관련성 판단(관련 또는 비관련)만을 다룰 수 있어 모든 작업에 적합하지 않습니다.
• 유연한 관련성 판단: nDCG@10은 이진 및 등급형 관련성 판단을 모두 처리할 수 있어, 다양한 유형의 검색 작업에 걸쳐 범용적으로 사용할 수 있습니다.

BEIR 팀은 nDCG@10이 서로 다른 검색 작업을 폭넓게 평가하기에 적합한 지표라고 설명합니다. 이를 위해 Python 인터페이스를 통해 공식 TREC 평가 도구를 사용하여 벤치마크의 모든 데이터셋에 대해 nDCG@10을 계산합니다.

nDCG@10에 대한 내용은 아래 블로그 글을 참고해주세요.

Retrieval 시스템 평가 매트릭

 

신경망 기반 검색 방법 비교에 대한 주요 발견

BEIR 논문(또는 저자 중 한 명인 Nils Reimers의 간단한 영상)을 보면, 신경망 기반 검색 방법과 BM25(키워드 기반 검색) 모델 비교에 대한 여러 주요 발견을 공유합니다.

BEIR는 최신 정보 검색 아키텍처들을 평가하며, 특히 Transformer 기반 신경망 접근 방식에 초점을 맞추고 있습니다. 이 벤치마크는 공개된 사전 학습 체크포인트를 사용하며, 모델을 lexical, sparse, dense, late-interaction and re-ranking의 다섯 가지 카테고리로 분류합니다. Transformer 네트워크의 한계로 인해 실험에서는 문서의 첫 512개 단어 조각만 사용됩니다.

 

BEIR 평가의 주요 발견

Dense 임베딩 모델의 도메인 외 검색 과제

연구자들은 정보 검색(IR)에서 Dense 모델에 대한 포괄적인 벤치마킹을 수행했습니다. 전통적으로 임베딩 방식은 특정 도메인 데이터를 사용해 모델을 훈련한 후 같은 도메인에서 검색에 적용되었습니다. 그러나 BEIR에서는 사전 학습된 모델을 새로운 도메인에 재훈련 없이 적용하는 도메인 외 검색이라는 도전 과제를 탐구했습니다. 이를 평가하기 위해 다양한 검색 작업에 걸쳐 많은 데이터셋을 수집했습니다.

• 트윗 검색: 뉴스 기사와 관련 트윗을 연결하는 작업
• ArguAna 및 Touche-2020: 반대 주장을 검색하는 논증 검색
• Fever 데이터셋: 특정 주장에 대한 Wikipedia 기사 찾기

Dense 모델 vs 키워드 기반 모델

연구진은 여러 Dense Retrieval 모델을 키워드 기반 모델 BM25와 비교했습니다. Facebook의 Dense Retrieval 모델은 학습된 Wikipedia 데이터셋에서는 뛰어난 성능을 보였지만, 다른 17개 데이터셋에서는 BM25보다 성능이 낮았습니다. 심지어 가장 우수한 Dense 임베딩 모델인 TAS-B도 18개 데이터셋 중 8개에서만 BM25를 능가했습니다. 이는 Dense 모델이 도메인 외 작업에서 큰 어려움을 겪고 있음을 보여줍니다. 따라서 Dense 임베딩 모델의 일반화 능력을 향상시키기 위한 추가 연구가 필요합니다.

도메인 외 성능이 우수한 모델

SPLADE와 같은 일부 모델은 미지의 도메인에서 더 나은 성능을 보였습니다. 그러나 여러 설정에서 가장 안정적인 검색 방법은 BM25와 크로스 인코더 및 T5 쿼리 모델이 결합된 방식이었습니다. 이 방식은 여러 도메인에서 안정적인 성능을 보여주었습니다. Dense 모델이 발전하면서도 최근 벤치마크는 14개의 데이터셋 중 2개에서는 여전히 키워드 기반 검색이 더 나은 성능을 보인다는 점을 보여줍니다. 일부 모델은 BEIR 벤치마크 데이터셋에 과적합될 가능성도 제기되었습니다. 이에 따라 보다 다양하고 도전적인 데이터셋을 포함한 BEIR Benchmark 2의 필요성이 논의되고 있습니다.

Dense 모델의 구조적 한계

Dense 모델은 쿼리와 문서를 벡터 공간에 투영하여 가장 가까운 벡터를 찾는 방식으로 문서를 검색합니다. 이러한 방식은 도메인 내에서는 효과적이지만, 새로운 단어나 학습되지 않은 도메인에서는 어려움을 겪습니다. 연구자들은 일부 도메인 내 데이터셋이 학습과 테스트 데이터 간의 중복을 포함하고 있어 테스트 쿼리가 훈련 과정에서 이미 학습되었기 때문에 성능이 인위적으로 높아졌음을 발견했습니다. Dense 모델은 훈련 시 보지 못한 도메인이나 단어를 만나면 성능이 크게 떨어집니다. 이러한 문제는 Dense 모델의 일반화 능력을 개선하기 위한 연구로 이어졌습니다.