[Elastic Search] 여러 개의 Shard로 인해 검색 결과(Score)가 정확하지 않을 때

 

전제 조건

---

fruit이라는 index에 name이라는 필드가 있고 다음과 같이 여러 개의 document들이 있다고 가정하자.

 

{"index":{}}
{"room_name": "망고"}
{"index":{}}
{"room_name": "망고스틴"}
{"index":{}}
{"room_name": "망고망고망고"}
{"index":{}}
{"room_name": "망고가쬬아쬬아"}
{"index":{}}
{"room_name": "망고후뚜룹"}
{"index":{}}
{"room_name": "김망고"}
{"index":{}}
{"room_name": "세상에서 제일 맛있는건 망고지"}

샤드의 갯수는 3개
검색 알고리즘은 BM25를 사용, tokenizer는 ngram tokenizer(min:1) 사용.

 

 

 

문제

---

다음과 같은 Query를 날리면 우리는 "망고"가 가장 1순위로 출력될 것이라고 예상되는데

POST /_search
{
	"query": {
		"match": {
			"room_name": "망고"
		}
	}
}

{
    "took": 16,
    "timed_out": false,
    "_shards": {
        "total": 3,
        "successful": 3,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 7,
            "relation": "eq"
        },
        "max_score": 0.2876821,
        "hits": [
            {
                "_index": "public_chat",
                "_type": "_doc",
                "_id": "fNTe0GwBME3K7rKzaiF0",
                "_score": 0.2876821,
                "_source": {
                    "room_name": "망고가쬬아쬬아"
                }
            },
            {
                "_index": "public_chat",
                "_type": "_doc",
                "_id": "edTe0GwBME3K7rKzaiF0",
                "_score": 0.11770796,
                "_source": {
                    "room_name": "망고"
                }
            },
            {
                "_index": "public_chat",
                "_type": "_doc",
                "_id": "e9Te0GwBME3K7rKzaiF0",
                "_score": 0.101606146,
                "_source": {
                    "room_name": "망고망고망고"
                }
            },
            {
                "_index": "public_chat",
                "_type": "_doc",
                "_id": "ftTe0GwBME3K7rKzaiF0",
                "_score": 0.1014327,
                "_source": {
                    "room_name": "김망고"
                }
            },
            {
                "_index": "public_chat",
                "_type": "_doc",
                "_id": "etTe0GwBME3K7rKzaiF0",
                "_score": 0.08564364,
                "_source": {
                    "room_name": "망고스틴"
                }
            },
            {
                "_index": "public_chat",
                "_type": "_doc",
                "_id": "fdTe0GwBME3K7rKzaiF0",
                "_score": 0.07169379,
                "_source": {
                    "room_name": "망고후뚜룹"
                }
            },
            {
                "_index": "public_chat",
                "_type": "_doc",
                "_id": "f9Te0GwBME3K7rKzaiF0",
                "_score": 0.049237844,
                "_source": {
                    "room_name": "세상에서 제일 맛있는건 망고지"
                }
            }
        ]
    }
}

우리의 예상과는 반대로 다른 순위가 출력되었다.

 

 

 

해결

---

위와 같이 우리의 예상과 벗어난 결과가 출력되는 이유는 각 샤드 별로 스코어링을 한 후 결과를 취합하기 때문이다.

그래서, 우리는 전체 샤드 검색 결과를 취합한 후 스코어링 할 필요가 있다.

 

POST /_search?search_type=dfs_query_then_fetch
{
	"query": {
		"match": {
			"room_name": "망고"
		}
	}
}

{
    "took": 17,
    "timed_out": false,
    "_shards": {
        "total": 3,
        "successful": 3,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 7,
            "relation": "eq"
        },
        "max_score": 0.10460657,
        "hits": [
            {
                "_index": "public_chat",
                "_type": "_doc",
                "_id": "edTe0GwBME3K7rKzaiF0",
                "_score": 0.10460657,
                "_source": {
                    "room_name": "망고"
                }
            },
            {
                "_index": "public_chat",
                "_type": "_doc",
                "_id": "e9Te0GwBME3K7rKzaiF0",
                "_score": 0.092210956,
                "_source": {
                    "room_name": "망고망고망고"
                }
            },
            {
                "_index": "public_chat",
                "_type": "_doc",
                "_id": "ftTe0GwBME3K7rKzaiF0",
                "_score": 0.091497645,
                "_source": {
                    "room_name": "김망고"
                }
            },
            {
                "_index": "public_chat",
                "_type": "_doc",
                "_id": "etTe0GwBME3K7rKzaiF0",
                "_score": 0.0783982,
                "_source": {
                    "room_name": "망고스틴"
                }
            },
            {
                "_index": "public_chat",
                "_type": "_doc",
                "_id": "fdTe0GwBME3K7rKzaiF0",
                "_score": 0.066497825,
                "_source": {
                    "room_name": "망고후뚜룹"
                }
            },
            {
                "_index": "public_chat",
                "_type": "_doc",
                "_id": "fNTe0GwBME3K7rKzaiF0",
                "_score": 0.047680173,
                "_source": {
                    "room_name": "망고가쬬아쬬아"
                }
            },
            {
                "_index": "public_chat",
                "_type": "_doc",
                "_id": "f9Te0GwBME3K7rKzaiF0",
                "_score": 0.04666439,
                "_source": {
                    "room_name": "세상에서 제일 맛있는건 망고지"
                }
            }
        ]
    }
}

위와 같이 serach_type에 dfs_query_then_fetch 옵션을 주면 해결된다.

 

단! 정확한 결과를 얻을 수 있지만 성능이 느리므로 상용 서비스에서는 권장되지 않는다.
어차피, document의 숫자가 많아지면 이 옵션을 사용하지 않아도 우리가 의도한 정확도로 수렴한다.

 

 

 

출처

---

https://stackoverflow.com/questions/47740665/inconsistent-scoring-in-elasticsearch
http://jinuland.blogspot.com/2015/10/elasticsearch-search-type.html
https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-body.html#request-body-search-search-type