OpenSearch新字段查询无结果：理解与解决自动映射问题_技术教程

当在OpenSearch中查询新增字段却无法获取结果时，通常是由于OpenSearch的自动映射机制导致。新字段在未显式声明映射时，会被默认创建为text和keyword两种类型。terms查询对text字段执行精确匹配时，需考虑其经过分析器处理（如小写转换）后的词元；而对keyword字段，则需使用.keyword后缀进行精确匹配。本文将详细阐述这两种解决方案。

OpenSearch自动映射与字段类型解析

在OpenSearch（或Elasticsearch）中，当您索引一个包含新字段的文档，而该字段在索引的映射中尚未定义时，OpenSearch会尝试自动推断其数据类型并创建相应的映射。对于字符串类型的数据，默认情况下，OpenSearch通常会创建两种子字段：

text 类型字段： 这种字段会经过分析器（analyzer）处理。分析器会将原始字符串分解成词元（tokens），并可能对其进行转换，例如转换为小写、去除停用词、词干提取等。text字段主要用于全文搜索。
keyword 类型子字段（通常以.keyword后缀命名）： 这种字段不会经过分析器处理，而是将整个字符串作为一个单一的词元进行索引。keyword字段适用于精确匹配、聚合、排序等操作。

当您使用terms查询时，它期望的是精确匹配。因此，理解字段是text类型还是keyword类型，以及它们如何存储数据，是解决查询问题的关键。

问题场景分析

假设您有一个名为abc的索引，其中包含一个旧字段name，可以正常查询。现在您开始向文档中添加一个新字段lastname，例如"lastname": "William"。当您尝试使用以下terms查询来查找lastname为William的文档时，却发现没有任何结果：

POST abc/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "terms": {
            "lastname": [
              "William"
            ]
          }
        }
      ]
    }
  }
}

这是因为lastname字段在首次索引时，OpenSearch自动将其识别为字符串，并创建了lastname（text类型）和lastname.keyword（keyword类型）两个字段。terms查询默认针对text类型字段进行，但text字段中的William可能已被分析器转换为william。

解决方案

要成功查询新字段，您需要根据实际需求选择以下两种方法之一：

方法一：使用.keyword子字段进行精确匹配

如果您希望对字段进行精确匹配，而不受分析器处理的影响，那么应该使用自动生成的keyword子字段。这个子字段存储的是原始、未经分析的字符串。

示例代码：

POST abc/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "terms": {
            "lastname.keyword": [
              "William"
            ]
          }
        }
      ]
    }
  }
}

通过将查询字段从lastname改为lastname.keyword，terms查询将直接匹配存储在keyword字段中的原始值William，从而获取正确的结果。

方法二：查询text字段并匹配分析后的词元

如果您确实想查询text类型字段，并利用其分析器处理的特性（例如，希望查询不区分大小写），那么您需要确保查询条件与分析器处理后的词元相匹配。OpenSearch的默认分析器通常会执行小写转换。

示例代码：

POST abc/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "terms": {
            "lastname": [
              "William"
            ]
          }
        }
      ]
    }
  }
}

在此示例中，我们将查询条件"William"改为"william"（小写）。如果默认分析器将William转换为william，那么这个查询就能成功匹配到文档。

注意事项与最佳实践

明确映射： 为了避免自动映射带来的不确定性，强烈建议在创建索引时或在添加新字段之前，显式地定义字段的映射（Mapping）。通过明确指定字段类型（例如keyword用于精确匹配，text用于全文搜索），您可以更好地控制数据存储和查询行为。

PUT abc
{
  "mappings": {
    "properties": {
      "name": {
        "type": "keyword"
      },
      "lastname": {
        "type": "keyword"
        // 或者如果您需要全文搜索，可以定义为 text
        // "type": "text",
        // "fields": {
        //   "keyword": {
        //     "type": "keyword",
        //     "ignore_above": 256
        //   }
        // }
      }
    }
  }
}

验证映射： 当遇到查询问题时，检查当前字段的实际映射是非常有用的。您可以使用GET abc/_mapping命令来查看索引的映射定义。
理解分析器： 如果您选择使用text字段进行查询，务必理解所使用的分析器（默认分析器或自定义分析器）是如何处理文本的。这有助于您构建正确的查询词元。
term与match查询：
- term或terms查询适用于精确匹配，通常用于keyword字段或已知分析器行为的text字段。
- match查询则更适合全文搜索，它会使用字段的分析器来处理查询字符串，然后与分析后的词元进行匹配。