自定义分析器的令牌过滤器

属性

它具有以下属性：

例子

以下索引定义使用名为 asciiConverter 的自定义分析器对 minutes 集合中的 page_updated_by.first_name 字段进行索引。自定义分析器指定以下内容：

1. 应用标准分词器，以根据分词规则创建词元。

2. 应用 asciiFolding 词元筛选器，以将字段值转换为等效的 ASCII 字符。

以下查询使用等效的 ASCII 字符在 minutes 集合的 first_name 字段中搜索名称。

MongoDB Search 在结果中返回包含 _id: 1 的文档，因为MongoDB Search 为文档中的 page_updated_by.first_name字段创建了以下词元（可搜索词语），然后使用该词元与查询术语Sian 进行匹配：

属性

它具有以下属性：

例子

以下索引定义使用名为 dmsAnalyzer 的自定义分析器对 minutes 集合中的 page_updated_by.last_name 字段进行索引。自定义分析器指定以下内容：

1. 应用标准分词器，以根据分词规则创建词元。

2. 应用 daitchMokotoffSoundex 词元过滤器，对发音相同的单词的标记进行编码。

以下查询在分钟集合的 page_updated_by.last_name 字段中搜索听起来类似于 AUERBACH 的词语。

MongoDB Search 返回包含 _id: 1 和 _id: 2 的文档，因为两个文档中的词语在语音上相似，并使用相同的 6 位数字（097400 和 097500）进行编码。下表显示了MongoDB Search 为结果中的文档创建的词元（可搜索词语和六位数字编码）：

属性

它具有以下属性：

例子

以下索引定义使用名为 titleAutocomplete 的自定义分析器对 minutes 集合中的 title 字段进行索引。自定义分析器指定以下内容：

1. 应用标准分词器，以根据分词规则创建词元。

2. 将以下筛选器应用于词元：

   • icuFolding 词元筛选器，用于将字符折叠应用于词元。

   • edgeGram 词元筛选器，用于从左侧创建 4 到 7 个字符长的词元。

以下查询在 minutes 集合的 title 字段中搜索以 mee 开头并后跟任意数量的其他字符的词语。

MongoDB Search 返回包含 _id: 1 和 _id: 3 的文档，因为这些文档包含与查询条件匹配的术语meeting。具体来说， MongoDB Search 会为结果中的文档创建以下 4 到 7 字符词元（可搜索词语），然后将其与查询术语mee* 进行匹配：

属性

它具有以下属性：

例子

以下索引定义使用名为 englishPossessiveStemmer 的自定义分析器对 minutes 集合中的 title 字段进行索引。自定义分析器指定以下内容：

1. 应用标准分词器，以根据分词规则创建词元（搜索词语）。

2. 应用englishPossessive 词元筛选器从词元中删除所有格（末尾的's ）。

以下查询在 minutes 集合的 title 字段中搜索词语 team。

MongoDB Search 返回在 title字段中包含术语team 的结果。MongoDB Search 返回包含 _id: 1 的文档，因为MongoDB Search 在分析过程中将 title字段中的 team's 转换为词元 team。具体来说， MongoDB Search 为结果中的文档创建以下词元（可搜索词语），然后将其与查询术语进行匹配：

属性

它具有以下属性：

例子

以下索引定义使用名为 minimalStemmer 的自定义分析器对 minutes 集合中的 text.en_US 字段进行索引。自定义分析器指定以下内容：

1. 应用标准分词器，以根据分词规则创建词元。

2. 将以下词元筛选器应用于词元：

   • lowercase 词元过滤器，用于将词元转换为小写。

   • englishMinimalStemming 令片过滤器将复数词根据为单数形式，而不对其他词变体进行根据。

以下查询在 minutes 集合的 text.en_US 字段中搜索词语 meeting。

MongoDB Search 返回带有 _id: 1 的文档，因为 lowercase 词元过滤器将词元文本规范化为小写，而 englishMinimalStemming 词元过滤器将复数 meetings 词根化为单数 meeting，MongoDB Search 将其与查询词语进行匹配。具体来说，MongoDB Search 会为结果中的文档创建以下词元（可搜索词语），然后将其与查询词语 meeting 进行匹配：

属性

它具有以下属性：

例子

以下索引定义使用名为 wordDelimiterGraphFlatten 的自定义分析器为分钟集合中的 message 字段编制索引。自定义分析器指定以下内容：

1. 应用空格分词器，以根据词语之间出现的空格创建词元。

2. 将以下过滤器应用于词元：

   • wordDelimiterGraph 词元筛选器，用于根据子词拆分词元，为原始词生成词元，并保护词SIGN_IN免遭分隔。

   • flattenGraph 词元过滤器，用于将词元扁平化为平面形式。

以下查询在 minutes 集合的 message 字段中搜索词语 sign。

MongoDB Search 在查询术语sign 的结果中返回包含 _id: 3 的文档，即使该文档在 title字段中包含带连字符的术语sign-in。wordDelimiterGraph 词元过滤创建词元过滤图表，而 flattenGraph 词元过滤将词元过滤图表转换为适合索引的平面形式。具体来说， MongoDB Search 会为结果中的文档创建以下词元（可搜索词语），然后将其与查询术语sign 进行匹配：

属性

它具有以下属性：

例子

以下索引定义使用名为 diacriticFolder 的自定义分析器对 minutes 集合中的 text.sv_FI 字段进行索引。自定义分析器指定以下内容：

1. 应用关键字分词器，以将字符串字段中的所有词语作为单个词语进行分词。

2. 使用 icuFolding 词元筛选器应用折叠，例如删除重音、大小写折叠、规范重复项折叠等。

以下查询使用 wildcard 操作符在 minutes 集合的 text.sv_FI 字段中搜索所有包含词语 avdelning（前后具有任意数量的其他字符）的词语。

MongoDB Search 在结果中返回具有 _id: 1 和 _id: 2 的文档，因为这些文档包含查询术语avdelning，在具有 _id: 1 的文档中后跟其他字符，在文档_id: 2。具体来说， MongoDB Search 为结果中的文档创建以下词元，然后将其与查询术语*avdelning* 进行匹配。

属性

它具有以下属性：

例子

以下索引定义使用名为 textNormalizer 的自定义分析器对 minutes 集合中的 message 字段进行索引。自定义分析器指定以下内容：

1. 使用空格分词器根据词之间出现的空格创建标记。

2. 使用 icuNormalizer 词元筛选器，通过兼容性分解和随后的规范组合对词元进行规范化。

以下查询在 minutes 集合的 message 字段中搜索词语 1。

MongoDB搜索会在查询术语1 的结果中返回包含 _id: 2 的文档，即使该文档在 message字段中包含带圆圈的数字 ①，因为 icuNormalizer 词元过滤会为以下内容创建词元 1：此字符使用 nfkc 规范化形式。下表显示了MongoDB Search 使用 nfkc 规范化形式为结果中的文档创建的词元（可搜索词语），并比较了它为其他规范化形式创建的词元。

属性

它具有以下属性：

例子

以下索引定义使用名为 keywordStemRemover 的自定义分析器对 minutes 集合中的 title 字段进行索引。自定义分析器指定以下内容：

1. 应用空格分词器，以根据词语之间出现的空格创建词元。

2. 将以下筛选器应用于词元：

   • keywordRepeat 词元过滤器将创建两次词元，一次作为关键字词元，一次作为非关键字词元。

   • porterStemming 词元过滤器，用于从非关键词词元中删除常见的形态后缀和屈折后缀。

   • removeDuplicates 用于过滤流式传输中与上一个令牌位置和术语相同的令牌。

以下查询在 minutes 集合的 title 字段中使用 wildcard 操作符搜索术语 mee*。

MongoDB 搜索返回标题字段中包含术语 meeting 的文档。keywordRepeat 令牌过滤器为结果中的文档生成以下词元：

porterStemming 标记过滤器将非关键字标记还原为其根基本形式：

removeDuplicates 令牌过滤器删除由前面的 keywordRepeat 令牌过滤器生成的流中的任何重复令牌：

属性

它具有以下属性：

例子

以下索引定义使用名为 kStemmer 的自定义分析器对 minutes 集合中的 text.en_US 字段进行索引。自定义分析器指定以下内容：

1. 应用标准分词器，以根据分词规则创建词元。

2. 将以下筛选器应用于词元：

   • lowercase 词元过滤器，用于将词元转换为小写。

   • kStemming 词元过滤器，它结合使用算法词干提取和内置的英语词典以提取词语的词干。

以下查询在 minutes 集合的 text.en_US 字段中搜索词语 Meeting。

MongoDB Search 返回包含 _id: 1 的文档，其中包含小写的复数术语meetings。MongoDB Search 将查询术语与文档进行匹配，因为 lowercase 词元过滤将词元文本规范化为小写，而 kStemming 词元过滤允许MongoDB Search 将文档text.en_US字段中的复数 meetings 与单数查询术语进行匹配。MongoDB Search 还使用索引分析器（如果指定，则使用 searchAnalyzer）分析查询术语。具体来说， MongoDB Search 会为结果中的文档创建以下词元（可搜索词语），然后使用这些词元与查询术语进行匹配：

head, this, page, deal, with, department, meeting, head

属性

它具有以下属性：

例子

以下索引定义使用名为 longOnly 的自定义分析器对 minutes 集合中的 text.sv_FI 字段进行索引。自定义分析器指定以下内容：

1. 使用标准分词器，以根据分词规则创建词元。

2. 将以下筛选器应用于词元：

   • icuFolding 词元过滤器，用于应用字符折叠。

   • length 词元筛选器，它仅对分词后至少为 20 个 UTF-16 代码单元长的词元进行索引。

以下查询在 minutes 集合的 text.sv_FI 字段中搜索词语 forsaljningsavdelningen。

MongoDB Search 返回包含 _id: 2 的文档，其中包含术语försäljningsavdelningen。MongoDB Search 将文档与查询术语进行匹配，因为该术语超过 20 个字符。此外，虽然查询术语forsaljningsavdelningen 不包含变音符号，但MongoDB Search 通过折叠文档中原始术语的变音符号来将查询术语与文档进行匹配。具体来说， MongoDB搜索为包含 _id: 2 的文档创建以下词元（可搜索词）。

forsaljningsavdelningen

MongoDB Search 不会返回集合中 text.sv_FI 字段中任何其他术语的搜索结果，因为该字段中的所有其他术语的字符数均少于 20。

属性

它具有以下属性：

示例

属性

它具有以下属性：

例子

以下索引定义使用名为 titleAutocomplete 的自定义分析器为分钟集合中的 title字段编制索引。它将关键字分析器指定为 searchAnalyzer。自定义分析器函数指定以下内容：

1. 应用标准分词器以根据分词规则创建词元。

2. 将一系列词元筛选器应用于词元：

   • englishPossessive 从词语中删除所有格（末尾的 's）。

   • nGram 将词语拆分为 4 到 7 个字符长的词语。

以下查询使用 wildcard 操作符在 minutes 集合的 title 字段中搜索词语 meet，该词语后面具有任意数量的其他字符。

MongoDB Search 返回包含 _id: 1 和 _id: 3 的文档，因为这些文档包含术语meeting， MongoDB Search 通过创建以下词元（可搜索词语）将其与查询条件 meet* 进行匹配。

属性

它具有以下属性：

例子

以下索引定义使用名为 porterStemmer 的自定义分析器对 minutes 集合中的 title 字段进行索引。自定义分析器指定以下内容：

1. 应用标准分词器，以根据分词规则创建词元。

2. 将以下词元筛选器应用于词元：

   • lowercase 词元过滤器，用于将词语转换为小写。

   • porterStemming 词元过滤器，用于从词语中删除常见的形态后缀和屈折后缀。

以下查询在 minutes 集合的 title 字段中搜索词语 Meet。

MongoDB Search 返回包含 _id: 1 和 _id: 3 的文档，因为小写词元过滤将词元文本规范化为小写，然后 porterStemming 词元过滤从 meeting 词元中提取形态后缀以创建 meet 词元，这MongoDB Search 与查询术语Meet 匹配。具体来说， MongoDB Search 为结果中的文档创建以下词元（可搜索词语），然后将其与查询术语Meet 进行匹配：

属性

它具有以下属性：

"analyzers": [
  {
    "name": "custom.analyzer.name",
    "charFilters": [],
    "tokenizer": {
      "type": "whitespace"
    },
    "tokenFilters": [
      {
        "matches": "all",
        "pattern": "^(?!\\$)\\w+",
        "replacement": "",
        "type": "regex"
      },
      {
        "type": "stopword",
        "tokens": [""]
      }
    ]
  }
]

例子

以下索引定义使用名为 emailRedact 的自定义分析器对 minutes 集合中的 page_updated_by.email 字段进行索引。自定义分析器指定以下内容：

1. 应用关键字分词器，以将字段值中的所有词语作为单个词语进行索引。

2. 将以下词元筛选器应用于词元：

   • lowercase 词元过滤器，用于将词元中的大写字符转换为小写。

   • regex 词元筛选器，用于查找词元中看起来像电子邮件地址的字符串，并将其替换为词语 redacted。

以下查询使用 wildcard 操作符在 minutes 集合的 page_updated_by.email 字段中搜索前面带有任意数量的其他字符的词语 example.com。

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "index": "default",
5
      "wildcard": {
6
        "query": "*example.com",
7
        "path": "page_updated_by.email",
8
        "allowAnalyzedField": true
9
      }
10
    }
11
  },
12
  {
13
    "$project": {
14
      "_id": 1,
15
      "page_updated_by.email": 1
16
    }
17
  }
18
])

尽管 page_updated_by.email字段在电子邮件地址中包含单词 example.com，但MongoDB Search 不会返回任何查询结果。MongoDB Search 将与自定义分析器中提供的正则表达式匹配的字符串标记为单词 redacted，因此MongoDB Search 不会将查询术语与任何文档相匹配。

属性

它具有以下属性：

例子

以下索引定义使用名为 duplicateRemover 的自定义分析器对 minutes 集合中的 title 字段进行索引。自定义分析器指定以下内容：

1. 应用空格分词器，以根据词语之间出现的空格创建词元。

2. 将以下筛选器应用于词元：

   • keywordRepeat 词元过滤器将词元创建两次，一次作为关键词，一次作为非关键词。

   • removeDuplicates 用于过滤流式传输中与上一个令牌位置和术语相同的令牌。

以下查询在 minutes 集合的 title 字段中使用 wildcard 操作符搜索术语 mee*。

MongoDB 搜索返回标题字段中包含术语 meeting 的文档。keywordRepeat 令牌过滤器为结果中的文档生成以下词元：

removeDuplicates 令牌过滤器会删除流中的重复令牌。

属性

它具有以下属性：

例子

以下索引定义使用名为 keywordReverse 的自定义分析器对 minutes 集合中的 page_updated_by.email 字段进行索引。该自定义分析器指定以下内容：

• 应用关键字分词器，以将整个字符串作为单个词语进行分词。

• 应用 reverse 词元筛选器以颠倒字符串词元的顺序。

以下查询使用 wildcard 操作符搜索 minutes 集合中的 page_updated_by.email 字段，以按倒序匹配字符 @example.com 前面的任何字符。reverse 词元筛选器可以加快前导通配符查询的速度。

对于前面的查询， MongoDB Search 将自定义分析器应用于通配符查询，以将查询转换如下：

moc.elpmaxe@*

然后， MongoDB Search 针对索引的词元运行查询，这些词元也是倒序的。具体来说， MongoDB Search 为结果中的文档创建以下词元（可搜索词语），然后将其与查询术语moc.elpmaxe@* 进行匹配：

属性

它具有以下属性：

例子

以下关于 分钟 集合中的 page_updated_by.email字段的索引定义示例使用两个自定义分析器 emailAutocompleteIndex 和 emailAutocompleteSearch 来实现类似自动完成的功能。MongoDB Search 在索引创建期间使用 emailAutocompleteIndex分析器执行以下操作：

• 将字段中的 @ 字符替换为 AT

• 使用空格分词器创建词元

• Shingle 词元

• 创建这些shingle 词元的 edgeGram

MongoDB Search 在搜索期间使用 emailAutocompleteSearch分析器执行以下操作：

• 将字段中的 @ 字符替换为 AT

• 使用空格分词器创建词元

以下查询在 minutes 集合的 page_updated_by.email 字段中搜索电子邮件地址：

MongoDB Search 使用 emailAutocompleteSearch分析器创建搜索词元，然后将其与使用 emailAutocompleteIndex分析器创建的索引词元进行匹配。下表显示了MongoDB Search 创建的搜索词元和索引词元（最多 15 个字符）：

属性

它具有以下属性：

例子

以下索引定义使用名为 frenchStemmer 的自定义分析器对 minutes 集合中的 text.fr_CA 字段进行索引。自定义分析器指定以下内容：

1. 应用标准分词器，以根据分词规则创建词元。

2. 将以下词元筛选器应用于词元：

   • lowercase 词元过滤器，用于将词元转换为小写。

   • french 用于提取词语的词干的 snowballStemming 词元筛选器变体。

以下查询在 minutes 集合的 text.fr_CA 字段中搜索词语 réunion。

MongoDB Search 返回结果中包含 _id: 1 的文档。MongoDB Search 将查询术语与文档进行匹配，因为它为文档创建了以下词元，然后使用这些词元与查询术语réunion 进行匹配：

属性

它具有以下属性：

例子

以下索引定义使用名为 spanishPluralStemmer 的自定义分析器对 minutes 集合中的 text.es_MX 字段进行索引。自定义分析器指定以下内容：

1. 应用标准分词器，以根据分词规则创建词元。

2. 将以下词元筛选器应用于词元：

   • lowercase 词元过滤器，用于将西班牙语词语转换为小写。

   • spanishPluralStemming 词元筛选器，用于为词元中的复数西班牙语词语提取单数形式的词干。

以下查询在 minutes 集合的 text.es_MX 字段中搜索西班牙语词语 punto。

MongoDB Search 返回包含 _id: 4 的文档，因为文档中的 text.es_MX字段包含复数术语puntos。MongoDB搜索将此文档与查询术语punto 进行匹配，因为MongoDB搜索通过从术语中去除复数 (s)，将 puntos 作为 punto 进行分析。具体来说， MongoDB Search 会为结果中的文档创建以下词元（可搜索词语），然后使用这些词元与查询术语进行匹配：

属性

它具有以下属性：

例子

以下索引定义使用名为 stempelStemmer 的自定义分析器对 minutes 集合中的 text.pl_PL 字段进行索引。自定义分析器指定以下内容：

1. 应用标准分词器，以根据分词规则创建词元。

2. 将以下筛选器应用于词元：

   • lowercase 词元过滤器，用于将词语转换为小写。

   • stempel 词元过滤器用于删除波兰语字词。

以下查询在 minutes 集合的 text.pl_PL 字段中搜索波兰语词语 punkt。

MongoDB Search 返回包含 _id: 4 的文档，因为文档中的 text.pl_PL字段包含复数术语punkty。MongoDB搜索将此文档与查询术语punkt 进行匹配，因为MongoDB搜索通过从术语中去除复数 (y)，将 punkty 作为 punkt 进行分析。具体来说， MongoDB Search 会为结果中的文档创建以下词元（可搜索词语），然后将其与查询术语进行匹配：

属性

它具有以下属性：

例子

以下索引定义使用名为 stopwordRemover 的自定义分析器对 minutes 集合中的 title 字段进行索引。自定义分析器指定以下内容：

1. 应用空格分词器，以根据词语之间出现的空格创建词元。

2. 应用 stopword 词元过滤器删除与定义的停用词 is、the 和 at 匹配的词元。词元过滤器不区分大小写，并删除与指定停用词匹配的所有词元。

以下查询在分钟集合的 text.en_US 字段中搜索短语 head of the sales。

MongoDB Search 返回包含 _id: 2 的文档，因为 en_US字段包含查询术语。MongoDB Search 在分析期间不会为文档中的停用词 the 创建词元，但仍能将其与查询术语进行匹配，因为对于 string 字段，它还会使用索引分析器分析查询术语（或者如果指定，使用 searchAnalyzer），并从查询术语中删除停用词，这允许MongoDB Search 将查询术语与文档进行匹配。具体来说， MongoDB Search 会为结果中的文档创建以下词元：

属性

它具有以下属性：

例子

以下索引定义使用名为 tokenTrimmer 的自定义分析器对 minutes 集合中的 text.en_US 进行索引。该自定义分析器指定以下内容：

• 应用 htmlStrip 字符过滤器从文本中删除除 a 标签之外的所有 HTML 标记。

• 应用关键字分词器，为整个字符串创建单个词元。

• 应用 trim 词元筛选器，以删除词元中的前导和尾随空格。

以下查询在 minutes 集合的 text.en_US 字段中搜索前后具有任意数量的其他字符的短语 *department meetings*。

MongoDB Search 返回包含 _id: 1 的文档，因为 en_US字段包含查询术语department meetings。MongoDB Search 为结果中的文档创建以下词元，这表明MongoDB Search 删除了 HTML 标记，为整个字符串创建了单个词元，并删除了词元中的前导和尾随空格：

属性

它具有以下属性：

如果为 true，则在该选项后面应用 flattenGraph 词元过滤器，以使词元流适合进行索引。

例子

以下索引定义使用名为 wordDelimiterGraphAnalyzer 的自定义分析器对 minutes 集合中的 title 字段进行索引。自定义分析器指定以下内容：

1. 应用空格分词器，以根据词语之间出现的空格创建词元。

2. 为以下内容应用 wordDelimiterGraph 词元过滤器：

   • 不要尝试拆分 is、the 和 at。排除区分大小写。例如，不会排除 Is 和 tHe。

   • 在大小写发生变化时拆分词元，并删除仅包含英语字母表中的字母的词元。

以下查询在 minutes 集合的 title 字段中搜索词语 App2。

MongoDB Search 返回包含 _id: 4 的文档，因为文档中的 title字段包含 App2。MongoDB Search 在大小写发生变化时拆分词元，并删除由分割创建的仅包含字母的词元。它还使用索引分析器（如果指定，则使用 searchAnalyzer）分析查询术语，以便在大小写发生变化时分割单词并删除2 前面的字母。具体来说， MongoDB Search 会为 protectedWords 和 delimiterOptions 选项包含 _id : 4 的文档创建以下词元：