トークナイザ

属性

これには次の属性があります。

例

次のインデックス定義は、 edgegramExampleという名前のカスタムアナライザを使用して、 minutesコレクションのmessageフィールドをインデックス化します。 edgeGramトークナイザを使用して、2 7フィールドの単語の左側の最初の文字から始まる 文字と 文字の長さのトークン（検索可能なターム）を作成します。message

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "edgegramExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "edgegramExample",
      "tokenFilters": [],
      "tokenizer": {
        "maxGram": 7,
        "minGram": 2,
        "type": "edgeGram"
      }
    }
  ]
}

1
db.minutes.createSearchIndex(
2
  "default",
3
  {
4
    "mappings": {
5
      "dynamic": true,
6
      "fields": {
7
        "message": {
8
          "analyzer": "edgegramExample",
9
          "type": "string"
10
        }
11
      }
12
    },
13
    "analyzers": [
14
      {
15
        "charFilters": [],
16
        "name": "edgegramExample",
17
        "tokenFilters": [],
18
        "tokenizer": {
19
          "maxGram": 7,
20
          "minGram": 2,
21
          "type": "edgeGram"
22
        }
23
      }
24
    ]
25
  }
26
)

次のクエリは、 minutesコレクションのmessageフィールドでtrで始まるテキストを検索します。

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "tr",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

{ _id: 1, message: 'try to siGn-In' },
{ _id: 3, message: 'try to sign-in' }

MongoDB Search は、検索タームに一致MongoDBドキュメントの edgeGramトークナイザを使用して、値 tr のトークンを作成したため、結果に _id: 1 と _id: 3 を含むドキュメントを返します。standardトークナイザを使用して messageフィールドをインデックスと、 MongoDB Search は検索タームtr の結果を返しません。

次の表は、 edgeGramトークナイザと比較してstandardトークナイザが結果内のドキュメントに対して作成するトークンを示しています。

属性

これには次の属性があります。

例

次のインデックス定義は、 keywordExampleという名前のカスタムアナライザを使用して、 minutesコレクションのmessageフィールドをインデックス化します。 keywordトークナイザを使用して、フィールド全体にトークン（検索可能なターム）を 1 つのタームとして作成します。

1
{
2
  "mappings": {
3
    "dynamic": true,
4
    "fields": {
5
      "message": {
6
        "analyzer": "keywordExample",
7
        "type": "string"
8
      }
9
    }
10
  },
11
  "analyzers": [
12
    {
13
      "charFilters": [],
14
      "name": "keywordExample",
15
      "tokenFilters": [],
16
      "tokenizer": {
17
        "type": "keyword"
18
      }
19
    }
20
  ]
21
}

1
db.minutes.createSearchIndex(
2
  "default",
3
  {
4
    "mappings": {
5
      "dynamic": true,
6
      "fields": {
7
        "message": {
8
          "analyzer": "keywordExample",
9
          "type": "string"
10
        }
11
      }
12
    },
13
    "analyzers": [
14
      {
15
        "charFilters": [],
16
        "name": "keywordExample",
17
        "tokenFilters": [],
18
        "tokenizer": {
19
          "type": "keyword"
20
        }
21
      }
22
    ]
23
  }
24
)

次のクエリは、 minutesコレクションのmessageフィールドでフレーズtry to sign-inを検索します。

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "try to sign-in",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

{ _id: 3, message: 'try to sign-in' }

MongoDB Search は、検索タームに一致MongoDBドキュメントの keywordトークナイザを使用して、値 try to sign-in のトークンを作成したため、結果に _id: 3 を含むドキュメントを返します。standardトークナイザを使用して messageフィールドをインデックスと、 MongoDB Search は検索タームtry to sign-in に対して _id: 1、_id: 2、_id: 3 を含むドキュメントを返します。これは、各ドキュメントにいくつかのトークンが含まれているためです。standardトークナイザはを作成します。

次の表は、 keywordトークナイザと比較してstandardトークナイザが_id: 3を含むドキュメントに対して作成するトークンを示しています。

属性

これには次の属性があります。

例

次のインデックス定義は、 ngramExampleという名前のカスタムアナライザを使用して、 minutesコレクションのtitleフィールドをインデックス化します。 nGramトークナイザを使用して、 titleフィールドに4から6文字の長さのトークン（検索可能なターム）を作成します。

1
{
2
  "mappings": {
3
    "dynamic": true,
4
    "fields": {
5
      "title": {
6
        "analyzer": "ngramExample",
7
        "type": "string"
8
      }
9
    }
10
  },
11
  "analyzers": [
12
    {
13
      "charFilters": [],
14
      "name": "ngramExample",
15
      "tokenFilters": [],
16
      "tokenizer": {
17
        "maxGram": 6,
18
        "minGram": 4,
19
        "type": "nGram"
20
      }
21
    }
22
  ]
23
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "title": {
        "analyzer": "ngramExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "ngramExample",
      "tokenFilters": [],
      "tokenizer": {
        "maxGram": 6,
        "minGram": 4,
        "type": "nGram"
      }
    }
  ]
})

次のクエリは、 minutesコレクションのtitleフィールドでweekというタームを検索します。

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "week",
6
        "path": "title"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "title": 1
14
    }
15
  }
16
])

{ _id: 1, title: "The team's weekly meeting" }

MongoDB Search は、検索タームに一致MongoDBドキュメントの nGramトークナイザを使用して、値 week のトークンを作成したため、結果に _id: 1 を含むドキュメントを返します。standardまたは edgeGramトークナイザを使用して titleフィールドをインデックスと、 MongoDB Search は検索タームweek の結果を返しません。

次の表は、 nGramトークナイザと比較して、 standardとedgeGramトークナイザが_id: 1を含むドキュメントに対して作成するトークンを示しています。

属性

これには次の属性があります。

例

次のインデックス定義は、 phoneNumberExtractorという名前のカスタムアナライザを使用して、 minutesコレクションのpage_updated_by.phoneフィールドをインデックス化します。 このクエリでは、次の を使用します。

• mappings 文字フィルター : 最初の 3 桁の括弧を除き、すべてのスペースとピリオドをダッシュに置き換えます。

• regexCaptureGroup テキスト入力に存在する最初の米国形式の電話番号から単一のトークンを作成するためのトークナイザ

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "phoneNumberExtractor",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [
        {
          "mappings": {
            " ": "-",
            "(": "",
            ")": "",
            ".": "-"
          },
          "type": "mapping"
        }
      ],
      "name": "phoneNumberExtractor",
      "tokenFilters": [],
      "tokenizer": {
        "group": 0,
        "pattern": "^\\b\\d{3}[-]?\\d{3}[-]?\\d{4}\\b$",
        "type": "regexCaptureGroup"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "phoneNumberExtractor",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [
        {
          "mappings": {
            " ": "-",
            "(": "",
            ")": "",
            ".": "-"
          },
          "type": "mapping"
        }
      ],
      "name": "phoneNumberExtractor",
      "tokenFilters": [],
      "tokenizer": {
        "group": 0,
        "pattern": "^\\b\\d{3}[-]?\\d{3}[-]?\\d{4}\\b$",
        "type": "regexCaptureGroup"
        }
    }
  ]
})

次のクエリは、 minutesコレクションのpage_updated_by.phoneフィールドで電話番号123-456-9870を検索します。

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "123-456-9870",
6
        "path": "page_updated_by.phone"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.phone": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { phone: '(123).456.9870' }

MongoDB Search は、検索タームに一致MongoDBドキュメントの regexCaptureGroupトークナイザを使用して、値 123-456-7890 のトークンを作成したため、結果に _id: 3 を含むドキュメントを返します。standardトークナイザを使用して page_updated_by.phoneフィールドをインデックスと、 MongoDB Search は検索ターム123-456-7890 のすべてのドキュメントを返します。

次の表は、 regexCaptureGroupトークナイザと比較してstandardトークナイザが_id: 3を含むドキュメントに対して作成するトークンを示しています。

属性

これには次の属性があります。

例

次のインデックス定義は、 dashDotSpaceSplitterという名前のカスタムアナライザを使用して、 minutesコレクションのpage_updated_by.phoneフィールドをインデックス化します。 regexSplitトークナイザを使用して、 page_updated_by.phoneフィールドの 1 つ以上のハイフン、ピリオド、スペースからトークン（検索可能なターム）を作成します。

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "dashDotSpaceSplitter",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "dashDotSpaceSplitter",
      "tokenFilters": [],
      "tokenizer": {
        "pattern": "[-. ]+",
        "type": "regexSplit"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "dashDotSpaceSplitter",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "dashDotSpaceSplitter",
      "tokenFilters": [],
      "tokenizer": {
        "pattern": "[-. ]+",
        "type": "regexSplit"
      }
    }
  ]
})

次のクエリは、 minutesコレクションのpage_updated_by.phoneフィールドで数字9870を検索します。

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "9870",
6
        "path": "page_updated_by.phone"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.phone": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { phone: '(123).456.9870' }

MongoDB Search は、検索タームに一致MongoDBドキュメントの regexSplitトークナイザを使用して、値 9870 のトークンを作成したため、結果に _id: 3 を含むドキュメントを返します。standardトークナイザを使用して page_updated_by.phoneフィールドをインデックスと、 MongoDB Search は検索ターム9870 の結果を返しません。

次の表は、 regexCaptureGroupトークナイザと比較してstandardトークナイザが_id: 3を含むドキュメントに対して作成するトークンを示しています。

属性

これには次の属性があります。

例

次のインデックス定義は、 standardExampleという名前のカスタムアナライザを使用して、 minutesコレクションのmessageフィールドをインデックス化します。 standardトークナイザとストップワード トークン フィルター を使用します。

{
 "mappings": {
   "dynamic": true,
   "fields": {
     "message": {
       "analyzer": "standardExample",
       "type": "string"
     }
   }
 },
 "analyzers": [
   {
     "charFilters": [],
     "name": "standardExample",
     "tokenFilters": [],
     "tokenizer": {
       "type": "standard"
     }
   }
 ]
}

1
db.minutes.createSearchIndex(
2
  "default",
3
  {
4
    "mappings": {
5
      "dynamic": true,
6
      "fields": {
7
        "message": {
8
          "analyzer": "standardExample",
9
          "type": "string"
10
        }
11
      }
12
    },
13
    "analyzers": [
14
      {
15
        "charFilters": [],
16
        "name": "standardExample",
17
        "tokenFilters": [],
18
        "tokenizer": {
19
          "type": "standard"
20
        }
21
      }
22
    ]
23
  }
24
)

次のクエリは、 minutesコレクションのmessageフィールドでsignatureというタームを検索します。

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "signature",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

{ _id: 4, message: 'write down your signature or phone №' }

MongoDB Search は、検索タームに一致MongoDBドキュメントの standardトークナイザを使用して、値 signature のトークンを作成したため、_id: 4 を含むドキュメントを返します。keywordトークナイザを使用して messageフィールドをインデックスと、 MongoDB Search は検索タームsignature の結果を返しません。

次の表は、 standardトークナイザと比較してkeywordアナライザが_id: 4を含むドキュメントに対して作成するトークンを示しています。

属性

これには次の属性があります。

例

{
  "mappings": {
    "fields": {
      "page_updated_by": {
       "fields": {
          "email": {
            "analyzer": "basicEmailAddressAnalyzer",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "basicEmailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "basicEmailAddressAnalyzer",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "basicEmailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
})

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "autocomplete": {
5
        "query": "lewinsky@example.com",
6
        "path": "page_updated_by.email"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.email": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { email: 'lewinsky@example.com' } }

{
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "emailAddressAnalyzer",
            "tokenization": "edgeGram",
            "type": "autocomplete"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "emailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "emailAddressAnalyzer",
            "tokenization": "edgeGram",
            "type": "autocomplete"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "emailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
})

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "autocomplete": {
5
        "query": "lewinsky@example.com",
6
        "path": "page_updated_by.email"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.email": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { email: 'lewinsky@example.com' } }

属性

これには次の属性があります。

例

次のインデックス定義は、 whitespaceExampleという名前のカスタムアナライザを使用して、 minutesコレクションのmessageフィールドをインデックス化します。 whitespaceトークナイザを使用して、 messageフィールド内の任意の空白からトークン（検索可能なターム）を作成します。

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "whitespaceExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "whitespaceExample",
      "tokenFilters": [],
      "tokenizer": {
        "type": "whitespace"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "whitespaceExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "whitespaceExample",
      "tokenFilters": [],
      "tokenizer": {
        "type": "whitespace"
      }
    }
  ]
})

次のクエリは、 minutesコレクションのmessageフィールドでSIGN-INというタームを検索します。

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "sign-in",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

[ { _id: 3, message: 'try to sign-in' } ]

MongoDB Search は、検索タームに一致MongoDBドキュメントの whitespaceトークナイザを使用して、値 sign-in のトークンを作成したため、結果に _id: 3 を含むドキュメントを返します。standardトークナイザを使用して messageフィールドをインデックスと、 MongoDB Search は検索タームsign-in に対して _id: 1、_id: 2、_id: 3 を含むドキュメントを返します。

次の表は、 whitespaceトークナイザと比較してstandardトークナイザが_id: 3を含むドキュメントに対して作成するトークンを示しています。