토크나이저

속성

다음과 같은 속성이 있습니다.

예시

다음 인덱스 정의는 edgegramExample이라는 사용자 지정 분석기를 사용하여 minutes 컬렉션의 message 필드를 인덱싱합니다. edgeGram 토크나이저를 사용하여 message 필드의 단어 왼쪽에 있는 첫 번째 문자로부터 문자 2 ~ 7 사이에서 토큰(검색 가능한 텀)을 생성합니다.

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "edgegramExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "edgegramExample",
      "tokenFilters": [],
      "tokenizer": {
        "maxGram": 7,
        "minGram": 2,
        "type": "edgeGram"
      }
    }
  ]
}

1
db.minutes.createSearchIndex(
2
  "default",
3
  {
4
    "mappings": {
5
      "dynamic": true,
6
      "fields": {
7
        "message": {
8
          "analyzer": "edgegramExample",
9
          "type": "string"
10
        }
11
      }
12
    },
13
    "analyzers": [
14
      {
15
        "charFilters": [],
16
        "name": "edgegramExample",
17
        "tokenFilters": [],
18
        "tokenizer": {
19
          "maxGram": 7,
20
          "minGram": 2,
21
          "type": "edgeGram"
22
        }
23
      }
24
    ]
25
  }
26
)

다음 쿼리는 minutes collection의 message 필드에서 tr로 시작하는 텍스트를 검색합니다.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "tr",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

{ _id: 1, message: 'try to siGn-In' },
{ _id: 3, message: 'try to sign-in' }

MongoDB Search는 검색 텀 _id: 1 _id: 3 일치하는 문서의 {MongoDB} 토크나이저 사용하여 값의 토큰을 생성했기 때문에 tr edgeGram 결과에 및 이 포함된 문서를 반환합니다. standard 토크나이저 사용하여 message 필드 인덱스 경우 MongoDB Search는 검색 tr 텀 대한 결과를 반환하지 않습니다.

다음 표는 edgeGram 토크나이저와 이와는 대조적인 standard 토크나이저가 결과 내 문서에 대해 생성하는 토큰을 보여줍니다.

속성

다음과 같은 속성이 있습니다.

예시

다음 인덱스 정의는 keywordExample이라는 사용자 지정 분석기를 사용하여 minutes 컬렉션의 message 필드를 인덱싱합니다. keyword 토크나이저를 사용하여 전체 필드에 대한 토큰(검색 가능한 텀)을 단일 텀으로 생성합니다.

1
{
2
  "mappings": {
3
    "dynamic": true,
4
    "fields": {
5
      "message": {
6
        "analyzer": "keywordExample",
7
        "type": "string"
8
      }
9
    }
10
  },
11
  "analyzers": [
12
    {
13
      "charFilters": [],
14
      "name": "keywordExample",
15
      "tokenFilters": [],
16
      "tokenizer": {
17
        "type": "keyword"
18
      }
19
    }
20
  ]
21
}

1
db.minutes.createSearchIndex(
2
  "default",
3
  {
4
    "mappings": {
5
      "dynamic": true,
6
      "fields": {
7
        "message": {
8
          "analyzer": "keywordExample",
9
          "type": "string"
10
        }
11
      }
12
    },
13
    "analyzers": [
14
      {
15
        "charFilters": [],
16
        "name": "keywordExample",
17
        "tokenFilters": [],
18
        "tokenizer": {
19
          "type": "keyword"
20
        }
21
      }
22
    ]
23
  }
24
)

다음 message 쿼리는 minutes 컬렉션의 필드에서 구문 try to sign-in을 검색합니다.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "try to sign-in",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

{ _id: 3, message: 'try to sign-in' }

MongoDB Search는 검색 텀 일치하는 문서의 {MongoDB} _id: 3 토크나이저 사용하여 값이 인 토큰을 생성했기 때문에 결과에 이 try to sign-in 포함된 keyword 문서 를 반환합니다. standard 토크나이저 사용하여 message 필드 인덱스 경우, 각 문서 standard 일부 토큰이 포함되어 있기 때문에 MongoDB Search는 검색 try to sign-in 텀 대해 _id: 1, _id: 2, _id: 3 이 있는 문서를 반환합니다. 토크나이저 생성합니다.

다음 표는 keyword 토크나이저와 이와는 대조적인 standard 토크나이저가 _id: 3을 사용하여 문서에 대해 생성하는 토큰을 보여줍니다.

속성

다음과 같은 속성이 있습니다.

예시

다음 인덱스 정의는 ngramExample이라는 사용자 지정 분석기를 사용하여 minutes collection의 title 필드를 인덱싱합니다. nGram 토크나이저를 사용하여 title 필드에서 4자와 6자 사이의 토큰(검색 가능한 용어)을 생성합니다.

1
{
2
  "mappings": {
3
    "dynamic": true,
4
    "fields": {
5
      "title": {
6
        "analyzer": "ngramExample",
7
        "type": "string"
8
      }
9
    }
10
  },
11
  "analyzers": [
12
    {
13
      "charFilters": [],
14
      "name": "ngramExample",
15
      "tokenFilters": [],
16
      "tokenizer": {
17
        "maxGram": 6,
18
        "minGram": 4,
19
        "type": "nGram"
20
      }
21
    }
22
  ]
23
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "title": {
        "analyzer": "ngramExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "ngramExample",
      "tokenFilters": [],
      "tokenizer": {
        "maxGram": 6,
        "minGram": 4,
        "type": "nGram"
      }
    }
  ]
})

다음 title 쿼리는 minutes 컬렉션의 필드에서 용어 week를 검색합니다.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "week",
6
        "path": "title"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "title": 1
14
    }
15
  }
16
])

{ _id: 1, title: "The team's weekly meeting" }

MongoDB Search는 검색 텀 일치하는 문서의 {MongoDB} _id: 1 토크나이저 사용하여 값이 인 토큰을 생성했기 때문에 결과에 이 week 포함된 nGram 문서 를 반환합니다. standard 또는 edgeGram 토크나이저 사용하여 title 필드 인덱스 경우 MongoDB Search는 검색 week 텀 대한 결과를 반환하지 않습니다.

다음 표는 nGram 토크나이저와 이와는 대조적인 standard 및 edgeGram토크나이저가 _id: 1을 사용하여 문서에 대해 생성하는 토큰을 보여줍니다.

속성

다음과 같은 속성이 있습니다.

예시

다음 인덱스 정의는 phoneNumberExtractor라는 사용자 지정 분석기를 사용하여 minutes collection의 page_updated_by.phone 필드를 인덱싱합니다. 다음을 사용합니다.

• mappings 처음 세 자리 숫자의 괄호를 제거하고 모든 공백과 마침표를 대시로 바꾸는 문자 필터

• regexCaptureGroup 토크나이저를 사용하여 텍스트 입력에 있는 첫 번째 미국 형식의 전화번호에서 단일 토큰을 만듭니다.

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "phoneNumberExtractor",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [
        {
          "mappings": {
            " ": "-",
            "(": "",
            ")": "",
            ".": "-"
          },
          "type": "mapping"
        }
      ],
      "name": "phoneNumberExtractor",
      "tokenFilters": [],
      "tokenizer": {
        "group": 0,
        "pattern": "^\\b\\d{3}[-]?\\d{3}[-]?\\d{4}\\b$",
        "type": "regexCaptureGroup"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "phoneNumberExtractor",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [
        {
          "mappings": {
            " ": "-",
            "(": "",
            ")": "",
            ".": "-"
          },
          "type": "mapping"
        }
      ],
      "name": "phoneNumberExtractor",
      "tokenFilters": [],
      "tokenizer": {
        "group": 0,
        "pattern": "^\\b\\d{3}[-]?\\d{3}[-]?\\d{4}\\b$",
        "type": "regexCaptureGroup"
        }
    }
  ]
})

다음 page_updated_by.phone 쿼리는 minutes 컬렉션의 필드에서 전화번호 123-456-9870을 검색합니다.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "123-456-9870",
6
        "path": "page_updated_by.phone"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.phone": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { phone: '(123).456.9870' }

MongoDB Search는 검색 텀 일치하는 문서의 {MongoDB} _id: 3 토크나이저 사용하여 값이 인 토큰을 생성했기 때문에 결과에 이 123-456-7890 포함된 regexCaptureGroup 문서 를 반환합니다. standard 토크나이저 사용하여 page_updated_by.phone 필드 인덱스 하면 MongoDB Search는 검색 123-456-7890 텀 대한 모든 문서를 반환합니다.

다음 표는 regexCaptureGroup 토크나이저와 이와는 대조적인 standard 토크나이저가 _id: 3을 사용하여 문서에 대해 생성하는 토큰을 보여줍니다.

속성

다음과 같은 속성이 있습니다.

예시

다음 인덱스 정의는 dashDotSpaceSplitter이라는 사용자 지정 분석기를 사용하여 minutes 컬렉션의 page_updated_by.phone 필드를 인덱싱합니다. regexSplit 토크나이저를 사용하여 page_updated_by.phone 필드에 있는 하나 이상의 하이픈, 마침표 및 공백으로 토큰(검색 가능한 텀)을 생성합니다.

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "dashDotSpaceSplitter",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "dashDotSpaceSplitter",
      "tokenFilters": [],
      "tokenizer": {
        "pattern": "[-. ]+",
        "type": "regexSplit"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "dashDotSpaceSplitter",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "dashDotSpaceSplitter",
      "tokenFilters": [],
      "tokenizer": {
        "pattern": "[-. ]+",
        "type": "regexSplit"
      }
    }
  ]
})

다음 page_updated_by.phone 쿼리는 minutes 컬렉션의 필드에서 숫자 9870을 검색합니다.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "9870",
6
        "path": "page_updated_by.phone"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.phone": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { phone: '(123).456.9870' }

MongoDB Search는 검색 텀 일치하는 문서의 {MongoDB} _id: 3 토크나이저 사용하여 값이 인 토큰을 생성했기 때문에 결과에 이 9870 포함된 regexSplit 문서 를 반환합니다. standard 토크나이저 사용하여 page_updated_by.phone 필드 인덱스 경우 MongoDB Search는 검색 9870 텀 대한 결과를 반환하지 않습니다.

다음 표는 regexCaptureGroup 토크나이저와 이와는 대조적인 standard 토크나이저가 _id: 3을 사용하여 문서에 대해 생성하는 토큰을 보여줍니다.

속성

다음과 같은 속성이 있습니다.

예시

다음 인덱스 정의는 standardExample(이)라는 사용자 지정 분석기를 사용하여 minutes collection의 message 필드를 인덱싱합니다. standard 토크나이저 및 stopword 토큰 필터를 사용합니다.

{
 "mappings": {
   "dynamic": true,
   "fields": {
     "message": {
       "analyzer": "standardExample",
       "type": "string"
     }
   }
 },
 "analyzers": [
   {
     "charFilters": [],
     "name": "standardExample",
     "tokenFilters": [],
     "tokenizer": {
       "type": "standard"
     }
   }
 ]
}

1
db.minutes.createSearchIndex(
2
  "default",
3
  {
4
    "mappings": {
5
      "dynamic": true,
6
      "fields": {
7
        "message": {
8
          "analyzer": "standardExample",
9
          "type": "string"
10
        }
11
      }
12
    },
13
    "analyzers": [
14
      {
15
        "charFilters": [],
16
        "name": "standardExample",
17
        "tokenFilters": [],
18
        "tokenizer": {
19
          "type": "standard"
20
        }
21
      }
22
    ]
23
  }
24
)

다음 message 쿼리는 minutes 컬렉션의 필드에서 용어 signature를 검색합니다.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "signature",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

{ _id: 4, message: 'write down your signature or phone №' }

MongoDB Search는 검색 와 일치 텀 문서의 standard 토크나이저 사용하여 signature 값의 토큰을 생성했기 때문에 _id: 4 이 포함 MongoDB 문서 를 반환합니다. keyword 토크나이저 사용하여 message 필드 인덱스 경우 MongoDB Search는 검색 signature 텀 대한 결과를 반환하지 않습니다.

다음 표는 standard 토크나이저와 이와는 대조적인 keyword 분석기가 _id: 4를 사용하여 문서에 대해 생성하는 토큰을 보여줍니다.

속성

다음과 같은 속성이 있습니다.

예시

{
  "mappings": {
    "fields": {
      "page_updated_by": {
       "fields": {
          "email": {
            "analyzer": "basicEmailAddressAnalyzer",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "basicEmailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "basicEmailAddressAnalyzer",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "basicEmailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
})

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "autocomplete": {
5
        "query": "lewinsky@example.com",
6
        "path": "page_updated_by.email"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.email": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { email: 'lewinsky@example.com' } }

{
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "emailAddressAnalyzer",
            "tokenization": "edgeGram",
            "type": "autocomplete"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "emailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "emailAddressAnalyzer",
            "tokenization": "edgeGram",
            "type": "autocomplete"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "emailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
})

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "autocomplete": {
5
        "query": "lewinsky@example.com",
6
        "path": "page_updated_by.email"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.email": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { email: 'lewinsky@example.com' } }

속성

다음과 같은 속성이 있습니다.

예시

다음 인덱스 정의는 whitespaceExample이라는 사용자 지정 분석기를 사용하여 minutes collection의 message 필드를 인덱싱합니다. whitespace 토크나이저를 사용하여 message 필드의 모든 공백에서 토큰(검색 가능한 용어)을 생성합니다.

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "whitespaceExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "whitespaceExample",
      "tokenFilters": [],
      "tokenizer": {
        "type": "whitespace"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "whitespaceExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "whitespaceExample",
      "tokenFilters": [],
      "tokenizer": {
        "type": "whitespace"
      }
    }
  ]
})

다음 message 쿼리는 minutes 컬렉션의 필드에서 용어 SIGN-IN를 검색합니다.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "sign-in",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

[ { _id: 3, message: 'try to sign-in' } ]

MongoDB Search는 검색 텀 일치하는 문서의 {MongoDB} _id: 3 토크나이저 사용하여 값이 인 토큰을 생성했기 때문에 결과에 이 sign-in 포함된 whitespace 문서 를 반환합니다. standard 토크나이저 사용하여 message 필드 인덱스 하면 MongoDB Search는 검색 sign-in 텀 대해 _id: 1, _id: 2, _id: 3 이 포함된 문서를 반환합니다.

다음 표는 whitespace 토크나이저와 이와는 대조적인 standard 토크나이저가 _id: 3을 사용하여 문서에 대해 생성하는 토큰을 보여줍니다.