Tokenizadores

Atributos

Tem os seguintes atributos:

Exemplo

A seguinte definição de índice indexa o campo message na coleção minutes utilizando um analisador customizado denominado edgegramExample. Ele usa o edgeGram tokenizador para criar tokens (termos pesquisáveis) entre 2 e 7 caracteres a partir do primeiro caractere no lado esquerdo das palavras no campo message.

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "edgegramExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "edgegramExample",
      "tokenFilters": [],
      "tokenizer": {
        "maxGram": 7,
        "minGram": 2,
        "type": "edgeGram"
      }
    }
  ]
}

1
db.minutes.createSearchIndex(
2
  "default",
3
  {
4
    "mappings": {
5
      "dynamic": true,
6
      "fields": {
7
        "message": {
8
          "analyzer": "edgegramExample",
9
          "type": "string"
10
        }
11
      }
12
    },
13
    "analyzers": [
14
      {
15
        "charFilters": [],
16
        "name": "edgegramExample",
17
        "tokenFilters": [],
18
        "tokenizer": {
19
          "maxGram": 7,
20
          "minGram": 2,
21
          "type": "edgeGram"
22
        }
23
      }
24
    ]
25
  }
26
)

A seguinte query pesquisa o campo message na coleção minutes para texto que começa com tr.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "tr",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

{ _id: 1, message: 'try to siGn-In' },
{ _id: 3, message: 'try to sign-in' }

O MongoDB Search retorna documentos com _id: 1 e _id: 3 nos resultados porque o MongoDB Search criou um token com o valor tr usando o tokenizador edgeGram para os documentos, o que corresponde ao termo de pesquisa . Se você indexar o campo message usando o tokenizador standard, o MongoDB Search não retornará nenhum resultado para o termo de pesquisa tr.

A tabela a seguir mostra os tokens que o tokenizador edgeGram e, por comparação, o tokenizador standard criam para os documentos nos resultados:

Atributos

Tem os seguintes atributos:

Exemplo

A seguinte definição de índice indexa o campo message na coleção minutes utilizando um analisador customizado denominado keywordExample. Ele usa o tokenizador keyword para criar um token (termos pesquisáveis) em todo o campo como um único termo.

1
{
2
  "mappings": {
3
    "dynamic": true,
4
    "fields": {
5
      "message": {
6
        "analyzer": "keywordExample",
7
        "type": "string"
8
      }
9
    }
10
  },
11
  "analyzers": [
12
    {
13
      "charFilters": [],
14
      "name": "keywordExample",
15
      "tokenFilters": [],
16
      "tokenizer": {
17
        "type": "keyword"
18
      }
19
    }
20
  ]
21
}

1
db.minutes.createSearchIndex(
2
  "default",
3
  {
4
    "mappings": {
5
      "dynamic": true,
6
      "fields": {
7
        "message": {
8
          "analyzer": "keywordExample",
9
          "type": "string"
10
        }
11
      }
12
    },
13
    "analyzers": [
14
      {
15
        "charFilters": [],
16
        "name": "keywordExample",
17
        "tokenFilters": [],
18
        "tokenizer": {
19
          "type": "keyword"
20
        }
21
      }
22
    ]
23
  }
24
)

A seguinte consulta pesquisa o campo message na coleção minutes para a frase try to sign-in.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "try to sign-in",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

{ _id: 3, message: 'try to sign-in' }

O MongoDB Search retorna o documento com _id: 3 nos resultados porque o MongoDB Search criou um token com o valor try to sign-in usando o tokenizador de keyword para os documentos, que corresponde ao termo de pesquisa. Se você indexar o campo message usando o tokenizador standard , o MongoDB Search retornará documentos com _id: 1, _id: 2 e _id: 3 para o termo de pesquisa try to sign-in porque cada documento contém alguns dos tokens do standard o tokenizador cria.

A tabela a seguir mostra os tokens que o tokenizador keyword e, em comparação, o tokenizador standard, criam para o documento com _id: 3:

Atributos

Tem os seguintes atributos:

Exemplo

A seguinte definição de índice indexa o campo title na coleção minutes utilizando um analisador personalizado denominado ngramExample. Ele usa o token nGram para criar tokens (termos pesquisáveis) entre 4 e 6 caracteres no campo title.

1
{
2
  "mappings": {
3
    "dynamic": true,
4
    "fields": {
5
      "title": {
6
        "analyzer": "ngramExample",
7
        "type": "string"
8
      }
9
    }
10
  },
11
  "analyzers": [
12
    {
13
      "charFilters": [],
14
      "name": "ngramExample",
15
      "tokenFilters": [],
16
      "tokenizer": {
17
        "maxGram": 6,
18
        "minGram": 4,
19
        "type": "nGram"
20
      }
21
    }
22
  ]
23
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "title": {
        "analyzer": "ngramExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "ngramExample",
      "tokenFilters": [],
      "tokenizer": {
        "maxGram": 6,
        "minGram": 4,
        "type": "nGram"
      }
    }
  ]
})

A query a seguir pesquisa o termo week no campo title na coleção minutes.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "week",
6
        "path": "title"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "title": 1
14
    }
15
  }
16
])

{ _id: 1, title: "The team's weekly meeting" }

O MongoDB Search retorna o documento com _id: 1 nos resultados porque o MongoDB Search criou um token com o valor week usando o tokenizador de nGram para os documentos, que corresponde ao termo de pesquisa. Se você indexar o campo title usando o tokenizador standard ou edgeGram , o MongoDB Search não retornará nenhum resultado para o termo de pesquisa week.

A tabela a seguir mostra os tokens que o tokenizador nGram e, por comparação, os tokenizadores standard e edgeGram criam para o documento com _id: 1:

Atributos

Tem os seguintes atributos:

Exemplo

A seguinte definição de índice indexa o campo page_updated_by.phone na coleção minutes utilizando um analisador personalizado denominado phoneNumberExtractor. Ele usa:

• mappings filtro de caracteres para remover parênteses em torno dos três primeiros dígitos e substituir todos os espaços e pontos por traços

• regexCaptureGroup tokenizador para criar um único token a partir do primeiro número de telefone formatado nos EUA presente na entrada de texto

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "phoneNumberExtractor",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [
        {
          "mappings": {
            " ": "-",
            "(": "",
            ")": "",
            ".": "-"
          },
          "type": "mapping"
        }
      ],
      "name": "phoneNumberExtractor",
      "tokenFilters": [],
      "tokenizer": {
        "group": 0,
        "pattern": "^\\b\\d{3}[-]?\\d{3}[-]?\\d{4}\\b$",
        "type": "regexCaptureGroup"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "phoneNumberExtractor",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [
        {
          "mappings": {
            " ": "-",
            "(": "",
            ")": "",
            ".": "-"
          },
          "type": "mapping"
        }
      ],
      "name": "phoneNumberExtractor",
      "tokenFilters": [],
      "tokenizer": {
        "group": 0,
        "pattern": "^\\b\\d{3}[-]?\\d{3}[-]?\\d{4}\\b$",
        "type": "regexCaptureGroup"
        }
    }
  ]
})

A seguinte query pesquisa o campo page_updated_by.phone na coleção minutes para o número de telefone 123-456-9870.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "123-456-9870",
6
        "path": "page_updated_by.phone"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.phone": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { phone: '(123).456.9870' }

O MongoDB Search retorna o documento com _id: 3 nos resultados porque o MongoDB Search criou um token com o valor 123-456-7890 usando o tokenizador de regexCaptureGroup para os documentos, que corresponde ao termo de pesquisa. Se você indexar o campo page_updated_by.phone usando o tokenizador standard , o MongoDB Search retornará todos os documentos do termo de pesquisa 123-456-7890.

A tabela a seguir mostra os tokens que o tokenizador regexCaptureGroup e, em comparação, o tokenizador standard, criam para o documento com _id: 3:

Atributos

Tem os seguintes atributos:

Exemplo

A definição de índice a seguir indexa o field page_updated_by.phone na collection minutes usando um analyzer customizado chamado dashDotSpaceSplitter. Ele usa o tokenizador regexSplit para criar tokens (termos pesquisáveis) a partir de um ou mais hífens, pontos e espaços no campo page_updated_by.phone .

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "dashDotSpaceSplitter",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "dashDotSpaceSplitter",
      "tokenFilters": [],
      "tokenizer": {
        "pattern": "[-. ]+",
        "type": "regexSplit"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "dashDotSpaceSplitter",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "dashDotSpaceSplitter",
      "tokenFilters": [],
      "tokenizer": {
        "pattern": "[-. ]+",
        "type": "regexSplit"
      }
    }
  ]
})

A seguinte query pesquisa o campo page_updated_by.phone na coleção minutes para os dígitos 9870.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "9870",
6
        "path": "page_updated_by.phone"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.phone": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { phone: '(123).456.9870' }

O MongoDB Search retorna o documento com _id: 3 nos resultados porque o MongoDB Search criou um token com o valor 9870 usando o tokenizador de regexSplit para os documentos, que corresponde ao termo de pesquisa. Se você indexar o campo page_updated_by.phone usando o tokenizador standard , o MongoDB Search não retornará nenhum resultado para o termo de pesquisa 9870.

A tabela a seguir mostra os tokens que o tokenizador regexCaptureGroup e, em comparação, o tokenizador standard, criam para o documento com _id: 3:

Atributos

Tem os seguintes atributos:

Exemplo

A seguinte definição de índice indexa o campo message na collection minutes utilizando um analisador customizado denominado standardExample. Ele usa o tokenizer standard e o filtro de token stopword.

{
 "mappings": {
   "dynamic": true,
   "fields": {
     "message": {
       "analyzer": "standardExample",
       "type": "string"
     }
   }
 },
 "analyzers": [
   {
     "charFilters": [],
     "name": "standardExample",
     "tokenFilters": [],
     "tokenizer": {
       "type": "standard"
     }
   }
 ]
}

1
db.minutes.createSearchIndex(
2
  "default",
3
  {
4
    "mappings": {
5
      "dynamic": true,
6
      "fields": {
7
        "message": {
8
          "analyzer": "standardExample",
9
          "type": "string"
10
        }
11
      }
12
    },
13
    "analyzers": [
14
      {
15
        "charFilters": [],
16
        "name": "standardExample",
17
        "tokenFilters": [],
18
        "tokenizer": {
19
          "type": "standard"
20
        }
21
      }
22
    ]
23
  }
24
)

A query a seguir pesquisa o termo signature no campo message na coleção minutes.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "signature",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

{ _id: 4, message: 'write down your signature or phone №' }

O MongoDB Search retorna o documento com _id: 4 porque o MongoDB Search criou um token com o valor signature usando o tokenizador standard para os documentos, que corresponde ao termo de pesquisa . Se você indexar o campo message usando o tokenizador keyword , o MongoDB Search não retornará nenhum resultado para o termo de pesquisa signature.

A tabela a seguir mostra os tokens que o tokenizador standard e, por comparação, o analisador keyword, criam para o documento com _id: 4:

Atributos

Tem os seguintes atributos:

Exemplo

{
  "mappings": {
    "fields": {
      "page_updated_by": {
       "fields": {
          "email": {
            "analyzer": "basicEmailAddressAnalyzer",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "basicEmailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "basicEmailAddressAnalyzer",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "basicEmailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
})

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "autocomplete": {
5
        "query": "lewinsky@example.com",
6
        "path": "page_updated_by.email"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.email": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { email: 'lewinsky@example.com' } }

{
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "emailAddressAnalyzer",
            "tokenization": "edgeGram",
            "type": "autocomplete"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "emailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "emailAddressAnalyzer",
            "tokenization": "edgeGram",
            "type": "autocomplete"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "emailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
})

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "autocomplete": {
5
        "query": "lewinsky@example.com",
6
        "path": "page_updated_by.email"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.email": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { email: 'lewinsky@example.com' } }

Atributos

Tem os seguintes atributos:

Exemplo

A seguinte definição de índice indexa o campo message na coleção minutes utilizando um analisador personalizado denominado whitespaceExample. Ele utiliza o token whitespace para criar tokens (termos pesquisáveis) a partir de quaisquer espaços em branco no campo message.

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "whitespaceExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "whitespaceExample",
      "tokenFilters": [],
      "tokenizer": {
        "type": "whitespace"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "whitespaceExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "whitespaceExample",
      "tokenFilters": [],
      "tokenizer": {
        "type": "whitespace"
      }
    }
  ]
})

A query a seguir pesquisa o termo SIGN-IN no campo message na coleção minutes.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "sign-in",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

[ { _id: 3, message: 'try to sign-in' } ]

O MongoDB Search retorna o documento com _id: 3 nos resultados porque o MongoDB Search criou um token com o valor sign-in usando o tokenizador de whitespace para os documentos, que corresponde ao termo de pesquisa. Se você indexar o campo message usando o tokenizador standard , o MongoDB Search retornará documentos com _id: 1, _id: 2 e _id: 3 para o termo de pesquisa sign-in.

A tabela a seguir mostra os tokens que o tokenizador whitespace e, em comparação, o tokenizador standard, criam para o documento com _id: 3: