Tokenizadores

Atributos

Tiene los siguientes atributos:

Ejemplo

La siguiente definición de índice indexa el campo message de la colección minutes mediante un analizador personalizado llamado edgegramExample. Utiliza el tokenizador edgeGram para crear tokens (términos de búsqueda) de entre 2 y 7 caracteres, comenzando por el primer carácter a la izquierda de las palabras del campo message.

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "edgegramExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "edgegramExample",
      "tokenFilters": [],
      "tokenizer": {
        "maxGram": 7,
        "minGram": 2,
        "type": "edgeGram"
      }
    }
  ]
}

1
db.minutes.createSearchIndex(
2
  "default",
3
  {
4
    "mappings": {
5
      "dynamic": true,
6
      "fields": {
7
        "message": {
8
          "analyzer": "edgegramExample",
9
          "type": "string"
10
        }
11
      }
12
    },
13
    "analyzers": [
14
      {
15
        "charFilters": [],
16
        "name": "edgegramExample",
17
        "tokenFilters": [],
18
        "tokenizer": {
19
          "maxGram": 7,
20
          "minGram": 2,
21
          "type": "edgeGram"
22
        }
23
      }
24
    ]
25
  }
26
)

La siguiente consulta busca en el campo message de la colección minutes texto que comience con tr.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "tr",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

{ _id: 1, message: 'try to siGn-In' },
{ _id: 3, message: 'try to sign-in' }

MongoDB Search devuelve documentos con _id: 1 y _id: 3 en los resultados porque creó un token con el valor tr usando el tokenizador edgeGram para los documentos, que coincide con el término de búsqueda. Si indexa el campo message usando el tokenizador standard, MongoDB Search no devolverá ningún resultado para el término de búsqueda tr.

La siguiente tabla muestra los tokens que el tokenizador edgeGram y, en comparación, el tokenizador standard, crean para los documentos en los resultados:

Atributos

Tiene los siguientes atributos:

Ejemplo

La siguiente definición de índice indexa el campo message en la colección minutes utilizando un analizador personalizado llamado keywordExample. Utiliza el tokenizador keyword para crear un token (términos buscables) en todo el campo como un único término.

1
{
2
  "mappings": {
3
    "dynamic": true,
4
    "fields": {
5
      "message": {
6
        "analyzer": "keywordExample",
7
        "type": "string"
8
      }
9
    }
10
  },
11
  "analyzers": [
12
    {
13
      "charFilters": [],
14
      "name": "keywordExample",
15
      "tokenFilters": [],
16
      "tokenizer": {
17
        "type": "keyword"
18
      }
19
    }
20
  ]
21
}

1
db.minutes.createSearchIndex(
2
  "default",
3
  {
4
    "mappings": {
5
      "dynamic": true,
6
      "fields": {
7
        "message": {
8
          "analyzer": "keywordExample",
9
          "type": "string"
10
        }
11
      }
12
    },
13
    "analyzers": [
14
      {
15
        "charFilters": [],
16
        "name": "keywordExample",
17
        "tokenFilters": [],
18
        "tokenizer": {
19
          "type": "keyword"
20
        }
21
      }
22
    ]
23
  }
24
)

La siguiente consulta busca en el campo message de la colección minutes la frase try to sign-in.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "try to sign-in",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

{ _id: 3, message: 'try to sign-in' }

MongoDB Search devuelve el documento con _id: 3 en los resultados porque MongoDB Search creó un token con el valor try to sign-in usando el tokenizador keyword para los documentos, lo que coincide con el término de búsqueda. Si indexes el campo message utilizando el tokenizador standard, MongoDB Search devuelve documentos con _id: 1, _id: 2 y _id: 3 para el término de búsqueda try to sign-in porque cada documento contiene algunos de los tokens que crea el tokenizador standard.

La siguiente tabla muestra los tokens que el tokenizador keyword y, en comparación, el tokenizador standard, crean para el documento con _id: 3:

Atributos

Tiene los siguientes atributos:

Ejemplo

La siguiente definición de índice indexa el campo title de la colección minutes mediante un analizador personalizado llamado ngramExample. Utiliza el tokenizador nGram para crear tokens (términos de búsqueda) de entre 4 y 6 caracteres en el campo title.

1
{
2
  "mappings": {
3
    "dynamic": true,
4
    "fields": {
5
      "title": {
6
        "analyzer": "ngramExample",
7
        "type": "string"
8
      }
9
    }
10
  },
11
  "analyzers": [
12
    {
13
      "charFilters": [],
14
      "name": "ngramExample",
15
      "tokenFilters": [],
16
      "tokenizer": {
17
        "maxGram": 6,
18
        "minGram": 4,
19
        "type": "nGram"
20
      }
21
    }
22
  ]
23
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "title": {
        "analyzer": "ngramExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "ngramExample",
      "tokenFilters": [],
      "tokenizer": {
        "maxGram": 6,
        "minGram": 4,
        "type": "nGram"
      }
    }
  ]
})

La siguiente query busca el campo title en la colección minutes para el término week.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "week",
6
        "path": "title"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "title": 1
14
    }
15
  }
16
])

{ _id: 1, title: "The team's weekly meeting" }

MongoDB Search devuelve el documento con _id: 1 en los resultados porque creó un token con el valor week usando el tokenizador nGram para los documentos, que coincide con el término de búsqueda. Si indexa el campo title usando el tokenizador standard o edgeGram, MongoDB Search no devolverá ningún resultado para el término de búsqueda week.

La siguiente tabla muestra los tokens que el tokenizador nGram y, en comparación, los tokenizadores standard y edgeGram crean para el documento con _id: 1:

Atributos

Tiene los siguientes atributos:

Ejemplo

La siguiente definición de índice indexa el campo page_updated_by.phone de la colección minutes mediante un analizador personalizado llamado phoneNumberExtractor. Utiliza lo siguiente:

• mappings Filtro de caracteres para eliminar los paréntesis alrededor de los primeros tres dígitos y reemplazar todos los espacios y puntos con guiones

• regexCaptureGroup tokenizador para crear una sola ficha a partir del primer número de teléfono con formato estadounidense presente en el texto de entrada

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "phoneNumberExtractor",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [
        {
          "mappings": {
            " ": "-",
            "(": "",
            ")": "",
            ".": "-"
          },
          "type": "mapping"
        }
      ],
      "name": "phoneNumberExtractor",
      "tokenFilters": [],
      "tokenizer": {
        "group": 0,
        "pattern": "^\\b\\d{3}[-]?\\d{3}[-]?\\d{4}\\b$",
        "type": "regexCaptureGroup"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "phoneNumberExtractor",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [
        {
          "mappings": {
            " ": "-",
            "(": "",
            ")": "",
            ".": "-"
          },
          "type": "mapping"
        }
      ],
      "name": "phoneNumberExtractor",
      "tokenFilters": [],
      "tokenizer": {
        "group": 0,
        "pattern": "^\\b\\d{3}[-]?\\d{3}[-]?\\d{4}\\b$",
        "type": "regexCaptureGroup"
        }
    }
  ]
})

La siguiente consulta busca el número de teléfono 123-456-9870 en el campo page_updated_by.phone de la colección minutes.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "123-456-9870",
6
        "path": "page_updated_by.phone"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.phone": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { phone: '(123).456.9870' }

MongoDB Search devuelve el documento con _id: 3 en los resultados porque MongoDB Search creó un token con el valor 123-456-7890 utilizando el tokenizador regexCaptureGroup para los documentos, que coincide con el término de búsqueda. Si indexas el campo page_updated_by.phone usando el tokenizador standard, MongoDB Search devuelve todos los documentos para el término de búsqueda 123-456-7890.

La siguiente tabla muestra los tokens que el tokenizador regexCaptureGroup y, en comparación, el tokenizador standard, crean para el documento con _id: 3:

Atributos

Tiene los siguientes atributos:

Ejemplo

La siguiente definición de índice indexa el campo page_updated_by.phone de la colección minutes mediante un analizador personalizado llamado dashDotSpaceSplitter. Utiliza el tokenizador regexSplit para crear tokens (términos de búsqueda) a partir de uno o más guiones, puntos y espacios en el campo page_updated_by.phone.

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "dashDotSpaceSplitter",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "dashDotSpaceSplitter",
      "tokenFilters": [],
      "tokenizer": {
        "pattern": "[-. ]+",
        "type": "regexSplit"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "dashDotSpaceSplitter",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "dashDotSpaceSplitter",
      "tokenFilters": [],
      "tokenizer": {
        "pattern": "[-. ]+",
        "type": "regexSplit"
      }
    }
  ]
})

La siguiente consulta busca en el campo page_updated_by.phone de la colección minutes los dígitos 9870.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "9870",
6
        "path": "page_updated_by.phone"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.phone": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { phone: '(123).456.9870' }

MongoDB Search devuelve el documento con _id: 3 en los resultados porque creó un token con el valor 9870 usando el tokenizador regexSplit para los documentos, que coincide con el término de búsqueda. Si indexa el campo page_updated_by.phone usando el tokenizador standard, MongoDB Search no devolverá ningún resultado para el término de búsqueda 9870.

La siguiente tabla muestra los tokens que el tokenizador regexCaptureGroup y, en comparación, el tokenizador standard, crean para el documento con _id: 3:

Atributos

Tiene los siguientes atributos:

Ejemplo

La siguiente definición de índice indexa el message campo de la minutes colección mediante un analizador personalizado standardExample llamado. Utiliza el standard tokenizador y el filtro de tokens de palabras vacías.

{
 "mappings": {
   "dynamic": true,
   "fields": {
     "message": {
       "analyzer": "standardExample",
       "type": "string"
     }
   }
 },
 "analyzers": [
   {
     "charFilters": [],
     "name": "standardExample",
     "tokenFilters": [],
     "tokenizer": {
       "type": "standard"
     }
   }
 ]
}

1
db.minutes.createSearchIndex(
2
  "default",
3
  {
4
    "mappings": {
5
      "dynamic": true,
6
      "fields": {
7
        "message": {
8
          "analyzer": "standardExample",
9
          "type": "string"
10
        }
11
      }
12
    },
13
    "analyzers": [
14
      {
15
        "charFilters": [],
16
        "name": "standardExample",
17
        "tokenFilters": [],
18
        "tokenizer": {
19
          "type": "standard"
20
        }
21
      }
22
    ]
23
  }
24
)

La siguiente query busca el campo message en la colección minutes para el término signature.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "signature",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

{ _id: 4, message: 'write down your signature or phone №' }

MongoDB Search devuelve el documento con _id: 4 porque creó un token con el valor signature usando el tokenizador standard para los documentos, que coincide con el término de búsqueda. Si indexa el campo message usando el tokenizador keyword, MongoDB Search no devolverá ningún resultado para el término de búsqueda signature.

La siguiente tabla muestra los tokens que el tokenizador standard y, en comparación, el analizador keyword, crean para el documento con _id: 4:

Atributos

Tiene los siguientes atributos:

Ejemplo

{
  "mappings": {
    "fields": {
      "page_updated_by": {
       "fields": {
          "email": {
            "analyzer": "basicEmailAddressAnalyzer",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "basicEmailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "basicEmailAddressAnalyzer",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "basicEmailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
})

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "autocomplete": {
5
        "query": "lewinsky@example.com",
6
        "path": "page_updated_by.email"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.email": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { email: 'lewinsky@example.com' } }

{
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "emailAddressAnalyzer",
            "tokenization": "edgeGram",
            "type": "autocomplete"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "emailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "emailAddressAnalyzer",
            "tokenization": "edgeGram",
            "type": "autocomplete"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "emailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
})

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "autocomplete": {
5
        "query": "lewinsky@example.com",
6
        "path": "page_updated_by.email"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.email": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { email: 'lewinsky@example.com' } }

Atributos

Tiene los siguientes atributos:

Ejemplo

La siguiente definición de índice indexa el campo message de la colección minutes mediante un analizador personalizado llamado whitespaceExample. Utiliza el tokenizador whitespace para crear tokens (términos de búsqueda) a partir de cualquier espacio en blanco en el campo message.

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "whitespaceExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "whitespaceExample",
      "tokenFilters": [],
      "tokenizer": {
        "type": "whitespace"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "whitespaceExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "whitespaceExample",
      "tokenFilters": [],
      "tokenizer": {
        "type": "whitespace"
      }
    }
  ]
})

La siguiente query busca el campo message en la colección minutes para el término SIGN-IN.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "sign-in",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

[ { _id: 3, message: 'try to sign-in' } ]

MongoDB Search devuelve el documento con _id: 3 en los resultados porque creó un token con el valor sign-in usando el tokenizador whitespace para los documentos, que coincide con el término de búsqueda. Si indexa el campo message usando el tokenizador standard, MongoDB Search devuelve los documentos con _id: 1, _id: 2 y _id: 3 para el término de búsqueda sign-in.

La siguiente tabla muestra los tokens que el tokenizador whitespace y, en comparación, el tokenizador standard, crean para el documento con _id: 3: