tokenizador

Atributos

Tiene los siguientes atributos:

Ejemplo

La siguiente definición de índice indexa el campo message en la colección minutes usando un analizador personalizado llamado edgegramExample. Se utiliza el tokenizador edgeGram para crear tokens (términos de búsqueda) de entre 2 y 7 caracteres de longitud a partir del primer carácter en el lado izquierdo de las palabras en el campo message.

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "edgegramExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "edgegramExample",
      "tokenFilters": [],
      "tokenizer": {
        "maxGram": 7,
        "minGram": 2,
        "type": "edgeGram"
      }
    }
  ]
}

1
db.minutes.createSearchIndex(
2
  "default",
3
  {
4
    "mappings": {
5
      "dynamic": true,
6
      "fields": {
7
        "message": {
8
          "analyzer": "edgegramExample",
9
          "type": "string"
10
        }
11
      }
12
    },
13
    "analyzers": [
14
      {
15
        "charFilters": [],
16
        "name": "edgegramExample",
17
        "tokenFilters": [],
18
        "tokenizer": {
19
          "maxGram": 7,
20
          "minGram": 2,
21
          "type": "edgeGram"
22
        }
23
      }
24
    ]
25
  }
26
)

La siguiente query busca en el campo message de la colección minutes texto que empieza por tr.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "tr",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

{ _id: 1, message: 'try to siGn-In' },
{ _id: 3, message: 'try to sign-in' }

MongoDB Search devuelve documentos con _id: 1 y _id: 3 en los resultados porque MongoDB Search creó un token con el valor tr usando el tokenizador edgeGram para los documentos, que coincide con el término de búsqueda. Si indexa el campo message usando el tokenizador standard, MongoDB Search no devolvería ningún resultado para el término de búsqueda tr.

La siguiente tabla muestra los tokens que el tokenizador edgeGram y, en comparación, el tokenizador standard crean para los documentos en los resultados:

Atributos

Tiene los siguientes atributos:

Ejemplo

La siguiente definición de índice indexa el campo message en la colección minutes utilizando un analizador personalizado llamado keywordExample. Utiliza el tokenizador keyword para crear un token (términos buscables) en todo el campo como un único término.

1
{
2
  "mappings": {
3
    "dynamic": true,
4
    "fields": {
5
      "message": {
6
        "analyzer": "keywordExample",
7
        "type": "string"
8
      }
9
    }
10
  },
11
  "analyzers": [
12
    {
13
      "charFilters": [],
14
      "name": "keywordExample",
15
      "tokenFilters": [],
16
      "tokenizer": {
17
        "type": "keyword"
18
      }
19
    }
20
  ]
21
}

1
db.minutes.createSearchIndex(
2
  "default",
3
  {
4
    "mappings": {
5
      "dynamic": true,
6
      "fields": {
7
        "message": {
8
          "analyzer": "keywordExample",
9
          "type": "string"
10
        }
11
      }
12
    },
13
    "analyzers": [
14
      {
15
        "charFilters": [],
16
        "name": "keywordExample",
17
        "tokenFilters": [],
18
        "tokenizer": {
19
          "type": "keyword"
20
        }
21
      }
22
    ]
23
  }
24
)

La siguiente query busca la frase try to sign-in en el campo message de la colección minutes.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "try to sign-in",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

{ _id: 3, message: 'try to sign-in' }

MongoDB Search devuelve el documento con _id: 3 en los resultados porque MongoDB Search creó un token con el valor try to sign-in usando el tokenizador keyword para los documentos, lo que coincide con el término de búsqueda. Si indexes el campo message utilizando el tokenizador standard, MongoDB Search devuelve documentos con _id: 1, _id: 2 y _id: 3 para el término de búsqueda try to sign-in porque cada documento contiene algunos de los tokens que crea el tokenizador standard.

La siguiente tabla muestra los tokens que el tokenizador keyword y, por comparación, el tokenizador standard crean para el documento con _id: 3:

Atributos

Tiene los siguientes atributos:

Ejemplo

La siguiente definición de índice indexa el campo title en la colección minutes utilizando un analizador personalizado llamado ngramExample. Utiliza el tokenizador nGram para crear tokens (términos buscables) de entre 4 y 6 caracteres de longitud en el campo title.

1
{
2
  "mappings": {
3
    "dynamic": true,
4
    "fields": {
5
      "title": {
6
        "analyzer": "ngramExample",
7
        "type": "string"
8
      }
9
    }
10
  },
11
  "analyzers": [
12
    {
13
      "charFilters": [],
14
      "name": "ngramExample",
15
      "tokenFilters": [],
16
      "tokenizer": {
17
        "maxGram": 6,
18
        "minGram": 4,
19
        "type": "nGram"
20
      }
21
    }
22
  ]
23
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "title": {
        "analyzer": "ngramExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "ngramExample",
      "tokenFilters": [],
      "tokenizer": {
        "maxGram": 6,
        "minGram": 4,
        "type": "nGram"
      }
    }
  ]
})

La siguiente query busca el campo title en la colección minutes para el término week.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "week",
6
        "path": "title"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "title": 1
14
    }
15
  }
16
])

{ _id: 1, title: "The team's weekly meeting" }

MongoDB Search devuelve el documento con _id: 1 en los resultados porque MongoDB Search creó un token con el valor week utilizando el tokenizador nGram para los documentos, que coincide con el término de búsqueda. Si se indexa el campo title usando el tokenizador standard o edgeGram, MongoDB Search no devolverá ningún resultado para el término de búsqueda week.

La siguiente tabla muestra los tokens que el tokenizador nGram, y en comparación, los tokenizadores standard y edgeGram crean para el documento con _id: 1:

Atributos

Tiene los siguientes atributos:

Ejemplo

La siguiente definición de índice indexa el campo page_updated_by.phone en la colección minutes utilizando un analizador personalizado llamado phoneNumberExtractor. Utiliza lo siguiente:

• mappings filtro de caracteres para remover los paréntesis alrededor de los primeros tres dígitos y reemplazar todos los espacios y puntos por guiones

• regexCaptureGroup tokenizador para crear una sola ficha a partir del primer número de teléfono con formato estadounidense presente en el texto de entrada

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "phoneNumberExtractor",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [
        {
          "mappings": {
            " ": "-",
            "(": "",
            ")": "",
            ".": "-"
          },
          "type": "mapping"
        }
      ],
      "name": "phoneNumberExtractor",
      "tokenFilters": [],
      "tokenizer": {
        "group": 0,
        "pattern": "^\\b\\d{3}[-]?\\d{3}[-]?\\d{4}\\b$",
        "type": "regexCaptureGroup"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "phoneNumberExtractor",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [
        {
          "mappings": {
            " ": "-",
            "(": "",
            ")": "",
            ".": "-"
          },
          "type": "mapping"
        }
      ],
      "name": "phoneNumberExtractor",
      "tokenFilters": [],
      "tokenizer": {
        "group": 0,
        "pattern": "^\\b\\d{3}[-]?\\d{3}[-]?\\d{4}\\b$",
        "type": "regexCaptureGroup"
        }
    }
  ]
})

La siguiente query busca el campo page_updated_by.phone en la colección minutes para el número de teléfono 123-456-9870.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "123-456-9870",
6
        "path": "page_updated_by.phone"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.phone": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { phone: '(123).456.9870' }

MongoDB Search devuelve el documento con _id: 3 en los resultados porque MongoDB Search creó un token con el valor 123-456-7890 utilizando el tokenizador regexCaptureGroup para los documentos, que coincide con el término de búsqueda. Si indexas el campo page_updated_by.phone usando el tokenizador standard, MongoDB Search devuelve todos los documentos para el término de búsqueda 123-456-7890.

La siguiente tabla muestra los tokens que el tokenizador regexCaptureGroup y, por comparación, el tokenizador standard crean para el documento con _id: 3:

Atributos

Tiene los siguientes atributos:

Ejemplo

La siguiente definición de índice indexa el campo page_updated_by.phone en la colección de minutes utilizando un analizador personalizado llamado dashDotSpaceSplitter. Utiliza el tokenizador regexSplit para crear tokens (términos que se pueden buscar) a partir de uno o varios guiones, puntos y espacios en el campo page_updated_by.phone.

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "dashDotSpaceSplitter",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "dashDotSpaceSplitter",
      "tokenFilters": [],
      "tokenizer": {
        "pattern": "[-. ]+",
        "type": "regexSplit"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "dashDotSpaceSplitter",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "dashDotSpaceSplitter",
      "tokenFilters": [],
      "tokenizer": {
        "pattern": "[-. ]+",
        "type": "regexSplit"
      }
    }
  ]
})

La siguiente query busca en el campo page_updated_by.phone de la colección minutes los dígitos 9870.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "9870",
6
        "path": "page_updated_by.phone"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.phone": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { phone: '(123).456.9870' }

MongoDB Search devuelve el documento con _id: 3 en los resultados porque MongoDB Search creó un token con el valor 9870 utilizando el tokenizador regexSplit para los documentos, que coincide con el término de búsqueda. Si indexa el campo page_updated_by.phone utilizando el tokenizador standard, MongoDB Search no devolverá ningún resultado para el término de búsqueda 9870.

La siguiente tabla muestra los tokens que el tokenizador regexCaptureGroup y, por comparación, el tokenizador standard crean para el documento con _id: 3:

Atributos

Tiene los siguientes atributos:

Ejemplo

La siguiente definición de índice indexa el campo message en la colección minutes utilizando un analizador personalizado llamado standardExample. Utiliza el standard tokenizador y el filtro de token stopword.

{
 "mappings": {
   "dynamic": true,
   "fields": {
     "message": {
       "analyzer": "standardExample",
       "type": "string"
     }
   }
 },
 "analyzers": [
   {
     "charFilters": [],
     "name": "standardExample",
     "tokenFilters": [],
     "tokenizer": {
       "type": "standard"
     }
   }
 ]
}

1
db.minutes.createSearchIndex(
2
  "default",
3
  {
4
    "mappings": {
5
      "dynamic": true,
6
      "fields": {
7
        "message": {
8
          "analyzer": "standardExample",
9
          "type": "string"
10
        }
11
      }
12
    },
13
    "analyzers": [
14
      {
15
        "charFilters": [],
16
        "name": "standardExample",
17
        "tokenFilters": [],
18
        "tokenizer": {
19
          "type": "standard"
20
        }
21
      }
22
    ]
23
  }
24
)

La siguiente query busca el campo message en la colección minutes para el término signature.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "signature",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

{ _id: 4, message: 'write down your signature or phone №' }

MongoDB Search devuelve el documento con _id: 4 porque MongoDB Search creó un token con el valor signature utilizando el tokenizador standard para los documentos, que coincide con el término de búsqueda. Si índice el campo message utilizando el tokenizador keyword, MongoDB Search no devolverá ningún resultado para el término de búsqueda signature.

La siguiente tabla muestra los tokens que el tokenizador standard y, en comparación, el analizador keyword, crean para el documento con _id: 4:

Atributos

Tiene los siguientes atributos:

Ejemplo

{
  "mappings": {
    "fields": {
      "page_updated_by": {
       "fields": {
          "email": {
            "analyzer": "basicEmailAddressAnalyzer",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "basicEmailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "basicEmailAddressAnalyzer",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "basicEmailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
})

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "autocomplete": {
5
        "query": "lewinsky@example.com",
6
        "path": "page_updated_by.email"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.email": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { email: 'lewinsky@example.com' } }

{
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "emailAddressAnalyzer",
            "tokenization": "edgeGram",
            "type": "autocomplete"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "emailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "emailAddressAnalyzer",
            "tokenization": "edgeGram",
            "type": "autocomplete"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "emailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
})

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "autocomplete": {
5
        "query": "lewinsky@example.com",
6
        "path": "page_updated_by.email"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "page_updated_by.email": 1
14
    }
15
  }
16
])

{ _id: 3, page_updated_by: { email: 'lewinsky@example.com' } }

Atributos

Tiene los siguientes atributos:

Ejemplo

La siguiente definición de índice indexa el campo message en la colección minutes utilizando un analizador personalizado llamado whitespaceExample. Utiliza el tokenizador whitespace para crear tokens (términos buscables) a partir de cualquier espacio en blanco en el campo message.

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "whitespaceExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "whitespaceExample",
      "tokenFilters": [],
      "tokenizer": {
        "type": "whitespace"
      }
    }
  ]
}

db.minutes.createSearchIndex("default", {
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "whitespaceExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "whitespaceExample",
      "tokenFilters": [],
      "tokenizer": {
        "type": "whitespace"
      }
    }
  ]
})

La siguiente query busca el campo message en la colección minutes para el término SIGN-IN.

1
db.minutes.aggregate([
2
  {
3
    "$search": {
4
      "text": {
5
        "query": "sign-in",
6
        "path": "message"
7
      }
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 1,
13
      "message": 1
14
    }
15
  }
16
])

[ { _id: 3, message: 'try to sign-in' } ]

MongoDB Search devuelve el documento con _id: 3 en los resultados porque MongoDB Search creó un token con el valor sign-in utilizando el tokenizador whitespace para los documentos, que coincide con el término de búsqueda. Si indexas el campo message usando el tokenizador standard, MongoDB Search devuelve documentos con _id: 1, _id: 2 y _id: 3 para el término de búsqueda sign-in.

La siguiente tabla muestra los tokens que el tokenizador whitespace y, por comparación, el tokenizador standard crean para el documento con _id: 3: