Étendre la détection : recognizers et langues sur mesure

La détection générique ne peut pas connaître d’emblée vos formats d’identifiants nationaux, vos numéros de référence internes ou votre langue. TokenVeil est conçu pour être étendu exactement pour cela, sans toucher au reste du système.

Deux couches de détection

La détection combine deux couches, et vous pouvez étendre l’une comme l’autre :

• Recognizers déterministes. Règles de motif et de checksum pour les valeurs structurées : emails, IP, IBAN, cartes, numéros de téléphone et identifiants nationaux ou de société. Haute précision, car un checksum ou une forme fixe est une preuve plutôt qu’une supposition.
• Reconnaissance d’entités nommées. Un modèle statistique pour les valeurs sans forme fixe : noms de personnes, organisations et lieux en texte libre. C’est ce qui attrape un nom de famille au milieu d’une phrase.

L’édition Community couvre la couche déterministe. L’édition commerciale ajoute un modèle NER entraîné pour les entités en texte libre.

Ajouter vos propres recognizers

Vous pouvez ajouter des recognizers sur mesure pour les identifiants propres à votre organisation ou pays : un identifiant national de personne (avec son checksum), un numéro d’immatriculation de société, des numéros de police, des identifiants clients et des formats de référence internes. Un recognizer est un motif, éventuellement avec un checksum ou une règle de validation, donc il détecte vos identifiants avec une haute précision et sans faux positifs sur des nombres ressemblants.

Pour les valeurs fixes connues, comme des noms de code de projets internes, il existe aussi un mécanisme de mots-clés personnalisés : vous listez les chaînes exactes à toujours anonymiser, par utilisateur ou pour toute l’instance.

Ajouter des langues

Le moteur est livré avec le français et l’anglais. La couche d’entités nommées est pilotée par modèle, donc une nouvelle langue s’ajoute en intégrant un modèle de détection pour cette langue à côté des existants, plus les recognizers spécifiques à la langue. C’est ainsi qu’un pack propre à un marché (un modèle NER national et ses recognizers d’identifiants nationaux) se construit, et c’est un livrable naturel d’un pilote pour un nouveau marché.