entrouvert/wcs
entrouvert
/
wcs
14
1
Fork 0
Code Issues Pull Requests 39 Releases Activity

normalizer les numéros de téléphone dans l'index FTS (#76875) #259

Merged
fpeters merged 1 commits from wip/76875-Recherche-par-numero-de-telephon into main 2024-03-15 10:27:48 +01:00
Conversation 0 Commits 1 Files Changed 3 +35 -18
bdauvergne commented 2023-04-21 15:19:18 +02:00
Owner
Copy Link
No description provided.
bdauvergne force-pushed wip/76875-Recherche-par-numero-de-telephon from ac6c80a1ea to d94a0f0379 2023-04-21 16:06:30 +02:00 Compare
bdauvergne changed title from WIP: normalizer les numéros de téléphone dans l'index FTS (#76875) to normalizer les numéros de téléphone dans l'index FTS (#76875) 2023-04-21 17:54:22 +02:00
tnoel requested changes 2024-03-08 10:49:54 +01:00
Dismissed
tnoel left a comment
Owner
Copy Link

C'est à rebaser (la partie FtsMatch à déplacer dans le nouveau sql_criterias.py) ; mais le code me semble tout bon.

C'est à rebaser (la partie FtsMatch à déplacer dans le nouveau sql_criterias.py) ; mais le code me semble tout bon.
bdauvergne force-pushed wip/76875-Recherche-par-numero-de-telephon from d94a0f0379 to b26b7e407a 2024-03-11 10:50:35 +01:00 Compare
bdauvergne force-pushed wip/76875-Recherche-par-numero-de-telephon from b26b7e407a to 8dc1fe99af 2024-03-11 13:15:40 +01:00 Compare
bdauvergne requested review from tnoel 2024-03-11 13:15:49 +01:00
tnoel approved these changes 2024-03-11 17:40:27 +01:00
Dismissed
fpeters reviewed 2024-03-12 09:45:46 +01:00
wcs/sql.py Outdated
@ -2621,1 +2621,4 @@
fts_strings[weight].add(value)
# special case telephone numbers
if value != normalize_phone_number_for_fts_if_needed(value):
fts_strings[weight].add(normalize_phone_number_for_fts_if_needed(value))
fpeters commented 2024-03-12 09:45:46 +01:00
Owner
Copy Link

Ça m'irait bien d'ajouter à la comparaison un truc genre len(value) < 30, limiter le nombre de fois où on passe là-dedans.

Ça m'irait bien d'ajouter à la comparaison un truc genre len(value) < 30, limiter le nombre de fois où on passe là-dedans.
tnoel commented 2024-03-12 10:02:49 +01:00
Owner
Copy Link

Comme on peut encore commenter un peu, à la rerelecture je me dis qu'on devrait poser ça en priorité "D" (fts_strings['D'].add(...)) pour permettre de prioriser les numéros de téléphones officiels (les champs avec validation téléphonique).

Comme on peut encore commenter un peu, à la rerelecture je me dis qu'on devrait poser ça en priorité "D" (`fts_strings['D'].add(...)`) pour permettre de prioriser les numéros de téléphones officiels (les champs avec validation téléphonique).
bdauvergne commented 2024-03-12 10:03:14 +01:00
Author
Owner
Copy Link

Au doigt mouillé je n'ai pas l'impression qu'un len(value) < 30 changera énormément le nombre d'appels, même un len(value) < 15 (10 chiffres plus des séparateurs entre groupe de deux) ça prendra je pense la plupart des tokens.

Au doigt mouillé je n'ai pas l'impression qu'un len(value) < 30 changera énormément le nombre d'appels, même un len(value) < 15 (10 chiffres plus des séparateurs entre groupe de deux) ça prendra je pense la plupart des tokens.
bdauvergne commented 2024-03-12 10:03:42 +01:00
Author
Owner
Copy Link

Comme on peut encore commenter un peu, à la rerelecture je me dis qu'on devrait poser ça en priorité "D" (fts_strings['D'].add(...)) pour permettre de prioriser les numéros de téléphones officiels (les champs avec validation téléphonique).

Ça par contre ça ne me semble pas poser de souci oui.

> Comme on peut encore commenter un peu, à la rerelecture je me dis qu'on devrait poser ça en priorité "D" (`fts_strings['D'].add(...)`) pour permettre de prioriser les numéros de téléphones officiels (les champs avec validation téléphonique). Ça par contre ça ne me semble pas poser de souci oui.
fpeters commented 2024-03-12 10:05:51 +01:00
Owner
Copy Link

Au doigt mouillé je n'ai pas l'impression qu'un len(value) < 30 changera énormément le nombre d'appels, même un len(value) < 15 (10 chiffres plus des séparateurs entre groupe de deux) ça prendra je pense la plupart des tokens.

Un < 15 m'irait aussi, je tapais juste large. (mon truc étant d'éviter d'envoyer les adresses, les champs commentaires libres, etc. vers la fonction qui va jouer deux regex dessus.

> Au doigt mouillé je n'ai pas l'impression qu'un len(value) < 30 changera énormément le nombre d'appels, même un len(value) < 15 (10 chiffres plus des séparateurs entre groupe de deux) ça prendra je pense la plupart des tokens. Un < 15 m'irait aussi, je tapais juste large. (mon truc étant d'éviter d'envoyer les adresses, les champs commentaires libres, etc. vers la fonction qui va jouer deux regex dessus.
bdauvergne commented 2024-03-12 10:06:10 +01:00
Author
Owner
Copy Link

Au doigt mouillé je n'ai pas l'impression qu'un len(value) < 30 changera énormément le nombre d'appels, même un len(value) < 15 (10 chiffres plus des séparateurs entre groupe de deux) ça prendra je pense la plupart des tokens.

Je retire ce que je dis, c'est la valeur du champ complet qui est traité, je pensais qu'on faisait un split() avant. Ok, donc.

> Au doigt mouillé je n'ai pas l'impression qu'un len(value) < 30 changera énormément le nombre d'appels, même un len(value) < 15 (10 chiffres plus des séparateurs entre groupe de deux) ça prendra je pense la plupart des tokens. Je retire ce que je dis, c'est la valeur du champ complet qui est traité, je pensais qu'on faisait un split() avant. Ok, donc.
bdauvergne marked this conversation as resolved
tnoel dismissed tnoel’s review 2024-03-12 10:03:44 +01:00
Reason:

quelques commentaires finalement

bdauvergne force-pushed wip/76875-Recherche-par-numero-de-telephon from 8dc1fe99af to b6af61ab33 2024-03-12 10:28:59 +01:00 Compare
bdauvergne requested review from tnoel 2024-03-12 10:51:16 +01:00
tnoel approved these changes 2024-03-12 11:21:14 +01:00
fpeters merged commit 2d619766b7 into main 2024-03-15 10:27:48 +01:00
fpeters deleted branch wip/76875-Recherche-par-numero-de-telephon 2024-03-15 10:27:48 +01:00
Sign in to join this conversation.
Reviewers
No reviewers
tnoel
Labels
Clear labels
No items
No Label
Milestone
Clear milestone
No items
No Milestone
Assignees
Clear assignees
No Assignees
3 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: entrouvert/wcs#259
No description provided.
Delete Branch "wip/76875-Recherche-par-numero-de-telephon"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?