base_adresse: ajouter des index sur unaccent_name et zipcode et tous les champs qui servent aux recherches (#66694) #147

Merged
bdauvergne merged 1 commits from wip/66694-base-adresse-ajouter-des-index-s into main 2024-01-15 18:18:02 +01:00
Owner
No description provided.
bdauvergne added 1 commit 2023-03-17 12:10:31 +01:00
bdauvergne changed title from Ajout d'index sur les colonnes unaccent_name des modèles du connecteur base_adresse (#66694) to base_adresse: ajouter des index sur unaccent_name et zipcode et tous les champs qui servent aux recherches (#66694) 2023-03-17 12:10:58 +01:00
bdauvergne force-pushed wip/66694-base-adresse-ajouter-des-index-s from 38613b8b7a to 1b2a5712e4 2023-04-14 13:14:18 +02:00 Compare
bdauvergne force-pushed wip/66694-base-adresse-ajouter-des-index-s from 1b2a5712e4 to 3404fc6bd6 2023-04-20 09:22:47 +02:00 Compare
bdauvergne changed title from base_adresse: ajouter des index sur unaccent_name et zipcode et tous les champs qui servent aux recherches (#66694) to WIP: base_adresse: ajouter des index sur unaccent_name et zipcode et tous les champs qui servent aux recherches (#66694) 2023-04-20 14:31:35 +02:00
bdauvergne force-pushed wip/66694-base-adresse-ajouter-des-index-s from 3404fc6bd6 to 9a777fc121 2023-04-21 12:28:18 +02:00 Compare
bdauvergne changed title from WIP: base_adresse: ajouter des index sur unaccent_name et zipcode et tous les champs qui servent aux recherches (#66694) to base_adresse: ajouter des index sur unaccent_name et zipcode et tous les champs qui servent aux recherches (#66694) 2023-04-21 12:28:26 +02:00
bdauvergne force-pushed wip/66694-base-adresse-ajouter-des-index-s from 9a777fc121 to c39c0d962a 2023-09-20 19:17:28 +02:00 Compare
bdauvergne force-pushed wip/66694-base-adresse-ajouter-des-index-s from c39c0d962a to cd78af2623 2023-11-28 16:50:35 +01:00 Compare
nroche reviewed 2023-11-29 18:13:46 +01:00
@ -723,3 +725,3 @@
class StreetModel(UnaccentNameMixin, models.Model):
ban_id = models.CharField(_('BAN Identifier'), max_length=32, null=True)
ban_id = models.CharField(_('BAN Identifier'), max_length=32, null=True, db_index=True)
Owner

La doc semble dire que c'est préférable d'avoir tous les index dans META.
https://docs.djangoproject.com/fr/4.2/ref/models/fields/#db-index

La doc semble dire que c'est préférable d'avoir tous les index dans META. https://docs.djangoproject.com/fr/4.2/ref/models/fields/#db-index
Author
Owner

D'ac je change ça.

D'ac je change ça.
bdauvergne marked this conversation as resolved
@ -738,0 +740,4 @@
indexes = [
postgresql_indexes.GinIndex(
postgresql_indexes.OpClass(Upper('unaccent_name'), 'gin_trgm_ops'),
name='%(app_label)s_street_name_idx',
Owner

Si on a 2 connecteurs BAN ?
(parce que, bien que je n'ai pas compris pourquoi, mais c'est le cas sur parsifal)

Si on a 2 connecteurs BAN ? (parce que, bien que je n'ai pas compris pourquoi, mais c'est le cas sur parsifal)
Author
Owner

Je n'ai pas compris ce que tu insinues, peux-tu expliciter ?

Je n'ai pas compris ce que tu insinues, peux-tu expliciter ?
Owner

Oui déso.
name='%(app_label)s_street_name_idx'
ici, j'ai l'impression qu'on va utiliser le même index pour 2 connecteurs instanciés sur un même tenant.
Je m'attendais à un truc comme : "%s%s" % (self.resource.slug, self.resource.get_connector_slug())

Oui déso. `name='%(app_label)s_street_name_idx'` ici, j'ai l'impression qu'on va utiliser le même index pour 2 connecteurs instanciés sur un même tenant. Je m'attendais à un truc comme : "%s%s" % (self.resource.slug, self.resource.get_connector_slug())
Owner

Et je réalise que ma remarque démontre mon manque de connaissance ici.
Le filtrage sur les objets connecteurs est déjà fait en amont sur le QuerySet, ex :
streets = self.streetmodel_set.all()
Il n'y a pas de distinction à faire sur les index pour isoler les instance des connecteurs.

Et je réalise que ma remarque démontre mon manque de connaissance ici. Le filtrage sur les objets connecteurs est déjà fait en amont sur le QuerySet, ex : `streets = self.streetmodel_set.all()` Il n'y a pas de distinction à faire sur les index pour isoler les instance des connecteurs.
nroche marked this conversation as resolved
bdauvergne force-pushed wip/66694-base-adresse-ajouter-des-index-s from cd78af2623 to af39728e27 2023-11-29 19:12:31 +01:00 Compare
Owner

Testé.
Je ne note pas (ou ne sais pas bien mesurer) de différence de performance, mais ça fonctionne bien.
Je laisse le temps à quelqu'un de passer derrière moi, car je suis un peu léger sur cette partie, et sinon je validerais.

Testé. Je ne note pas (ou ne sais pas bien mesurer) de différence de performance, mais ça fonctionne bien. Je laisse le temps à quelqu'un de passer derrière moi, car je suis un peu léger sur cette partie, et sinon je validerais.
Author
Owner

C'est surtout sur /streets?q=truc ou le filtrage sur zipcode/citycode des rues que ça accélère pas mal, le reste c'est assez superficiel mais pour des données statiques c'est toujours ça de gagner.

C'est surtout sur /streets?q=truc ou le filtrage sur zipcode/citycode des rues que ça accélère pas mal, le reste c'est assez superficiel mais pour des données statiques c'est toujours ça de gagner.
bdauvergne added 1 commit 2023-12-06 16:31:50 +01:00
gitea/passerelle/pipeline/head This commit looks good Details
d934293e31
cmis: disable logging of requests errors (#66694)
nroche approved these changes 2023-12-08 16:46:57 +01:00
nroche left a comment
Owner
No description provided.
bdauvergne force-pushed wip/66694-base-adresse-ajouter-des-index-s from d934293e31 to 95030b91f5 2023-12-09 09:46:52 +01:00 Compare
bdauvergne force-pushed wip/66694-base-adresse-ajouter-des-index-s from 95030b91f5 to ee1baf8b50 2024-01-15 16:22:20 +01:00 Compare
bdauvergne merged commit ee1baf8b50 into main 2024-01-15 18:18:02 +01:00
bdauvergne deleted branch wip/66694-base-adresse-ajouter-des-index-s 2024-01-15 18:18:02 +01:00
Sign in to join this conversation.
No reviewers
No Label
No Milestone
No Assignees
2 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: entrouvert/passerelle#147
No description provided.