This repository has been archived by the owner on Oct 22, 2024. It is now read-only.
Fix: correction des doublons de données Metabase #398
Merged
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
L'option `-c --if-exists` ne semble pas fonctionner totalement comme on aimerait. Cela créée des doublons de données, qui rendent les données et les graphiques erronnés, et qui, au fil des semaines, font plantercertains dashboards ou cartes Metabase.
…NOTICE superflues
jbuget
force-pushed
the
metabase/fix-update-script
branch
from
0c43887 to
9314443
Compare
ikarius
approved these changes
Oct 7, 2024
Sign up for free
to subscribe to this conversation on GitHub.
Already have an account?
Sign in.
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
🍣 Contexte / problème
Nous nous sommes rendus compte récemment qu'il y a des soucis de doublons de données liées aux tables
stats_serviceviewetstats_structureview.En plus d'afficher des métriques fausses, cela pollue le système jusqu'à rendre le dashboard "Objectifs 2024" très lent et consommateur de ressources (CPU / RAM).
Par ailleurs, lors de la synchronisation, il y a pas mal d'autres petites erreurs qui remontent et gênent dans le monitoring et l'analyse des logs.
🦄 Solution
Faire en sorte de ne ne pas générer de doublons et corriger les petites erreurs faciles.
Côté production, nous avons supprimé le rôle en lecture seule
dora_back_ro_xxxqui n'était pas exploité mais que lepg_dump + psqlcherchait tout de même à exploiter.Côté code, je n'ai pas trouvé mieux que faire en boucle des
DROP TABLE ... CASCADEen force (plutôt que par les options-c --if-existspour corriger le problème. Le script obtenu a déjà été joué plusieurs fois avec succès sur la base Metabase.Enfin, cette PR propose des petites améliorations visuelles au niveau des logs, pour simplifier encore plus la compréhension et le suivi.