Règles de nettoyage

On choisit d'abord la partie texte de l'email à nettoyer. Si la version `text/plain` existe et fait au moins 200 caractères, on la prend telle quelle (chemin minimal). Sinon, on bascule sur la version `text/html` — ce qui active les règles suivantes de suppression HTML.

Les emails reçus peuvent être encodés en quoted-printable ou base64, et contiennent des entités HTML (`&`, `'`, etc.). Cette étape est effectuée en amont par `mailparser` au moment de l'ingestion : le `html_body` et le `text_body` stockés en base sont déjà décodés en UTF-8 et prêts à consommer. Aucune passe supplémentaire n'est nécessaire ici.

On enlève les balises qui n'ont pas de sens dans un texte de lecture : scripts, styles, métadonnées, liens CSS, commentaires HTML. Cela élimine aussi les éventuels JS embarqués qui pourraient s'activer si l'email était rendu sans sandbox.

Beaucoup de newsletters insèrent des éléments invisibles (pixels de tracking, contenu de précédent A/B test). On les détecte via leur style inline ou leurs dimensions 1×1 et on les retire.

Les expéditeurs mesurent l'ouverture des emails via des pixels invisibles hébergés sur des domaines dédiés (Mailchimp, SendGrid, Substack…). On supprime tout `<img>` dont le `src` contient un pattern connu — liste ci-dessous, versionnée avec `CLEANING_VERSION`.

Les liens des newsletters sont truffés de paramètres de tracking (utm_*, fbclid, mc_cid…). On les supprime sans toucher au reste de l'URL : le lien reste fonctionnel, mais on ne balance plus l'identifiant d'ouverture / de campagne à la page de destination. Appliqué sur les `href` des `<a>` **et** sur les URLs trouvées dans le corps texte.

Le HTML nettoyé est converti en Markdown via `turndown` + plugin GFM. On préserve la structure sémantique (titres h1–h6, paragraphes, listes, liens, citations, emphases, tables) tout en écartant les styles. C'est le format le plus digeste pour un LLM en aval.

Le bas de la plupart des newsletters contient un bloc boilerplate : lien unsubscribe, gestion des préférences, adresse postale de l'expéditeur. Ce n'est pas du bruit exploitable pour la synthèse, mais on ne le supprime pas : on le détecte par regex et on le stocke séparément dans `footer_extracted`. Le `cleaned_markdown` ne l'inclut plus.

Cosmétique final : on trim les espaces en fin de ligne, et on collapse les enchaînements de plus de 2 retours à la ligne en 2 retours. Résultat : un Markdown propre, sans blocs de blancs inutiles qui gonfleraient la consommation de tokens en aval.

Ce n'est pas une transformation : c'est la discipline qui permet de tout rejouer. Chaque résultat de nettoyage est tagué avec la valeur de `CLEANING_VERSION` au moment du run. Si on modifie une règle, on bump la version, on relance le pipeline sur `emails_raw`, et on obtient une nouvelle série de `emails_cleaned` comparable à la précédente sans avoir perdu aucune donnée brute.