📊 Les pipelines de la Vitrine démocratique

📌 Document vivant — copie canonique, hébergée sur la Vitrine (vitrine-showcase.github.io/public/docs/). Modifiez par PR → en ligne ~2 min après merge. Les copies sur adriencloutier.com sont dépréciées. État détaillé du plan de réforme : horaire-refiners-2026.html · chantier fraîcheur/suivi 24h : aws-refiners#195.

Architecture complète • Dernière mise à jour le 10 juillet 2026 (agrégats 24h par storyline dans headline_events_4h) • 🌐 Voir le site vitrine (DEV)

⏰ Glue Jobs ETL (r-media-headlines, r-media-frontpages): 6x/jour → 19:03, 23:03, 03:03, 07:03, 11:03, 15:03 (heure du Québec)

▼ 📄 RADAR+ Data Preparation (Pipeline de Base) 6x/jour: 19:06, 23:06, 03:06, 07:06, 11:06, 15:06 (heure du Québec)
r-media-headlines
Glue Job Python
ℹ️ Cliquer pour détails
→
radar-data-preparation.R
Segmentation + annotation
⏰ 19:06, 23:06, 03:06, 07:06, 11:06, 15:06
ℹ️ Cliquer pour détails
→
radar_annotated
19 cols : segmentation + annotation
📋 Cliquer pour voir colonnes
→
radar-object-extraction.R
NER + normalisation
⏰ 19:24, 23:24, 03:24, 07:24, 11:24, 15:24
ℹ️ Cliquer pour détails
→
headlines_objects_extracted
24 cols : NER bilingue (table intermédiaire de travail)
📋 Cliquer pour voir colonnes
▼ 🔵 Salient Index (Indices de Saillance) 6x/jour: 19:20, 23:20, 03:20, 07:20, 11:20, 15:20 (heure du Québec)
r-media-headlines
Glue Job Python ETL
ℹ️ Cliquer pour détails
→
radar-salient-objects.R
Extraction objets saillants
ℹ️ Cliquer pour détails
→
salient_headlines_objects
Même schéma
📋 Cliquer pour voir colonnes
→
radar-salient-index.R
Calcul indices
ℹ️ Cliquer pour détails
→
salient_index
Indices de saillance
📋 Cliquer pour voir colonnes
▼ 📊 Issues Score (Scores par Enjeu) Quotidien: 07:09, 11:09, 15:09 • Hebdo: 15:11 • Mensuel: 15:14 (heure du Québec)
r-media-headlines
Glue Job Python ETL
ℹ️ Cliquer pour détails
+
dict-issues-two-categories
12 catégories
ℹ️ Cliquer pour détails
→
radar-headlines-issues.R
Classifie headlines
ℹ️ Cliquer pour détails
→
headlines_issues_*
quotidien/hebdo/mensuel
📋 Cliquer pour voir colonnes
→
radar-issues-score.R
⏰ 07:09, 11:09, 15:09
ℹ️ Cliquer pour détails
→
issues_score_day
issues_score_week
issues_score_month
📋 Cliquer pour voir colonnes
▼ 🏛️ Party Scores v2 (Standardisation & Calendrier) 6x/jour (après radar-data-preparation)
radar_annotated
Sortie radar-data-preparation
📋 Cliquer pour voir colonnes
→
radar-party-score-v2.R
Unifié: IA + SOV
ℹ️ Cliquer pour détails
→
federal_parties_score_v2_*
provincial_parties_score_v2_*
SOV % + Minutes + Variation
📋 Cliquer pour voir colonnes
▼ 🏛️ Party Scores legacy (Pertinence + Ton) Quotidien/Hebdo/Mensuel (pipeline historique maintenu)
salient_index
Source saillance objets
📋 Cliquer pour voir colonnes
+
dict-political-parties-ca
Partis fédéraux
ℹ️ Cliquer pour détails
+
dict-political-parties-qc
Partis provinciaux
ℹ️ Cliquer pour détails
+
dict-sentiments
Lexique tonalité
ℹ️ Cliquer pour détails
→
radar-party-score.R
Scores legacy (pondérés)
ℹ️ Cliquer pour détails
→
federal_parties_score_*
provincial_parties_score_*
Legacy (sans suffixe _v2_)
📋 Cliquer pour voir colonnes
▼ 💭 Reflet (Synthèses LLM par Enjeu) Quotidien: 07:25, 11:25, 15:25 • Hebdo: 15:28 • Mensuel: 15:30 (heure du Québec)
headlines_issues_day
📋 Cliquer pour voir colonnes
+
headlines_issues_week
📋 Cliquer pour voir colonnes
→
radar-reflet-daily-weekly.R
⏰ 07:25, 11:25, 15:25
ℹ️ Cliquer pour détails
→
reflet_day
📋 Cliquer pour voir colonnes
→
+
reflet_week
📋 Cliquer pour voir colonnes
radar-reflet-monthly.R
⏰ 15:30
ℹ️ Cliquer pour détails
→
reflet_month
📋 Cliquer pour voir colonnes
▼ 📰 Headline of Headlines (Une des Unes) 6x/jour: 19:28, 23:28, 03:28, 07:28, 11:28, 15:28 (heure du Québec)
salient_headlines_objects
Même schéma
📋 Cliquer pour voir colonnes
→
radar-headline-of-headlines.R
Synthèse LLM
⏰ 19:28, 23:28, 03:28, 07:28, 11:28, 15:28
ℹ️ Cliquer pour détails
→
headline_of_headlines
Une par période 4h
📋 Cliquer pour voir colonnes
▼ 🎯 Event Salience (Événements 4h par pays) 6x/jour: à coordonner (~10 min après radar-salient-index)
salient_headlines_objects
Articles + extracted_objects
📋 Cliquer pour voir colonnes
+
salient_index
Scores par objet (source de vérité)
📋 Cliquer pour voir colonnes
→
radar-event-salience.R
Clustering BFS + scoring
⏰ à confirmer
ℹ️ Cliquer pour détails
→
headline_events_4h
Événements clusterisés (min 3 par bloc/pays)
📋 Cliquer pour voir colonnes
▼ 🔥 RADAR+ Hot 20 (TOP 20 Hebdomadaire) Vendredis: 11:30 (heure du Québec)
salient_headlines_objects
Semaine complète (même schéma)
📋 Cliquer pour voir colonnes
→
radar-hot-20.R
⏰ Ven 11:30
ℹ️ Cliquer pour détails
→
hot_20_headlines
3 pays
📋 Cliquer pour voir colonnes
→
6 PNG + 6 HTML
QC, CAN, USA × 2
🖼️ Cliquer pour voir exemples
→
Slack: hot20
ℹ️ Cliquer pour détails
▼ 📡 SONAR Heatmaps (Monitoring Qualité) Mercredis: 07:30 (heure du Québec)
r-media-frontpages
Glue Job Python
ℹ️ Cliquer pour détails
+
r-media-headlines
Glue Job Python
ℹ️ Cliquer pour détails
→
sonar.R
Extrait données SONAR
ℹ️ Cliquer pour détails
→
data_quality_14_days
Datamart: sonar
📋 Cliquer pour voir colonnes
→
sonar-heatmaps.R
⏰ Mer 07:30
ℹ️ Cliquer pour détails
→
6 PNG Heatmaps
fp, uh, body, title, author, words
🖼️ Cliquer pour voir exemples
→
Slack: sonar
ℹ️ Cliquer pour détails
▼ 🏛️ AGORA SONAR (Monitoring Qualité Parlementaire) Quotidien: qualité Agora • Hebdo: heatmaps (heure du Québec)
a-*-* (tables Agora)
Parlement + communiqués
ℹ️ Cliquer pour détails
→
agora-sonar.R
Freshness + complétude
ℹ️ Cliquer pour détails
→
agora_sonar_daily
Datamart: agora_datamart
📋 Cliquer pour voir colonnes
→
agora-sonar-heatmaps.R
4 heatmaps qualité
ℹ️ Cliquer pour détails
→
4 PNG Heatmaps
lag, statut, contenu, orateur
🖼️ Cliquer pour détails
→
Slack: agora-sonar
ℹ️ Cliquer pour détails
▼ 📤 Publication Vitrine (JSON vers S3 Frontend) 5x/jour: 23:39, 03:39, 07:39, 11:39, 15:39 (heure du Québec)
Toutes les tables finales
issues_score_*, parties_score_*, parties_score_v2_*, reflet_*, headline_of_headlines
📋 Cliquer pour liste complète
→
vitrine-graph-data.R
⏰ 5x/jour +36min
ℹ️ Cliquer pour détails
→
Jusqu'à 19 fichiers JSON
Publiés sur S3
📄 Cliquer pour liste des fichiers
→
Frontend Vitrine
Site web public vitrine démocratique
🌐 Cliquer pour ouvrir site