Plongée dans les données
Plongée dans les données Accès, formats, jointures, trous connus et recettes
Plongée dans les données
Plongée dans les données Accès, formats, jointures, trous connus et recettes
Au programme Accéder au bucket, avec ou sans téléchargement Formats et structure des 748 fichiers Clés de jointure : la commune, les coordonnées Qualité : trous, encodages, compteurs, réseaux absents Les bases croisées du portail Données personnelles, secrets, API et recettes
Le bucket, lisible sans compte Stockage S3 du SSP Cloud, plateforme de l'Insee (Institut national de la statistique), servi par MinIO. 748 fichiers, 6,79 Go, dans le dossier diffusion/ . docs/02-donnees/01-ssp-cloud/index.mdx ; docs/data/ssp-inventory.json
Lire un fichier sans le télécharger Les accents du chemin s'encodent dans l'adresse : é devient %C3%A9 . Sur le SSP Cloud, les clés temporaires sont déjà dans l'environnement. docs/02-donnees/01-ssp-cloud/index.mdx ; scripts « Données météo.R » et « Distances routières entre communes.R »
748 fichiers : 167 isolés et 3 lots Lot Fichiers Contenu Transports/Données transports Loopi~/data/ 149 ZIP un GTFS (horaires) par réseau Fréquentation/Comptages Velo Isere/Comptages_ponctuels/ 331 comptages vélo ponctuels Biodiversité/pietinements_lacs/data/ 101 piétinement autour des lacs Le reste, dans 15 dossiers 167 un fichier par jeu docs/data/ssp-inventory.json (clés « groups » et « files »)
Les formats des 167 fichiers isolés Format Nombre (déduit) À savoir Excel (xlsx) 51 plusieurs feuilles, en-têtes parfois sur deux lignes ZIP 30 archives imbriquées, deux vides CSV 17 encodage et séparateur variables HTML 16 cartes et visualisations exportées GeoPackage, shapefile, GeoJSON 13 couches géographiques docs/data/ssp-inventory.json, décompte par extension (calcul : ce deck)
CSV : vérifier encodage et séparateur Fichier Encodage Séparateur Base classement Atout France.csv windows-1252 ; Météo 1950-2024 ( Q_38_previous… ) UTF-8 ; Écocompteurs Isère, comptages UTF-8 , données météo 1950-1985.csv UTF-8 , pages « structure mesurée » de docs/02-donnees/01-ssp-cloud/ ; docs/data/ssp-inventory.json
La commune : le code Insee, en texte Pivot : code Insee, 5 caractères (Grenoble : 38185 ), pas le code postal. Communes d'Isere.xlsx : seulement NOM_COMM et CP . Code lu comme nombre par Excel : 38185.0 . Adresses Apidae : stations (Alpe d'Huez → Huez). Le COG (Code officiel géographique) change chaque 1er janvier. 01-communes.mdx ; scripts/dataviz/build_base.py
Les coordonnées : Lambert-93 d'abord BD TOPO (IGN), ENS (espaces naturels sensibles), sentiers : Lambert-93 (EPSG:2154), en mètres. GéoVélo : WGS84 (EPSG:4326), en degrés. ENS_equipements.gpkg déclare un code maison, EPSG:100000. docs/data/ssp-inventory.json (couches et systèmes) ; build_base.py, section 11e
Trous connus du bucket Deux archives vides, 0 octet : EP.zip , PDF_ZNIEFF.zip . Cités au catalogue mais absents : Optimum touristique, Flux Vision Tourisme, écocompteurs de l'Oisans. Mal rangé : navettes du Grésivaudan dans Biodiversité/ . Catalogue déclaratif : volumes annoncés, pas mesurés. docs/02-donnees/01-ssp-cloud/index.mdx, « Précautions »
Transports : trois réseaux urbains manquent 123 communes, 652 000 habitants : tc_couverture = « incomplète » docs/03-dataviz/90-donnees-croisees.mdx ; base/meta.json M réso, ex-TAG (Grenoble-Alpes Métropole) : 49 communes TouGo (Le Grésivaudan) : 43 communes Pays Voironnais Mobilités : 31 communes Effet : 51 arrêts comptés à Grenoble, 0 à Meylan
Combien de compteurs ? Selon le périmètre Nombre Ce qu'il compte 469 lignes lues dans les deux listes, avant dédoublonnage 420 compteurs uniques placés sur la carte 408 compteurs Eco-Compteur Isère avec un comptage 2021-2026 258 compteurs uniques mesurés en 2025 186 compteurs assez réguliers pour l'indice des pics (déduit) docs/03-dataviz/90-donnees-croisees.mdx ; base/meta.json ; p2/meta.json
Un compteur proche ne mesure pas toujours le site Confiance (déduit) Règle Sites même nom mot commun, 5 km au plus 20 même sentier sentier relié au site, 2 km au plus 15 simple proximité 2 km, sans autre indice 4 trop loin rien à moins de 2 km 6 base/compteurs-sites.json : 45 sites sur-fréquentés en Isère
Avant de comparer deux compteurs couverture_2025 à 0,4 : plus de la moitié de l'année manque. total_2025 à 0 : panne ou démontage. Filtrer modes et gestionnaire : sentier, piste, route. 24 compteurs à valeurs reconstruites par le fournisseur. Page P2 : jours à 0 et indices au-delà de 2 000 écartés. 90-donnees-croisees.mdx ; sites_valides_reconstruits.csv ; p2/meta.json
Cinq fichiers, une clé commune Fichier Clé Contenu Taille communes-indicateurs.json code Insee 512 communes, 57 champs 810 Ko epci-indicateurs.json SIREN 18 intercommunalités 19 Ko sites.json id , insee 2 872 sites 596 Ko compteurs.json id , insee 420 compteurs 151 Ko compteurs-sites.json site_id 48 sites de la liste, dont 45 en Isère 24 Ko docs/public/dataviz/base/meta.json ; 90-donnees-croisees.mdx
communes-indicateurs : les champs utiles Famille Champs Hébergement lits , lits_pour_100_hab , apidae_capacite_meubles Sites sites , sites_surfrequentes , sites_par_categorie Flux compteurs , compteurs_actifs_2025 Transport arrets_tc , tc_couverture , gares , aires_covoiturage Économie restaurants , emplois_tourisme Nature part_ens_pct , part_znieff_pct , pdipr_km docs/03-dataviz/90-donnees-croisees.mdx, dictionnaire des données
Totaux de contrôle : retrouvez ces chiffres docs/public/dataviz/p0/kpi.json ; base/meta.json (« totaux »)
Recette : réutiliser les bases en Python docs/03-dataviz/90-donnees-croisees.mdx, « Comment rejouer les calculs »
Données personnelles : le fichier des forfaits 4 feuilles : 7 Laux et Collet, deux saisons. Colonnes sensibles : date de naissance, ville de facturation, commande. Agrégats seulement : mois, catégorie, origine, département. Au moins 10 forfaits par case publiée. Jamais une ligne, ni dans le dépôt, ni dans une slide. docs/data/ssp-inventory.json ; p5/meta.json
Secrets : les clés restent hors du dépôt Le catalogue Excel du bucket contient des clés en clair. Ne jamais les recopier : ni code, ni notebook, ni capture. Scripts R fournis : la clé y devient "Ma clé" . Lire la clé depuis l'environnement. docs/02-donnees/01-ssp-cloud/index.mdx ; docs/02-donnees/05-codes/index.mdx
Les API : un script R par source Source Accès DataTourisme, Apidae, Géovélo clé Loopi jeton et identifiants OpenStreetMap, transport.data.gouv.fr, Biodiv'Sports sans clé Distances routières, météo stockage du SSP Cloud docs/02-donnees/05-codes/index.mdx ; scripts .R à la racine du dépôt
Recette : les passages par mois docs/02-donnees/01-ssp-cloud/04-frequentation/06-eco-compteur-isere.mdx (colonnes du fichier)
Par où commencer, selon la problématique Problématique Premiers fichiers P1 · Réorienter les flux sites.json , compteurs-sites.json P2 · Anticiper les pics comptages journaliers, météo, calendrier scolaire P3 · Qualifier une zone communes-indicateurs.json P4 · Mobilités douces GTFS Loopi + réseaux urbains manquants P5 · Profils de visiteurs forfaits (agrégés), écocompteurs des ENS docs/02-donnees/02-sources/01-par-ou-commencer.mdx ; pages DataViz P1 à P5
Limites Instantané du 9 novembre 2026 : le bucket peut changer. Structures mesurées, mais catalogue déclaratif. Rapprochements compteur-site calculés, pas vérifiés sur le terrain. Hébergement marchand collectif seulement, sans résidences secondaires. Scripts R repris tels quels, pas tous relancés.
Pour aller plus loin Portail : hackathon-flux-touristique.vicode.fr /donnees-ssp : fichier par fichier /donnees-ssp/lots : GTFS, comptages vélo /dataviz/donnees-croisees : bases croisées /codes : scripts des API /sources/pieges : pièges relevés