Aller au contenu
Codes et API

Données météo

En bref
Pour qui
Développeurs et data scientists qui travaillent en R.
Mise à jour
Script du dépôt, recopié à chaque génération du portail.

Ce que fait le script, ses paquets, l'authentification demandée, puis le code complet (secrets masqués).

Données utilisées

L'API ou le service Données météo (https://meteo.data.gouv.fr/).

Lit les données climatologiques quotidiennes Météo-France stockées sur le SSP CloudDonnées et outils : Plateforme de travail de l'Insee pour la statistique publique (logiciel Onyxia) : RStudio, Jupyter ou VS Code dans le navigateur, et un stockage S3 où sont déposées les données du hackathon. et extrait deux périodes (1950-1985 et 1986-2024) : précipitations et températures par station.

ScriptDonnées météo.R
LangageR
Paquetsarrow, dplyr, readr
AuthentificationAccès S3Données et outils : Protocole de stockage de fichiers en ligne, rangés dans des buckets. Le SSP Cloud l'offre avec le logiciel MinIO ; on y accède depuis R, Python ou DuckDB avec des clés temporaires. du SSP Cloud (à régler dans les paramètres du fichier sur datalab.sspcloud.fr).
Documentationhttps://meteo.data.gouv.fr/

La fiche du script : le fichier R du dépôt (lien vers GitHub), les paquets à installer avec install.packages(), l'accès demandé et la documentation de l'API.

Accès

Accès S3 du SSP Cloud (à régler dans les paramètres du fichier sur datalab.sspcloud.fr). Ne jamais publier une clé dans le dépôt : la lire depuis une variable d'environnement (Sys.getenv("MA_CLE")).

Ce que fait le script

  1. Ouvrir le jeu sur le stockage S3 du SSP Cloud avec arrow, en fixant le schéma des colonnes.
  2. Filtrer la période voulue et garder les colonnes utiles (station, coordonnées, altitude, date, RR, TN, TX, TM).
  3. Vérifier puis exporter le résultat.

Code

Données météo.R
#### 1986-2024 #### #Cette première partie est faite pour récupérer le fichier dans son emplacement #sur datalab.sspcloud.fr de l'Insee (Onyxia). Il faut changer les clés d'accès #selon ce qui est indiqué dans les paramètres d'emplacement du fichier communes d'Isere en .csv install.packages("arrow", repos = "https://cloud.r-project.org") Sys.setenv(AWS_PROFILE = "default") library(arrow) fs <- S3FileSystem$create( region = "us-east-1", endpoint_override = "minio.lab.sspcloud.fr", scheme = "https" ) mon_schema <- schema( NUM_POSTE = string(), NOM_USUEL = string(), LAT = float64(), LON = float64(), ALTI = float64(), AAAAMMJJ = int64(), RR = float64(), QRR = string(), TN = float64(), QTN = string(), HTN = string(), QHTN = string(), TX = float64(), QTX = string(), HTX = string(), QHTX = string(), TM = float64(), QTM = string(), TNTXM = string(), QTNTXM = string(), TAMPLI = string(), QTAMPLI = string(), TNSOL = string(), QTNSOL = string(), TN50 = string(), QTN50 = string(), DG = string(), QDG = string(), FFM = string(), QFFM = string(), FF2M = string(), QFF2M = string(), FXY = string(), QFXY = string(), DXY = string(), QDXY = string(), HXY = string(), QHXY = string(), FXI = string(), QFXI = string(), DXI = string(), QDXI = string(), HXI = string(), QHXI = string(), FXI2 = string(), QFXI2 = string(), DXI2 = string(), QDXI2 = string(), HXI2 = string(), QHXI2 = string(), FXI3S = string(), QFXI3S = string(), DXI3S = string(), QDXI3S = string(), HXI3S = string(), QHXI3S = string(), DRR = string(), QDRR = string(), STATUS_FXI3S = string(), STATUS_DXI3S = string(), ) dataset <- open_dataset( "maximehautin/Q_38_previous-1950-2024_RR-T-Vent.csv.gz", filesystem = fs, format = "csv", delimiter = ";", schema = mon_schema, skip = 1 ) # ============================================================ # Filtrer les données Météo-France : 1986 à 2024 # ============================================================ # Afficher la structure du dataset schema(dataset) # ------------------------------------------------------------ # 1. Filtrer les dates # ------------------------------------------------------------ # Filtrer les données entre 1986 et 2024 library(dplyr) dataset_1986_2024 <- dataset |> dplyr::filter( AAAAMMJJ >= 19860101, AAAAMMJJ <= 20241231 ) |> dplyr::select( NUM_POSTE, NOM_USUEL, LAT, LON, ALTI, AAAAMMJJ, RR, TN, TX, TM, ) # ------------------------------------------------------------ # 2. Vérifier le résultat # ------------------------------------------------------------ # Afficher quelques lignes dataset_1986_2024 |> head() # ------------------------------------------------------------ # 3. Exporter le résultat # ------------------------------------------------------------ donnees_meteo_1986_2024 <- dataset_1986_2024 |> dplyr::collect() library(readr) write_csv( donnees_meteo_1986_2024, "RR-T-Vent_1986-2024.csv" ) rm(list=ls()) ###### 1950-1985 ##### #Cette première partie est faite pour récupérer le fichier dans son emplacement #sur datalab.sspcloud.fr de l'Insee (Onyxia). Il faut changer les clés d'accès #selon ce qui est indiqué dans les paramètres d'emplacement du fichier communes d'Isere en .csv install.packages("arrow", repos = "https://cloud.r-project.org") Sys.setenv(AWS_PROFILE = "default") library(arrow) fs <- S3FileSystem$create( region = "us-east-1", endpoint_override = "minio.lab.sspcloud.fr", scheme = "https" ) mon_schema <- schema( NUM_POSTE = string(), NOM_USUEL = string(), LAT = float64(), LON = float64(), ALTI = float64(), AAAAMMJJ = int64(), RR = float64(), QRR = string(), TN = float64(), QTN = string(), HTN = string(), QHTN = string(), TX = float64(), QTX = string(), HTX = string(), QHTX = string(), TM = float64(), QTM = string(), TNTXM = string(), QTNTXM = string(), TAMPLI = string(), QTAMPLI = string(), TNSOL = string(), QTNSOL = string(), TN50 = string(), QTN50 = string(), DG = string(), QDG = string(), FFM = string(), QFFM = string(), FF2M = string(), QFF2M = string(), FXY = string(), QFXY = string(), DXY = string(), QDXY = string(), HXY = string(), QHXY = string(), FXI = string(), QFXI = string(), DXI = string(), QDXI = string(), HXI = string(), QHXI = string(), FXI2 = string(), QFXI2 = string(), DXI2 = string(), QDXI2 = string(), HXI2 = string(), QHXI2 = string(), FXI3S = string(), QFXI3S = string(), DXI3S = string(), QDXI3S = string(), HXI3S = string(), QHXI3S = string(), DRR = string(), QDRR = string(), STATUS_FXI3S = string(), STATUS_DXI3S = string(), ) dataset <- open_dataset( "maximehautin/Q_38_previous-1950-2024_RR-T-Vent.csv.gz", filesystem = fs, format = "csv", delimiter = ";", schema = mon_schema, skip = 1 ) # ============================================================ # Filtrer les données Météo-France : 1950 à 1985 # ============================================================ # Afficher la structure du dataset schema(dataset) # ------------------------------------------------------------ # 1. Filtrer les dates # ------------------------------------------------------------ # Filtrer les données entre 1950 et 1985 library(dplyr) dataset_1950_1985 <- dataset |> dplyr::filter( AAAAMMJJ >= 19500101, AAAAMMJJ <= 19851231 ) |> dplyr::select( NUM_POSTE, NOM_USUEL, LAT, LON, ALTI, AAAAMMJJ, RR, TN, TX, TM, ) # ------------------------------------------------------------ # 2. Vérifier le résultat # ------------------------------------------------------------ # Afficher quelques lignes dataset_1950_1985 |> head() # ------------------------------------------------------------ # 3. Exporter le résultat # ------------------------------------------------------------ donnees_meteo_1950_1985 <- dataset_1950_1985 |> dplyr::collect() library(readr) write_csv( donnees_meteo_1950_1985, "RR-T-Vent_1950_1985.csv" ) rm(list=ls())

Limites

À garder en tête

  • Les clés, jetons et identifiants sont masqués ici ; les vrais sont dans l'Excel du SSP Cloud et ne doivent jamais être publiés.
  • Script fourni avec le hackathon, non relancé par le portail : les quotas, les adresses d'APIDonnées et outils : Interface de programmation. Adresse web qu'un programme interroge pour recevoir des données (souvent en JSON) au lieu de télécharger un fichier. Certaines demandent une clé d'accès, à ne jamais publier. et les versions de paquets peuvent avoir changé.