Aller au contenu
Codes et API

Distances routières entre communes

En bref
Pour qui
Développeurs et data scientists qui travaillent en R.
Mise à jour
Script du dépôt, recopié à chaque génération du portail.

Ce que fait le script, ses paquets, l'authentification demandée, puis le code complet (secrets masqués).

Données utilisées

L'API ou le service Distances routières entre communes (https://project-osrm.org/).

Construit la matrice des distances et durées routières entre les 512 communes de l'Isère : liste des communes depuis le SSP CloudDonnées et outils : Plateforme de travail de l'Insee pour la statistique publique (logiciel Onyxia) : RStudio, Jupyter ou VS Code dans le navigateur, et un stockage S3 où sont déposées les données du hackathon., centroïdes via geo.api.gouv.fr, calcul avec OSRMTransport : Open Source Routing Machine. Logiciel libre de calcul d'itinéraires sur les routes d'OpenStreetMap : distance et durée en voiture, à vélo ou à pied. Son service de démonstration est sans clé, mais limité en nombre de requêtes..

ScriptDistances routières entre communes.R
LangageR
Paquetsarrow, readxl, writexl, httr, jsonlite, dplyr, osrm, purrr, sf
AuthentificationAccès S3Données et outils : Protocole de stockage de fichiers en ligne, rangés dans des buckets. Le SSP Cloud l'offre avec le logiciel MinIO ; on y accède depuis R, Python ou DuckDB avec des clés temporaires. du SSP Cloud (à régler dans les paramètres du fichier sur datalab.sspcloud.fr) ; geo.api.gouv.fr et OSRM sans clé.
Documentationhttps://project-osrm.org/

La fiche du script : le fichier R du dépôt (lien vers GitHub), les paquets à installer avec install.packages(), l'accès demandé et la documentation de l'API.

Accès

Accès S3 du SSP Cloud (à régler dans les paramètres du fichier sur datalab.sspcloud.fr) ; geo.api.gouv.fr et OSRM sans clé. Ne jamais publier une clé dans le dépôt : la lire depuis une variable d'environnement (Sys.getenv("MA_CLE")).

Ce que fait le script

  1. Lire la liste des communes d'Isère sur le stockage S3 du SSP Cloud.
  2. Récupérer le centre de chaque commune (geo.api.gouv.fr), en ralentissant les appels.
  3. Calculer la matrice des distances avec OSRM et l'exporter.

Code

Distances routières entre communes.R
#Cette première partie est faite pour récupérer le fichier dans son emplacement #sur datalab.sspcloud.fr de l'Insee (Onyxia). Il faut changer les clés d'accès #selon ce qui est indiqué dans les paramètres d'emplacement du fichier communes d'Isere en .csv install.packages("arrow", repos = "https://cloud.r-project.org") Sys.setenv(AWS_PROFILE = "default") library(arrow) fs <- S3FileSystem$create( region = "us-east-1", endpoint_override = "minio.lab.sspcloud.fr", scheme = "https" ) dataset <- open_dataset( "maximehautin/Communes-d_Isere.csv", filesystem = fs, format = "csv" ) print(head(as.data.frame(dataset))) #On va ici créer un premier dataset avec 2 colonnes, le code Insee et le nom de la commune install.packages(c( "readxl", "writexl", "httr", "jsonlite", "dplyr", "osrm" )) communes <- as.data.frame(dataset) library(dplyr) names(communes) <- c("code_insee", "commune") head(communes) #Cette partie permet d'aller chercher les coordonnées géographiques du centre de #chacune des 512 communes d'Isère. #C'est le centroïde géométrique de la commune, le centre du polygone formé par la commune library(httr) library(jsonlite) get_coord <- function(code){ url <- paste0( "https://geo.api.gouv.fr/communes/", code, "?fields=centre" ) req <- GET(url) res <- fromJSON(content(req, "text", encoding = "UTF-8")) data.frame( lon = res$centre$coordinates[1], lat = res$centre$coordinates[2] ) } #Dans cette partie on va ajouter au dataset une 3ème colonne contenant les coordonnées #du centre de chacune des 512 communes. L'utilisation de map_dfr avec un sys.sleep #a pour but de ralentir la vitesse de création du du fichier coords (50 secondes pour le tout) #car quand ça allait trop vite ça buggait library(purrr) coords <- map_dfr( communes$code_insee, ~{ Sys.sleep(0.1) get_coord(.x) } ) communes <- bind_cols(communes, coords) #On va ensuite chercher les données de distance routière (et non à vol d'oiseau) entre chaque point #Les données routières sont celles de openstreetmap library(osrm) options(osrm.server = "https://router.project-osrm.org/") options(osrm.profile = "car") pts <- data.frame( id = communes$commune, lon = communes$lon, lat = communes$lat ) #On va créer une colonne géométrie ici combinant longitude et latitude pour être #dans le même format que les données OpenStreetMap library(sf) pts <- st_as_sf( pts, coords = c("lon", "lat"), crs = 4326 ) #On crée une boucle pour aller créer une matrice contenant la distance des 512 #communes selon les 511 autres communes n <- nrow(pts) matrice <- matrix( NA, nrow = n, ncol = n, dimnames = list(pts$id, pts$id) ) taille_bloc <- 50 for(i in seq(1, n, by = taille_bloc)){ i2 <- min(i + taille_bloc - 1, n) cat("Lignes", i, "à", i2, "\n") for(j in seq(1, n, by = taille_bloc)){ j2 <- min(j + taille_bloc - 1, n) cat("Colonnes", j, "à", j2, "\n") res <- osrmTable( src = pts[i:i2, ], dst = pts[j:j2, ], measure = "distance" ) matrice[i:i2, j:j2] <- res$distances } } #On exporte cette matrice dans un fichier excel library(writexl) write_xlsx( as.data.frame(matrice), "Distances_routieres_Isere.xlsx" )

Limites

À garder en tête

  • Les clés, jetons et identifiants sont masqués ici ; les vrais sont dans l'Excel du SSP Cloud et ne doivent jamais être publiés.
  • Script fourni avec le hackathon, non relancé par le portail : les quotas, les adresses d'APIDonnées et outils : Interface de programmation. Adresse web qu'un programme interroge pour recevoir des données (souvent en JSON) au lieu de télécharger un fichier. Certaines demandent une clé d'accès, à ne jamais publier. et les versions de paquets peuvent avoir changé.