Tout comprendre des imports des données de la Ville

Voilà plus de deux mois que nous travaillons en coulisses pour préparer les processus d'import des données de la Ville de Montréal, et je pense qu'il est grand temps de faire un point sur notre avancement.

Concrètement, nous proposons le modèle suivant pour gérer les imports de données de la Ville de manière communautaire. Ce n'est pas un schéma restrictif sur la manière de faire, mais plutôt un socle qui servira de base à nos efforts et qu'il est possible voire souhaitable d'adapter aux spécificités propres à chacun des jeux de données.

1. Adoption d'un jeu de données
L'import des données ne peut se faire que s'il y a au moins une personne dans la communauté OSM qui s'y intéresse. Logique. Il y a actuellement une trentaine de jeux de données géographiques qui ont été recensés. Jetez un œil à la liste, il y en a probablement qui correspondent à vos centres d'intérêts.

2. Documentation du jeu de données
Il va ici s'agir de voir comment ces données brutes peuvent s'intégrer dans OpenStreetMap. Le point de départ pour cela est de comparer chacune des informations fournies par la ville avec les tags acceptés par OSM pour caractériser ces points d'intérêts. La page Map Features du wiki d'OSM est en général d'une grande aide pour cela.
Il faut aussi imaginer comment toutes les étapes suivantes vont se dérouler, et anticiper les éventuels problèmes et particularités de ce jeu de données. Seul ou en groupe, le but est de rédiger sur le wiki une documentation claire et permettant de répondre à toutes les questions que sont susceptibles de se poser les contributeurs participant à cet import.

3. Appels à commentaires
Une fois la documentation considérée comme étant suffisamment complète, c'est le moment de la présenter à tous. Venez nous présenter votre travail de documentation en envoyant un appel à commentaire sur cette liste de diffusion et éventuellement celle de talk-ca, Il s'agira de recueillir les avis et les idées des autres contributeurs, et de régler tous ensemble les derniers détails ou les points manquants.
Une fois un consensus atteint entre les différents intervenants, nous poursuivrons à l'étape suivante.

4. Préparation des données
Il nous faudra convertir les données fournies par la Ville car bien souvent celles-ci ne sont pas dans un format directement utilisable par nos outils, à commencer par JOSM. Pour cela, nous disposons d'une vaste panoplie d'applications libres, à commencer par les scripts de conversion écrits par Guillaume Pratte, spécialement pour OSM Montréal. Le but, c'est de réduire au maximum le travail que les contributeurs humains auront à réaliser : les données sont converties dans le bon format, les étiquettes sont apposées aux nœuds et aux chemins, conformément à la documentation validée à l'étape 3.
Le processus est ici bien rôdé, et nous ne devrions pas avoir de mauvaises surprises.

5. Découpe des jeux de données
La semi-automatisation de cette étape est ce qui a retenu le grand lancement des processus d'import jusqu'à maintenant, mais c'était un mal nécessaire. Il faut garder à l'esprit que certaines tâches d'importation nécessiteront des centaines d'heures de travail, qu'il est impossible de traiter seul.
Mais, les données une fois préparées sont accessibles dans un bloc monolythique pour toute l'Île, et il est difficile dans ces conditions de se répartir le travail d'importation. L'idée, c'est alors de découper la surface totale couverte par les données en petites sous-tâches qui, mises côte à côte recouvrent la zone de départ au complet. Et bien sûr, cela nécessite que les données soient prédécoupées avant d'être distribuées aux contributeurs. Aucun outil ne remplissait cette tâche jusqu'à aujourd'hui, il a fallu à la communauté OpenStreetMap Montréal prendre le temps de le fabriquer. C'est grâce au travail de Guillaume Pratte et de Mathieu Leduc-Hamel (de Montréal Python) que nous disposons désormais d'un outil performant qui permet de mener à bien cette tâche. Distribué sous licence libre, nous souhaiterions qu'il soit réutilisé par d'autres communautés locales à travers le monde.

6. Ajout de la tâche dans le gestionnaire de tâches
Il s'agit là de créer une nouvelle tâche sur notre Gestionnaire de tâches, et de faire en sorte que tout soit facilement accessible à tous les contributeurs. Nous utiliserons une copie du fantastique outil mis à disposition pour la cartographie de crise par la communauté Humanitarian OpenStreetMap Team (HOT). C'est par cet outil que se fera la distribution des tâches d'import, et donc celui que vous utiliserez le plus ! Si vous n'avez jamais participé aux imports de HOT, une bonne documentation pour commencer à l'utiliser se trouve sur le site learnosm.org.

7. Import réalisé par la communauté
Nous avons besoin de vous ! Toutes les tâches de travail seront à votre disposition sur notre Gestionnaire de tâches une fois le premier import lancé ! Sélectionnez votre carré, et vous n'avez plus qu'à suivre la documentation !

8. Vérification des données importées
Parce que quatre yeux valent mieux que deux, toute tâche marquée comme terminée doit être validée par un autre contributeur ! Cette étape sert de validation finale du travail effectué, alors il convient de ne pas la négliger. C'est de cette manière que nous serons à même de faire honneur aux données mises à notre disposition par la Ville, et d'enrichir au mieux OpenStreetMap au niveau de Montréal !
Je ne sais pas vous, mais moi, j'ai hâte de voir le premier projet d'import terminé à 100% !

Aujourd'hui, où en est-on ? Eh bien les nouvelles sont bonnes puisque tout est prêt pour débuter les premiers imports ! Quelques jeux de données simples à traiter sont d'ores et déjà documentés sur le wiki d'OSM. Dans les prochains jours, nous devrions faire un appel à commentaires (étape 3) en vue de lancer notre premier import, les Postes de police de l'île !

Des doutes subsistent quant au processus d'import ? N'hésitez plus, et envoyez vos questions sur cette liste de diffusion !
Sinon, rejoignez-nous sur la liste des jeux données intéressants mis à notre disposition par la Ville et aidez à la rédaction des processus d'import des données de la Ville. C'est en travaillant tous ensemble que nous arriverons au meilleur résultat !
Et, n'oubliez pas, nous vous donnons rendez-vous pour une rencontre des contributeurs exceptionnelle qui aura lieu mercredi prochain, le 3 décembre à partir de 18h30 au Pèlerin-Magellan.

À très bientôt !

1 Décembre 2014