Resumen de Normalización y geocodificación masiva de direcciones postales mediante procesos ETL y los servicios web del callejero digital de Andalucía unificado (CDAU)
Geoffroy Detry, Javier Villarreal Piqueras, Joaquín López Flores
- español
El Inventario de Sedes y Equipamientos de la Junta de Andalucía (ISE) ofrece una visión global de la ubicación de los servicios prestados por la administración andaluza, ofreciendo tanto la localización geográfica como los datos alfanuméricos más relevantes de cada servicio. El ISE solventa los problemas asociados a la gran dispersión de datos y formatos en los que cada organismo responsable los publica, integrándolos en una única base de datos PostgreSQL/PostGIS normalizada que puede ser consultada mediante un visualizador web y servicios interoperables.Una de las tareas principales en el ISE es tratar la información de partida para que las direcciones postales sean normalizadas y que cada equipamiento o sede sea localizado a través de un punto geométrico. Estas operaciones (normalización y geocodificación), se ejecutan de forma automática utilizando el servicio WPS (Web Processing Service) del Callejero Digital de Andalucía Unificado (CDAU), fuente oficial de referencia de vías y portales en Andalucía. Para facilitar la tarea, las consultas han sido automatizadas dentro de flujos de trabajo implementados mediante la herramienta ETL Kettle, uno de los productos de la suite Pentaho Data Integration. Para ello, se invocan recursivamente las funciones de normalización y de geocodificación mediante el protocolo de comunicación REST y se interpreta la respuesta devuelta en formato JSON aislando los valores de interés (tipo de vía, nombre de vía, número de portal y juego de coordenadas) y generando las geometrías correspondientes.
- English
The Inventory of headquarters and public services of «Junta de Andalucía» (ISE) offers a global vision of the location of the services provided by the Andalusian Regional Government, offering both the geographical location and the most relevant alphanumeric data. The ISE solves the problems associated with the great dispersion of data and formats in which each responsible body publishes them, integrating them into a single standardized PostgreSQL/PostGIS database that can be consulted through a web viewer and interoperable OGC web services.A major task of the project is to process the starting information so that the postal addresses are normalized and that each facility or headquarter is located through a geometric point. These operations (normalization and geocoding) are executed automatically using the web processing service (WPS) of the Unified Digital Street Map of Andalusia (CDAU), the official reference source for roads and portals in Andalusia. To facilitate the task, the queries have been automated within workflows implemented using the ETL Kettle tool, one of the products of the Pentaho Data Integration suite. To do this, the normalization and geocoding functions are recursively invoked through the REST communication protocol and the response returned in JSON format is interpreted, isolating the values of interest (road type, road name, gate number and set of coordinates) and generating the corresponding geometries.
