Big Data y GIS para jóvenes desempleados

 

Visualizar y analizar tu Big Data desde la perspectiva geoespacial es la mejor forma de descubrir patrones, tendencias y relaciones entre tus datos que, de otro modo, sería imposible. Esto hace del GIS una herramienta imprescindible para Data Engineer.

Esri España y KEEDIO, compañía especializada en Big Data, han unido sus fuerzas para capacitar a futuros ingenieros de datos en la Plataforma ArcGIS, ofreciéndoles la posibilidad de descubrir el potencial de los GIS dentro de este ámbito.

Por este motivo, el próximo 17 de enero, Esri España presentará una ponencia en el curso: Big Data – Conceptos Técnicos y Operaciones, Programación e Introducción a Scala, un curso dirigido por KEEDIO y destinado a capacitar a jóvenes desempleados en las tecnologías más demandadas por el mercado laboral, garantizando su incorporación a empleos relacionados con las TIC y la Economía Digital.

Durante esta sesión, que correrá a cargo de Antonio Fernández, Marketing Industry Manager de Sectores y Canal de Esri España, los alumnos profundizarán en la importancia de los datos geoespaciales y su potencial en el análisis de datos multiestructurados. De este modo, los asistentes se adentrarán en la tecnología GIS, de vital importancia actualmente en cualquier sector, y con una demanda especialmente alta de profesionales en el mercado.

 

Red.es: Iniciativa Industria 4.0

Este programa de formación para jóvenes desempleados tiene su origen en la iniciativa Industria 4.0 llevada a cabo por Red.es y que resultó adjudicada por concurso público a KEEDIO.

 

 

 

Te invitamos a nuestra jornada The Science of Where en Galicia

 

La evolución de la Plataforma ArcGIS, la nueva generación del GIS, está diseñada para proporcionar a las organizaciones un nuevo lenguaje visual que mezcla la potencia del análisis y visualización para conectar datos en tiempo real, trabajar con Big Data, IoT, cloud, etc.

Con esta evolución hemos conocido The Science of Where, la ciencia que nos permite hacer una explotación óptima de nuestros datos y también la ciencia que ayuda a las comunidades a ser cada vez más inteligentes. Es el caso de Galicia, donde diferentes organismos públicos regionales, provinciales y municipales han encontrado en la Plataforma ArcGIS una solución integrada para explotar y compartir sus datos.

 

Jornada The Science of Where: Galicia Inteligente

El 19 de enero el equipo de Esri organizará en Santiago de Compostela la Jornada The Science of Where, durante la cual mostraremos las novedades de nuestra tecnología, así como su aplicación real en distintas organizaciones gallegas.

A lo largo de la sesión, diferentes organismos como el Ayuntamiento de Santiago de Compostela, a la cabeza en innovación tecnológica y medio ambiente, compartirá su experiencia con los asistentes. Asimismo, organizaciones como TYSGAL, AMTEGA y Banco de Terras de Galicia también presentarán sus proyectos GIS más representativos.

 

Echa un vistazo a la agenda del evento y ven a conocer los proyectos que están haciendo de Galicia una región cada vez más inteligente. ¡Te esperamos!

 

Inscripción

 

“Stranger GIS” o cómo analizar la serie Stranger Things con la Plataforma ArcGIS

Todo el mundo tenemos una serie o película favorita. En Esri somos especialistas en analizar espacialmente cualquier tema o aspecto de índole geográfico. Fede López, nuestro compañero del área de Tecnología e Innovación, nos presentó una serie de apps con una temática muy concreta: la serie Stranger Things de Netflix. ¿Quieres conocer cómo se aúnan sus dos pasiones, Stranger Things y la geografía? Sigue leyendo el post.

¡Aviso a spoilers! Si aún no has visto la segunda temporada, algunos de los ejemplos mostrados tratan sobre una de las muchas historias que se narran en la serie. No desvelan información crucial acerca de la trama principal, pero si prefieres no saber nada de antemano, te aconsejamos no sigas leyendo.

Aunque la trama de la serie se desarrolla en Hawkins, una pequeña ciudad del estado de Indiana, en realidad Hawkins no existe y de hecho la serie se ha grabado en distintas localizaciones del estado de Georgia. Por ello surgió la siguiente pregunta, si la mayoría de los personajes de la serie se dedican a oficios de índole rural, ¿ocurre lo mismo en estas ubicaciones reales? Fede quiso analizar el perfil de los habitantes de los condados del estado de Georgia, y para ello usó datos abiertos del portal Open Data.

Los sectores económicos en los que se divide la población activa en EE.UU. son diferentes a la división de España y para conocer mejor el perfil de los habitantes, se intentó buscar similitudes con algunos de los personales de la serie. Por medio de Arcade se configuraron las ventanas emergentes del mapa. Puedes explorar y descubrir qué porcentaje de habitantes se dedica a cada sector y a qué personaje de la serie se le podría asociar. Curioso, ¿no? Fede usó también Arcade y una paleta de color muy “stranger” para simbolizar las categorías del mapa dándole además transparencia a los condados según la predominancia de un sector económico u otro en la población activa.

Dustin es uno de los personajes favoritos de Fede en la serie. En la segunda temporada, Dustin se echa un amigo muy peculiar, D’Artagnan. Dustin está entusiasmado con “Dart”, cuida de él, lo alimenta y le da un hogar, pero de repente desaparece. ¿Cómo poder encontrarlo con la tecnología ArcGIS? Dustin podría haber usado una de las plantillas de ArcGIS Online para crear un GeoFormulario y poder compartirla públicamente, de forma que cualquier persona que avistase a D’Artagnan, lo pudiese notificar. E aquí el resultado de todos los avistamientos de esta criatura en el estado de Georgia en un cuadro de mando web creado con Operations Dashboard.

Como podemos observar, la información que recogen estos avistamientos es sensible y a Dustin no le interesa que todos estos datos lleguen a sus amigos. En ArcGIS Online existe la posibilidad de crear vistas de los datos, en donde poder configurar qué campos mostrar y cuáles no, sin necesidad de duplicar feature layers. Os dejamos el mapa y el cuadro de mando asociado que se podría crear para compartir la info con el resto de la pandilla.

 

En Esri no siempre trabajamos de manera seria con la tecnología, como has visto en el post de hoy. Os animamos a que exploréis las nuevas capacidades de la Plataforma ArcGIS, como Arcade o las vistas de datos alojados, y si podéis, desde otro punto de vista. ¿Os ha gustado esta entrada de “Stranger GIS”? ¡Pues compártela en tus redes!

 

Story Map: Día Mundial de la Lucha contra el SIDA

story map sida

El 1 de diciembre se celebra el Día Mundial de la lucha contra el SIDA. El Síndrome de Inmunodeficiencia Adquirida o VIH se conoce desde 1981 cuando empezaron a detectarse los primeros brotes. Desde entonces, gracias a la investigación, a las buenas prácticas y a los tratamientos antirretrovirales hemos conseguido que el VIH pase de ser una enfermedad mortal a una enfermedad crónica en muchos caso.

Sin embargo, nuevamente, la Geografía tiene mucho que decir en este logro, ya que el dibujo del SIDA es totalmente distinto dependiendo de país del que hablemos.

 

 

Hoy compartimos con vosotros el story map: Día Mundial de la lucha contra el SIDA el que analizaremos el SIDA desde 6 visiones diferentes:

  • Porcentaje de población que vive afectada por el VIH
  • Predominancia de género en las nuevas infecciones por VIH
  • Población infantil de nueva infección
  • Cobertura de tratamiento de mujeres embarazadas
  • Disponibilidad de medicación antirretroviral
  • Porcentaje de población que conoce su estado serológico

Estos mapas, realizados con datos oficiales procedentes de diferentes organizaciones internacionales como ONUSIDA o Cruz Roja, entre otras, nos dan una visión completa de cuál es la situación de esta enfermedad en los países de los que disponemos de datos oficiales.

 

Haz tu propio Story Map

Si tú también tienes una causa, te invitamos a crear tu propio Story Map. En nuestra web encontrarás tutoriales y guías para que lo ajustes a tus conocimientos y necesidades.

 

Trabajando con Big Data y ArcGIS

“Los datos son la nueva ciencia. El Big Data son las respuestas”. Pat Gelsinger. Director ejecutivo de VMware

Cuando hablamos de conjuntos de datos que por su estructura y diversidad hacen inadecuado su procesado desde los sistemas tradicionales, hablamos de Big Data. Pero lo importante del Big Data no es esta idiosincrasia, lo importante es lo que las organizaciones pueden hacer con esos datos para ayudarles a tomar decisiones estratégicas, y a la hora de tomar la mejor decisión algo que no podemos olvidar es la importancia de contemplar la variable geográfica.

¿Cuál es el valor para mi negocio del Big Data?

Sin duda, es la pregunta que muchas organizaciones se están planteando y que no todas son capaces de resolver. Sin embargo, hay algo común en los problemas de Big Data ¿qué problema podemos resolver con los datos que tenemos y cuánto tiempo y recursos tenemos para hacerlo? Porque éstas son realmente, las cuestiones que limitan nuestro posible análisis. Por ejemplo, ¿puedo responder, en una situación de emergencia y en menos de 30 min, a la cuestión de dónde será más probable que se encuentre un barco a la deriva consultando el registro histórico de posiciones de barcos en la misma zona dadas unas condiciones meteorológicas determinadas? Responder a esta pregunta podría llevarnos días en un entorno tradicional, pero en una solución de Big Data podemos resolverla en una ventana temporal que realmente es útil para mi organización.

¿Por qué es importante la componente espacial en el Big Data?

Para responder a esta pregunta debemos partir de un hecho incuestionable: todo lo que sucede, sucede en algún lugar. Y no sólo eso, sino que una gran parte de los datos que se generan tienen una ubicación espacial explícita o implícita, explícita cuando los datos tienen coordenadas, e implícita cuando podemos obtener la ubicación a partir de una dirección o a partir en Tweet como éste: “Disfrutando de un helado con mis amigos de Roma en el centro de Sevilla.” En este último caso, si el Tweet no está georreferenciado podemos utilizar sistemas de procesado de lenguaje natural para deducir que la ubicación es el centro de Sevilla y no Roma.

Entonces, si disponemos de datos que podemos ubicar espacialmente, lo más lógico será que tengamos en cuenta esta variable a la hora de analizar nuestra información, así obtendremos el mayor potencial de nuestros datos independientemente de su formato, de la cantidad o de la frecuencia de actualización que tengamos.

¿Qué ofrece Esri para trabajar con Big Data?

Uno de los focos principales en los que Esri invierte en I+D es en el desarrollo de herramientas de la plataforma ArcGIS que den respuesta a las últimas tendencias tecnológicas del mercado, entre las cuales se encuentra el Big Data desde hace ya unos años. Un ejemplo de esto son las GIS Tools for Hadoop, un conjunto de herramientas desarrolladas por Esri que permiten realizar análisis espacial con Big Data en Hadoop.

Pero ArcGIS no para de evolucionar, y a partir de la versión 10.5, la plataforma dispone de una nueva forma de almacenar y procesar datos vectoriales de forma distribuida, ArcGIS GeoAnalytics Server. GeoAnalytics Server es un rol de ArcGIS Enterprise que facilita el análisis y la visualización de cantidades masivas de información mediante herramientas orientadas al descubrimiento de patrones, tendencias y relaciones espaciales y temporales en los datos.

Habitualmente, en Big Data, los datos que se quieren consultar, visualizar y analizar provienen de información capturada en tiempo real, como es el caso del seguimiento de vehículos, de la información recogida de las redes sociales o de la monitorización de dispositivos sensorizados. Para realizar la ingesta, seguimiento y análisis en tiempo real de este tipo de datos, la plataforma ArcGIS pone a disposición de los usuarios ArcGIS GeoEvent Server, pieza que se integra de forma natural con GeoAnalytics Server, permitiendo así realizar análisis de la información histórica que vamos capturando de una forma rápida y sencilla.

La forma más óptima de esta integración entre GeoEvent y GeoAnalytics es mediante el Spatiotemporal Big Data Store, un tipo especial de ArcGIS Data Store basado en tecnología de almacenamiento distribuido que escala en capacidad y rendimiento.

Este tipo de Data Store soporta el archivado de grandes volúmenes de datos, la lectura y escritura a gran velocidad, y la visualización de los datos en el mapa de forma agregada y renderizada al vuelo, como se muestra en la siguiente imagen.

Una vez que los datos están en el Spatiotemporal Big Data Store, o en otro de los  tipos de almacenamiento soportado por GeoAnalytics, ya se puede comenzar a extraer información valiosa de esos datos que ayude en la toma de decisiones estratégicas de nuestro negocio utilizando las herramientas de análisis.

¿Qué tipos de análisis puedo realizar?

Las herramientas de GeoAnalytics están orientadas a la obtención de patrones y a la agregación de los datos contemplando la variable espacial y temporal. Estos análisis son flujos de trabajo conocidos para los analistas SIG, pero han sido rediseñados para trabajar con Big Data y contemplar la componente temporal.

Las herramientas se clasifican en las siguientes categorías:

  • Herramientas de agregación de datos. Son herramientas que nos permiten resumir la información entre una o varias capas de información utilizando recuentos y estadísticas de los datos. Por ejemplo, podemos responder a la pregunta: ¿cuántas personas entran en cada tienda de un centro comercial por hora?
  • Herramientas de obtención de patrones. Son aquellas que facilitan la búsqueda, identificación y visualización de patrones significativos en nuestros datos. Puede responder a preguntas como, ¿cuál es la zona en la que es estadísticamente más probable que se produzca un robo?
  • Herramientas de búsqueda de ubicaciones. Estas herramientas buscan ubicaciones en función de unos criterios especificados. Por ejemplo, ¿cuáles son las mejores ubicaciones para abrir tres nuevas tiendas en función del histórico de ventas del último año?
  • Herramientas de cálculos de proximidad. Son aquellas herramientas que ayudan a descubrir qué cosas están cerca de otras. Ayuda a responder preguntas como: ¿qué ciudades están a menos de 100 km de los terremotos que han sucedido en los últimos 10 años?
  • Herramientas de administración de datos. Son herramientas auxiliares que nos ayudan a gestionar nuestra información en el día a día, como, por ejemplo, copiar los datos que tengo en el mapa al Data Store.

GeoAnalytics Server está integrado con la plataforma ArcGIS, de forma que los resultados de todos estos análisis quedan disponibles mediante un servicio de entidades para que el analista lo comparta con otros miembros de la organización con tan sólo unos pocos clics.

¿Cómo se accede a las herramientas?

Acabamos de decir que GeoAnalytics está integrado completamente con la plataforma ArcGIS, por esta razón la interfaz se ha diseñado para mantener la experiencia de usuario, de modo que para un analista es transparente trabajar con una herramienta de análisis tradicional, o con una herramienta de análisis que en realidad está haciendo un procesamiento de la información de forma distribuida. Esto es así porque los análisis de GeoAnalytics se exponen como servicios de geoprocesamiento en ArcGIS Enterprise, de modo que un usuario puede ejecutarlos desde ArcGIS Pro o el visor del portal mediante una interfaz gráfica e intuitiva, y un desarrollador puede ir más allá y utilizarlos desde el ArcGIS API for Python o directamente mediante llamadas REST para automatizar procesos.

Aunque en este post hablamos de Big Data haciendo especial hincapié en el análisis de información vectorial, ArcGIS también puede analizar imágenes y datos raster de forma distribuida con otro rol de ArcGIS Enterprise, ArcGIS Image Server, lo cual puede ser necesario, por ejemplo, cuando se dispone de imágenes grandes y de muy alta resolución que deben ser analizadas y actualizadas todas las noches.

ArcGIS Enterprise es la pieza clave de ESRI cuando queremos explotar toda la potencia de nuestros datos: tiempo real, Big Data, imágenes… y todo eso desde cualquier lugar y en cualquier momento.

 

Autora: Marta Dávila, Analista GIS de Esri España. Dpto. Preventas. Esri España.

Story Map: Día Universal de la Infancia

Hoy, 20 de noviembre, se celebra el Día Universal de la Infancia, un día en el que se reivindican los derechos de los menores. Sin embargo, la infancia, como etapa, no existió hasta el s.XVII.

Hoy os traemos un story map sobre la infancia en el que se aborda la historia de este concepto y algunos mapas relacionados con los niños. A lo largo de este story map se abordan diferentes cuestiones.

Educación

El acceso a la Educación no es algo factible en todos los países. En este story map se aborda el fracaso escolar en los diferentes países, analizando el número de repetidores de edad temprana (Primaria) y las tasas de abandono escolar.

 

Malnutrición

La nutrición es un tema que siempre está presente cuando hablamos de infancia. En ese sentido, la malnutrición es un problema importante no solo por la falta de acceso a alimentos, sino también por las tasas de obesidad infantil que se están alcanzando. En este story map podremos ver un mapa de la malnutrición que afecta tanto a países desarrollados como subdesarrollados por cuestiones diferentes.

 

Parques temáticos

La infancia también está vinculada con la imaginación. Tanto es así que existen centenares de parques y centros alrededor del planeta destinados a preservar la imaginación de los niños. En este story map encontrarás un mapa dedicado a los mayores parques temáticos del mundo, así como otras actividades de ocio para niños.

 

Esperamos disfrutéis de este paseo por algunas cuestiones relacionadas con la infancia. Por cierto, hablando de niños, ¿sabéis cuáles fueron los nombres que más padres eligieron para sus hijos en 2016? también encontraréis un mapa sobre este tema.

 

Si tú también quieres hacer este tipo de storymaps, te animamos a descubrir ArcGIS Online.

Machine Learning en la plataforma ArcGIS

El término Machine Learning (ML) se conoce como aprendizaje automático o aprendizaje de máquinas siendo una rama de la Inteligencia Artificial (IA), cuyo objetivo es el desarrollo de técnicas que permitan aprender a los ordenadores. Los campos de aplicación son múltiples, como el fraude de uso de tarjetas de crédito, reconocimiento del habla, teledetección, etc. y ya están empezando a ser parte de nuestras vidas.

Machine Learning y GIS

La conjunción de los Sistemas de Información Geográfica y el ML es el nuevo paso de integración de estas poderosas tecnologías para responder preguntas aparentemente incontestables. Este artículo es un claro ejemplo que permite predecir dónde están creciendo las algas marinas en el mundo en base a una serie de parámetros como la temperatura, la salinidad, los nutrientes, etc. y herramientas de análisis como Empirical Bayesian Kriging (EBK), combinado con clasificadores que modelan las relaciones entre las condiciones oceánicas y las del alga marina con precisiones por encima del 95%.

En la pasada Conferencia Esri España 2017, Ignacio Vázquez nos mostró en la sesión plenaria los resultados de este proyecto en ArcGIS Pro

Otro ejemplo de ML muy interesante relacionado con los Sistemas de Información Geográfica es la creación de modelos predictivos en base al seguimiento de cultivos vía imágenes de satélite con alta resolución temporal (imágenes capturadas cada pocos días sobre la misma zona). Esta técnica permite hacer seguimiento de los diferentes cultivos que pueden tener una firma espectral muy similar donde los ciclos de crecimiento estacional son diferentes, y nos ayudan no solamente a diferenciarlos, si no también a realizar estimaciones de producción.

Las imágenes como fuente de datos para ML pueden ser de diferentes tipos, lo que proporcionan características ideales para un tipo de escenario u otro:

  • Pancromáticas: son imágenes monobanda (normalmente se visualizan en escala de grises)
  • Multiespectrales: que contienen varias bandas o canales en diferentes zonas del espectro electromagnético (generalmente inferior a 50 bandas o canales)
  • Hiperespectrales: es el equivalente a una multiespectral donde el número de bandas es superior a 50. Un mayor número bandas permite discriminar con mucha más precisión los elementos en las imágenes
  • Radar: imágenes capturadas en la zona del espectro radar. Capaces de detectar movimientos de tierras de milímetros, e incluso calcular el deshielo en los polos, gracias a la capacidad de penetración en el hielo de determinados tipos de ondas radar.

Diferencia entre imagen multiespectral frente a hiperespectral. Fuente: Harris

Existen otras características en las imágenes que las hacen más idóneas para unos fines u otros como el tamaño de celda (resolución espacial) y la resolución espectral (número de valores posibles que puede discernir en una celda). No es viable identificar vehículos a motor en imágenes dónde el tamaño de pixel es de 10 m (10 m x 10 m = 100 m2), pero sí en imágenes con 1 m de resolución de pixel.

Puedes revivir la sesión técnica sobre imágenes que impartimos en la Conferencia Esri España 2017 donde Yansa Tejada e Isaac Medel mostraron las diferentes herramientas que la plataforma ArcGIS posee para su aplicación en teledetección.

Algoritmos de Machine Learning

Los algoritmos de ML usados en teledetección pueden agruparse en 2 categorías:

  • Supervisados: de los cuales se disponen de datos históricos de entrada y los resultados van mejorando según se va entrenando al sistema, buscando objetivos concretos. Los podemos englobar en clasificadores, regresiones y algoritmos de predicción
  • No supervisados: es de tipo exploratorio, se implementan a través de técnicas de agrupación (clustering) y asociaciones eficaces para el reconocimiento de patrones y obtener información no deducible sin conocer los datos.

¿Qué algoritmos se usan con más frecuencia?

Son muchos los algoritmos existentes y nuevos que se van creando con el tiempo. A continuación, nombramos los más conocidos.

  • Support Vector Machine Classifer (SVM) es un clasificador supervisado que normalmente requiere menos muestras de entrenamiento que la mayoría de los clasificadores, no requiere que las muestras estén distribuidas bajo ningún tipo de patrón, genera poco ruido y puede ser aplicado a cualquier tipo de imagen.
  • Arboles de Decisiones
  • Redes Neuronales
  • Bosques Aleatorios

¿Cómo se pueden mejorar los resultados con estos algoritmos?

Hay varias maneras de mejorarlos, pero una de las más conocidas y que más se usa es la segmentación de imágenes, que abre un abanico de posibilidades muy grandes, dado que permite “agrupar” en una imagen objetos con características parecidas de color, textura, área, etc. lo que ayuda a los algoritmos de ML a reconocer objetos y patrones de una manera más eficiente aumentando la calidad del resultado y abriendo otras posibilidades que con los algoritmos tradicionales sería más complejo.

¿Qué herramientas de ML encontramos en la plataforma ArcGIS?

Os presentamos este enlace que ofrece un listado completo de los diferentes clasificadores que se pueden encontrar en la plataforma, donde muchos de ellos pueden englobarse dentro de la categoría de ML.

En Esri estamos apostando por la creación de flujos de ML donde podemos ir mejorándolos, en base a las herramientas que nos ofrecen y así poder replicarlo en otras imágenes de características similares. Aquí podéis ver el flujo detallado de clasificación de imágenes en ArcGIS Pro.

La tecnología avanza permitiendo a la inteligencia artificial desarrollar modelos predictivos cada vez más certeros. De este paradigma se habló, entre otros, en la mesa de expertos sobre IA y Big Data en la pasada Conferencia Esri España.

¿Quieres conocer cómo sacar el máximo provecho a tu ArcGIS y sus capacidades en ML? Ponte en contacto con nosotros.

A %d blogueros les gusta esto: