Trabajando con Big Data y ArcGIS

“Los datos son la nueva ciencia. El Big Data son las respuestas”. Pat Gelsinger. Director ejecutivo de VMware

Cuando hablamos de conjuntos de datos que por su estructura y diversidad hacen inadecuado su procesado desde los sistemas tradicionales, hablamos de Big Data. Pero lo importante del Big Data no es esta idiosincrasia, lo importante es lo que las organizaciones pueden hacer con esos datos para ayudarles a tomar decisiones estratégicas, y a la hora de tomar la mejor decisión algo que no podemos olvidar es la importancia de contemplar la variable geográfica.

¿Cuál es el valor para mi negocio del Big Data?

Sin duda, es la pregunta que muchas organizaciones se están planteando y que no todas son capaces de resolver. Sin embargo, hay algo común en los problemas de Big Data ¿qué problema podemos resolver con los datos que tenemos y cuánto tiempo y recursos tenemos para hacerlo? Porque éstas son realmente, las cuestiones que limitan nuestro posible análisis. Por ejemplo, ¿puedo responder, en una situación de emergencia y en menos de 30 min, a la cuestión de dónde será más probable que se encuentre un barco a la deriva consultando el registro histórico de posiciones de barcos en la misma zona dadas unas condiciones meteorológicas determinadas? Responder a esta pregunta podría llevarnos días en un entorno tradicional, pero en una solución de Big Data podemos resolverla en una ventana temporal que realmente es útil para mi organización.

¿Por qué es importante la componente espacial en el Big Data?

Para responder a esta pregunta debemos partir de un hecho incuestionable: todo lo que sucede, sucede en algún lugar. Y no sólo eso, sino que una gran parte de los datos que se generan tienen una ubicación espacial explícita o implícita, explícita cuando los datos tienen coordenadas, e implícita cuando podemos obtener la ubicación a partir de una dirección o a partir en Tweet como éste: “Disfrutando de un helado con mis amigos de Roma en el centro de Sevilla.” En este último caso, si el Tweet no está georreferenciado podemos utilizar sistemas de procesado de lenguaje natural para deducir que la ubicación es el centro de Sevilla y no Roma.

Entonces, si disponemos de datos que podemos ubicar espacialmente, lo más lógico será que tengamos en cuenta esta variable a la hora de analizar nuestra información, así obtendremos el mayor potencial de nuestros datos independientemente de su formato, de la cantidad o de la frecuencia de actualización que tengamos.

¿Qué ofrece Esri para trabajar con Big Data?

Uno de los focos principales en los que Esri invierte en I+D es en el desarrollo de herramientas de la plataforma ArcGIS que den respuesta a las últimas tendencias tecnológicas del mercado, entre las cuales se encuentra el Big Data desde hace ya unos años. Un ejemplo de esto son las GIS Tools for Hadoop, un conjunto de herramientas desarrolladas por Esri que permiten realizar análisis espacial con Big Data en Hadoop.

Pero ArcGIS no para de evolucionar, y a partir de la versión 10.5, la plataforma dispone de una nueva forma de almacenar y procesar datos vectoriales de forma distribuida, ArcGIS GeoAnalytics Server. GeoAnalytics Server es un rol de ArcGIS Enterprise que facilita el análisis y la visualización de cantidades masivas de información mediante herramientas orientadas al descubrimiento de patrones, tendencias y relaciones espaciales y temporales en los datos.

Habitualmente, en Big Data, los datos que se quieren consultar, visualizar y analizar provienen de información capturada en tiempo real, como es el caso del seguimiento de vehículos, de la información recogida de las redes sociales o de la monitorización de dispositivos sensorizados. Para realizar la ingesta, seguimiento y análisis en tiempo real de este tipo de datos, la plataforma ArcGIS pone a disposición de los usuarios ArcGIS GeoEvent Server, pieza que se integra de forma natural con GeoAnalytics Server, permitiendo así realizar análisis de la información histórica que vamos capturando de una forma rápida y sencilla.

La forma más óptima de esta integración entre GeoEvent y GeoAnalytics es mediante el Spatiotemporal Big Data Store, un tipo especial de ArcGIS Data Store basado en tecnología de almacenamiento distribuido que escala en capacidad y rendimiento.

Este tipo de Data Store soporta el archivado de grandes volúmenes de datos, la lectura y escritura a gran velocidad, y la visualización de los datos en el mapa de forma agregada y renderizada al vuelo, como se muestra en la siguiente imagen.

Una vez que los datos están en el Spatiotemporal Big Data Store, o en otro de los  tipos de almacenamiento soportado por GeoAnalytics, ya se puede comenzar a extraer información valiosa de esos datos que ayude en la toma de decisiones estratégicas de nuestro negocio utilizando las herramientas de análisis.

¿Qué tipos de análisis puedo realizar?

Las herramientas de GeoAnalytics están orientadas a la obtención de patrones y a la agregación de los datos contemplando la variable espacial y temporal. Estos análisis son flujos de trabajo conocidos para los analistas SIG, pero han sido rediseñados para trabajar con Big Data y contemplar la componente temporal.

Las herramientas se clasifican en las siguientes categorías:

  • Herramientas de agregación de datos. Son herramientas que nos permiten resumir la información entre una o varias capas de información utilizando recuentos y estadísticas de los datos. Por ejemplo, podemos responder a la pregunta: ¿cuántas personas entran en cada tienda de un centro comercial por hora?
  • Herramientas de obtención de patrones. Son aquellas que facilitan la búsqueda, identificación y visualización de patrones significativos en nuestros datos. Puede responder a preguntas como, ¿cuál es la zona en la que es estadísticamente más probable que se produzca un robo?
  • Herramientas de búsqueda de ubicaciones. Estas herramientas buscan ubicaciones en función de unos criterios especificados. Por ejemplo, ¿cuáles son las mejores ubicaciones para abrir tres nuevas tiendas en función del histórico de ventas del último año?
  • Herramientas de cálculos de proximidad. Son aquellas herramientas que ayudan a descubrir qué cosas están cerca de otras. Ayuda a responder preguntas como: ¿qué ciudades están a menos de 100 km de los terremotos que han sucedido en los últimos 10 años?
  • Herramientas de administración de datos. Son herramientas auxiliares que nos ayudan a gestionar nuestra información en el día a día, como, por ejemplo, copiar los datos que tengo en el mapa al Data Store.

GeoAnalytics Server está integrado con la plataforma ArcGIS, de forma que los resultados de todos estos análisis quedan disponibles mediante un servicio de entidades para que el analista lo comparta con otros miembros de la organización con tan sólo unos pocos clics.

¿Cómo se accede a las herramientas?

Acabamos de decir que GeoAnalytics está integrado completamente con la plataforma ArcGIS, por esta razón la interfaz se ha diseñado para mantener la experiencia de usuario, de modo que para un analista es transparente trabajar con una herramienta de análisis tradicional, o con una herramienta de análisis que en realidad está haciendo un procesamiento de la información de forma distribuida. Esto es así porque los análisis de GeoAnalytics se exponen como servicios de geoprocesamiento en ArcGIS Enterprise, de modo que un usuario puede ejecutarlos desde ArcGIS Pro o el visor del portal mediante una interfaz gráfica e intuitiva, y un desarrollador puede ir más allá y utilizarlos desde el ArcGIS API for Python o directamente mediante llamadas REST para automatizar procesos.

Aunque en este post hablamos de Big Data haciendo especial hincapié en el análisis de información vectorial, ArcGIS también puede analizar imágenes y datos raster de forma distribuida con otro rol de ArcGIS Enterprise, ArcGIS Image Server, lo cual puede ser necesario, por ejemplo, cuando se dispone de imágenes grandes y de muy alta resolución que deben ser analizadas y actualizadas todas las noches.

ArcGIS Enterprise es la pieza clave de ESRI cuando queremos explotar toda la potencia de nuestros datos: tiempo real, Big Data, imágenes… y todo eso desde cualquier lugar y en cualquier momento.

 

Autora: Marta Dávila, Analista GIS de Esri España. Dpto. Preventas. Esri España.

Ciclo de Webinars “The Science of Where”

 

Nuestra tecnología tiene una gran capacidad para capturar datos, analizarlos, visualizarlos y consumirlos en cualquier momento, lugar y dispositivo. Conocer nuestras herramientas y sus posibilidades, así como mantenerte al día de su evolución, te va a permitir explotar todo su potencial.

Por ello hemos lanzamos el Ciclo de Webinar The Science of Where en el que, a través de un programa de seminarios online gratuitos, podrás desbloquear el valor de tus datos y hacer crecer tu organización.

ArcGIS Open Data, ArcGIS Enterprise, ArcGIS Pro, ArcGIS for Insights, Contenidos, Imágenes… Permaneced atentos a nuestro calendario y comunicaciones, que iremos actualizando a través de la sección de eventos de esri.es, y no te pierdas ninguno de ellos.

¡Abrimos inscripciones!

 

Comienza nuestro roadshow The Science Of Where en…

 

El 4 de abril damos el pistoletazo de salida al ciclo de jornadas en las que cada año mostramos la evolución de nuestra tecnología. Sin embargo, en esta ocasión, para estar a la altura de las novedades que trae ArcGIS 10.5, la evolución de la Plataforma ArcGIS que nos sitúa ante una nueva frontera tecnológica, hemos diseñado un evento diferente.

Hablamos de la Jornada The Science Of Where en…, un evento en el que, no solo nuestros técnicos presentarán una nueva generación del GIS; también nuestros clientes más representativos de cada una de las zonas que visitemos y nuestros partners presentarán sus soluciones más innovadoras. Además, celebraremos talleres en los que enseñaremos a potenciar el desarrollo de apps.

Durante este año visitaremos más de 15 ciudades donde desplegaremos todas las posibilidades que presenta nuestra nueva versión y donde pondremos en valor el trabajo de los principales organismos. Así que permaneced atentos a nuestras publicaciones para no perderos nuestro evento en vuestra región.

The Sciende Of Where en Bizkaia

Ya ha comenzado la cuenta atrás para que hagamos la primera parada. The Science Of Where en Bizkaia se celebrará el próximo 4 de abril y en ella estaremos acompañados por Lantik, el Ente Vasco de la Energía y nuestro partner Geograma. Además, Raúl Jiménez, Head of Developers & Startups Program de Esri España, impartirá un taller para enseñar a crear apps impresionantes con menos de 100 líneas de código.

Echad un vistazo a la agenda y no os perdáis esta jornada en la que os presentaremos una visión 360º de nuestra tecnología y de las posibilidades que os ofrece.

¡Inscríbete!

 

6 FAQ´s sobre ArcGIS Enterprise

what-you-get-image

Desde que comenzamos a hablar de ArcGIS 10.5 hemos estado haciendo alusión constantemente a ArcGIS Enterprise, una de las estrellas de esta nueva versión.

Sin embargo, es posible que te surjan algunas dudas como, por ejemplo: ¿ArcGIS Enterprise es lo mismo que ArcGIS for Server? ¿Desaparecerá ArcGIS Server? ¿Qué voy a poder hacer a partir de ahora?

Bien, vayamos por pasos.

 

¿Qué es ArcGIS Enterprise?

ArcGIS Enterprise es la evolución de ArcGIS for Server, una plataforma completa de cartografía y análisis que incluye un potente servidor de servicios web además de una infraestructura Web GIS que te permitirá organizar, crear y compartir tu trabajo desde cualquier lugar, en cualquier momento y desde cualquier dispositivo.

¿Por qué hemos evolucionado ArcGIS for Server?

Hemos evolucionado ArcGIS for Server para dar respuesta a las necesidades de nuestros usuarios, cada vez más amplias y sofisticadas. El nuevo nombre, ArcGIS Enterprise, refleja esta evolución y el avance en su capacidad para resolver retos y ofrecer soluciones.

¿Desaparecerá ArcGIS for Server?

ArcGIS for Server no desaparecerá. ArcGIS Enterprise incluye ArcGIS Server y todo que necesitas para poner en marcha tu propia infraestructura Web GIS. Estos son los componentes incluidos en ArcGIS Enterprise y diseñados para trabajar conjuntamente:

  • ArcGIS Server: es el core, un componente para publicar capas, mapas, análisis, geocodificadores, etc.
  • Portal for ArcGIS: te permite compartir mapas, aplicaciones y cualquier tipo de información geográfica con tu organización.
  • ArcGIS Data Store: permite configurar el almacenamiento de datos para el alojamiento y los servidores federados utilizados con su implementación.
  • ArcGIS Web Adaptor: permite integrar tu ArcGIS Server y Portal for ArcGIS con el web server que ya tienes y los mecanismos de seguridad de tu organización.

No olvides que ArcGIS Enterprise incluye también el contenido del Living Atlas of the World y una completa suite de apps para todos tus proyectos con información espacial.

¿Cómo puedo desplegarlo?

ArcGIS Enterprise es muy flexible, ajustándose a las necesidades de tu infraestructura. Por eso puede desplegarse del siguiente modo:

  • En tu propia infraestructura
  • En la nube (a través de los servicios de Amazon o Microsoft Azure)
  • Como Software as a Service

 

¿Qué se puede hacer con ArcGIS Enterprise?

  • Potenciar las posibilidades analíticas de vuestro GIS.
  • Simplificar la búsqueda y análisis de datos espaciales a través de mapas y gráficos.
  • Hacer que las analíticas espacio-tiempo sean mucho más rápidas gracias a la potencia de un entorno distribuido.
  • Construir vuestros propios flujos de análisis ráster y de imágenes para procesar bases de datos masivas de forma más rápida.
  • Conectar y difundir datos procedentes de sensores, dispositivos y redes sociales en tiempo real.
  • Todo esto será posible gracias a Insights for ArcGIS, ArcGIS GeoAnalytics Server, ArcGIS Image Server y ArcGIS GeoEvent Server. 

 

¿Seré capaz de explotar toda la capacidad de ArcGIS Enterprise?

Esri ha preparado multitud de recursos (desde documentación a soporte técnico, cursos, seminarios gratuitos, etc.) que te ayudarán a sacar lo mejor de ArcGIS Enterprise. Además, nosotros comenzaremos enseguida nuestros seminarios para presentar ArcGIS 10.5, que como siempre serán de carácter gratuito y en diferentes puntos del país, y con los que no solo te mostraremos esta nueva versión sino que resolveremos tus dudas. ¡Permanece atento!

 

Esperamos haberte aclarado algunas cosas de ArGIS Enterprise. No obstante, si tienes alguna duda, ponte en contacto con nosotros a través de informacion@esri.es

¡Llega ArcGIS 10.5! La transformación del GIS empresarial

 

banner_arcgis

Llega ArcGIS 10.5, una versión que transformará el GIS corporativo. ArcGIS 10.5 va a permitir desplegar un GIS completo en tu propia infraestructura o en la nube, así como en Software as a Service, pudiendo trabajar de forma más segura, eficiente y escalable con toda tu organización.

 

¿Qué capacidades trae ArcGIS 10.5?

 

  1. Una nueva tecnología llamada ArcGIS Enterprise.

ArcGIS Enterprise, antes conocida como ArcGIS for Server, mejorará la forma en la que se colabora y comparte la información entre departamentos y fuera de la organización. ArcGIS Enterprise se despliega en la propia infraestructura local o en infraestructuras cloud comunes como AWS y Microsoft Azure, así como en SaaS.

Además, ArcGIS Enterprise amplía las capacidades análíticas del siguiente modo:

  • Simplifica la búsqueda y análisis de datos espaciales a través de mapas y gráficos gracias a Insights for ArcGIS.
  • ArcGIS GeoAnalytics Server hace que las analíticas espacio temporales sean considerablemente más rápidas gracias a la potencia de un entorno distribuido.
  • Con ArcGIS Image Server se podrán construir flujos de análisis ráster y de imágenes para procesar bases de datos masivas de forma más rápida.
  • El IoT también estará presente, ya que ArcGIS GeoEvent Server permite conectar y difundir datos procedentes de sensores, dispositivos y social media en tiempo real.

 

  1. ArcGIS Pro 1.4, la revolución del GIS de escritorio.

ArcGIS Pro incluye herramientas para el análisis de grandes volúmenes de datos e imágenes ráster que se conectan a ArcGIS GeoAnalytics Server, ArcGIS GeoEvent Server y ArcGIS Image Server, por lo que los usuarios pueden analizar resultados y generar información de forma más rápida, así como compartirla más ágilmente con la organización

 

  1. ArcGIS Online, una plataforma SaaS completa para generar mapas y análisis

ArcGIS Online trae en esta nueva versión un GIS con capacidades más evolucionadas, una importante mejora en experiencia de usuario y una mejor fórmula para gestionar las cuentas y compartir el trabajo dentro y fuera de la organización.

Por otro lado, una de las actualizaciones que trae ArcGIS Online en esta nueva versión es que el Esri Vector Tiles Basemaps  ya no está en Beta. Los nuevos mapas base vectoriales traen nueve estilos procedentes de datos comerciales, comunitarios y código abierto. Los estilos incluyen un mapa gris oscuro, otro gris claro, tres variaciones de callejero, un mapa base de terreno con etiquetas, navegación, topografía y un híbrido de imágenes.

 

¿Te gusta? ¡Pues todavía hay más! Descubre ArcGIS 10.5 y exprime tus datos hasta sacarles el máximo potencial. ¡La tecnología que necesitabas ya está aquí!

 

A %d blogueros les gusta esto: