OSGeo Planet

gvSIG Team: El Circuit de Cheste estrenará un sistema pionero para dar respuesta a emergencias durante el Gran Premio de Motociclismo

OSGeo Planet - Wed, 2018-11-14 15:28

Bajo este titular ha sido referenciado hoy en la práctica totalidad de la prensa el sistema impulsado por Diputació de València, a través del área de Información Territorial de Divalterra y el Consorcio Provincial de Bomberos y desarrollado en colaboración con la Asociación gvSIG. La plataforma, basada en gvSIG Online, fue presentada en las pasadas 14as Jornadas Internacionales de gvSIG. Ver como la Suite gvSIG está formando parte de importantes proyectos, por dimensión y por su influencia en mejorar la vida de los ciudadanos, es algo que nos produce una enorme satisfacción.

Os dejamos con la información extraída de la nota de prensa oficial y con un vídeo de presentación de la solución:

El Circuit Ricardo Tormo de Cheste estrenará el fin de semana del 16 al 18 de noviembre, durante la celebración del Gran Premio de Motociclismo, un sistema pionero de gestión de emergencias para prevenir y dar la respuesta más ágil a los incidentes que puedan registrarse tanto en el recinto como en el entorno del Circuit, incluidas las carreteras de acceso y los núcleos de población cercanos.

Se trata de un servidor cartográfico que utiliza tecnología GIS e incluye los datos procedentes del Plan de Autoprotección del Circuito, y se presenta de manera digital a través de cualquier equipo informático. De esta manera, se agilizan las consultas y se dispone al momento de todo tipo de información de utilidad para dar respuesta a las emergencias. El servidor cartográfico permitirá agilizar la gestión de cualquier incidente de seguridad. De esta manera, se agilizan las consultas y se dispone al momento de todo tipo de información de utilidad para dar respuesta a las emergencias.

Además, desde el Consorcio Provincial de Bomberos se dará acceso a esta herramienta informática a todos los organismos implicados en garantizar la seguridad en la concentración deportiva, como Delegación de Gobierno, Guardia Civil, Generalitat Valenciana y la propia seguridad del Circuit, con el fin de asegurar una máxima coordinación entre todas las partes.

El oficial jefe de Prevención del Consorcio Provincial de Bomberos de Valencia, Jorge Sánchez, explica que “la cantidad de información que nos aporta, agiliza de manera muy importante la toma de decisiones en momentos en los que cada segundo que se gane puede ser vital”.

Sánchez indica que “en España no hay ningún organismo con una herramienta GIS tan potente como esta para la gestión de emergencias” y avanza que “ya se está trabajando para aplicarla a otras infraestructuras como los edificios de la Universidad, Metrovalencia, las Fallas, etc”.

El director del Proyecto, Antonio Mas, explica que “el proceso se ha desarrollado en completa coordinación con el Consorcio de Bomberos, para asegurar que las funcionalidades que se iban desarrollando desde Divalterra eran las que realmente resultaban de utilidad para ellos”.

Para ello, se recopiló toda la documentación existente, que estaba en formato papel, y tras la definición de los términos y cartografía a implementar, se procedió a elaborar todos los mapas en formato digital. Una vez implementada la parte gráfica, se procedió al volcado de toda la documentación recopilada.

Así, recoge imágenes y datos detallados sobre los accesos y salidas del recinto, elementos de protección, recorrido hasta los accesos, rutas de evacuación, gradas, locales, recintos y edificios, y también todas las actividades de riesgo de empresas próximas, así como el posible transporte de mercancías peligrosas.

De esta manera, este servidor cartográfico permite, ante una emergencia, saber en qué punto exacto se ha producido el incidente y a qué distancia se encuentran los accesos y salidas más cercanas, cuál es el recorrido, los hidrantes más próximos, las características de la infraestructura donde se ha producido, si existen elementos colindantes o las zonas industriales próximas y sus planes de evacuación, entre otra información de utilidad.

Categories: OSGeo Planet

Fernando Quadro: Usando pycsw com o GeoNode

OSGeo Planet - Wed, 2018-11-14 10:30

O CSW é um padrão para expor um catálogo de entidades geoespaciais através do procotolo HTTP. Em um portal GeoNode, os pontos de extremidade (endpoints) do CSW são fornecidos pelo pycsw, que é um componente subjacente do GeoNode. Alternativamente, se necessário, é possível substituir o pycsw pelo GeoNetwork.

No GeoNode, você pode acessar facilmente o registro CSW de uma camada, clicando no botão Baixar Metadados na página da camada. Um formulário aparecerá e você poderá acessar os metadados fornecidos pelo pycsw em uma série de diferentes formatos (Atom, Dublin, FGDC, Text, HTML e muitos outros).

Por exemplo, ao clicar no link ISO, você acessará os metadados da camada no formato ISO, que corresponde a essa solicitação GetRecordById no pycsw:

http://localhost:8000/catalogue/csw?outputschema=http%3A%2F%2Fwww.isotc211.org%2F2005%2Fgmd&service=CSW&request=GetRecordById&version=2.0.2&elementsetname=full&id=8bcf5bfc-5cfc-11e7-8103-02d8e4477a33

Você também pode notar outras informações que foram geradas pelo GeoNode nos bastidores quando a camada foi carregada:

  • Identificador da camada, que identifica exclusivamente a camada no catálogo (observe que a solicitação GetRecordById usa esse identificador para acessar o registro)
  • Data de criação
  • Sistema de referência espacial e caixa delimitadora (BBOX)
  • URL da miniatura
  • Formato do recurso
  • Vários endpoints do OGC

Se você quiser adicionar metadados ausentes, visite a página de metadados da camada e pressione em Editar Camada > Editar Metadados.

1. Operações pycsw

O pycsw implementa todas as operações do padrão CSW, incluindo as opcionais:

  • GetCapabilities: recupera metadados de serviço do servidor
  • DescribeRecord: permite que um cliente descubra elementos do modelo de informações suportado pelo serviço de catálogo de destino
  • GetRecords: procura registros usando uma série de critérios
  • GetRecordById: recupera metadados para um registro (camada) do catálogo por seu id
  • GetDomain (opcional): recupera informações de tempo de execução sobre o intervalo de valores de um elemento de registro de metadados ou um parâmetro de solicitação
  • Harvest (opcional): cria / atualiza metadados pedindo ao servidor para “puxar” metadados de algum lugar
  • Transaction (opcional): criar / editar metadados “empurrando” os metadados para o servidor

O pycsw é uma implementação do serviço OGC CSW escrita em Python. Iniciado em 2010 (mais formalmente anunciado em 2011), o pycsw permite a publicação e descoberta de metadados geoespaciais por meio de várias APIs (CSW 2 / CSW 3, OpenSearch, OAI-PMH, SRU), fornecendo um componente de metadados e catálogo baseado em padrões para infraestruturas de dados espaciais. O pycsw é Open Source, lançado sob uma licença MIT e executado em todas as principais plataformas (Windows, Linux e Mac OS X).

Fonte: Paolo Corti

Categories: OSGeo Planet

Fernando Quadro: Mover o PostGIS de esquema

OSGeo Planet - Tue, 2018-11-13 10:30

A partir do PostGIS 2.3, a extensão do postgis foi alterada para não permitir mais a realocação. Todas as chamadas de função agora são qualificadas pelo esquema.

Embora essa alteração tenha corrigido alguns problemas com a restauração do banco de dados, ela criou o problema, pois se você instalou o PostGIS em um esquema diferente daquele que você desejava, não é intuitivo como movê-lo para um esquema diferente. Felizmente há uma maneira de fazer isso.

Para este exemplo, o PostGIS foi instalado no esquema padrão para demonstrar como movê-lo para outro esquema. Você pode executar estas etapas usando o psql, pgAdmin ou qualquer outra ferramenta desejada.

A maioria das pessoas tem seu esquema padrão configurado como public, caso você não especifique explicitamente um esquema na instalação, geralmente o PostGIS será instalado no esquema public.

CREATE EXTENSION postgis;

Agora vou criar um novo esquema para movê-lo e adicionar este esquema ao search_path:

CREATE SCHEMA postgis; ALTER DATABASE mydb SET search_path = public, postgis;

Se você estiver executando o PostGIS 2.3 ou superior, tente mudar para um esquema diferente usando o comando abaixo:

ALTER EXTENSION postgis SET SCHEMA postgis;

Isso irá falhar e o banco irá plhe apresentar o seguinte erro “ERRO: a extensão “postgis” não suporta SET SCHEMA”.

Para permitir o movimento, siga estes passos:

UPDATE pg_extension SET extrelocatable = TRUE WHERE extname = 'postgis'; ALTER EXTENSION postgis SET SCHEMA postgis; ALTER EXTENSION postgis UPDATE TO "2.4.1next"; ALTER EXTENSION postgis UPDATE TO "2.4.1";

Observe o uso da expressão next. É necessário utilizar a expressão next nesta etapa para atualizar todas as referências das funções do esquema atual para o novo do esquema. Next é projetado para permitir a atualização de uma extensão do postgis para uma versão já existente. Tentar executar UPDATE TO “2.4.1” quando você já está no 2.4.1 acionaria um erro, pois você já está nessa versão.

Fonte: PostGIS

Categories: OSGeo Planet

Marco Bernasocchi: Visualize Postgres JSON data in QML widgets

OSGeo Planet - Tue, 2018-11-13 08:00
As promised some time ago in “The new QML widgets in QGIS – When widgets get unbridled” we still owe you some fancy unicorns, but first let’s have a look at another nice feature that has been introduced in QGIS 3.4… See more ›
Categories: OSGeo Planet

Fernando Quadro: Tradução do GeoServer para o Português

OSGeo Planet - Mon, 2018-11-12 10:30

Prezado leitor,

Se você usa o GeoServer, já teve ter percebido que desde a versão 2.8.x existe um problema na tradução para o português brasileiro (pt-BR).

O que parece ter ocorrido, é que quando se foi criar os arquivos properties usaram como base os arquivos do idioma espanhol que ainda não estavam finalizados, por isso o GeoServer hoje tem termos em inglês, português e espanhol.

Eu gostaria então de convidar você, que utiliza o GeoServer e tem uma certa fluência em inglês, para que nos ajude a finalizar essa tradução para a próxima versão do GeoServer, que será a 2.15.x.

Quem se interessar, peço que se cadastre no Site Oficial da tradução:

Página Oficial de tradução do GeoServer
Página Oficial de tradução do GeoServer (Equipe pr-BR)

Quem se registrar já pode iniciar iniciar a tradução!

Categories: OSGeo Planet

QGIS Blog: User question of the Month – Nov 18

OSGeo Planet - Sun, 2018-11-11 19:11

QGIS 2.18 is the third LTR since we started this effort back in 2015 and next year will see the first LTR of QGIS 3. On this occasion, we want to learn more about our users and which versions of QGIS they use. Therefore, we invite you to our QGIS user question of the month.

Categories: OSGeo Planet

Free and Open Source GIS Ramblings: My favorite new recipe in QGIS Map Design 2nd ed

OSGeo Planet - Sat, 2018-11-10 14:58

If you follow me on Twitter, you have probably already heard that the ebook of “QGIS Map Design 2nd Edition” has now been published and we are expecting the print version to be up for sale later this month. Gretchen Peterson and I – together with our editor Gary Sherman (yes, that Gary Sherman!) – have been working hard to provide you with tons of new and improved map design workflows and many many completely new maps. By Gretchen’s count, this edition contains 23 new maps, so it’s very hard to pick a favorite!

Like the 1st edition, we provide increasingly advanced recipes in three chapters, each focusing on either layer styling, labeling, or creating print layouts. If I had to pick a favorite, I’d have to go with “Mastering Rotated Maps”, one of the advanced recipes in the print layouts chapter. It looks deceptively simple but it combines a variety of great QGIS features and clever ideas to design a map that provides information on multiple levels of detail. Besides the name inspiring rotated map items, this design combines

  • map overviews
  • map themes
  • graduated lines and polygons
  • a rotated north arrow
  • fancy leader lines

all in one:

“QGIS Map Design 2nd Edition” provides how-to instructions, as well as data and project files for each recipe. So you can jump right into it and work with the provided materials or apply the techniques to your own data.

The ebook is available at LocatePress.

Categories: OSGeo Planet

gvSIG Team: Exprime tu gvSIG mediante Scripting: Disponible el material del taller de las 5as Jornadas gvSIG Uruguay

OSGeo Planet - Sat, 2018-11-10 09:45

Con motivo de las 5as Jornadas gvSIG Uruguay (Montevideo, 18-19 octubre 2018) se impartió un taller de “Scripting: Exprimiendo / Extendiendo gvSIG ” por parte de Carlos Colombana.

Ahora se ha publicado el material de dicho taller, en el que se muestran las principales funcionalidades del módulo de Scripting, con el fin de obtener el máximo rendimiento y de expandir las capacidades de gvSIG. En él se ven las principales etapas del proceso de desarrollo de add-ons, para el caso particular de un geo-codificador de direcciones geográficas.

Podéis descargar el material para poder seguir el taller desde el siguiente enlace.

Categories: OSGeo Planet

gvSIG Team: Material del Taller de gvSIG aplicado a Geología de las 14as Jornadas gvSIG disponible

OSGeo Planet - Thu, 2018-11-08 22:34

Ya está disponible la grabación del Taller de gvSIG aplicado a Geología impartido durante las 14as Jornadas Internacionales gvSIG.

En este taller se aborda un análisis integrado que permite la toma de decisiones relacionadas con cuestiones tan dispares como la investigación de recursos minerales, la protección del patrimonio paleontológico, la rentabilidad económica de una explotación minera o su viabilidad ambiental. Todo ello a través de distintas herramientas de edición y geoprocesos de gvSIG desde una perspectiva geológica, realizando una cartografía a partir de datos tomados en campo y la planificación de una investigación geológica. Además se utilizan fuentes de información pública procedentes de diferentes administraciones.

Para realizar este taller podéis descargar la cartografía desde el siguiente enlace.

Si tenéis alguna duda sobre el manejo de gvSIG en la realización de este taller podéis utilizar la lista de usuarios del proyecto.

Y aunque los últimos minutos no estén disponibles aquí tenéis el vídeo con más de dos horas de taller para practicar:

 

Categories: OSGeo Planet

Fernando Quadro: PostGIS na Neurociência

OSGeo Planet - Thu, 2018-11-08 10:30

Tom Kazimiers trabalha como engenheiro de software no Howard Hughes Medical Institute, em um software colaborativo de reconstrução e análise de neurônios chamado CATMAID, que é usado para pesquisa em neurociência.

O PostGIS é utilizado nesse projeto para representar os neurônios em um espaço 3D. Eles consistem em pontos 3D que fazem referência a seus nós pai ou a raiz, quando eles não têm pai. Juntamente com sinapses, nuvens de pontos e malhas para modelar compartimentos em um conjunto de dados, eles modelam os aspectos espaciais do mundo da neurociência. Os usuários criam essas reconstruções neuronais manualmente de forma colaborativa, e os programas de segmentação podem ser usados ​​como fonte de dados adicional.

Usando seus índices espaciais, o PostGIS ajuda a consultar rapidamente os neurônios em um determinado campo de visão. O espaço de um único projeto contém, por vezes, centenas de milhões de pontos individuais interconectados. Também é possível fazer consultas de interseção (BBOX) entre os neurônios e as malhas dos compartimentos, que depois se refinam no front-end fazendo testes de interseção mais precisos.

Este software é usado por alguns laboratórios de pesquisa e, todos eles fazem sua própria hospedagem com um servidor dedicado. A razão principal para isso é que com conjuntos de dados maiores, eles se beneficiam de máquinas com muita RAM (> 256G), unidades SSD e muitas CPUs, além de acesso rápido a dados locais para, por exemplo, dados de imagem.

Muito interessante saber que o PostGIS funciona tão bem em contextos não-GIS também.

Fonte: PostGIS Blog

Categories: OSGeo Planet

GeoSolutions: GeoSolutions presente ad ASITA 2018

OSGeo Planet - Thu, 2018-11-08 10:00

ASITA 2018

GeoSolutions sarà presente alla 22esima conferenza nazionale ASITA dal 27 al 29 Novembre 2018 presso l'hotel Four Points Sheraton a Bolzano con un proprio stand, dove vi aspettano per parlare di come poter soddisfare i vostri bisogni attraverso i nostri prodotti Open Source GeoServer, MapStore e GeoNode ed attraverso i nostri piani di supporto professionale e consulenza.   Durante la conferenze i tecnici di GeoSolutions prenderanno parte Martedì 27 Novembre dalle ore 14:30 alle ore 18:30 alla sessione parallela #2 "Infrastrutture di dati geografici e interoperabilità" con i seguenti interventi:
  • MapStore: Modern WebMapping con OpenLayers, Leaflet e React con Mauro Bartolomeoli
  • GeoServer, il server open source per la gestione interoperabile dei dati geospaziali con Andrea Aime
  • INSPIRE services con GeoServer ed HALE, state of the art con Simone Giannecchini

Inoltre, Mercoledì 28 Novembre dalle ore 11:30 alle ore 13:30 Simone Giannecchini terrà un workshop dal titolo "Infrastrutture per dati territoriali con i prodotti Open Source di GeoSolutions: introduzione e casi di successo" dove dopo una prima sessione di approfondimento sulla offerta di GeoSolutions  e sui propri prodotti Open Source verranno mostrati alcuni casi di successo a livello italiano ed internazionali di infrastrutture di dati geosapaziali create in collaborazione con GeoSolutions. Di seguito l'agenda dettagliata.

  • GeoSolutions, chi siamo e cosa facciamo
  • Introduzione ai prodotti Open Source di GeoSolutions: GeoServer, MapStore, GeoNode
  • Il SIT del Comune di Bolzano
  • La SDI del Comune di Genova
  • Un esempio di piattaforma DAAS (data-as-a-service) commerciale per il mondo Oil&Gas
  • Un esempio di piattaforma DAAS (data-as-a-service) commerciale per il mondo Earth Observation
  • La piattaforma IHP-WINS dell'UNESCO
If you are interested in learning about how we can help you achieving your goals with our open source products GeoServerGeoNodeMapStore and GeoNetwork as well as throw our Enterprise Support Services and GeoServer Deployment Warranty offerings, feel free to contact us!   The GeoSolutions team,
Categories: OSGeo Planet

gvSIG Team: gvSIG en Seguridad, Emergencias y Protección civil

OSGeo Planet - Wed, 2018-11-07 17:28

Cuando se trabaja con vidas humanas la elección de la tecnología no es algo baladí. Cuando se trata de analizar datos que pueden darnos la información necesaria para evaluar la seguridad ciudadana tampoco.

En las pasadas 14as Jornadas Internacionales de gvSIG hubo un par de sesiones temáticas dedicadas a la Seguridad, Emergencias y Protección Civil. Ponencias cuya grabación ahora ya tenéis disponible para su consulta.

Aplicar nuestros conocimientos y ver cómo se aplica la tecnología que impulsamos para proyectos como los que os traemos en este post nos produce a todo el equipo de la Asociación gvSIG una enorme satisfacción. El software libre, el conocimiento, al servicio de la gente, en las situaciones más críticas.

En primer lugar os enlazamos el vídeo a la ponencia titulada ‘Base de datos geográfica de artefactos explosivos improvisados’. Proyecto relacionado con la lucha antiterrorista que hemos abordado para MINUSMA (Misión Multidimensional Integrada de Estabilización de las Naciones Unidas en Malí).

Antes de seguir, una ponencia invitada a este post…la presentación del proyecto SIGAPRED que fue realizada unos días antes en las 5as Jornadas gvSIG de Uruguay. El motivo, la relación directa con el post, en ella se habla de la IDE implantada en  el Observatorio de Estudios Sobre Convivencia y Seguridad Ciudadana de la Provincia de Córdoba (Argentina)

Pasamos a una ponencia con una componente tecnológica ‘especial’, en la que hemos integrado en gvSIG Online algoritmos que permiten determinar la cobertura de REMER, la Red de Radio Emergencia de la Dirección General de Protección Civil y Emergencias.

El año pasado presentaron la puesta en marcha de gvSIG Online, y este año el Consorcio Provincial de Bomberos de Valencia nos muestra como utilizan una Infraestructura de Datos Espaciales en software libre para la prevención y gestión de emergencias. Muy recomendable ver la evolución del proyecto y su expansión a todo tipo de ámbitos relacionados con la actividad del CPB Valencia.

Geoscan, expertos en geología y SIG, nos mostraron como gvSIG ha sido utilizado como herramienta de apoyo en el estudio de deslizamientos

Llevamos varios años impartiendo cursos para la Escuela Nacional de Protección Civil de España. Es especialmente satisfactorio ver como los alumnos aplican gvSIG a temas como los accidentes de mercancías peligrosas en carretera

Seguimos con la presentación del policía local Gilberto Díaz, que nos presentó la ponencia ‘Perspectivas de gvSIG en materia de siniestralidad vial’

Y para acabar os traemos dos ponencias relacionadas con trabajos de investigación en los que estamos trabajando junto a expertos en estadística de la Universitat Jaume I, por un lado nuevos desarrollos en gvSIG para criminología que pronto estarán disponibles:

…y por otro el uso de gvSIG para el análisis de datos geoestadísticos en el 112 (número único de asistencia a la ciudadanía ante cualquier tipo de emergencia).

Y si llegados a este punto, os preguntáis cómo aún no estáis trabajando con la Suite gvSIG y colaborando con la Asociación gvSIG, y queréis contactar con nosotros…os dejamos un email info@gvsig.com

Categories: OSGeo Planet

Fernando Quadro: Nova Iorque: Dados abertos e Cidade Inteligente

OSGeo Planet - Wed, 2018-11-07 13:08

Prezados leitores,

Hoje vamos falar sobre dois assuntos que estão bastante na “moda”, que é Open Data (Dados abertos) e Smart Cities (Cidades Inteligentes). Tenho lido bastante sobre esses assuntos nos últimos tempos e tenho visto algumas coisas que sinceramente não tem me agradado muito aqui no Brasil.

O primeiro ponto, é que tenho visto algumas cidades (prefeituras) implantarem acesso Wi-fi gratuito a população e após isso se auto intitularem Smart City, o que eu discordo totalmente. O conceito de Smart City é muito mais amplo que apenas disponibilizar Wi-fi a população.

Eu acredito que não tem como se tornar uma Smart City sem a implantação de Open Data. E vou além, sem que a população seja envolvida de uma forma que a própria veja a importância e o retorno que esses dados abertos trazem a ela própria.

Um modelo que vejo como referência tanto em Smart City como em Open Data é Nova Iorque. Lá, tudo começou a muitos anos atrás:

Como podem ver na imagem acima Nova Iorque já tem a cultura de disponibilizar dados desde 1974, porém em 2012 foi criada uma lei que diz que em Nova Iorque é obrigatório a disponibilização de dados abertos! Aqui no Brasil, eu não vejo outro caminho para que isso possa se tornar uma realidade. Eu sei que já temos o decreto da INDE, que é um grande avanço para disponibilização de dados, principalmente quando falamos em dados geoespaciais, porém, eu gostaria de ver algo mais enérgico, com prazos determinados para implantação, mesmo que esses prazos para as agencias governamentais sejam mais amplos (10 anos por exemplo, na esfera Municipal).

Outro ponto que vejo em Nova Iorque, é que eles tem um departamento full time trabalhando para que a implementação e a implantação dos dados abertos funcionem, e acho que precisamos disso também aqui no Brasil, talvez algo ligado ao IBGE, mas que pense 24h em dados abertos, e que possa dar suporte a todas as instâncias do governo (Federal, Estadual e Municipal).

E por último e não menos importante, para dar certo é essencial que haja engajamento com a população, ou seja, inserir a população nesse cenário, criando aplicativos para que o próprio cidadão possa inserir informação, indicar quando uma informação estiver errada, e principalmente usufruir do resultados dessas informações processadas através de aplicativos que serão desenvolvidos e que irão melhor a vida do cidadão.

Gostaria deixar claro que tudo que escrevi acima, é a minha opinião, e se você tiver uma visão diferente, fique a vontade de deixar seu comentário para que possamos conversar e trocar uma ideia.

Vou deixar alguns links sobre a questão do Open Data em Nova Iorque, para aqueles que tenham interesse no assunto:

GovTech – How New York City Tells the Story of its Open Data Work

Harvard Datasmart – New York City Open Data a Brief History

Amny – Open data is changing how New York City Government Work

Categories: OSGeo Planet

gvSIG Team: 5as Jornadas gvSIG Uruguay. Ponencias, talleres y vídeos disponibles

OSGeo Planet - Wed, 2018-11-07 12:40

Ya se encuentran disponibles las presentaciones realizadas en las 5as Jornadas gvSIG Uruguay, que tuvieron lugar los días 18 y 19 de octubre en Montevideo.

También está disponible la grabación de las ponencias y de los talleres que se impartieron durante las jornadas para ser visualizados online.

Los talleres que se impartieron durante las jornadas fueron los siguientes: “R espacial y R con gvSIG”, “Scripting: Exprimiendo / Extendiendo gvSIG ” y “gvSIG Batoví”.

En el apartado de comunicaciones se puede encontrar el material necesario para poder seguirlos.

Si no pudiste asistir a las jornadas ya tienes todas las presentaciones y su grabación, así como una gran cantidad de material didáctico nuevo sobre gvSIG gracias a la grabación de los talleres.

Categories: OSGeo Planet

CARTO Inside Blog: An update on MVT encoders

OSGeo Planet - Wed, 2018-11-07 08:00

It has rained a lot since we last wrote about MVT encoders performance. Taking advantage of the recent Postgis 2.5 release, we decided to update our measurements and explain why we made the switch and started generating vector tiles in the database.

Why?

A few weeks ago we decided to change our main tiler (Windshaft) to use Postgis’ St_AsMVT instead of node-mapnik as the default technology to generate MVT. Some of the reasons behind this decision were:

  • Database servers are scaled depending on customer needs, that means that by encoding MVTs in those servers we have more resources available to generate tiles faster. This also minimizes the friction between different users sharing resources in the tiler.
  • Reduce the network load between the database and the tiler as small geometries are discarded early in the process.
  • Mapnik bindings are limited (node, c++, python) while the only requirement to use Postgis is a database connection. As new projects arise inside CARTO, we can share the same encoder independently of their programming language. In a similar way, once we update Postgis all those projects benefit automatically from it.
  • It is easier for CARTO to improve Postgis as we have contributed to the project more frequently than to Mapnik.
  • Better overall performance.
Animated Taxi Pickups map


How?

Our main concern when preparing the transition was to have the process be as seamless as possible, which meant having the tiles generated by St_AsMVT match the ones from Mapnik as close as reasonably possible.

Aside from multiple bugs fixed in Postgis 2.4.6 and 2.5, we introduced various performance improvements as a PARALLEL implementation. Tile by tile comparison even led us to find and address issues in our Mapnik stack.

Nevertheless, there are still some differences between the two renderers:

  • When working in PARALLEL, St_AsMVT duplicates keys and might introduce repeated values. This is discouraged in the spec, but valid nevertheless.
  • They have different behaviour when working with invalid geometries. Although it varies case by case, Mapnik tends to drop the invalid geometries and Postgis tries to fix them.
  • Depending on the encoding and simplification, Mapnik might not simplify the geometries as much as Postgis when retrieving them from the database so you might want to do an extra simplification step by passing the simplify_distance distance parameter to mapnik-vector-tile.
  • Mapnik assigns an id to each feature by generating it sequentially by tile. Postgis doesn’t add it as it’s optional per the MVT spec. In the next major release of Postgis (3.0) you will be able to assign it using a table column.
  • Mapnik orders feature properties alphabetically, while Postgis outputs them by their other in the database.
Performance comparison

As we mentioned before, one of the reasons that move us to use Postgis to generate vector tiles was performance and the graph at the header of the post shows the impact that it had in some of our platform benchmarks in production.

We set up a simple framework to test performance, not only to compare Mapnik and Postgis encoders but also different iterations of St_AsMVT.

Methodology Datasets

To be able to compare distinct geometry types, we loaded several public datasets into the database using CARTO’s Import API:

We used simple SELECT queries as any complexity added there would affect both encoders in the same way.

Requests

We launched http requests against the tiler, running each different one at least 50 times and 30 seconds, and discarded the first 5 iterations to reduce the impact of hard drive cache misses.

The requests cover a different amount of geometries per tile and, in some cases, different amount of columns to be able to see the impact of attribute encoding. Since we observed a clear difference when geometries are discarded because of their size, we also had different zoom levels.

Server

The specs of the machine are:

  • Intel i7-5820K with 6 cores and 12 threads. Postgres had 10 worker processes available.
  • 32GB of RAM. Postgres had 4GB available for shared buffers, enough to fit these tables.
  • Linux running PostgreSQL 11.0, Postgis 3.0.0dev r16981, GEOS 3.7.0, protobuf 1.3.1, node 9.11.1 and node-mapnik v3.6.2-carto.11.
  • Any setup required (Windshaft, PostgreSQL) was identical between runs except for the setting to switch between encoders.
Results

Here are some of the most representative graphs derived from our tests:

  • Point geometries had a similar performance:
Point requests


  • When we increased the number of columns per point we observed that properties encoding is faster (~1.2x) in Postgis:
Point requests


  • Line geometries were encoded faster in St_AsMVT: 0.5x to 1.5x improvement depending on the zoom level.
Point requests


  • Polygon geometries were faster in Mapnik (1.5x faster in some cases). When we analyzed it we observed that over 90% of the CPU cycles in St_AsMVTGeom went spent in St_MakeValid:
Point requests


  • Postgis was faster discarding small polygons. In the extreme cases where everything is discarded it, e.g. city boundaries in the tile [0/0/0], it can be up to 20x faster.
Point requests


Takeaways

One of the important aspects to consider when generating vector tiles is that their size and the time it takes to generate them it is highly tied to the number of properties that each geometry has associated. As seen above, the same point tile generated using St_AsMVT takes 9x more time when moving from 5 properties to 42. Consider optimizing your requests by simply removing unnecessary columns from the SQL queries.

A second element to consider is that since points aren’t simplified automatically by zoom level, the lower the zoom the more points were included in each tile. Point aggregations are a good way to work around this and improve performance by encoding too many points that are going to be rendered in the same place anyway.

Another idea we considered in the past was disabling polygon validation but we have discarded it as one single invalid polygon can pollute whole visualizations. It would be interesting to analyze why Postgis validation (based on GEOS) is way slower than Mapnik’s (based on Boost), and addressing this would benefit multiple SQL functions that use it, like St_IsValid.

As I final note, beware that Mapbox Vector Tile Specification version 3 is currently under development. It will bring new feature types and improvements to reduce tile size, but it will require adapting encoders and decoders which could impact performance.

Categories: OSGeo Planet

Marco Bernasocchi: The new QML widgets in QGIS – When widgets get unbridled

OSGeo Planet - Tue, 2018-11-06 06:30
Individuality is the definition of freedom. And freedom is the fundamental requirement of man’s mind. QGIS possibly cannot give you all the freedom you require in life. But at least a lot of freedom in how you manage your work.… See more ›
Categories: OSGeo Planet

QGIS Blog: Report back on the 20th QGIS Hackfest in Zanzibar

OSGeo Planet - Mon, 2018-11-05 20:35

 

 

This post summarizes personal reports of community members who attended the 20th Hackfest in Stone Town, Zanzibar the week before the FOSS4G in Dar Es Salaam.

Report from Matteo Ghetta

QGIS developers spent 3 days in the beautiful island of Zanzibar were they worked on bug fixing, improvement of new features and documentation enhancements. It is extremely important for developers to meet together and spend some days working side by side given that the geographical distribution is very wide.

Thanks to the (local government & Yves Barthelemy) we had the chance to visit the Land Mapping Commission in Stone Town: It has been an amazing experience for both developers and local council. Moreover developers visited the SUZA (University of Zanzibar) and saw the local infrastructure and GIS related workflow.

  • I have merged many PR of the documentation
  • Many old and not old issues have been closed or the author has been pinged
  • Many new additions to the documentation both small corrections and new sections from scratch
  • A new version of DataPlotly released
  • A small presentation of DataPlotly to the QGIS crew
Report from Mario Baranzini

I spent one day of the Hackfest contributing to the SLYR project, improving the conversion of LAB colors. SLYR (https://github.com/nyalldawson/slyr) is a project started and almost entirely developed by Nyall (which was not present to the Hackfest) which aims to provide tools to extract and convert symbols from ESRI .lyr and .style files and use them in QGIS. Nyall has recently worked hard on the project and perhaps soon sponsorship will allow further development.

Around this theme there is a keen interest. Even during the FOSS4G there has been discussion of the conversion of ESRI symbols and there was also a presentation of how the conversion in Israel is currently managed.

During the rest of the hackfest, I worked on the implementation of the new QField file selector.

Report from Denis Rouzaud Report from Tim Sutton

Firstly let me thank the QGIS project for contributing to my travel and accommodation costs – I am most grateful for the support! This hackfest was special for me because it is the first hackfest in an African country. As an African born person living in the interface between “first world” and “third world”, I have always had a particular social agenda with QGIS: To bring spatial tools to support responsible and sustainable management of our world. There is a huge technological and skills divide between Europe and less developed societies where QGIS can be a valuable social enabler in helping to advance the standard of living and quality of life. Hosting a hackfest in an environment where we don’t have tree cadastres, street furniture cadastres and every aspect of civilian life mapped and systematised is an important way to build empathy and understanding in our QGIS core community members for a broader cross-section of our user base. Having the opportunity to meet with users from ZMI (the Zanzibar Mapping Initiative) and students from the local university was a really uplifting experience. ZMI are building the national cadastre from the ground up using QGIS, PostGIS and UAV mapping. We were privileged to have a number of Zanzibar residents join us on the hackfest and get to experience just how appreciative they are, first hand.

There were a number of interesting topics that arose during the hackfest which I will try to summarise here:

Certification:

We held an extended meeting on the QGIS Certification Programme, mainly detailing how we should go about the review process for onboarding new organisations.

Mac OS Build:

I spent quite a bit of time struggling with my MacOS build on QGIS. It’s definitely an area of the project that needs more work as the process can be non-trivial and the brew based formulas quickly become outdated.

QField Show and Tell:

Matthias showed off the latest version of QField and all the hard work they have been putting into the QGIS mobile client. This Android based version of QGIS for mobile data gathering is a really great project and is getting more and more useful with each release. There was also a translation sprint for QField during which I translated it to Afrikaans.

QField Autobuilds:

Denis and Matthias showed off the work they have done to automate the .apk builds for QField. Their system combines Travis and some git hooks to automatically build .APK’s whenever a pull request os made or a tag is made. See the QField travis for details: https://github.com/opengisch/QField/blob/master/.travis.yml

Plotly plugin:

Matteo Ghetta showed off the latest capabilities of the Data Plotly plugin for QGIS 3. The plugin supports the creation of a wide assortment of charts from your layer’s attribute data. See the plugin homepage here for examples and more detail: https://github.com/ghtmtt/DataPlotly 

Governance:

I took the opportunity to sign off the statute changes from 2017 general meeting. This was my last official act as outgoing project Chair. I was also extremely humbled to be awarded an Honorary PSC membership during the FOSS4G2018 conference.

TimRecievesHonoraryPSCMembership
Easter Eggs:

I contributed a couple of new easter eggs to QGIS. While easter eggs are fun, the data behind these hidden tools provide an important history of the project. I took the opportunity of having many long-time QGIS community members around the dinner table to collate all the previous QGIS meet-up dates. You can view this as a map here: https://github.com/qgis/QGIS/blob/master/resources/data/qgis-hackfests.json 

The spatial clustering of these events shows that going to Zanzibar and getting out of our geographical comfort zone is a really useful endeavour.

Report from Paolo Cavallini

During the HF in Zanzibar I mainly worked on:

  • Plugins: I cleaned up the queue of unapproved plugins, contacting all individual authors, fixing what was possible and deprecating the worst cases; we also solved a long standing issue with a contentious plugin
  • Issues: I examined many tickets, especially those waiting for feedback
  • Training certification: through a very productive meeting we defined clear rules for accepting certifying organizations, with the main aim of driving people to actively support the project:
    • in the application process, the proponent should explain what are his contribution to QGIS project
    • following an initial review, the application will be sent to local QGIS groups for their opinion, which should take place in less than one monthly; where there is no user group, the responsibility will fall entirely on PSC shoulders
    • the training material for each course should be released with a free license, and a review will be done; if the material is not of adequate quality, this is a cause for refusal
    • then PSC will take a decision and publish the contributions as stated by the proponent, for transparency
  • Other meetings helped focusing on our mission, defining the relationship between volunteer and paid work, and other
  • I visited the Land Mapping Commission and the University, soliciting a tighter cooperation with QGIS project.
Report from Admire Nyakudya

During the heck fest in Zanzibar, I mainly worked on porting some common plugin we use to QGIS 3. The plugins I mainly worked on were Cogo Parcel plugin and Sg Diagram downloader. We visited the Zanzibar mapping agency and interacted with the people who were working on capturing cadastral data using QGIS and explained them about the COGO Parcel plugin which streamlines capturing cadastral boundaries in QGIS and storing the results in a PostgreSQL database. To summarise the work I was working on during the heck fest.

  • Port Cogo Plugin from QGIS 2 to make it compatible with QGIS 3. This has been achieved and now awaiting one of my team members to approve the pull request.
  • Expand functionality being offered by the COGO Parcel plugin to include the new reporting framework in QGIS 3.
  • Investigate ways to generate projects on the fly after talking to Matteo and seeing the work he has done with QGIS project generator.

I also went to the Zanzibar university to see ways in which QGIS is being used in the local university and how students are integrating drone imagery with QGIS.

Report from Matthias Kuhn

The highest value of hackfests is actually to meet and greet and discuss ideas and bigger plans. There is a lot of communication on a high bandwidth channel (also known as face-to-face) that strengthens the community. This helps to quickly overcome technical problems sometimes. Or to give someone some tips and tricks you normally wouldn’t come to (e.g. optimizing a git workflow) that results in a long-term gain because of sustainable productivity improvements. I tend to walk around once in a while and just randomly bump into people where I – more or less successfully – try to help them solve their issues or discuss approaches. In the same area, there is the possibility to informally discuss plans about organization, workflows and strategies. The concept of an LTR was to a big degree discussed and built at a hackfest in Essen some years ago. This year there was a very interesting discussion about the topic LTR. For how much time the “long” in the term “long term release” should stand, about the life cycle of releases and of long-term releases. One of the important things when it comes to this question is what organisations think and do – because, in the end, it is mostly for organisations that the LTR exists – and how development resources can be assigned to the task of keeping a high quality of an LTR during its whole lifetime. There are no conclusions yet, but synchronizing on these ideas is often the seed for tomorrow’s exciting changes.

We were also visited by a group of students from the local university. It was really refreshing to talk to them about open source and QGIS and how we work and what the challenges of spatial data and GIS infrastructure are on an island like Zanzibar.

Feature-wise, the main thing I worked on feature wise was a new snap to grid functionality that is available for digitizing tools. It allows configuring a precision for vector layers. Whenever a new node is added or an existing one is edited on this vector layer, it will be automatically placed on this grid. Normally this is used to force the objects on a layer to something like cm or mm resolution.

And then, of course, I did my daily bunch of (mostly volunteer) pull request reviewing, some code cleanup and some bugfixes.

Report from Marco Bernasocchi

https://photos.app.goo.gl/seX2kSJ9vKxKBZt58

The Zanzibar hackfest was a special one for me, my first hackfest as QGIS.org co-chair. My main goal was definitely to get as much information out of Tim as possible so that I wouldn’t have to keep on bugging him all time

Categories: OSGeo Planet

gvSIG Team: First gvSIG 2.5 build for testing is already available

OSGeo Planet - Mon, 2018-11-05 13:12

The first ‘build’ of the next gvSIG Desktop version for testing is already available. You can download it from the ‘Development versions downloads‘ section of the gvSIG Association website.

With this we encourage you to help us to stabilize the next  gvSIG Desktop 2.5. Mainly we ask you for testing these ‘builds’ during this error fixing phase and you tell us all the incidents that you find at the mailing list.

This first ‘build’ is available with installable distributions for Windows and Linux, and from the first RC (Release Candidate) there will be portable versions, including a distribution for Mac.

gvSIG Desktop 2.5 has a lot of novelties. Not all of them are included at this build (for that it’s not a RC yet). Among the novelties of this new version there are some of them that are remarkable, for example the report designer, the option to work with virtual fields, field importer, quick map exporter/generator, ring map,…

Besides it will integrate all the novelties that were published after 2.4 version. (black icons, option to select and count duplicate values, SIGPAC XML files loading, 3D vector layer into 2D layer conversor, plugin to create forms for gvSIG Mobile, plugin to capture coordinates, integration with gvSIG Mobile, Epanet, The Horton MachineStatistics Viewer, v.4 support of Cadastre GML INSPIRE in Spain and update of several plugins)

In the next weeks we will publish detailed information about the novelties of this version.

We look forward to your collaboration! Time to test!

Categories: OSGeo Planet

gvSIG Team: Primer build de gvSIG 2.5 para testeo ya disponible

OSGeo Planet - Mon, 2018-11-05 13:12

Ya tenemos disponible el primer ‘build’ para testeo de la próxima versión de gvSIG Desktop. Lo podéis descargar desde el apartado de versiones en desarrollo de gvSIG Desktop de la web de la Asociación gvSIG.

Con ello os animamos a que nos ayudéis a estabilizar lo que será el próximo gvSIG Desktop 2.5. Principalmente os pedimos que durante esta fase de corrección de errores probéis estos ‘builds’ y nos vayáis comunicando en la lista de usuarios todas aquellas incidencias que encontréis.

Este primer ‘build’ está disponible con instalables para Windows y Linux, y a partir de la primera RC (Release Candidate – Candidata a final) ya habrá versiones portables, incluyendo una distribución para Mac.

gvSIG Desktop 2.5 viene cargado de novedades. No todas están disponibles en este build (por eso todavía no es una RC). Entre las novedades de esta nueva versión se encuentran algunas tan llamativas como el diseñador de informes, el trabajo con campos virtuales, un importador de campos, exportador/generador rápido de mapas, ring map,…

Además integrará todas las novedades publicadas posteriormente a la versión 2.4. (iconos Black, selección y conteo de duplicados, carga ficheros XML SIGPAC, 3D a 2D, crear formularios para gvSIG Mobile, capturador de coordenadas, integración con gvSIG Mobile, Epanet, The Horton Machine, Visor estadístico, soporte v.4 del GML INSPIRE de Catastro y actualización de varios plugins)

En las próximas semanas iremos publicando información detallada sobre las novedades de esta versión.

¡Esperamos vuestra colaboración! ¡A testear!

Categories: OSGeo Planet

PostGIS Development: Howard Hughes Medical Institute

OSGeo Planet - Sat, 2018-11-03 00:00

As a software engineer at the Howard Hughes Medical Institute, I work on a collaborative neuron reconstruction and analysis software called CATMAID 1 (screenshot: 3), which is used for neuroscience research. We use PostGIS to represent neurons in a 3D space.

They consist of 3D points that reference their parent nodes or are the root [=soma of neuron] if they have no parent). Together with synapses, point clouds and TIN meshes for modeling compartments in a dataset, they model the spatial aspects of our neuroscience world. Users create those neuron reconstructions manually in a collaborative fashion plus segmentation programs can be used as additional data source. Using its spatial indices, PostGIS helps us to quickly query neurons in a particular field of view. The space of a single project contains sometimes 100s of millions of interconnected individual points. We also do bounding box intersection queries between neurons and compartment meshes, which then refine in the front-end by doing more precise intersection tests.

This software is used by quite a few research labs and as far as I know they all do their own hosting with a dedicated server and this is what we do as well. The reason being mainly that wth larger datasets, we benefit from machines with a lot of RAM (>256G), fast SSD/NVMe drives and many CPUs as well as fast local data access for e.g. image data.

Thanks so much for making PostGIS work well in non-GIS contexts too—-it makes my life much easier!

Categories: OSGeo Planet
Syndicate content