OSGeo Planet

PostGIS Development: PostGIS Patch Releases 2.3.6 and 2.4.3

OSGeo Planet - Wed, 2018-01-17 00:00

The PostGIS development team is pleased to provide bug fix release 2.3.6 and 2.4.3 for the 2.3 and 2.4 stable branches.

Key fixes in these releases are Brin upgrade, ST_Transform schema qualification to fix issues with restore, foreign table, and materialized view use, ClusterKMeans and encoded polyline fixes.

View all closed tickets for 2.4.3 and 2.3.6.

After installing the binaries or after running pg_upgrade, make sure to do:

ALTER EXTENSION postgis UPDATE;

— if you use the other extensions packaged with postgis — make sure to upgrade those as well

ALTER EXTENSION postgis_sfcgal UPDATE; ALTER EXTENSION postgis_topology UPDATE; ALTER EXTENSION postgis_tiger_geocoder UPDATE;

If you use legacy.sql or legacy_minimal.sql, make sure to rerun the version packaged with these releases.

2.3.6

2.4.3

Categories: OSGeo Planet

Fernando Quadro: Testando softwares para Big Data Spatial – Parte 2

OSGeo Planet - Tue, 2018-01-16 10:59

Neste post iremos falar um pouco dos software que iremos utilizar no nosso teste, iniciando pelo Hadoop e passando por HBase.

1. Apache Hadoop

O Apache Hadoop é, quando buscamos um pouco no Google… uma estrutura que permite o processamento distribuído de grandes conjuntos de dados em clusters de computadores usando modelos de programação simples. Ele é projetado para ampliar de servidores individuais para milhares de máquinas, cada uma oferecendo processamento e armazenamento local. Ao invés de confiar no hardware para oferecer alta disponibilidade, a própria biblioteca é projetada para detectar e lidar com falhas na camada do aplicativo, oferecendo assim um serviço altamente disponível em um cluster de computadores, cada um dos quais podendo ser propenso a falhas.

O HDFS é um sistema de arquivos distribuídos que fornece acesso de alto desempenho aos dados em todos os clusters Hadoop. Como o HDFS normalmente é implantado em hardware de baixo custo, as falhas do servidor são comuns. O sistema de arquivos foi projetado para ser altamente tolerante a falhas, no entanto, facilitando a transferência rápida de dados entre os nós e permitindo que os sistemas Hadoop continuem sendo executados se um nó falhar. Isso diminui o risco de falha catastrófica, mesmo no caso de falhas em inúmeros nós.

Nosso teste usará o Hadoop e seu HDFS como repositório de dados onde vamos salvar e, finalmente, publicar para o aplicativo do usuário final. Você pode ler os recursos do projeto aqui, ou mergulhar na Internet para aprender profundamente sobre isso.

Utilizei o Windows para os meus testes. Os lançamentos oficiais do Apache Hadoop não incluem binários do Windows, mas você pode facilmente criá-los com este ótimo guia (Ele usa o Maven) e configurar os arquivos necessários pelo menos para executar um único cluster de nós. Claro, um ambiente de produção exigirá que configuremos um cluster multi-nó distribuído ou use uma distribuição “apenas para uso” (Hortonworks) ou salte para a Nuvem ( Amazon S3 , Azure, etc…).

Continuamos com este guia; Depois que o Hadoop foi construído com Maven, os arquivos de configuração foram editados e as variáveis ​​de ambiente foram definidas, podemos testar se tudo está bem executando no console …

> hadoop version

Em seguida, começamos os “daemons” dos objetos namenode e datanode, e o gerenciador de recursos “yarn”.

> call ".\hadoop-2.8.1\etc\hadoop\hadoop-env.cmd" > call ".\hadoop-2.8.1\sbin\start-dfs.cmd" > call ".\hadoop-2.8.1\sbin\start-yarn.cmd"

Podemos ver o aplicativo de administração Hadoop rodando na porta HTTP configurada, 50070 no meu caso:

2. Apache HBase

O Apache HBase é, procurando novamente no Google… um banco de dados NoSQL que é executado no topo do Hadoop como um grande armazenamento de dados distribuído e escalável. Isso significa que o HBase pode alavancar o paradigma de processamento distribuído do sistema de arquivos distribuídos Hadoop (HDFS) e se beneficiar do modelo de programação MapReduce do Hadoop. Ele destina-se a hospedar tabelas grandes com bilhões de linhas com potencialmente milhões de colunas e executados em um cluster de hardware de commodities.

Você pode ler aqui para iniciar e instalar o HBase. Mais uma vez, verificamos a versão do produto executando:

> hbase version

Inicie o HBase:

> call ".\hbase-1.3.1\conf\hbase-env.cmd" > call ".\hbase-1.3.1\bin\start-hbase.cmd"

Veja o aplicativo de administração HBase na porta 16010, no meu caso:

Ok, neste momento, temos o grande ambiente de dados funcionando, é hora de preparar algumas ferramentas que acrescentam capacidades geoespaciais; GeoWave e GeoServer, vamos em frente no próximo post

Categories: OSGeo Planet

Fernando Quadro: Testando softwares para Big Data Spatial – Parte 1

OSGeo Planet - Mon, 2018-01-15 17:37

O objetivo deste artigo é mostrar os resultados testando a integração de uma plataforma Big Data com outras ferramentas geoespaciais. É necessário salientar que a integração de componentes usados, todos eles de código aberto, nos permite publicar serviços WEB compatíveis com padrões OGC (WMS, WFS, WPS).

Este artigo descreve as etapas de instalação, as configurações e o desenvolvimento feito para obter um aplicativo de mapeamento que mostre medidas de NO2 de aproximadamente 4k estações européias durante quatro meses (Observações foram registradas por hora), resultado em torno de 5 milhões de registros. Sim, eu sei, esses dados não parecem um armazenamento “Big Data”, mas parece grande o suficiente para verificar o desempenho quando as aplicações o lêem usando filtros espaciais e / ou temporais (clique na imagem acima para ver o vídeo).

O artigo não se concentra em ensinar um conhecimento mais profundo dos softwares usados, todos eles já tem publicado boa documentação do ponto de vista do usuário ou do desenvolvedor, simplesmente quero oferecer experiências e um guia simples para coletar recursos de componentes de software. Por exemplo, comentários sobre o GeoWave e sua integração com o GeoServer são uma cópia do conteúdo do guia do produto em seu site.

1. Esquema de dados

Os dados de teste foram baixados da European Environment Agency (EEA). Você pode pesquisar aqui informações ou visualizadores de mapas desta ou de outras fontes, ou melhor, você pode usar seus próprios dados. GDELT é outro projeto interessante que oferece dados maciços.

O esquema dos dados do teste é simples, a entrada é um grupo de arquivos CSV (arquivos de texto com seus atributos separados com vírgulas) com coordenadas geográficas do tipo ponto (Latitude / Longitude) que georreferenciam o sensor, a data da medida e a concentração de NO2 no ar. Existem outros atributos secundários, mas não são importantes para o nosso teste.

2. Arquitetura de software

O teste consiste na cadeia de um conjunto de ferramentas, todos eles oferecem dados e funcionalidade ao próximo componente de software na arquitetura do aplicativo. O fluxo de trabalho do aplicativo começa com o Hadoop e seu HDFS, HBase para mapeá-lo como um banco de dados, o ótimo GeoWave trabalhando como um conector entre ele e o popular GeoServer que implementa vários padrões OGC e, finalmente, um aplicativo de cliente web que busca dados para mostrar mapas como usual (por exemplo, usando Leaflet e Heatmap.js biblioteca).

No próximo post iremos falar detalhadamente de cada um dos softwares apresentados na imagem acima! Não Perca!

Categories: OSGeo Planet

gvSIG Team: GIS applied to Municipality Management: Module 5.3 ‘Web services (Non-standard services)’

OSGeo Planet - Mon, 2018-01-15 13:51

The third video of the fifth module is now available, in which we will talk about how to work with web services that don’t follow the OGC standards in gvSIG Desktop. These web services can be used to complement our maps with different layers.

Among these services we have OpenStreetMap, with which we have access to several layers. for example streets, nautical cartography, railroads, or cartography with different tonalities that can be used as reference cartography on our map.

Other available services are Google Maps and Bing Maps, where we can load different layers.

The requirement to load these layers in gvSIG (until 2.4 version) is that we must have the View in EPSG:3857 reference system, a proprietary system used by these services.

Besides, in order to load the Bing Maps layers, we will need to obtain a key previously, from the Bing Maps Dev Center.

Once we have these services, we can add our layers, reprojecting them to the view reference system. In addition, many OGC web services, such as WMS, WFS …, offer their layers in this reference system, so we can overlap them on our Bing Maps, Google Maps or OpenStreetMap layers.

Here you have the third videotutorial of this fifth module:

Related posts:

Categories: OSGeo Planet

OSGeo-fr: Le FOSS4G-fr aura lieu en mai 2018, serez-vous sponsor, conférencier ou les deux ?

OSGeo Planet - Thu, 2018-01-11 21:07

L'OSGeo-fr organise le prochain FOSS4G-fr du 15 au 17 mai 2018, à l’École Nationale des Sciences Géographiques, Marne-la-Vallée - Paris.

Opportunité unique de rencontres, cet événement s'adresse à tous les acteurs de l'écosystème GéoSpatial Opensource francophone : décideurs, utilisateurs, développeurs.

Cette 3ème édition se déroulera sur 3 jours : 2 jours de conférences précédés d’une journée d’ateliers, sur des thématiques volontairement larges et inspirantes !

A ce stade, vous pouvez d’ores et déjà :
- Prendre date !
- Soumettre présentation ou atelier ;
- Devenir sponsor de l’événement.

L’ensemble des informations sur le site : http://foss4g.osgeo.fr

Nous comptons sur vous !

Categories: OSGeo Planet

OSGeo-fr: Le FOSS4G-fr aura lieu en mai 2018, serez-vous sponsor, conférencier ou les deux ?

OSGeo Planet - Thu, 2018-01-11 21:07

L'OSGeo-fr organise le prochain FOSS4G-fr du 15 au 17 mai 2018, à l’École Nationale des Sciences Géographiques, Marne-la-Vallée - Paris.

Opportunité unique de rencontres, cet événement s'adresse à tous les acteurs de l'écosystème GéoSpatial Opensource francophone : décideurs, utilisateurs, développeurs.

Cette 3ème édition se déroulera sur 3 jours : 2 jours de conférences précédés d’une journée d’ateliers, sur des thématiques volontairement larges et inspirantes !

A ce stade, vous pouvez d’ores et déjà :
- Prendre date !
- Soumettre présentation ou atelier ;
- Devenir sponsor de l’événement.

L’ensemble des informations sur le site : http://foss4g.osgeo.fr

Nous comptons sur vous !

Categories: OSGeo Planet

gvSIG Team: GIS applied to Municipality Management: Module 5.2 ‘Web services (Loading web services from gvSIG)’

OSGeo Planet - Thu, 2018-01-11 12:46

The second video of the fifth module is now available, in which we will see how to load web services from gvSIG Desktop. In the first video of this module we saw an introduction on the Spatial Data Infrastructures (SDI), which helped us to understand this new video in a better way.

Many administrations have a large amount of cartography available for users, being in many cases web services that are accessible from desktop applications or web browsers, which allow us to access this cartography without having to download anything on our disk.

The cartography to follow this video is available at this link.

Here you have the second videotutorial of this fifth module:

Related posts:

Categories: OSGeo Planet

Jackie Ng: RIP: Autodesk Infrastructure Map Server (2006-2018)

OSGeo Planet - Thu, 2018-01-11 06:11
Prepare the burial plot in the Autodesk Graveyard, the news has come out which I had long suspected, but is now official: Autodesk has ceased development of Infrastructure Map Server, the commercial counterpart of MapGuide Open Source.

However unlike Autodesk's other ill-fated products, Infrastructure Map Server has the unique lifeline of being able to live on through the MapGuide Open Source project because AIMS is built on top of MapGuide Open Source. Just because AIMS has died does not mean the same fate has to apply to MapGuide Open Source. This project has been in existence for 12 years and counting. The future of the MapGuide Open Source project can be as bright as the community allows for it.

If you are an AIMS customer wondering what your options are in light of this announcement, you should subscribe to the mapguide-users mailing list (if you haven't already) and share your thoughts, questions and concerns.

If you provide support/consulting/development for MapGuide/AIMS you should also subscribe and advertise your services.

I'll make some announcements on the mailing lists about future plans for MapGuide Open Source.

Rest in peace Autodesk Infrastructure Map Server, formerly known as MapGuide Enterprise (2006 - 2018)


Categories: OSGeo Planet

Fernando Quadro: A transformação da França através do Open Data

OSGeo Planet - Wed, 2018-01-10 19:43

Se um entusiasta de Open Data tentar inspirar outros, ele logo será confrontado com uma pergunta difícil: qual é o impacto? Alguns podem convencer com longos monólogos sobre transparência e potencial de inovação, mas, muitas vezes, todas as necessidades são alguns exemplos inspiradores de dados abertos do mundo real.

Antes de saltar para o impacto da Open Data, vamos dar uma olhada em alguns dos conjuntos de dados mais interessantes. Um dos conjuntos de dados abertos visualmente mais atraentes ao redor do mundo é o Archives of the Planet do Museu Albert Kahn. O departamento francês decidiu publicar o arquivo de mais de 60 mil fotos de lugares do mundo todo há mais de um século. No portal Open Data do departamento, os usuários podem navegar em uma galeria e clicar em um mapa para descobrir as imagens. Graças à API, o museu foi capaz de construir facilmente um novo site para expor este tesouro de forma fácil e aumentar significativamente o número de visitantes no seu site em dez vezes.

Enquanto muitos portais apresentam a posição de lugares de estacionamento nas ruas ou em lotes, apenas alguns indicam sua disponibilidade em tempo real. A cidade francesa de Issy-Les-Moulineaux, no entanto, consegue fazer isso onde outros ficam aquém; produziu um conjunto de dados de sensores em tempo real sobre a disponibilidade de lugares de estacionamento em algumas de suas ruas e foi ainda mais longe para criar um mapa que exibisse disponibilidade de espaço de estacionamento. A cada minuto, a plataforma tira os dados provenientes de sensores que foram instalados na superfície das ruas.

Um fato que sabemos é que quanto mais fácil for para os desenvolvedores reutilizarem dados, mais provável é que eles o façam. Um exemplo é Rennes, uma cidade francesa de cerca de 200.000 habitantes, cujo operador de transporte público (STAR), operado pela Keolis, publicou a localização dos ônibus em tempo real no seu portal Open Data. Você pode aprender muito mais sobre este estudo de caso, mas para dar uma pista sobre os resultados, a empresa atualmente lista um total de sete aplicativos de transporte construído por desenvolvedores provenientes da comunidade.

Embora o impacto seja frequentemente o objetivo desejado, ele não necessariamente motiva todos os funcionários que são solicitados a publicar conjuntos de dados. Afinal, o Open Data é considerado um trabalho adicional cujo valor agregado é difícil de projetar. Surpreendentemente, no entanto, quando concluído, o Open Data também pode ter benefícios importantes para uma organização.

Como um dos primeiros adotantes de dados abertos na França, a cidade acima mencionada de Issy-Les-Moulineaux decidiu publicar seu orçamento financeiro em 2011 para aumentar a transparência. Eles empurraram os dados para o portal e pediram a uma agência web que criasse um site dedicado para apresentar os dados de forma fácil de usar simplesmente incorporando os gráficos provenientes do portal. Desta forma, eles foram livres para fornecer um excelente contexto descritivo aos seus dados orçamentários. Seu truque: os gráficos são sincronizados com cada conjunto de dados, portanto, quando os dados são atualizados a cada ano, os gráficos também mudam. Assim, a cidade investiu apenas uma vez no desenvolvimento, que são capazes de replicar todos os anos com os dados mais atualizados.

Da mesma forma, o fornecedor francês de eletricidade ENEDIS está fazendo uso do portal Open Data para comunicação aberta externa. As visualizações interativas apresentadas em seu principal site corporativo foram desenvolvidas através do conjunto de APIs de geradas pelo portal, economizando os principais custos de desenvolvimento da empresa.

Quando o Ministério da Agricultura francês procurou uma ferramenta de busca simples para exibir empresas que vendem produtos de agricultura química para agricultores e consumidores, eles tiveram a opção de trabalhar com uma empresa de consultoria ou de contar com seu portal. Graças ao uso fácil de widgets, o Ministério criou um painel que listaria todas as empresas, pontos de varejo e informações relacionadas em um mapa. O projeto levou três dias para configurar – e também está sendo usado como um ponto de referência interno.

Os dados de publicação exigem que as organizações repensem sua estratégia interna de gerenciamento de dados. Hoje, Open Data ainda é muitas vezes considerado como “trabalho extra” que deve ser feito para marcar uma caixa. Muitos imaginam portais volumosos com arquivos para download em vez de dados dinâmicos que se pode explorar em visualizações interativas e acesso em diferentes formatos e através de APIs de conjunto de dados. Indexar os próprios registros de dados (em oposição aos arquivos) e transformá-los em APIs permite que as organizações trabalhem com seus próprios dados de uma maneira totalmente nova. Em vez de enviar arquivos de um funcionário para outro (ou carregá-los para uma unidade virtual), os dados em si podem ser compartilhados. Do ponto de vista técnico, é possível criar um ponto de acesso central para uma organização, ao mesmo tempo em que dá aos diferentes usuários diferentes níveis de acesso, dividindo os silos de dados. Isso assegura não só o acesso à versão de dados mais recentes em uma organização, mas também a sua fácil reutilização através de APIs em painéis ou outros serviços da Web. Portanto, são as próprias organizações que se beneficiam mais de uma estratégia otimizada de gerenciamento de dados. E, finalmente, abrir esses dados para o resto do mundo, pois Open Data muitas vezes não exige muito mais do que um simples clique do mouse.

É muito bom ver o quanto o Open Data está fazendo na França, em pensar que esses são apenas alguns exemplos, mas sabemos que as possibilidades são infinitas. Espero que um dia cheguemos nessa maturidade aqui no Brasil, de ter dados de verdade disponibilizados para que possamos explorá-los e criar produtos que ajudem a população.

Esta é uma tradução livre do artigo original escrito por Christina Schönfeld no site OpenDataSoft.

Fonte: OpenDataSoft

Categories: OSGeo Planet

gvSIG Team: GIS applied to Municipality Management: Module 5.1 ‘Web services (Introduction to SDI)’

OSGeo Planet - Mon, 2018-01-08 10:50

The fifth module of this course deals with access to web services from gvSIG. At this first part we will introduce you to a fundamental concept when we talk about the efficient management of geographic information: Spatial Data Infrastructures (SDI). SDI are very important, and countries and regions of the world are legislating them more and more to make effective their implementation in all the administrations that generate digital geographic information.

The SDI is considered the ideal system to manage the geographic information of an organization and, of course, of a municipality completely. In future modules of this course we will speak about gvSIG Online, the free solution to start them up. In the current module we will see how to work with the web map services that SDI can generate from the desktop GIS.

Currently, a large number of administrations offer their cartography in a public way to be loaded through web services. Thanks to the use of this device it is possible to access these services from gvSIG Desktop, which allows us to load the cartography in our project without having to download anything on disk.

In order to understand this part in gvSIG in a better way we will start with a video about the introduction to the Spatial Data Infrastructures, where we will explain what a web service is, and some links where these available services are collected.

In this module it is not necessary to download any cartography, since it is a totally theoretical video.

Here you have the first videotutorial of this fifth module:

Related posts:

Categories: OSGeo Planet

gvSIG Team: Grabación del Taller de Geoestadística con gvSIG realizado en la UMH de Elche

OSGeo Planet - Mon, 2018-01-08 07:21

Ya está disponible la grabación del taller de Geoestadística con gvSIG impartido durante la Jornada realizada en la Universidad Miguel Hernández de Elche, España, el día 13 de diciembre de 2017, englobada dentro de la Cátedra gvSIG.

En esta jornada, aparte de los talleres sobre la aplicación y la ponencia sobre la Suite gvSIG se hizo entrega de los premios a los proyectos ganadores de la Cátedra gvSIG 2017.

En el vídeo se explica una breve introducción de cómo ejecutar código de R desde el Módulo de Scripting de gvSIG. El lenguaje de programación R orientado a la estadística y el análisis de datos permite un amplío abanico de posibilidades para el tratamiento de datos espaciales que complementan los ya existentes en gvSIG o los desarrollados también desde Scripting con Python.

El ejemplo mostrado realiza una lectura masiva de ficheros csv correspondientes a crímenes en la ciudad de Londres, sacados del portal de open data UK Data Police, los cuales transformamos a una capa shapefile para poder ser explorados desde gvSIG.

Cualquier duda puedes preguntar aquí o en las Listas de Correo.

Categories: OSGeo Planet

Marco Bernasocchi: PostgreSQL back end solution for quality assurance and data archive

OSGeo Planet - Mon, 2018-01-08 06:06
Did you know that the possibilities to make a full QGIS back end solution for quality assurance and archiving in PostgreSQL are immense? SQL has it’s well known limitations, but with a little bit creativity you can make quite nice… See more ›
Categories: OSGeo Planet
Syndicate content