MySQLで処理するGIS ～地球が丸いことを覚えたMySQL～ / MySQL GIS FOSS4G TOKAI 20232023年8月26日(土)に開催されたFOSS4G TOKAI 2023での発表資料です。 法務省登記所備付地図データをMySQLに取り込んでから検索し、空間インデックスにより検索処理を高速化した結果も紹介しています。
PostGISとMySQL8のGIS機能の違い - Qiita
本記事はPostgreSQL Advent Calendar 2019の7日目となります。 はじめに 私は普段PostGISを使っていますが、最近MySQL 8.0.xのGIS機能について調査する機会がありました。 本記事は筆者が調査の中で気づいた両者の違いをまとめたものです。 PostGISは2.x〜3.x、MySQLは8.0.17を対象としています。 両者は共にOpenGIS1やSQL/MMなどの標準に基づく実装を進めているため共通している部分も多いものの、独自拡張や実装の違いによりいくつかの違いもあります。 本記事の目的は両者の優劣をつけることではありません。 両者の違いを理解して、場面に応じた適切な使い方を選択するための一助となることが目的です。 所感 本文に入る前に、私の所感を述べておきたいと思います。 まず、普段PostGISを使っている人が、MySQLのGIS機能に乗り換える
JuliaでOpenStreetMapのXMLをparseした話
Twitter芸人名@cocomoffです． この記事はJulia Advent Calendar 2021の18日目の記事です．15日目にはTuring.jlを使ったネタで書いたのですが，普段自分でちょっとしたプログラムを書くためにもJuliaを使っていることがあるので，今日はだいぶ前に自分で書いたJuliaプログラムに関する記事です． OpenStreetMapについて 概要 名前ぐらいは聞いたことがある人も多いかもしれないですが，https://www.openstreetmap.org/ で公開されている地図情報です（？）． OpenStreetMapは、道路、通路、カフェ、鉄道駅など、世界中にあるすべてのものに関するデータを提供・メンテナンスしているマッパーのコミュニティによって構築されました。 ライブラリ OpenStreetMapを扱うライブラリやソフトウェアはいろいろありま
Rを使った地理的回帰加重分析 - Qiita
始めに 大阪府を対象に、過去（２０００年〜２０１０年）にあった土地利用や人口数などの街の変化と、駅利用者数の間の関係を記述する試みをしました。利用するデータのほとんどはEstatと国土数値情報で公開されているものです。ツールは可視化用のQGISとデータ処理用のR言語を使います。 地理的回帰加重分析について 地理空間加重回帰分析法（Geographically weighted regression,GWR）は複数の変数間の関係を調べるために使われている。線形回帰が一つの回帰係数で対象地を全般的に説明するのに対して、GWRは空間内の異なる場所にに異なる関係を持つことを認め、空間的非定常性（Exploring Spatial）が考慮されるので、回帰係数やt-valueの空間的分布を地図化することができます。 各メッシュに対してこのようなデータを準備する メッシュごとに各土地利用の面積を計算する
MartinでPostGISからベクトルタイルを配信しよう - Qiita
MapLibre User Group Japanの@Kanahiroです。今回はベクトルタイルサーバーMartinを紹介します。 TL;DR MartinでPostGISのテーブルをベクトルタイルとして高速に配信 glyph/sprteも動的に配信出来るぞ Martin MapLibre傘下の、PostGISバックエンドなタイルサーバーです。特徴は、ベクトルタイルをPostGISのテーブルから動的に作成して配信出来ることです。世はまさにdynamic tiling時代。 今をときめくPMTilesをはじめとして、あらかじめ全てのタイルを作り切っておくアプローチは、配信パフォーマンスの観点では最善です。しかしたとえば頑張って大きなタイルデータを作成したとして、その原典データが更新されてしまったらどうすればよいでしょうか？PMTilesなどのアプローチでは、再度タイルを作り直す必要があります
Shapefileを簡素化とGeobufで軽量化する - Hirosaji Tech Blog 🍙
容量の大きい地理情報データは重くてWebに載せられないので、軽量化が必要です。 今回は Shapefile を対象に、簡素化とBuffer（Geobuf）形式を使った軽量化の一連のステップを紹介します。 ちなみに、今回例として取り上げた全国市区町村界データを軽量化した結果（ファイルサイズ）は次の通りです。 Shapefile GeoJSON Buffer(簡素化済) 9MB 25MB 0.6MB ただし簡素化は、やるだけポリゴンが荒くなるので、やりすぎには注意が必要です。 手順 Shapefileを取得 → GeoJSONに変換 → GeoJSONを簡素化 → 自己交差エラーを解決 → Bufferに変換、といった手順で軽量化します。 1. Shapefileを取得 軽量化する Shapefile を用意しましょう。 www.esrij.com 例として、今回はEsriの全国市区町村界デー
Pythonを使用して数値標高モデル（DEM）からMinecraftの地形を作成する - Qiita
はじめに この記事では、Pythonのライブラリであるanvil-parserを使用して、数値標高モデル（DEM）からMinecraft（Java版）のワールドデータを作成する方法を紹介します。この方法により、実世界の地形をMinecraftで再現することが可能になります。 DEMデータをダウンロードする まずは基盤地図情報ダウンロードサイトよりDEMのデータをダウンロードします。 今回は岐阜県岐阜市のこちらのメッシュ（533616）を使います。 ダウンロードしたDEMはそのままでは利用できないので、QGISのQuickDEM4JPプラグインを使用してtiffファイルに変換します。 詳しい使い方はこちらの記事を参照してください。 「国土地理院の標高データ（DEM）をQGIS上でサクッとGeoTIFFを作って可視化するプラグインを公開しました！（Terrain RGBもあるよ）」 QGIS上
SnowflakeがSRIDに対応したので勉強した - Qiita
「つい最近のアップデートでSnowflakeのGEOMETRY型がSRIDに対応したぞ！」と周りのデータエンジニアさんが盛り上がっていたんですが…実はSRIDをよく知らなかったので勉強してみました。 Snowflake Documentation | What's New - April 2023 SRIDとは Wikipediaによると、 A spatial reference system (SRS) or coordinate reference system (CRS) is a framework used to precisely measure locations on the surface of the Earth as coordinates. A Spatial Reference System Identifier (SRID) is a unique value
[Python] 都道府県における回線品質のマッピング - Qiita
ただし、JitterとPingの単位はms、DownloadとUploadはMbpsです。 このデータを可視化していきます。 3. 可視化 3.1. ライブラリ 地図データを扱う上で、もっともシンプルであろうGeopandasを採用しました。その他にも、インタラクティブな地図を作れるfoliumや、海外線、陸地、政治的境界線などの様々な特徴を表示可能なCartopyなどのライブラリがあります。 3.2 地図情報 地図情報は国土交通省の下記サイトから拝借しました。 必要に応じて全国か都道府県のデータをダウンロードしてください。今回は埼玉県と東京都のデータを使いたいので、 N03-20230101_11_GML.zip (埼玉県) N03-20230101_13_GML.zip (東京都) をダウンロードします。 圧縮ファイルを解凍すると、*.geojsonという地理空間データがあるのでこれを
![[Python] 都道府県における回線品質のマッピング - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0b38d51739b0d8f7bee8a523000b460390205fac/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCUHl0aG9uJTVEJTIwJUU5JTgzJUJEJUU5JTgxJTkzJUU1JUJBJTlDJUU3JTlDJThDJUUzJTgxJUFCJUUzJTgxJThBJUUzJTgxJTkxJUUzJTgyJThCJUU1JTlCJTlFJUU3JUI3JTlBJUU1JTkzJTgxJUU4JUIzJUFBJUUzJTgxJUFFJUUzJTgzJTlFJUUzJTgzJTgzJUUzJTgzJTk0JUUzJTgzJUIzJUUzJTgyJUIwJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1jNzFiNTU0MDBlNWNlZjNiMDg5ZmZjYmU4NWJiMDYzZg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQweXpybmImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTU2ZGUyZTMzZDAyNDM3NGI4NTYxMzQzNWRkNzE4YzE2%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D902d49928b1b7a5abd018eb24ecb7f1b)
GIS に欠かせない Shapefile を深堀ってみる - Qiita
1. はじめに 地理情報システム (GIS) で、使用するデータとして「Shapefile 形式」でデータ提供されていることがあります。この記事では、この Shapefile が、どのような構造となっているのかについて、説明していきます。 1.1. トポロジ構造とは Shapefile について説明していく前に、まずは GIS データ等でよく利用される「トポロジ構造」について説明しておこうと思います。 例えば、トポロジ構造を持つファイルとして、次のようなものがあります。 .gdb: ESRIのファイルジオデータベースは、トポロジを含む複雑な空間データを格納することができます。 .topojson: トポロジを保存するための拡張 GeoJSON 形式で、隣接する地物間の境界を共有することでファイルサイズを削減します。 .gml: 地理マークアップ言語 (Geography Markup La
GeoPandasは100万行の夢を見るか - Qiita
年末オープンジオかくし芸大会 でおなじみの、FOSS4GAdventカレンダー2018の23日目です。 はじめに この記事は 地図や位置のデータをPythonで処理したい Python初学者 QGISちょっとわかる PostGISやMySQLなどのサーバー系はちょっとしんどい 商用GISソフトは手元にない 暗中模索話だいすき という方むけの検証記事です。どうぞよろしくおねがいいたします。 きっかけ いろいろとアレで大量のcsvファイルをなだめたりすかしたりクリーニングしたりするために、PythonのライブラリであるPandasをよく使っています。Pandasについては多くの知見があるため割愛しますが、表形式のデータを取り扱うのに様々な命令があるため、結構便利ですし、今後もいろいろ使ってみたいなあと考えています。 ※こちらのパンダさんとはちょっと関係がないかもしれませんが、どこかでなにかつな
東京周辺の賃貸料金をマッピングしました - IT業界で気づいたことをこっそり書くブログ
そろそろ引っ越し時期ですね。 私も今年は引っ越さなきゃいけないし、知り合いも引っ越すらしいので、前からやりたかったマッピングをしてみました。 地域の相場感をなんとなく把握するのにどうぞ。 成果物全体 参考にした条件 30平米〜35平米、築30年以内、マンション、風呂トイレ別。 管理費込み、礼金は24分割して足しています。 色と賃料の対応 30万円以上 黒● 20万円 赤● 15万円 オレンジ● 12万円 黄緑 10万円 緑● 7万円 青● 5.5万円 水色● 4万円 白◯ あと、緑の円は大体駅から徒歩10分くらいです。 赤いラインは路線です。 以下、細かな所感 10万円以下に絞った地図 埼玉方面 千葉方面 神奈川方面 東京 主要な路線に沿って分布してますね。 ベッドタウンを見ていきましょう。 大宮 東川口、越谷 西川口、川口 川越方面 柏、流山 町田付近 千葉方面はずっと連なっている、賃料
SpatiaLiteを使ってSQLだけで面積按分 - Qiita
はじめに 初のAdventCalendar参加、「PythonからGRASS6の処理を動かす際の下ごしらえ」的なのを書こうかなあと思っていたのですが、takahiさんが12/07に投稿された、「PostGISを使ってSQLだけで面積按分」の記事が大変参考になったので、同じことをSpatiaLiteでやったらどうなるか？ …という内容にしてみます。 （takahiさん、有益な記事をありがとうございます！） SpatiaLiteって？ データベース管理システム（DBMS）のSQLiteを空間データベースとして扱える拡張機能です。 属性データや地物の条件に応じてデータを選択したり、抽出したり、結合したり、まとめたり、空間処理したり、という操作がSQLという言語を使って行えます。 データは一つのファイル内に収まるので、サイズはともかく見た目はコンパクトです。 どうしてSQLでやるの？ メリット①：
NVIDIA RAPIDSを使って前処理・機械学習・位置情報分析を高速化しよう - Qiita
NVIDIA RAPIDSを使ったデータ分析と位置情報分析の入門 皆さん、こんにちは、こんばんは。石黒慎と申します。 この記事では、NVIDIA RAPIDSを使ったデータ分析について、ご紹介させていただきます。 RAPIDSを使うと、データサイエンスに必要な前処理〜機械学習までを簡単に高速化できます。 本記事ではRAPIDSの導入方法・利用方法から、 RAPIDSを用いた位置情報データ分析までをご紹介します。 本記事を参考に、RAPIDSを用いた様々な分析にトライして頂けると幸いです。 本記事の目標: 読者にお持ち帰りいただきたいもの RAPIDSとはなにか？ RAPIDSの導入方法 RAPIDSの各種機能のご紹介 RAPIDSを使ったデータ分析入門 （タクシーデータに対して、dask-XGBoostを用いて機械学習） cuSpatialを使った位置情報データ分析 RAPIDSとはなにか
長崎県全域の点群データが自由に使えるらしいからみんなで使っちゃおうぜ！？ - Qiita
（※オープンナガサキのトップページ） くぅ〜〜〜〜痺れるトップページですね〜。 点群データ先進国家「SHIZUOKA」に引き続き長崎県も全域の点群データを公開してくれるそうです！ (一部地域はまだ調整中ですが…) （VIRTUAL SHIZUOKAの点群データはこちら) こうやってデータをバシバシ出してくれている以上は、我々エンジニアとしては有効活用させていただかねばなりません！！ と言うことで早速データをダウンロードしてGoogle Earthみたいな3D地球儀を作成できるJavaScriptライブラリである「Cesium」を利用して地球上に載せてみました！ （※この記事はPDALやpy3dtiles・Cesiumなど点群操作に慣れている人向けプログラマー向けですが、そうでない方も出来るようになるべく丁寧に記載してはいます。） データのダウンロード 何はともあれまずはデータをダウンロード
台風通過前後の風雨の様子を地図とグラフで整理する - Qiita
はじめに 過去の台風上陸前後に、どのくらい雨や風が強かったのか気になりました。そこで、特定の都市において、台風通過・上陸前後の風雨の様子を一覧できるようなウェブサイトを作成してみました。 注意：データ等は精査しておりませんので、間違いが含まれるかもしれません。ご利用の際は自己責任でお願いいたします（当方は責任は負いません）。 とりあえず、以下の３つの台風を作成しています。 令和元年台風第19号@東京 令和２年台風第10号@鹿児島 令和４年台風第14号@鹿児島 ※令和元年台風第19号@東京の例 レポジトリはこちら データの収集と加工 台風や当時の気象の状況は気象庁のウェブサイトから取得できます。台風の経路は、GeoJSON へ変換し、地図上に掲載します。地図の表示には、ウェブ地図ライブラリとして Mapbox GL JSを、背景地図として、国土地理院 最適化ベクトルタイルを利用しています。
jSTAT-MAPを使って駅利用圏の人口を集計してみよう！ - Qiita
はじめに 皆さん、jSTAT-MAP（地図で見る統計）はご存知ですか？存在自体は知っていたのですが、「あー、メッシュ人口とか表示できるんでしょ？」程度に思っていて、ほとんど使ったことがありませんでした…。 しかし、先日業務に関連して触ってみたところ、機能も豊富で使い勝手も良いではありませんか！ GISが使えない方も含め、サクッとしたレポート作成や情報確認にもっと活用していけるのでは？！という思いから、この記事を書き始めています。 jSTAT-MAPで何ができるの？ 公式HPではjSTAT-MAPは以下のように紹介されています。（以下引用） 地図で見る統計（jSTAT MAP）は、誰でも使えるWebサイトの地理情報システムです。 統計地図を作成する他に、利用者のニーズに沿った地域分析が可能となるようなさまざまな機能を提供しています。 防災、施設整備、市場分析等、各種の詳細な計画立案に資する基
地図 [データ] と著作権
青空文庫×StudyCode×ssmjp 2018年2月6日 https://ssmjp.connpass.com/event/74186/ LT発表スライド
![地図 [データ] と著作権](https://cdn-ak-scissors.b.st-hatena.com/image/square/0300c0d9a14fd8892206886d97833e1ccc44f1ae/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F9e37ef85f2904539af27e8dc0f159377%2Fslide_0.jpg%3F9365672)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
初めての位置情報エンジニアリング つまずきポイントあるある
Uplift Modelling for Location-based Online Advertising
