自分専用のCode interpreterを作れる「Incognito Pilot」が素晴らしい。
＊注意 これから紹介するソフトウェアはAI(GPT4)にプログラムを実行させるというものです。実行される前にコードの内容を確認できるような仕組みになっていますが、迂闊に実行させてしまうとどんな問題が起こるかわかりません。必ず仮想環境などを用意してトラブルが起きても対応できるように自己責任で利用してください。自分で理解できないコードを「Approve」するのは危険なのでやらないでください。 また、仕組み上プログラムの実行結果をOpenAIに送信することになります。気密性の高い情報の処理を行うのは危険です。外部サービスのトークンなどを使う場合は必ず専用のトークンや鍵を生成していつでも停止できる準備をして使ってください。 紹介 Incognito Pilot Incognito Pilotは大規模な言語モデルとPythonインタプリタを組み合わせたもので、あなたの代わりにコードを実行し、タスクを
韓国の領内ではGoogle Maps APIのカスタムスタイル機能が適用されない
Google Maps APIにはベースマップのスタイルを動的に変更する機能がありますが、それがなぜか韓国の領内には適用されません。 発見した時にはバグかと思って開発者ツールで色々調べて見たりしたのですが、ググってみたところ技術的な問題というよりは法律上の問題でした。 参考： 구글 자바스크립트 style 한국 적용에 대해서 질문드립니다. – Google プロダクト フォーラム 以下、機械翻訳 韓国では国内法上の地図データを海外のデータセンターにエクスポートすることができない制約があって、Googleマップで提供される一部の機能が動作しておらず、地図画像を動的に変更する機能も含まれます。韓国の地図は、国内サーバーを介して制限的なスタイルの指導のみサービスしており、その他のAPIなどを通じた地図画像の変更は、現時点では困難です。今後、より多くのGoogleマップサービスの機能をサポー
Fetch APIのStream機能を使ってデータを読み込みながら地図を描画する
地理空間データはどうしてもデータサイズが大きくなりがちです。 通常のデータ読み込みでは、読み込みが終わるまで地図の描画を始めることができないのですが、Fetch APIのReadableStreamを使うことで、「一部データを読み込んでは地図の一部分を描画する」という分割したレンダリングを実装することができます。 サンプルコード 約50MBのポリゴンデータを読み込みながら逐次描画しています。 DEMO //地理データをstreamを使って読み込む fetch("city.txt").then((response) => { const reader = response.body.getReader(); const stream = new ReadableStream({ start(controller) { function push() { reader.read().then(
[追記]スクリプトでスクリプトを停止させることの難しさ。
「サイト上で実行されるプログラムについて同意を確認するためのプログラム」という記事で、MutationObserverを使ってscriptタグがDOMに追加させるタイミングでremoveを行うという力業を試してみたのですが、どうにも完全に実行を停止するのは難しいようです。 もともと、本来はheadタグ直下で実行すべきコードを記事文中内で実行しているため、記事以前に記述されているscriptに関しては実行を止めることができていなかったのですが、ほかにもasync属性が設定されているスクリプトに関してはこの方法では実行を止めることはできないようです。 また、一度ページが表示されるとキャッシュが残るため、2回目にページを表示した際に正しく動作しないようです。 サードパーティのスクリプトをフックして実行を制御するのはなかなかに難問でした。 [追記]検証ページつくってみました。 ※リンク先の検証ペー
![[追記]スクリプトでスクリプトを停止させることの難しさ。](https://cdn-ak-scissors.b.st-hatena.com/image/square/fd902abb89b1b4fc328a4b2ee96c2be18ced2e8d/height=288;version=1;width=512/https%3A%2F%2Fgunmagisgeek.com%2Fblog%2Fwp-content%2Fuploads%2F2018%2F06%2F34247407796_ca570b37e6_k.jpg)
サイト上で実行されるプログラムについて同意を確認するためのプログラム
昨今、クライアントサイドでプログラムを実行するリスクが高まっています。 そこで、ページ上で実行されるプログラムについて閲覧者に同意を求めるプログラムをこのページに埋め込んでみました。 ひとえにクライアントサイドで実行されるプログラムといっても様々なものがあります。 例えばこのブログはWordpressで作られていますが、使用しているテーマは様々なJavaScriptライブラリを外部から読み込んでいますし、Google アドセンスのような広告を表示するためのプログラムや、Google アナリティクスのようなアクセス解析を行うためのプログラムも閲覧者に許可なく実行され、CPUやメモリ、電力といった閲覧者のリソースを消費します。 また、このブログに掲載しているデータビジュアライゼーションや地図コンテンツは、複雑な計算処理をクライアントサイドで行う為、非常に負荷の高いプログラムがユーザーサイドで実
ドナルドのいない街を可視化してみた。
市区町村ごとのマクドナルド店舗数で色付けしています。色が濃い地域ほど店舗が多くなります。 白く塗られた地域がマクドナルドが一店舗もない「ドナルドのいない街」です。 DEMO 経緯 Geoクラスタではマクドナルドの店舗データを使った分析が流行っているらしいので、周回遅れながらこのビッグウェーブに乗ってみることにしました。 日本一マクドナルドから遠い場所 - Qiita 「本当に」日本一マクドナルドから遠い場所｜ヌノカワ ユウスケ｜note 日本一マクドナルドから遠い場所はPostGISで求められるかな？ - Qiita 日本一マクドナルドから遠い場所 をより精確に求めてみた - Qiita とはいえ、一番遠い場所を見つける別のアプローチも思いつかなかったので、今回は、GISを使った分析の基本、「ポリゴンごとに含まれるポイントをカウントして塗り分け地図を作る」をすることに。 データ ・マクドナ
GeoJSONをフロントエンドでベクトルタイル化して表示する。
中規模のデータをどうやって地図上に視覚化するか フロントエンドで地図を表示するのは、データサイズとの戦いです。 現在のところ、大量のデータを表示するにはベクトルタイル化するのがもっともベターですが、ベクトルタイルにもいくつかの何点があります。 例）全国のガソリンスタンドの位置を地図上にプロットしてみた。 一つは、データのコンバート作業に時間がかかること。 どの程度のズームレベルまで作成するかによるのですが、タイルファイルを生成するまでには何工程か経なければならず、運用で頻繁にデータを差し替えたり更新したりする必要がある場合、無視できない作業量になります。 もう一つは、フロントエンドでかなり多くの404アクセスエラーがでること。 タイルのコンバート時間を短くするには、必要な部分のみ作成するのがもっとも効果的なのですが、その場合、地図クライアントソフトが存在しないタイルに対してもリクエストを投
Web地図のあり方をかえるかもしれない?! 地図専用アクセス解析サービス「Maptiks」
MaptiksはLeafletやOpenLayers、Google Maps APIなどで作成された地図にたいするユーザーのアクティビティログを収集することができるWeb地図専用のアクセス解析サービスです。 Welcome to Maptiks – Analytics for Web Maps from will cadell on Vimeo. Maptiksを利用すると、地図上の各レイヤーごとの読み込み時間や表示回数、ユーザーが良く見ている位置やズームレベル、マーカーごとのクリック数などを集計し分析することができます。 サンプル 下記は先日公開した「大阪市ひったくり発生個所マップ」のアクセス解析画面です。 ・地図全体とタイルレイヤーごとのステータス ・ズームレベルアクティビティのヒートマップ 感想 ユーザーがWeb地図上で「どこらへんのエリアをよく見ているのか」や「どのマーカーをクリッ
ストリートビューの画像を使いたいときは「Street View Image API」を使いましょう。
Google Street View Image APIを使うと、JavaScriptを使用せずにWebページにスタティック(静的)なストリートビューのパノラマやサムネイルを埋め込むことができます。ストリートビューを画像として使用したい場合に便利なAPIです。逆にこのAPI以外の方法(ストリートビューをスクショして貼るなど）は規約違反になるので注意。 スクリーンショット/サイト内での使用: Google マップ、Google Earth、ストリートビューなどからの対象コンテンツをご自分のウェブサイトで使用する場合、スクリーンショットをアップロードするのではなく、サイト内に対象コンテンツを埋め込むようにしてください。
「Code for YOKOHAMA ミートアップ」に参加してきました。
下記イベントにお誘いいただき参加してきました。 Code for YOKOHAMA ミートアップ ゲストに、首都大学東京の渡邊英徳さんと早川聖奈さんと、ブログ「Gunma Gis Geek」を運営する清水正行さんをお迎えして、オープンソースの3D地図作成ライブラリ「Cesium」についてお話しいただきます。 というテーマだったので「cesium」祭りな夜でした。 ちなみにCesiumとは、WebGLを使用しプラグインレスでWebブラウザ上に3D地球儀や2Dマップを作成するためのJavaScriptライブラリです。クロスプラットフォーム、クロスブラウザに対応し動的なデータビジュアライゼーションが行えます。Apache 2.0ライセンスで公開されているオープンソースで商用、非商用利用ともに無料で使用することができます。（名称がちょっとねーという話で盛り上がった） ゲストである首都大の渡邊さん、
【D3.js】Shape Tweening 練習中
D3.jsを使ったPathのアニメーションについて勉強中です。 path要素のアニメーションはcircle要素やrect要素を使ったアニメーションより、いろいろと手間がかかるのですが、その中でも地理情報を元に作成したPathを動かすのは結構難儀だったりします。 でも、これができるといろいろと表現の幅が広がるので、知恵熱だしながら下記サンプルを元に習作をつくってみました。 Shape Tweening Bubbly Gunma 上記サンプルを元に群馬県をバブルっぽくしてみました。 example ほとんど上記サンプルのままですが、簡単に説明すると、各市ポリゴンの中心座標を取得し三角関数を使って円の座標データを別に作成しています。円の描き方に関しては下記記事がとても参考になります。 openFrameworks – いろいろな方法で円を描く、インタラクションを付加する 線グラフを群馬県にする
戦後・復興期と現在の空中写真を重ねて比較してみた
昨日の続き。 example Facebookにて、レイヤーを重ねて比較するサンプルコードを教えていただいたので、やってみました。 サンプルをちょっと弄っただけですが、一応Y軸にもスライドできるようにしてみました。 上のスライダーを動かすとY軸が、下のスライダーを動かすとX軸の表示領域が変わります。 重ねたレイヤーをcssのclip機能で切り抜いて表示・非表示を操作しています。 サンプル var ort = L.tileLayer( 'http://cyberjapandata.gsi.go.jp/xyz/ort/{z}/{x}/{y}.jpg', { attribution: "GSI Ortho", maxNativeZoom: 17, maxZoom: 20 }); var ort1940 = L.tileLayer( 'http://cyberjapandata.gsi.go.jp
ブラウザおよびnode.jsのための高度な地理空間データ分析ライブラリ「turf.js」
選択した範囲内の家賃相場を求めるとかいろんなことに使えます。 example Turf.jsはMapbox社謹製の地理空間データ分析ライブラリです。ピュアJavaScriptで作成されていてフロントエンドでもサーバーサイドでも動作します。 Turfの特徴としては、対応するデータ形式をGeoJSONを絞っており、基本GeoJSONで受け取ったデータを分析して分析結果をGeoJSONで返すといったライブラリになっています。 そのため、GeoJSONに対応した地図ライブラリと組み合わせることで、分析結果を簡単に視覚化することができます。もちろんD3.jsと組み合わせて使うのも簡単！ いろいろな可能性を秘めた今後が楽しみなライブラリです。 今回は入門編として、Leaflet上で選択した範囲内のデータの基本統計量を計算します。 マーカーのプロパティには、それぞれ「value」値が設定されていて、選択
独身男性と独身女性の比率が一目でわかる地図「Singlesatlas」
singlesatlas 赤に近いほど、絶望的に独身異性の数が少ない地域となります。 東京がヤバイです。ズームするともっと細かな地域ごとの比率を見ることができます。 右上のメニューにある「I’m a man」をクリックすると「独身男性に対する独身女性の比率」と「独身女性に対する独身男性の比率」を入れ替えることができます。 対象とする年齢の幅も調整できるので、お好みでどうぞ。 コロプレス図（塗り分け地図）として表示することもできます。 ちなみに、「独身男性に対する独身女性の比率」がもっとも低いのはカタールだそうです。独身男性100人に対して独身女性は24人だとか。 元データへのリンク集 SinglesAtlas Attributions 各国の国勢調査データを使用しているみたいですね。
日本列島を囲む境界ボックス四隅の緯度経度を求める
いまちょっと弄っているライブラリを使う関係で、日本列島がすっぽり収まるBOXの四隅の座標(緯度経度)が必要になりました。ググればどっかに載っているかな？ と思っていたのですが、意外と見つからない。 「それっぽいサンプルがあった！」と喜び勇んでみてみると、四隅ではなく左上と右下の座標しか出してくれなくてがっかり。 しかも、よく見たら自分がずいぶん前にjsdo.itで作成していたものでした。 もう、ほんとなんか残念 orz とりあえず、大体のところが分かれば良いので、D3.jsで座標を出力してみました。 サンプル example d3.json("../../_geodata/japan_kanji.geojson", function(json){ d3draw(json); }); function d3draw(geojson) { var projection = d3.geo .me
群馬県の小学校区とボロノイ図を重ね合わせてみた
example 以前紹介した「最適配置の数理」という本の中で、学校区の範囲とボロノイ分割区域とを比較して、そのズレを検討した研究事例というのが載っていたので群馬県の小学校の上にボロノイ図をオーバレイしてみました。 ざっと見た感じ中心地ではほとんど近似しているようなのですが、沼田市周辺で学区とボロノイ図がズレまくっていて気になったので調べてみたところ、いくつかの小学校が廃統合された結果、ちょっと歪な形になっているようです。 いろいろ調べてみると面白いことがわかるかもしれません。 小学校区ポリゴン表示 小学校区に関しては以前Google Maps上にKMLを読み込んで表示したことがあったので、今回はGeoJSONデータを使いました。元データは国土数値情報から、QGISを使ってGeoJSONに変換しています。 参考：ShapeファイルからGeoJsonファイルを作成する Google Maps上
未開の地のエンジニアが３年間ブログをやってみた結果。
ども。グンマー(未開の地)の片隅でオープンデータとデータビジュアライゼーションとGISに戯れているエンジニアです。 「WordPressもくもく勉強会@群馬」で書いた記事なのですが公開するのを忘れていました…orz 勉強会の内容については、「たらハコ」さんがレポートを上げていますのでそちらをご覧ください。(興味ある方は是非勉強会にご参加ください！) ３年間を振り返る はてブを見ていたら、ブログ開設からの推移を振り返る記事が何件か上がっていたので、自分もやってみることにしました。 とりあえずデータから。 ブログのデータ ブログ開始 一番最初の記事の日付が「2010/12/08」なのですが、これは以前ブログをやっていたBloggerからインポートした記事なので実際の開始日ではありません。このブログを初めて一番最初に書いた記事を覚えていないのですが、多分「2011/11/24」に書いた「エディタ
[node.js]偽POPサーバー
「iPhoneでPCのメールって受け取れるんでしょ？ 設定して」 「メールのパスワードは？」 「わかんない」 「……」 と、言われて作った簡易偽POPサーバー。 node.js便利。 var net = require('net'); var rl = require('readline'); var server = net.createServer(function (socket) { socket.write("+OK Dovecot Ready."+"rn") ; var i = rl.createInterface(socket, socket); i.on('line', function (line) { console.log(line); (/USER.*/i.test(line)) ? socket.write('+OK Password required for '
![[node.js]偽POPサーバー](https://cdn-ak-scissors.b.st-hatena.com/image/square/4b7c1892c975cc8f84c9199db8702623f842874c/height=288;version=1;width=512/https%3A%2F%2Fgunmagisgeek.com%2Fblog%2Fwp-content%2Fuploads%2F2014%2F03%2Ffakepopserver20140311.jpg)
PDFから表データをぶっこ抜く「Nitro Cloud」
DATA GO JPに並んでいるデータセットが「PDFばかりじゃないか！」とお嘆きの方へ。 Nitoro Cloud PDF to Excel PDFで公開されているデータというのは、わりと扱いにくかったりします。 ドキュメント内で表組みされているデータを取得しようと、表を選択してExcelにコピペしても表のレイアウト情報はコピーされないため整形しなおす必要があったりするので、しごくメンドウです。 「Nitro Cloud」は、PDF内の表データをぶっこ抜いてExcelファイルに変換してくれるクラウドサービスです。 かなりの精度で表データを抜き出してくれるため、非常に便利です。 サンプル 月５ドキュメントまで無料で使用できるので、PDFからデータを取得したいと考えている方は、利用してみてはいかがでしょうか。 関連記事 ひとりオープンデータソンやってみました。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ピクトグラムとバックグランドを選ぶだけで自由にアイコンが作成できるWebサービス「FreeIconMaker」
