Poincaré Embeddings でJ1リーグのチーム・選手を可視化 - u++の備忘録
ふと「Poincaré Embeddings」*1で遊んでみたいと思い立ち、サッカーJ1リーグのデータで試してみました。 Poincaré Embeddings gensimでの実装とデータセット Poincaré Embeddingsの学習 活用方法 おわりに Poincaré Embeddings Poincaré Embeddingsに関する説明は、ABEJA*2やscouty*3のブログに譲ります。 Poincaré Embeddings は端的に言うと word2vec の埋め込み先をユークリッド空間ではなく双曲空間にするという手法で、階層構造やべき分布をもつデータを埋め込むという問題設定において、低次元でもよい表現を与えられるという特徴があります。 Poincaré Embeddings による職種の類似度計算とその利用 - LAPRAS AI LAB gensimでの実装とデ
LightGBMによる物性予測モデルの計算過程を視覚化する - Qiita
はじめに LightGBM の中身について理解するためにやってみたメモ 環境 本記事では以下を事前にインストールしておく必要がある。 Graphviz Python numpy pandas matplotlib scikit-learn LightGBM RDKit Graphvizについては、ツールをインストールした後、Pythonのライブラリをインストールする必要がある。Python: LightGBM の決定木を可視化して分岐を追ってみる や、【Windows10】Graphvizのインストール等を参考にしてほしい。 モデル構築 まずはRDKitを使ってもモデルを作成してみよう。 まずはモジュールのインポート import numpy as np import pandas as pd from matplotlib import pyplot as plt from sklear
データ分析のためのデータ可視化入門を読んだので感想です。 - niszetの日記
遅くなりました… www.kspub.co.jp @niszetが人生色々とgdgd進行しているため、読み終えるまでに時間かかってしまいましたが、最後まで読み終えたので読後の感想を書こうと思います。 なお、本書は id:u_ribo さんより GitHub Sponsorsのお礼という事で頂きました。ありがとうございました。なんかすみません…。 ちょっと雑多な文章になりますが、ご容赦ください。 感想 読後感としては、本文の文章が思ったより多く（付録をあわせて300ページを超えているので相応の分量ということですが）、基本は通して読むタイプなのでそれなりに腰を据えて読むのが良いと思いました。洋書にありがち？な、脇道に逸れたような話はないので純粋に説明の文章量が多いということでしょうから、悪い意味ではないです。 5章がデータの整形の話で、その前までが比較的基本的な可視化の話、6章がモデルデータ、
Extending ggplot2（和訳） - Qiita
この記事は、Rのggplot2パッケージの「Extending ggplot2」というVignetteを訳したものです。原文はGPL-2ライセンスで公開されているggplot2パッケージに含まれ、著作権はHadley Wickhamに帰属します。この翻訳文にもGPL-2ライセンスが適用されます。 Note that the original document is provided under the license of GPL-2 and the copyright belongs to Hadley Wickham, one of the authors of ggplot2. このvignetteには、ggplot2 2.0.0で公式に提供される拡張メカニズムについて書きます。 このvignetteは、?Statや?Geomや?themeで読むことができる低レベルな詳細をまとめたも
Seaborn Objects ~ グラフィックの文法で強化された Python 可視化ライブラリの新形態 ~ - GMOインターネットグループ グループ研究開発本部
2023.02.10 Seaborn Objects ~ グラフィックの文法で強化された Python 可視化ライブラリの新形態 ~ お久しぶりです。グループ研究開発本部・AI研究開発質の T.I. です。色々あって久しぶりの Blog となりました。今回は、趣向を変え、最近大幅に改良された Python のデータ可視化ライブラリである Seaborn の新しい機能を紹介します。昨年９月にリリースされたばかりということもあるのか、本邦どころか英語で検索しても解説資料は公式サイト以外はほぼ皆無(当方調べ)というレアな情報となります。 はじめに データ分析・機械学習などにおいて、データの様々な特徴を可視化しながらの調査・探索(Exploratory Data Analysis (EDA))は、対象の正確で深い理解には不可欠なアプローチと言えます。Python のデータ可視化ライブラリとしては、
私とProcessingときっかけ
なぜこの記事を作成したのか Processingを始めたきっかけや魅力に気づいたきっかけなど、さまざまな「きっかけ」を今なら言語化できるのでは？と感じ、記事として残そうと思いました。 また過去に募集した質問箱でも「きっかけ」や「理由」を尋ねてくる質問が多かったのもあって具体的に答える形で書いてみます。 ritocoの歴史みたいな視点で見てくれたら幸いです。 目次 なぜこの記事を作成したのか 目次 私について Processingって？ Processingを知ったきっかけ Processingの授業を受講したきっかけ Processingの魅力に気づいたきっかけ Processingで自主制作したいと思ったきっかけ Processingを深く学ぶ・知ることになったきっかけ Processing作品を投稿しようと思ったきっかけ 今日までのアウトプットのきっかけ 様々なきっかけがあって 私につ
ggforce パッケージの geom_mark_* 関数が便利な件について - ほくそ笑む
今年の5月に『Rによるインタラクティブなデータビジュアライゼーション』という本を出しました。 Rによるインタラクティブなデータビジュアライゼーション: 探索的データ解析のためのplotlyとshiny 作者:Carson Sievert共立出版Amazon この本は、主に plotly パッケージを使ってインタラクティブなグラフを作成するためのノウハウについて書かれています。 一方、この本にはビジュアライゼーションのちょっとした小技やテクニックが所々に散りばめられていて非常に勉強になります。 例えば、第1章には、外れ値を強調するために ggforce パッケージの geom_mark_hull() という関数を使う例が載っています。 ggforce パッケージには、この類似機能として以下の4つの関数が含まれています。 geom_mark_rect() geom_mark_circle()
UMAP 0.4の新機能で遊ぶ（プロット、非ユークリッド空間への埋め込み、逆変換） - Qiita
UMAPがバージョンアップしてv0.4が公開された。 2020/02/10現在では、pip install --pre umap-learnでバージョンを上げることができる。 疎行列をそのまま入力できたりいろんな機能が追加されているらしいけど、ここではプロット機能、非ユークリッド空間への埋め込み、逆変換を試してみる。 データだけ変えてほぼドキュメントに書いてあるコード例そのままやってるだけなので、それぞれについて詳しくはUMAPドキュメントへ。 データ PARCのレポジトリに置いてあったscRNA-seqのデータセットとアノテーション（Zheng et al., 2017, 10X PBMC）を使って実験する。68,579細胞、事前にPCAで50次元に圧縮済み。気軽にやるにはちょっと大きすぎるデータなので適当に1万細胞くらいに落として使う。
Google Colab + Matplotlibを使ったデータの可視化における2つの流儀とPandasのDataFrameのplotの話 - Qiita
Google Colab + Matplotlibを使ったデータの可視化における2つの流儀とPandasのDataFrameのplotの話matplotlibpandascolaboratoryGoogleColaboratory データ分析やデータ加工にGoogle Colabを使用するメリットの一つに、Matplotlibを使った可視化がやりやすい点があります。 Google Driveから読み込んだCSVやBigQueryでのクエリー実行結果から、最低限のコードで手軽にグラフを作ることができ、視覚的にデータの内容をチェックできます。 複数のグラフを並べてレイアウトしたり、seabornを使ってより高度な可視化をすることもできます。 Google Colab + Matplotlib + PandasのDataFrameを使ったデータの可視化はとても手軽で便利な一方で、 「流儀」 の問
花粉飛散量の分布を可視化してみた - Qiita
動機 花粉がいつどこで最盛期を迎えているか分かったら面白いかな，と思って初めてみました． 完成形 1フレーム1時間に対応し，2023年3月頭から4月中旬までの様子になります． 追記：たまに見られないです．githubの方で見てください． （クロップしてあります．実際は横にカラーバーと上に日付時刻が表示され，余白が大きいです） コードの概要 花粉のデータはWeathernewsが提供しているデータを使用します． APIが提供されており，取得したい期間と市町村コードを使うことで簡単に取得することができます． しかし，一回で取得できるデータが市町村1つ，期間は１ヶ月までなので，いくら自動化しても繰り返しの取得には時間がかかります． そこで，一度取得したデータをローカルに保存するようにし，プログラムの構成を以下のような構成にします． 取得したい市町村（都道府県単位），期間を指定 ローカルのデータベ
大規模グラフデータの可視化：Cosmographの紹介
テラーノベルで機械学習を中心に担当している川尻です。最近、グラフニューラルネットワーク(GNN)に注目しており、サーベイや検証をしております。以前にも以下の記事を書きました。 複雑なアルゴリズムを適用する前に、当たりをつけたり、結果を確認したりするためには、可視化が重要です。本記事では、いくつかあるグラフの可視化ツールの中でも、大規模なネットワークでも簡単に使えるCosmographを紹介し、テラーノベルのデータを使って可視化してみます。 Cosmographとは グラフデータを可視化するツールはたくさんありますが、もっとも有名なのはgrapgvizです。graphvizにはsfdp[1]という大規模なデータに対応したアルゴリズムが用意されていますが、ノード数が10k以上のような大規模なグラフになると計算時間もかなりかかって、パラメータ調整も大変になります。 Cosmographは、Web
Terraformの状態を可視化するツール、「Pluralith」を試す
Pluralithとは？ プラリスと読むみたいです。 Terraformの状態(state)を可視化するツールです。 こんな感じの図が自動で作成できたり、 コストやリソースの変更を可視化することができます。 GitHub ドキュメント 紹介動画 特徴 pluralith graphを実行するだけで構成図を自動作成可能 CIツールに組み込むことで、ドキュメント・構成図の作成を自動化 最新の変更をハイライトして見やすくする コストの可視化ができる(infracostが必要) リポジトリのREADMEを参照のこと 使ってみる Getting Startedに沿って使ってみましょう。 ※今回はRun Locallyで試しています。 インストール Download CLI手順に従います。 $ pluralith version _ |_)| _ _ |._|_|_ | ||_|| (_||| | |
Graphviz で歌詞を可視化してみる - Λάδι Βιώσας
昨日の続きです。Graphviz で何か面白い事を出来ないかなあ、と考えて、ミクシーのマイミクリスト相関図とか、エログサイトのサイト間リンクを可視化とか色々考えて作ってみたりしたものの、どれもありふれてるネタのような気がして今イチな感じ。 で、、、今日ふと旧友に会ったら、最近 Perfume を聞いてる、という話を聞きました。そこで、おーそうだ歌詞を可視化（ダジャレ）してみたら面白いんじゃないか（←ダジャレが）と思いついたので、早速作ってみた。 コードはこんな感じ。 # -*- coding: utf-8 -*- require 'MeCab' require 'kconv' require 'rubygems' require "graphviz" c = MeCab::Tagger.new("-O wakati") lyrics = open(ARGV[0]).read.toutf8
台風通過前後の風雨の様子を地図とグラフで整理する - Qiita
はじめに 過去の台風上陸前後に、どのくらい雨や風が強かったのか気になりました。そこで、特定の都市において、台風通過・上陸前後の風雨の様子を一覧できるようなウェブサイトを作成してみました。 注意：データ等は精査しておりませんので、間違いが含まれるかもしれません。ご利用の際は自己責任でお願いいたします（当方は責任は負いません）。 とりあえず、以下の３つの台風を作成しています。 令和元年台風第19号@東京 令和２年台風第10号@鹿児島 令和４年台風第14号@鹿児島 ※令和元年台風第19号@東京の例 レポジトリはこちら データの収集と加工 台風や当時の気象の状況は気象庁のウェブサイトから取得できます。台風の経路は、GeoJSON へ変換し、地図上に掲載します。地図の表示には、ウェブ地図ライブラリとして Mapbox GL JSを、背景地図として、国土地理院 最適化ベクトルタイルを利用しています。
「俯瞰」可視化が情報探索・分析を変える
下記のイベントでLTした資料です。私はDay 1に「「俯瞰」可視化が情報探索・分析を変える」というテーマで発表しました。 データ可視化ショーケースイベント Data Visualization meetup 2022 https://peatix.com/event/3452708 「俯瞰」可視化に関する、①アルゴリズム、②背景思想、情報探索・分析を変える可能性、③関連プレイヤーを話しました。
データビジュアライゼーションのための色彩理論入門 | Tableau-id Press -タブロイド-
Hello! ぼーです！ アドベントカレンダーも23日目となりましたね！ もうすぐクリスマスなので街中もカラフルなクリスマスイルミネーションが・・・と思いたいのですが、このコロナ禍でそろを見に行くことも控えてご近所さんちの気合の入ったクリスマスデコを眺める程度にしてます。（お父さんきっと頑張ったんだろうね、えらい） とういうわけで、可視化のための色彩理論をご紹介していこうと思います！ はじめに 弊社ではデータビジュアライゼーションを実現するにあたってTableau・PowerBIをメインに使いますが、やはり「キレイな絵」を作ろうと思うとTableauに軍配が上がると思っています。※個人の所感です。 Tableauにはあらかじめ綺麗に見えるよう調整されたカラーパレットが用意されていますし、コミュニティやブログを漁れば配色についての記事もたくさんあります。 今回はその巷でよく言われている配色の
高次元データの分布の密度を反映した埋め込み手法DensMAP - Qiita
なんかまた新しい埋め込み手法が提案された。次から次に。 Narayan, A., Berger, B. & Cho, H. "Assessing single-cell transcriptomic variability through density-preserving data visualization." Nature Biotechnology (2021) 見逃していたけど結構前にbioRxivで提案されていて、すでにUMAPの公式実装に機能が追加されている。 この論文ではt-SNE、UMAPの目的関数に、後述する「ある項」を追加して改良された新手法、Den-SNE、DensMAPを提案。 解決を試みている問題は、t-SNEやUMAPにおいて「高次元空間における密度」の情報が無視されてしまいがちな点。 以下具体的な例で見てみる。 具体例 密度が異なる6クラスタの埋め込み U
最近サイバーパンク風グラフ流行っていません？ - Qiita
まずはどんなグラフか？ その特徴は * ネオンカラーを使う。 * 基本線の前後に透明度の低い線を引いて、ボケ感を出す。 * 透明度の低い面装飾を追加して、ボケ感を追加する。 * 使用するフォントをサイバーっぽい物を使用する。 投稿のキッカケ matplotlib公式サイトにmatplotblogがあるのは、皆さんご存知でした？ このサイトの最新の投稿がMatplotlib Cyberpunk Styleで上記のグラフの作成について解説しています。(2020/03/27 投稿) NHKスペシャル▽新型コロナウイルス瀬戸際の攻防〜感染拡大阻止（2020/4/11 PM9:00-PM10:04)でもサイバーパンク風グラフが使用されていました。(2020/4/11放送) [引用：NHKスペシャル：NHKプラス再配信から] R界隈でもサイバーパンク風グラフパッケージがリリースされています。(リリース
PythonでGBFSを遊んでみる〜シェアサイクル到達圏の可視化〜 - Qiita
たまには本業っぽいことをしよう。 みなさんはシェアサイクルをご存じでしょうか？ 日本国内だとHELLO CYCLINGやドコモ・バイクシェアが有名ですね。単位時間で自転車をレンタルして、任意のポート（またはステーションともいいますが、この記事ではポートに統一します）に返却できるというサービスです。 GBFS(General Bikeshare Feed Specification)というシェアサイクル（といいつつキックボードなども扱えます）の情報を扱うフォーマットが策定されており、日本でも先に挙げた2社は公共交通オープンデータセンターからこの形式でデータが公開されています。 GBFSとはなんぞやについては、@kumatira さんの記事に詳しいのでそちらを参照ください。 さて、この記事ですが、ラストワンマイルだなんだと前置きが長い記事なので、スパッとソースだけ見てえという方は、前置きは飛ば
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Integrated Gradientsでグラフニューラルネットワークを可視化する