#15 pd.DataFrame.corrより高速に相関行列を計算してみた
TL; DRfrom scipy.spatial.distance import pdist from scipy.spatial.distance import squareform1 - squareform(pdist(df.T, 'correlation'))で df.corr() と同じ相関行列が計算できます。 背景機械学習などでは説明変数のカラム同士の多重共線性を考慮して相関が高いカラムの一方を削除するといった前処理がしばしば行われます (LightGBMなどの場合はあまり気にせずそのまま計算しちゃうこともありますが) このように相関行列を計算する時は、すでにデータをpd.DataFrameの形式で保存していることも多く、pandasの pd.DataFrame.corr を使うかなと思います。 しかし、 pd.DataFrame.corrはデータ数や説明変数の数が多いとやはり
Seaborn Objects ~ グラフィックの文法で強化された Python 可視化ライブラリの新形態 ~ - GMOインターネットグループ グループ研究開発本部
2023.02.10 Seaborn Objects ~ グラフィックの文法で強化された Python 可視化ライブラリの新形態 ~ お久しぶりです。グループ研究開発本部・AI研究開発質の T.I. です。色々あって久しぶりの Blog となりました。今回は、趣向を変え、最近大幅に改良された Python のデータ可視化ライブラリである Seaborn の新しい機能を紹介します。昨年９月にリリースされたばかりということもあるのか、本邦どころか英語で検索しても解説資料は公式サイト以外はほぼ皆無(当方調べ)というレアな情報となります。 はじめに データ分析・機械学習などにおいて、データの様々な特徴を可視化しながらの調査・探索(Exploratory Data Analysis (EDA))は、対象の正確で深い理解には不可欠なアプローチと言えます。Python のデータ可視化ライブラリとしては、
MLflowのデータストアを覗いてみる - 株式会社ホクソエムのブログ
(2020/08/14 flavorについての記載を一部修正) はじめに こんにちは、ホクソエムサポーターの藤岡です。 最近、MLflowを分析業務で使用しているのですが、お手軽に機械学習のモデルや結果が管理できて重宝しています。 また、特定のライブラリに依存しないなど、使い方の自由度も非常に高いところが魅力的です。 ただ、ザ・分析用のPythonライブラリという感じでとにかく色々なものが隠蔽されており、 サーバにつなぐクライアントさえもプログラマあまりは意識する必要がないという徹底っぷりです。 もちろんマニュアル通りに使う分には問題ないですが、 ちゃんと中身を知っておくと自由度の高さも相まって色々と応用が効くようになり、 様々なシチュエーションで最適な使い方をすることができるようになります。 というわけで、今回はMLflowの記録部分を担う、 Experiment, Run, Artif
LangChain の BigQuery Vector Search 機能によるベクトル検索
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段は、データ基盤や MLOps を構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、LangChain の BigQuery Vector Search 機能によるベクトル検索についてご紹介します。 この記事はこんな人にオススメ LangChain と BigQuery を組み合わせたベクトル検索方法をご
Vertex AI Agent Builder の検索システムを Python SDK から試してみる
はじめに Vertex AI Agent Builder で作る検索システム Vertex AI Agent Builder（旧 Vertex AI Search & Conversation）を使用すると文書検索システムが簡単に構築できて、コンソール上のデモ用検索ポータルから検索処理が体験できます。検索キーワードの「意味」を理解して検索するセマンティックサーチを行うので、次のように微妙にタイプミスをしても、こちらの意図を汲み取って検索結果を返してくれます。また、検索結果のサマリーテキストも表示されます。 コンソールの検索ポータルで検索する例 Vertex AI Agent Builder による検索システムは、次のような構成になります。「データストア」と「検索アプリ」の2つのコンポーネントを作成して利用します。 Agent Builder による検索システムの構成図 データストアは、ドキ
PandasのData FrameとElasticsearchのindexを相互変換する - Qiita
はじめに Elasticsearchの特定のインデックスにサンプルデータを投入したい。でも手元にあるのはキー項目は共通な別々のCSVファイル。えーこれ全部手でマージすんの？ それかスクリプト書く？ めんどくさ。。 そんな経験みなさんにもありますよね？ そんな時、（結局Pythonスクリプトは書きますが）Elandを使うとPandasのData FrameをそのままElasticsearchとやりとりできるので便利です。というかPandasが便利です。 依存ライブラリ 今回、Pythonのpandas, elasticsearch, elandの各ライブラリを使いますので、インストールされていない場合は以下のコマンドでインストールします。
超爆速なcuDFとPandasを比較した - Taste of Tech Topics
皆さんこんにちは。 @tereka114です。 今年末はKaggleで開催される面白いコンペも多くて日々、エンジョイしています。 最近は巨大なデータを扱うことが増えており、Pandasだと時間がかかりすぎて効率が悪いと感じています。 そのため、データを高速に処理できるcuDFを利用することも多くなってきました。 この記事ではcuDFの魅力と扱う際の注意点を説明していきます。 ※この記事は「Pythonその2 アドベントカレンダー」10日目の記事です。 qiita.com cuDFとは cuDFはNVIDIAさんが開発している、Pandasの代わりに利用することができるGPUのライブラリです。 最も大きな特徴はGPUで計算するため、高速であることです。 主に、カテゴリ変数ごとの平均計算や、テーブル同士の結合といった、時間のかかるテーブル処理で、効果を発揮します。 github.com cuD
『Pythonでスラスラわかる ベイズ推論「超」入門』を読んでみた。 - いものやま。
『Pythonでスラスラわかる ベイズ推論「超」入門』を読んでみたので、軽く感想とか。 Pythonでスラスラわかる ベイズ推論「超」入門 (KS情報科学専門書) 作者:赤石 雅典講談社Amazon 概要と感想 ベイズ推論の本はいろいろあるけど、この本は理論というよりツールとして活用することに重きをおいた感じの本。 サンプリングをどう計算するのかとかはライブラリ（PyMC）に任せてしまって本では解説せず、統計モデルの作り方と得られたサンプリングの結果の使い方の解説が中心になってる。 数理最適化でたとえると、単体法とかの解説はしないでPuLP使ったモデリングの解説をしている感じ。 そういうこともあってすごく読みやすかったし、実用としてはこういう本の方が助かるよね。 別に研究者として新しいアルゴリズムを作りたいとかでもないし。 数理最適化もそうだけど、理論とか勉強しても実際に使うときはライブラ
Pyserini（Faiss）を使ってお手軽Entity検索をやってみた！ - Retrieva TECH BLOG
こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 今回の記事では、Pyseriniという情報検索の研究で使われるPythonライブラリの簡単な使い方、拡張方法について紹介します。 Pyseriniとは Pyseriniを使ってEntityの検索を実施する Entity検索について Pyseriniの準備について Pyseriniを動かす流れ Encodeを行う Indexingを実施する Searcherを作成する Entity検索してみる まとめ Pyseriniとは 近年、Large Language Model（LLM）の流行に伴い、Retrieval-augmented Language Modelのように、情報検索技術の需要は高まっていると思います。 たとえば、LangC
[Python] 都道府県における回線品質のマッピング - Qiita
ただし、JitterとPingの単位はms、DownloadとUploadはMbpsです。 このデータを可視化していきます。 3. 可視化 3.1. ライブラリ 地図データを扱う上で、もっともシンプルであろうGeopandasを採用しました。その他にも、インタラクティブな地図を作れるfoliumや、海外線、陸地、政治的境界線などの様々な特徴を表示可能なCartopyなどのライブラリがあります。 3.2 地図情報 地図情報は国土交通省の下記サイトから拝借しました。 必要に応じて全国か都道府県のデータをダウンロードしてください。今回は埼玉県と東京都のデータを使いたいので、 N03-20230101_11_GML.zip (埼玉県) N03-20230101_13_GML.zip (東京都) をダウンロードします。 圧縮ファイルを解凍すると、*.geojsonという地理空間データがあるのでこれを
![[Python] 都道府県における回線品質のマッピング - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0b38d51739b0d8f7bee8a523000b460390205fac/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCUHl0aG9uJTVEJTIwJUU5JTgzJUJEJUU5JTgxJTkzJUU1JUJBJTlDJUU3JTlDJThDJUUzJTgxJUFCJUUzJTgxJThBJUUzJTgxJTkxJUUzJTgyJThCJUU1JTlCJTlFJUU3JUI3JTlBJUU1JTkzJTgxJUU4JUIzJUFBJUUzJTgxJUFFJUUzJTgzJTlFJUUzJTgzJTgzJUUzJTgzJTk0JUUzJTgzJUIzJUUzJTgyJUIwJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1jNzFiNTU0MDBlNWNlZjNiMDg5ZmZjYmU4NWJiMDYzZg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQweXpybmImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTU2ZGUyZTMzZDAyNDM3NGI4NTYxMzQzNWRkNzE4YzE2%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D902d49928b1b7a5abd018eb24ecb7f1b)
ChatGPTとNoteableによる科学技術情報分析
ChatGPTとNoteableプラグインを使って、科学技術情報分析ができるかを試した記録と所感メモです。本資料では、下記の分析プロセスにおける活用を試しています。 1. 論文情報収集 arXivから指定した検索条件にヒットするプレプリント情報を収集する。 2. 書誌情報分析 時系列推移、カテゴリ集計、著者集計を実施する。 3. テキストマイニング キーフレーズ抽出・集計、クラスタリングと解釈、 俯瞰可視化(二次元可視化)を実施する。 汚いままですが、実際のChatGPTとのやり取りや、生成されたスクリプトも資料の中でURLを公開しています。参考になれば幸いです。 noteでも簡単な説明と補足・追加コメントをまとめました。 https://note.com/hayataka88/n/ndfd913dab62f
GIS に欠かせない Shapefile を深堀ってみる - Qiita
1. はじめに 地理情報システム (GIS) で、使用するデータとして「Shapefile 形式」でデータ提供されていることがあります。この記事では、この Shapefile が、どのような構造となっているのかについて、説明していきます。 1.1. トポロジ構造とは Shapefile について説明していく前に、まずは GIS データ等でよく利用される「トポロジ構造」について説明しておこうと思います。 例えば、トポロジ構造を持つファイルとして、次のようなものがあります。 .gdb: ESRIのファイルジオデータベースは、トポロジを含む複雑な空間データを格納することができます。 .topojson: トポロジを保存するための拡張 GeoJSON 形式で、隣接する地物間の境界を共有することでファイルサイズを削減します。 .gml: 地理マークアップ言語 (Geography Markup La
コサイン類似度のいろんな書き方 - どこにでもいるSEの備忘録
前にこんなことやってました。 www.nogawanogawa.work コサイン類似度の計算を高速化したくなることがちょくちょくあるのですが、「ぶっちゃけどれくらいのスループットが出せるもんなの？」というのが気になったので完全に興味本位でやってみます。 コサイン類似度 定義と素朴なpythonでの実装 コサイン類似度の2つの計算パターン 諸条件 2つのベクトルの配列間ですべての組み合わせのコサイン類似度を計算 baseline numpy sklearn xlr8 pytorch jax Numba 実行速度結果 2つのベクトルの配列間で同じインデックスの組み合わせのコサイン類似度を計算 baseline numpy jax Numba 実行速度結果 使用したコード 参考文献 感想 コサイン類似度 定義と素朴なpythonでの実装 コサイン類似度は下記のような式になります。 これがなんの
GeoPandasは100万行の夢を見るか - Qiita
年末オープンジオかくし芸大会 でおなじみの、FOSS4GAdventカレンダー2018の23日目です。 はじめに この記事は 地図や位置のデータをPythonで処理したい Python初学者 QGISちょっとわかる PostGISやMySQLなどのサーバー系はちょっとしんどい 商用GISソフトは手元にない 暗中模索話だいすき という方むけの検証記事です。どうぞよろしくおねがいいたします。 きっかけ いろいろとアレで大量のcsvファイルをなだめたりすかしたりクリーニングしたりするために、PythonのライブラリであるPandasをよく使っています。Pandasについては多くの知見があるため割愛しますが、表形式のデータを取り扱うのに様々な命令があるため、結構便利ですし、今後もいろいろ使ってみたいなあと考えています。 ※こちらのパンダさんとはちょっと関係がないかもしれませんが、どこかでなにかつな
化学情報学にRDKitとScikit-learnで入門する - Qiita
このページを見たあなたは、もう化学情報学（ケモインフォマティクス）という世界に足を踏み入れている。まずはこの世界の入り口を概観してみよう。 題材として、水溶解度を取り扱ってみます Water solublity (logS) database http://modem.ucsd.edu/adme/databases/databases_logS.htm にある「database.dat (the SMILES file includes 1290 molecules)」 を使ってみましょう。 まず、データファイルの URL をチェックします。 http://modem.ucsd.edu/adme/data/databases/logS/data_set.dat であることが分かります。今回の目的は、このファイルの左端の列にある文字列（SMILES）から、水溶解度（logS）を予測する機械学
これからのデータ分析はPandasにDuckDBも併用して高速化しようという話
こんにちは。 株式会社アイデミーでデータサイエンティストをやっている米倉と申します。 今回はデータ分析を高速化するために、従来のPandasによる実装に加えてDuckDBも併用して高速化を図ってみたのでご紹介します。 BI(ダッシュボード)作った → データ重すぎて動かない問題 データサイエンティストや機械学習エンジニアの代表的な日常業務として、データ分析があります。 データ分析作業を楽にしたり、より良い意思決定に繋げるための考察を得る手段として、BIツール（ダッシュボード）を作ることがあります。 Pythonでダッシュボード的なものを作ろうとした場合、WEBアプリ系のフレームワークがいくつか存在します。 代表的なものとして、私も日々の業務で使っているStreamlitがあります。 Streamlit： とにかく簡単に作れて、速攻で可視化できるのが、現場のデータサイエンティストには大助かり
pythonによる共分散構造分析 ～MMMを添えて～ - Qiita
はじめに 共分散構造分析をする時、どうすればいいだろうか。 Amos？いやいや有料だし、R？いやいやメインで普段使っていないし、python？いやいや共分散構造分析簡単にできないんじゃ…。 ﾄﾞｳｿﾞ( ´·ω·)つ [semopy] ということでpythonで共分散構造分析が簡単に？できるsemopyを使用してみた。 実務で使うような想定でMMM(マーケティングミックスモデリング)の真似事をしながら試してみて、結果をlavaanやAmosの結果と比較した。 ちなみにMMMのことはほとんど知らないので調べながら実践。 結論を言うと、実務でも使えるツールだと思う。 参考文献 共分散構造分析[Amos編] － 豊田 秀樹(著) Pythonによるマーケティングミックスモデリング（MMM：Marketing Mix Modeling）超入門 その2 MMM（マーケティングミックスモデル）をRob
BigQuery DataFramesを使ってみる | DevelopersIO
このデータをBigQuery DataFramesで扱います。内容としては{project_id}.data_set_test.jp_weatherのデータを使ってPandasで行う一般的な分析操作を行います。コードは以下になります。 import os import bigframes.pandas as bpd bpd.options.bigquery.project = os.environ.get("GOOGLE_PROJECT_ID") bpd.options.bigquery.location = "asia-northeast1" df1 = bpd.read_gbq("{project_id}.data_set_test.jp_weather") # df1 = bpd.read_gbq("SELECT * FROM {project_id}.data_set_test.j
PolarsとPanderaで実現する高速でロバストなデータ処理
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Streamlitを使ってデータカタログを作ってみた