さて、世界は今コロナ一色ですね。 日本では少し落ち着きを取り戻してきたみたいですが、アメリカでは - 大統領は、コロナをChinese Virusと呼び出したり - 若者たちはオレたちゃ重症化しねぇとフロリダのビーチに押しかけたり - 暴動が起こると予想して、身の危険を感じる人々が銃を買い求めたり といった、なかなかカオスなことになってます。笑 ちなみに、著者はアメリカのPhD学生で、現在アメリカに住んでます。この夏は、シアトルのMicrosfot Researchにインターンに行く予定だったんですが、ボーイングがチャプター11して、シアトルの街が失業者に溢れかえるんじゃないかと若干心配してました。なんとかそこは免れたようですが、ただ逆に、インターン自体がリモートになりそうな勢いですが。笑さて、今回は、そんな公衆衛生に少し関連した話です。 公衆衛生とデータ・ビジュアライゼーションところで、
同僚に N個の集合のベン図 を描くスクリプト渡したらTwitter でちょっとバズったみたいなので解説を書きます。 N個の集合のベン図をかけるかという話で盛り上がってたら同僚がN個のベン図を描くスクリプトを作ってくれたので10個の集合のベン図貼っときますね. pic.twitter.com/ItoJQE45BT— しえら@1日目東キ17a (@sierrarries) 2017年12月19日 本解説では、Nベン図の構成方法と、本当にベン図になっていることの証明の流れを解説したいと思います。 また、上記ツイートのソースコードはここ↓に置いておきます。 github.com ブログも年1回くらいは更新しないとね。 ベン図 ベン図とは、みなさんご存知の、丸(閉曲線)の重なりから集合の部分集合や共通部分を説明するための図です。 ここでは、ベン図を以下のように定義します。 定義: ベン図 平面 上の
こちらの記事は、2019年 8月に公開された『 Data Scientists, The 5 Graph Algorithms that you should know』の和訳になります。 本投稿は転載であり、本記事はこちらになります。 はじめに 私たちデータサイエンティストは、Pandas、SQL、他のどんなリレーショナルデータベースに対しても、かなり満足しています。 私たちは、ユーザーの属性を列で表現し、ユーザを行として並べることに見慣れています。 しかし、現実の世界は本当にそのようになっているでしょうか? コネクテッドワールドでは、ユーザーを独立したエンティティと見なすことはできません。 ユーザーはお互いが一定の繋がりをもっているため、機械学習モデルを構築するときに、関係性を含めたい場合があります。 リレーショナルデータベースでは、異なる行(ユーザー)の間でこのような関係性を使用する
2021年7月24日。IBMから『IBM Plex Sans JP』がリリースされました。 「だから?」と思われた方、罰としてこのまま長い序文をお読みください。それ以外の方は次の見出しでお会いしましょう。 以前の記事でもお話ししましたが、これまでにリリースされてきた日本語対応のプログラミング用フリーフォントは、一部を除いて『源ノ角ゴシック』と『M+』という2つのフォントから派生したもの。 なぜ他のフォントが使われないのか。それは選択肢が無いからです。この2つ以外で、 漢字を網羅しクオリティが高くライセンスフリーで使えるそんな都合の良いフォントはほぼありませんでした。あるとすればそれは、漢字を含まないフォントのみ。 ここに加わってきたのが『Plex Sans JP』という新たな選択肢です。 日常使いできる安定感、多彩なウェイト (太さ) 、そして商用利用可能なフリーフォントであるという大きな
こんにちは。都志(@louvre2489)です。 これは Chatwork Advent Calendar 15日目のエントリです。 Chatworkではアジャイルを前提に開発を行っています。プロジェクト特性やチームのルールに依って多少特色はありますが、ほぼ全ての開発がアジャイルに行われているのではないでしょうか(詳細は未確認)。 アジャイル開発に慣れてくるとどういう風に開発を進めれば良いかも共通知ができてくるのですが、アジャイル開発を導入し始める時によくわからなくなるポイントの1つとして『スケジュールをどのように可視化するか?』という課題があると思います。 この課題に対して、私の所属しているチームで行っているスケジュール作成の方法を紹介させていただきたいと思います。 アジャイル開発のスケジュールを立てよう 実はこの内容、以前に藤井 (@yoshiyoshifujii) が書いてくれていま
ChatGPT(GPT-4)のAdvanced Data Analysis(旧Code Interpreter)、日本語フォントでグラフや画像、PDFファイルを出力する方法とTwitterの分析 はじめに 先週末にOpenAIの発表があり、ChatGPT(GPT-4)のCode Interpreterという機能が公開されました。内部でPythonが動いており日本語や英語で指示するだけでノーコードでデータの分析などを行うことができる便利なサービスです。 そのままではグラフ描画などで日本語の表示ができないのですが、「日本語フォント表示する方法を見つけ出した」のでこちらの記事でご紹介します。 ※8月29日にCode InterpreterからAdvanced Data Analysisに名称が変更になりましたが記事中ではCode Interpreterのまま記載しております この記事で学べること
米Microsoftは8月22日、Excelにプログラミング言語「Python」を搭載すると発表した。セルに「PY関数(=PY)」を入力するとPythonのコードを記述できるようになる。Pythonのライブラリとシート上のデータを参照して高度なグラフ作成や機械学習などができるという。 機能の名前は「Python in Excel」。利用には試験的に実装された機能を体験できるプログラム「Microsoft 365 Insider Program」への参加が必要。 Pythonコードは、クラウドプラットフォーム「Microsoft Cloud」上で実行。Pythonの各種ライブラリをまとめた「Anaconda」を活用しており、グラフ作成ライブラリを使ったデータの視覚化や、機械学習ライブラリを使った機械学習や予測分析などもできる。
Well, if you are a big TikTok fan and live in the United States, I have some bad news for you: A bill that would force a sale of TikTok or ban it in the United States passed the Senate. And the Presid Nvidia is acquiring Run:ai, a Tel Aviv-based company that makes it easier for developers and operations teams to manage and optimize their AI hardware infrastructure, for an undisclosed sum. Ctech re
カラオケに行くと、サビで声を張り上げることがある。「粉雪」の「こなー!」とかが有名だ。 そこで、曲ごとに最低音から最高音までどれくらいの音が分布しているのかをグラフにするのはどうかと思った。この曲は自分に歌えそうなのか、この歌手の音域はどのくらいなのか、曲や歌手ごとの差はどれくらいなのか。分かったりしないだろうか。 まず実例から示したほうがいいと思う。「かえるの歌」でやってみよう。 「かえるのうた」 かえるのうたがきこえてくるよ、という歌だ。ドレミファミレドーという音階だったのを覚えているだろうか。あの歌の「ド」や「レ」といった音がそれぞれ何回出てくるを数えてグラフにしたものがこれだ。 緑で示したのがいわゆる「まんなかのド」を含むオクターブで、子どもや女性にとって歌いやすい音域だ(と思う)。その左に青で示したのは、大人の男性にとって歌いやすい音域。 それを踏まえてみると、かえるのうたはこど
手書きスタイルのグラフやチャートを簡単に作成できるJavaScriptライブラリを紹介します。手書きの度合いも調整でき、ちょとラフな感じ、雑な感じ、かなり雑な感じ、ぐちゃぐちゃな感じにもできます。 グラフやチャートに使用するデータは外部.csvファイルにも、カンマ区切りのテキストデータにも対応しています。 roughViz.js -GitHub roughViz.jsの特徴 roughViz.jsのデモ roughViz.jsの使い方 roughViz.jsの特徴 roughViz.jsは、ブラウザで手書きスタイルのグラフやチャートを作成するためのJavaScriptライブラリです。D3.jsとrough.jsをベースにしており、MITライセンスで利用できます。 グラフやチャートは、現在7種類に対応しています。 棒グラフ(垂直) 棒グラフ(水平) ドーナツ 折れ線グラフ 円グラフ 散布図
はじめに こんにちは。イノベーションセンター、テクノロジー部門、データ分析コンサルティングPJの更科です。 この記事では、2022年12月08日にβ版フリートライアルキャンペーンが始まったNode-AIで時系列データの因果分析・重要度可視化・要因分析などをしてみようと思います。 Node-AIは時系列データの分析をするNTT Communicationsの内製開発サービスで、製造業を中心に様々な領域で活用されています。Node-AIについて詳しくは「ノーコードAIモデル開発ツール Node-AI」や「ノーコードAI開発ツールNode-AIの紹介」をご覧ください。 読んでほしい人 ノーコード(ローコード)AI開発ツールに興味がある人 時系列データの可視化に興味がある人 因果分析、特徴量重要度、要因分析に興味がある人 伝えたいこと Node-AIを使ってデータの様々な情報を可視化できる! No
ZOZO研究所の清水です。弊社の社会人ドクター制度を活用しながら、「社内外に蓄積されているデータからビジネスへの活用が可能な知見を獲得するための技術」の研究開発に取り組んでいます。 弊社の社会人ドクター制度に関しては、以下の記事をご覧ください。 technote.zozo.com 私が現在取り組んでいるテーマの1つに、「機械学習が導き出した意思決定の理由の可視化」があります。この分野は「Explainable Artificial Intelligence(XAI)」と呼ばれ、近年注目を集めています。 図.XAIに関連する文献数の推移(引用:https://arxiv.org/abs/1910.10045) その中でも今回はユーザに対するアイテムの推薦問題に焦点を当て、「なぜこのユーザに対して、このアイテムが推薦されたのか?」という推薦理由の可視化が可能なモデルを紹介します。 本記事の概要
Core Web Vitals(CWV)は2020年5月に発表されました。Googleはこの発表の中で、「より良いWebのためにページエクスペリエンスを評価する」と述べています。特に重要なのは、この評価がGoogleの検索順位アルゴリズムの一部を構成することでした。つまり、高速なWebサイトは、同等の遅いWebサイトよりも順位が上になり、Google検索によるトラフィック(ほとんどのWebサイトにとってWebトラフィックの最も大きな部分を占める)が増えます。 Webパフォーマンスコミュニティは、Webパフォーマンスのビジネス上のメリットを売り込むことに関して、常にSEO業界に劣っていました。Webパフォーマンスがビジネスのパフォーマンスに直接影響を及ぼす証拠が数多く存在するにもかかわらずです。しかし、今やSEO業界全体がWebパフォーマンスを重視するようになり、企業もWebパフォーマンスに
2022年2月15日 JavaScript, Webサイト制作 手書きのものってどこか温かみがあって親近感がわきますよね。今回はそんな手書き風のUIを実装できるJavaScriptライブラリーを紹介します! ↑私が10年以上利用している会計ソフト! Rough Notation Webサイト|GitHub テキストの一部を強調したり、注釈を入れたいところに手書き風マーカーを追加できます。まさに今書いてます!というようなアニメーションも面白いですね。 導入方法 JavaScriptファイルで import { annotate } from 'https://unpkg.com/rough-notation?module'; または npm でインストールします。 npm install --save rough-notation 実装方法 基本的には実装したい要素を指定して、装飾を指定し、
Nuxt.jsで開発しているWebサービスで、 棒グラフとか線グラフを使いたいなと思い、いろいろ調べた備忘録。 vue-chartjsを使うと、いい感じのグラフが簡単にできた(´ω`) こんな感じで使ってます!! 登録されている本の総額と総冊数の推移を棒グラフと線グラフで表示!! 色も文字も変えられて、いい感じに(´ω`) vue-chartjsの使い方 全体の流れはこんな感じ。 1. インストール 2. コンポーネントを作る 3. コンポーネントを配置する 1. インストール まずはインストール <!-- Template Tag can not be merged... --> <script lang="ts"> import { Component, Vue, Prop, Watch, mixins } from "nuxt-property-decorator"; import
プログラミング能力とUIのデザイン能力を両方兼ね備えているスーパーマンはともかく、一般的な開発者であればウェブアプリの開発時にUIのデザインで頭を悩ませた経験があるはず。もちろん、そうした需要に応えて世間にはさまざまなUIライブラリが存在しているわけですが、今回は「Tremor」というReact用UIライブラリで大きなアップデートがあったとのことなので、実際に使ってどんなUIが使えるのかを試してみました。 Tremor – The React library to build dashboards fast https://www.tremor.so/ Tremorを利用するためにはnode.jsのインストールが必要です。下記のURLから、手元の環境に合ったインストール方法を選択してください。 パッケージマネージャを利用した Node.js のインストール | Node.js https:
AWSの権限昇格してますか?(挨拶) PMapperは、指定したAWSアカウントのIAMとOrganizationsを分析して、権限昇格可能なパスを可視化してくれるツールです。NCCグループ社製。 github.com PMapperはIAMポリシー、ユーザー、グループなどをノード、権限昇格する(できる)ノードから、されるノードへのベクトルをエッジとして、有向グラフを生成します。こんな感じ。 権限昇格できるノード--昇格方法-->権限昇格されるノード AdministratorsAccess の他、IAMFullAccess のように、自分自身にポリシーを割り当てられるノードをAdminと位置づけ、AssumeRole や PathRole によってAdminに(直接的か間接的かを問わず)なれる別のノードを探す、という感じみたいです。 実行 CloudShellを使いました。Dockerイ
ビジネスの現状を把握し、さらにモニターし続けるためにダッシュボードなどを使ったBI(ビジネス・インテリジェンス)の仕組みを社内に導入したものの、社内ではあまり活用されていない、またはプロジェクトが途中で終わってしまったといった話をよく聞きます。 そこで、こちらの記事ではBI導入やダッシュボード作成プロジェクトを進めるときにぶつかることの多い問題、さらには、そうした問題を乗り越えてプロジェクトを成功に導くための5つのポイントを紹介します。 1. データの加工 ダッシュボードの作成プロジェクトに関わるタスクを考えると、真っ先に思い浮かぶのは、ダッシュボードに、どのようなチャートを入れるのかや、そのレイアウトをどうするかといったことです。 しかし、ダッシュボードの作成に関わるタスクを紐解くと、ほとんどの業務はダッシュボードに入れるチャートの作成にかかる時間ということになります。また、チャートの作
David Gewirtz (Special to ZDNET.com) 翻訳校正: 川村インターナショナル 2023-09-18 08:30 筆者が何に喜びを感じるかご存じだろうか。表とグラフだ。 掘り下げて分析できるクールなグラフを与えられると、理屈抜きで幸せになる。選挙の夜にニュースを見るのが大好きだが、それは投票数を知りたいからではなく、さまざまな素晴らしいグラフを見られるからだ。一晩中チャンネルを変えながら、各テレビ局が数値データを示すために考え出したあらゆる方法を見ている。 それは変なことだろうか。そうは思わない。 結論からいうと、「ChatGPT」はグラフや表の作成が非常に得意だ。広く利用されているこの生成AIチャットボットが、大量の情報をまとめ上げて、グラフ化する価値のあるデータに変換できることを考えると、ChatGPTが美しいプレゼンテーションで提示するものは、情報面での
「Metabase」はオープンソースでセルフホストも可能なデータ視覚化ツールです。前回の記事でその使い方を確かめられたので、早速GIGAZINE夏のプレゼント大放出企画で集めたアンケートデータを分析してみました。 Metabaseのセットアップや機能については下記の記事で詳しく解説しています。 無料で大量のデータを自動で見やすいグラフなどで可視化し定期的に更新反映されるダッシュボードをオープンソースでセルフホスト可能なアプリ「Metabase」を使ってみた - GIGAZINE GIGAZINEのアンケート結果を読み込むためにPostgreSQLのセットアップを行います。前回に引き続きDockerを利用するので、下記のコマンドでPostgreSQLを起動します。「パスワード」や「ディレクトリへのパス」は適宜書き換えて下さい。 docker run --name metabase-postg
Notionでタスク管理や顧客管理などを行っていると、数値実績をグラフで可視化したくなることもありますね。特に、売上や販売数などの目標を定めている指標、商談数やタスク消化状況などの個人評価に関わる指標については適時確認できるダッシュボードがあると便利です。→過去の回はこちらを参照。 Notionには標準機能としてグラフやダッシュボードを作る機能はありませんが、外部のツールと連携することで作成できるようになります。 手軽なツールとしてはNotionChartsや以前の記事でご紹介したNochartを利用すればNotion上のデータからグラフを作成することができます。しかしながら、複数のグラフを綺麗にまとめてダッシュボードを作ったり、表示フィルターを用意して高度な分析をしたりする場合には上記ツールでは不十分です。 今回は、無料で使える高度なBIツールのGoogleデータポータルを使ってNoti
# https://www.kaggle.com/abcsds/pokemon から取得した Pokemon.csv を読み込む。 df = pd.read_csv("Pokemon.csv") # df とは、 pandas の DataFrame 形式のデータを入れる変数として命名 https://www.kaggle.com/abcsds/pokemon によると、各カラム(列)は次のような意味らしいです。 #: PokeDex index number Name: Name of the Pokemon Type 1: Type of pokemon Type 2: Other Type of Pokemon Total: Sum of Attack, Sp. Atk, Defense, Sp. Def, Speed and HP HP: Hit Points Attack: At
もちろん、上記とは異なる意見をお持ちの方もいるでしょう。しかし、自身の個別具体的な環境や経験においてはざっくりこのような印象です。以降、詳しく説明していきます。 「データ視覚化/ダッシュボードデザインを成功させる95のチェックリスト」をダウンロードする 2. すぐに分析を始められる「Power BI」 (公式Youtubeチャンネルから拝借) 120種類のデータソースに接続できるExcel、テキストファイル、各データベースなどのオンプレミスから、Azure、GCP、IBMなどのクラウドまで約120種類のデータに接続できます。 Excelベースの分かりやすいインターフェース誰もが使い慣れているExcelと同じインターフェースです。そのため、新しく何かを始める時によく起こる「どこに、なにがあるのか分からない」という状況には陥りません。 操作が簡単基本操作はドラッグ&ドロップとクリックのため、簡
Visualize your ideas. Infinite space to research, brainstorm, diagram, and lay out your ideas. Canvas is a core plugin included for free with Obsidian. A playground for thought Canvas allows you to organize notes visually — an infinite space to research, brainstorm, diagram and lay out your ideas. Embed your notes alongside images, PDFs, videos, audio, and even fully interactive web pages. A new w
にじさんじの配信者間で"似ている"配信者はどういう人たちか 唐突ですが、一週間前は文化の日でしたね。せっかくだったので、文化らしいことをしたいなと思い、youtube data apiを使って遊んでみることにしました。 youtube のデータを使ってなにかしよう、となったとき、他の人はどういう分析をするんでしょうか。最近よくみるデータとしてはスパチャランキング・登録者数推移の予測などが思い当たります。 そしてまた唐突に語り始めるのですが、僕はvtuberの配信をラジオ代わりに流していることが多く、いわゆるvtuberのオタクです。オタクのあり方には諸説ありますが、僕はラジオ代わりということもあり雑談配信やマイクラ配信を流していることが多いです。「にじさんじ」の配信を見ることが多い気がします。 さて、「にじさんじ」は言わずとしれた大所帯グループです。約100人の配信者が一つの箱に所属してい
はじめに ふと思い立って勉強を始めた「ゼロから作るDeep LearningーーPythonで学ぶディープラーニングの理論と実装」の5章で私がつまずいたことのメモです。 実行環境はmacOS Mojave + Anaconda 2019.10、Pythonのバージョンは3.7.4です。詳細はこのメモの1章をご参照ください。 (このメモの他の章へ:1章 / 2章 / 3章 / 4章 / 5章 / 6章 / 7章 / 8章 / まとめ) 5章 誤差逆伝播法 この章は、ニューラルネットワークの学習において重みパラメーターの算出を高速化するための、誤差逆伝播法についての説明です。 ちなみにこの「伝播」(でんぱ)という言葉はPropagetionの訳なのですが、「伝搬」(でんぱん)と訳されることもあって日本語は混沌としています。この辺りを調べたブログの記事を見つけましたので、興味のある方は 歩いたら
RAG(Retrieval Augmented Generation)は大規模言語モデル(LLM)の性能を改善するための手法の1つであり、質問に対する回答を生成する際に、外部知識源から情報を取り込みます。 これにより、LLM 自体で学習できる情報量に制限されることなく、より正確で詳細な回答を生成することができます。 よく使われているRAGでは、外部知識源として検索エンジンにテキストをインデックスしておき、質問に関連するテキストをベクトル検索や全文検索を用いて取得します。しかし、構造化データを扱うことには苦労するため、質問によっては回答が不十分、あるいはまったく回答できないことに繋がります。 これらの問題を克服するために、ナレッジグラフを用いたRAGが構築されることがあります。ナレッジグラフでは、エンティティとその間の関係がグラフ構造で表現されており、単純な検索を用いた場合には回答できないよ
Manningから出版予定の『AI-Powered Search』(AIを活用した情報検索の意)を冬休み中に読んでいたら、その中で意味的知識グラフ(Semantic Knowledge Graph)と呼ばれるデータ構造について説明していて、関連語の計算やクエリ拡張などに使えるということで興味深かったので紹介しようと思います。最初に意味的知識グラフについて説明したあと、日本語のデータセットに対して試してみます。 AI-Powered Search(https://www.manning.com/books/ai-powered-search) 本記事の構成は以下のとおりです。 意味的知識グラフとは 意味的知識グラフを用いた関連語の計算 参考資料 意味的知識グラフとは 知識グラフと聞くと、固有表現認識や関係抽出、OpenIEを使って構築するグラフを思い浮かべる方もいると思うのですが、意味的知識
この記事は、Merpay Tech Openness Month 2020 の17日目の記事です。こんにちは。メルペイのMachine Learningチームのhmjです。 検知精度とオペレーション負荷のトレードオフ解消 取引の連続性に着目した検知 と不正決済の検知への機械学習の適用の内容にて投稿してきました.今回は「集団的な不正の検知」がテーマとなります. 昨今,Web不正検知やセキュリティに関わるでもECサイトでの集団による不正の手口は多様化や複雑化してきていることが報告されています[1]. メルペイでも,今後起こり得る集団的な不正決済への対策を講じる必要があると考えています. 集団的な不正は検知できたとしてもその全体像がみえにくいこともあり,ソリューションとしては「検知できること」と「すばやく全体像を把握できる」を満たすものが求められています. 両者を満たす解決方法として,グラフ理論
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く