【後藤弘茂のWeekly海外ニュース】 AIアクセラレータコアをFPGAに組み込んだXilinxの新カテゴリ「Versal」
MLU-Explain
MLU-EXPLAIN Visual explanations of core machine learning concepts Machine Learning University (MLU) is an education initiative from Amazon designed to teach machine learning theory and practical application. As part of that goal, MLU-Explain exists to teach important machine learning concepts through visual essays in a fun, informative, and accessible manner. Neural Networks Learn about neural net
AWS Startup ブログ 【開催報告】ML@Loft #4 (Edge) こんにちは、スタートアップソリューションアーキテクトの針原 (Twitter: @_hariby) です。7月19日に AWS Loft Tokyo で開催された機械学習のコミュニティイベント ML@Loft の第4回では Edge Deep Learning をはじめとした技術についての話が盛り上がりました。興味はあったけど予定が合わなかった、という方のために内容をまとめたいと思います。 ML@Loft は機械学習のお悩み相談イベントで、目黒の AWS Loft Tokyo で2019年4月より毎月開催されています。もともとは AWS をお使いのお客さまが、サービスの中に機械学習を取り入れて開発・運用していく際のお悩を気軽に相談できる場が欲しい、ということで始まったイベントです。登壇者 (相談役) が自己紹介
CLIP+Faiss+Streamlitで画像検索アプリを作成してみる - OPTiM TECH BLOG
R&Dチーム所属の伊藤です。気がついたら半年ぶりくらいの投稿になってしまいました。 今回はrinna株式会社より公開された言語画像モデルである日本語対応CLIPを使ってみた話になります。 元々はCLIPとFaissを組み合わせて画像検索のためのツールを作れないかを試していたのですが、どうせだったら可視化までしようと考えてStreamlitを使用したアプリ化も行いました。 今回作成したコードはGithubのリポジトリにありますので、興味がある方は覗いてみてください。 CLIPとは？ Faissとは？ CLIPとFaissで画像検索 事前準備 画像ベクトルのインデックス作成 インデックスを読み込んで画像検索 Streamlitで画像検索アプリを作成する 最後に CLIPとは？ CLIPはOpenAIより提案された、テキストと画像を使用して画像分類モデルです。 CLIPはContrastive
「gpt2-japanese」の「smallモデル」と「ファインチューニングのコード」が公開されたので、日本語によるGPT-2のファインチューニングを試してみました。 前回 (1) Google Colabのノートブックを開く。 (2) メニュー「編集→ノートブック→ハードウェアアクセラレータ」で「GPU」を選択。 (3) 以下のコマンドで、「gpt2-japanese」をインストール。 # gpt2-japaneseのインストール !git clone https://github.com/tanreinama/gpt2-japanese %cd gpt2-japanese !pip uninstall tensorflow -y !pip install -r requirements.txt2. モデルのダウンロード「smallモデル」を「gpt2-japanese」フォルダにダウン
はじめに 無料、会員登録不要、データをアップせずオフラインでも使えるブラウザベースの機械学習ツールを作りました。 空飛ぶニューラルネット https://soratobu-nn.net/ 目次 なにこれ 特徴 基本的な使い方 ちょっと高度な使い方 今後について 空飛ぶニューラルネット なにこれ 主にReact.jsとTensorflow.jsで構成された簡易的な機械学習ツールです。 世の中には多機能・高性能な機械学習プラットフォームがゴマンとありますが、利用料が高額、利用開始まで時間がかかる、使い方が難しい、データをサーバーにアップロードする必要があるなど意外とハードルが高いものです。 ちょっと手元のデータでAI使えるか試したい、PoCしたい 趣味や業務で統計・機械学習モデル作ったけど普通どのぐらいの精度が出るか見てみたい 外注とかする前に自分でもデータ見てみたい クラウドにデータをアップ
テラーノベルで機械学習を中心に担当している川尻です。最近、グラフニューラルネットワーク(GNN)に注目してサーベイしています。今回は、実際のテラーノベルのデータを簡単なモデルに適用してみたので報告します。 グラフニューラルネットワーク (GNN) グラフニューラルネットワーク（GNN）とは、グラフ理論において対象を「ノード」と「エッジ」からなる「グラフ」として扱うためのニューラルネットワークの一種です。例えば、テラーノベルにおいては、ノードがユーザーや作品の一つ一つを表し、エッジが「読んだ」「いいね」「フォロー」などを表します。ディープラーニングの発展に伴い、GNNの研究も盛んになっており、大規模なデータや様々なタスクに適用されるようになっています[1]。 テラーノベルでのグラフの例 arxivで投稿された年ごとの「Graph Neural Network」がタイトルに含まれている件数 G
GitHub - nidhaloff/igel: a delightful machine learning tool that allows you to train, test, and use models without writing code
The goal of the project is to provide machine learning for everyone, both technical and non-technical users. I needed a tool sometimes, which I can use to fast create a machine learning prototype. Whether to build some proof of concept, create a fast draft model to prove a point or use auto ML. I find myself often stuck at writing boilerplate code and thinking too much where to start. Therefore, I
GitHub - ddbourgin/numpy-ml: Machine learning, in numpy
Click to expand! Gaussian mixture model EM training Hidden Markov model Viterbi decoding Likelihood computation MLE parameter estimation via Baum-Welch/forward-backward algorithm Latent Dirichlet allocation (topic model) Standard model with MLE parameter estimation via variational EM Smoothed model with MAP parameter estimation via MCMC Neural networks Layers / Layer-wise ops Add Flatten Multiply
スポーツ映像に対するシーンのアノテーション効率化 - Preferred Networks Research & Development
本記事は、2019年インターンシップとして勤務した佐々木 克仁さんによる寄稿です。 はじめまして。PFNの2019年夏季インターンシップに参加させていただいた東京大学修士1年の佐々木克仁です。大学ではHCIの研究をしています。WEB開発が好きです。 テーマとその背景 今回のインターンシップで私が取り組んだ研究テーマは「スポーツ映像に対するシーンのアノテーション効率化」です。 PFNでは、スポーツ映像の中でチームが取っている戦術を推定し、スポーツの戦術解析に応用するシステムを開発しています。このような推定を実現する機械学習モデルを学習するためには、チームが取っている戦術とその時間範囲（以降シーンと呼びます）がスポーツ映像にアノテーションされた大量のデータセットが要求されます。しかし、スポーツ映像におけるシーンの戦術レベルでの詳細な区別を一般の人々が行うのは困難で、そのスポーツに精通した専門家
スクラムガイドのスプリントレトロスペクティブを改めて読みかえしてみた / Re-reading the Sprint Retrospective Section in the Scrum Guide
LightGBM PyData.Tokyo Meetup #21 AlphaImpact • (@henry0312) • (2015.04−2019.06) • Dwango Media Village • AlphaImpact (2019.02−) • • LightGBM • 2 LightGBM • 2016 10 GBDT + • Python 12 • PR OSS 3 • LightGBM • LightGBM • XGBoost CatBoost • LightGBM • 4 LightGBM LightGBM • Microsoft • • Kaggle (2019/4/4) 6 7 https://twitter.com/fchollet/status/1113476428249464833 GBM • Gradient Boosting Machines • 1 N
Coauthors: Jeremy Lewi (Google), Josh Bottum (Arrikto), Elvira Dzhuraeva (Cisco), David Aronchick (Microsoft), Amy Unruh (Google), Animesh Singh (IBM), and Ellis Bigelow (Google). On behalf of the entire community, we are proud to announce Kubeflow 1.0, our first major release. Kubeflow was open sourced at Kubecon USA in December 2017, and during the last two years the Kubeflow Project has grown b
C# or Java? TypeScript or JavaScript? Machine learning based classification of programming languages
EngineeringProductC# or Java? TypeScript or JavaScript? Machine learning based classification of programming languagesTo make language detection more robust and maintainable in the long run, we developed a machine learning classifier named OctoLingua based on an Artificial Neural Network (ANN) architecture which can handle language predictions in tricky scenarios. GitHub hosts over 300 programming
Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrou
Philosophy We strive to create an environment conducive to many different types of research across many different time scales and levels of risk. Learn more about our Philosophy Learn more
We’ve observed agents discovering progressively more complex tool use while playing a simple game of hide-and-seek. Through training in our new simulated hide-and-seek environment, agents build a series of six distinct strategies and counterstrategies, some of which we did not know our environment supported. The self-supervised emergent complexity in this simple environment further suggests that m
Monitoring feature attributions: How Google saved one of the largest ML services in trouble | Google Cloud Blog
Monitoring feature attributions: How Google saved one of the largest ML services in trouble An emergency in the largest MLOps at GoogleClaudiu Gruia is a software engineer at Google who works on machine learning (ML) models that recommend content to billions of users daily. In Oct 2019, Claudiu was notified by an alert from a monitoring service. A specific model feature (let us call this feature F
How to get meaning from text with language model BERT | AI Explained
In this video, we give a step-by-step walkthrough of self-attention, the mechanism powering the deep learning model BERT, and other state-of-the-art transformer models for natural language processing (NLP). More on attention and BERT: https://bit.ly/38vpOyW How to solve a text classification problem with BERT with this tutorial: https://bit.ly/2Ij6tGa 0:00 Introduction of NLP 0:39 Text tokenizati
GitHub - dessa-oss/atlas: An Open Source, Self-Hosted Platform For Applied Deep Learning Development
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Disentangled な表現の教師なし学習手法の検証 - Preferred Networks Research & Development
本記事は、2019年インターンシップに参加された蕭喬仁さんによる寄稿です。 はじめまして。PFN の2019夏季インターンシップに参加した東京大学の蕭喬仁です。 大学では自然言語処理について研究しており、SNS からのマイニングに興味があります。 今回のインターンでは「Disentangled な表現の教師なし学習手法の検証 (Unsupervised Disentangled Representation Learning)」というテーマで研究を行いましたので、その紹介をいたします。 実験に使用したコードはこちら https://github.com/pfnet-research/chainer-disentanglement-lib で公開しています。 Disentangledな表現 映画 Star Wars がお好きな方は ”imperial entanglements” という表現
この記事は何か lightGBMやXGboostといったGBDT(Gradient Boosting Decision Tree)系でのハイパーパラメータを意味ベースで理解する。 その際に図があるとわかりやすいので図示する。 なお、ハイパーパラメータ名はlightGBMの名前で記載する。XGboostとかでも名前の表記ゆれはあるが同じことを指す場合は概念としては同じ。ただし、アルゴリズムの違い（Level-wiseとLeaf-wise）によって重要度は変わるし、片方にのみ存在するハイパーパラメータもあるので注意。 lightgbm.readthedocs.io また、記事の構成などは以下を大いに参考にさせていただいた。 nykergoto.hatenablog.jp 網羅的には以下の記事もよさげ qiita.com この記事は何か そもそもGBDTとは ハイパーパラメータ どのような決定木
反差別統一戦線東京委員会 on Twitter: "こんな時に大澤 @Ohsaworks は何やってんだろうと気になったのでちょっと覗いてみたら「DMM対応モザイク除去AI」なるものの販売を開始していて、そっと閉じる。 https://t.co/cQBRJrHSYW"
こんな時に大澤 @Ohsaworks は何やってんだろうと気になったのでちょっと覗いてみたら「DMM対応モザイク除去AI」なるものの販売を開始していて、そっと閉じる。 https://t.co/cQBRJrHSYW
みなさんこんにちは。技術創発推進室の高岡です。 気の早い桜は咲き始めたようですが、そろそろ年度末、みなさまいかがお過ごしでしょうか。 このところの私は、これまでの AI 関連の開発を振り返って、実験管理、結構面倒くさかったな、という反省をしているところです。機械学習系の案件に関わっている皆さんには、ご同意いただけるんじゃないでしょうか。 ■実験管理は必須。でも面倒！ 機械学習モデル開発のワークフローでは、次のような作業がよく発生します。 あるデータと設定で、機械学習モデルを訓練して、パラメータを得る訓練済みの機械学習モデルの性能を調べて、記録するモデル同士の性能を比較する こうした「条件設定と訓練、性能測定、比較」のサイクルを「実験」と呼び、実験を繰り返しながら、より良いモデルを模索するわけです。経験者の皆さんにはおなじみですね。 このとき「このモデルはどういう条件の下で得られたか」「それ
deno で機械学習
はじめに 最近、deno が面白くなり始めています。deno はコマンドラインバイナリを1つインストールすれば、import によりパッケージの読み込みはインターネットからダウンロードしてキャッシュされ、開発者が package.json を書く事もなく、とてもお手軽に TypeScript を書くことができます。 もし、機械学習をやりたいとして、事前準備(npm でインストールしたり、conda/pip 等で依存物をインストールしたり)が大幅に削減できるなら、とても便利だと思いませんか？ deno で機械学習 deno で機械学習と聞くと tensorflow.js を使いたくなりますが、残念ながら現在はまだ deno で tensorflow.js を扱える様にはなっていません。しかし deno 1.8 では GPU を扱う為の機能が追加されており、ジワジワではありますが目標に向かって
GitHub - postgresml/postgresml: The GPU-powered AI application database. Get your app to market faster using the simplicity of SQL and the latest NLP, ML + LLM models.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
PyTorch 1.11からβ版として追加された functorch と呼ばれる機能を試してみました。PyTorch 1.9くらいのときから試験版として本体に組み込まれて提供されていましたが、どうやらfunctorchという別モジュールに切り出して提供されるようになったようです。 pytorch/functorch: functorch is JAX-like composable function transforms for PyTorch. functorchとは PyTorch公式サイトには以下のように説明されています。 functorch is a library that adds composable function transforms to PyTorch. It aims to provide composable vmap (vectorization) and a
Survey on machine learning approaches to class-imbalanced data. 不均衡データの学習に関するサーベイ資料です．
FPGAでのDNN(Deep Neural Network)の整理(LUT-Netまとめ) - Ryuzのブログ
はじめに 現在DNN(Deep Neural Network)の実装において、FPGAの活用はしばし議論の対象になっています。もちろんDNN分野全体からするとニッチな部類に入るとは考えますが、FPGAベンダーはここに非常に力を入れており、作成したネットワークのデプロイ先としてFPGAが選択しやすくなるような各種のソリューションが用意され始めており、日々進化しています。 ここでのFPGAのメリットは、低消費電力であったり、コストであったりします。DNNの実行にはクラウドであっても電力というランニングコストは馬鹿になりませんし、エッジコンピューティング、特にバッテリー駆動のモバイル分野においては電力は極めて重要です。またイニシャルコストの重要性はどちらも同じでしょう。 ここでFPGAベンダーはこぞって、「GPUと同じように開発できます」をキャッチフレーズに、GPUを使って研究開発をしている多く
また2週ほど空いてしまったが、AIプロセッサーの話に戻ろう。2019年のHotChips 31で一番会場を沸かせたのが連載572回で紹介したCerebras SystemsのWSE(Wafer-Scale Engine)だった、という話はすでに説明した通り。 ちなみに同社、今年のHotChips 32では“The Second Generation Cerebras Wafer Scale Engine”という講演を予定している。まさか7nmに微細化だったらすごいのだが。 さてそのHotChip 31でそのCerebras Systemsの講演を挟んで行なわれた講演が、インテルのSpring Crest(Nervana NNP-T)と、Habana LabsのGOYA/GAUDIであった。講演の際はWSEにやられたという感じでそれほど話題にならなかったが、年末になっていろいろ騒がれ始めたこ
分類問題の予測結果の評価指標（Accuracy, Precision, Recall, F値, AUC）について整理してみた - Ledge Tech Blog
こんにちは。レッジインターン生の大熊です。 今回は分類問題のタスクにおける予測結果の評価指標について、代表的なものをピックアップして書いていきます。 評価指標は各タスクに合わせて設定しなければならず、またその評価値の閾値も個別に設定することが多いです。 本記事を評価指標の選定の参考にしていただければ幸いです。 分類問題における正解・不正解のパターン 分類問題における実測値と予測値の関係性は以下のマトリクスで表現できます。 正（実測） 負（実測） 正（予測） TP FP 負（予測） FN TN TP：True Positive。実測値と予測値の両方が正であったもの。 FP：False Positive。実測値が負なのに、誤って正と予測値したもの（誤検知、偽陽性）。 TN：True Negative。実測値と予測値の両方が負であったもの。 FN：False Negative。実測値が正なのに、
世界にはインターネット接続が行えない場所が多く残されており、そんな場所にもインターネット環境を提供すべくSpaceXが「Starlink計画」で人工衛星を打ち上げたり、Facebookが「2Africa」で海底ケーブルを設置しようとしたりしています。Googleは「熱気球」でインターネット環境を提供する「Project Loon」を2015年から続けていますが、強化学習を利用したAIの開発により、プロジェクトが大きく前進したと発表されました。 Autonomous navigation of stratospheric balloons using reinforcement learning | Nature https://www.nature.com/articles/s41586-020-2939-8 Drifting Efficiently Through the Stratos
機械学習のルール: | Machine Learning | Google for Developers
ML エンジニアリングのベスト プラクティス Martin Zinkevich 氏 このドキュメントは、ML の基本的な知識を持つユーザーが、Google の ML のベスト プラクティスを活用できるように支援することを目的としています。Google C++ スタイルガイドや他の実用的なプログラミング ガイドと同様に、ML のスタイルを提示します。ML のクラスを受講したことがある方、ML モデルを構築または作成した経験がある方は、このドキュメントを読むために必要な知識があります。 Martin Zinkevich 氏は、ML に関するお気に入りの 10 のルールを紹介します。以下に、43 のルールをご紹介します。 用語 効果的な ML の説明では、次の用語が繰り返し登場します。 インスタンス: 予測を行う対象。たとえば、「猫について」または「猫についてではない」として分類したいウェブペー
Vertex AI AutoML で作成した機械学習モデルを Cloud Run にデプロイする - G-gen Tech Blog
G-gen の佐々木です。当記事では Google Cloud（旧称 GCP）の機械学習サービスである Vertex AI の AutoML で作成した機械学習モデルを、サーバーレスなコンテナ実行基盤である Cloud Run にデプロイしていきます。 Vertex AI および Cloud Run とは？ Vertex AI で作成したモデルのデプロイについて 当記事で Cloud Run にデプロイするモデル Vertex AI Model Registry からモデルをエクスポートする ローカルの Docker コンテナで予測を実行する Artifact Registry にモデルをアップロードする Cloud Run にモデルをデプロイする Cloud Run サービスに予測リクエストを送信する Vertex AI & Cloud Run Vertex AI および Cloud R
はじめに 今は2020年8月なのですが、コロナ禍だし、暑いし、経済状況最悪で暇だし、良いことないですね。 暇になったので、1年ぶりにkaggleをやってみました。 Landmark Retrievalという建物の画像検索コンペに出たところ、そのコンペの提出形式がTensorFlowのSavedModel形式でした。 私はTensorFlow案件をけっこうやってきたので抵抗はなかったのですが、この制約が原因となったのか、あまりこのコンペの参加者は多くなかったようです。 kaggleの提出形式としては賛否両論あると思いますが、実務ではとても便利な形式だと私は思っています。 それなのにもし実務でも敬遠されているとしたらもったいないと思い、この記事ではSavedModelの便利さについて紹介してみます。 ちゃんとした使い方は公式リファレンスを当たってもらうとして、概念やsaved_model_cl
GitHub - chiphuyen/machine-learning-systems-design: A booklet on machine learning systems design with exercises. NOT the repo for the book "Designing Machine Learning Systems"
Read this booklet here. This booklet was my initial attempt to write about machine learning systems design back in 2019. My understanding of the topic has gone through significant iterations since then. My book Designing Machine Learning Systems (O'Reilly, June 2022) is much more comprehensive and up-to-date. The new book's repo contains the full table of contents, chapter summaries, and random th
ML Platform Meetup: Infra for Contextual Bandits and Reinforcement Learning
Infrastructure for Contextual Bandits and Reinforcement Learning — theme of the ML Platform meetup hosted at Netflix, Los Gatos on Sep 12, 2019. Contextual and Multi-armed Bandits enable faster and adaptive alternatives to traditional A/B Testing. They enable rapid learning and better decision-making for product rollouts. Broadly speaking, these approaches can be seen as a stepping stone to full-o
AI機械学習を用いた経営問題の解決や幅広い業種へ多数のコンサルティングの経験を持つ。AIプロジェクトに関するコンサルティングだけではなく、AI人材の育成、会社全体のDX化など幅広い分野で活躍中。AIに関わる講演を多数行なっている。 今回は機械学習でよく使うPythonのプログラムコードをアルゴリズム別に紹介していきます。 そして、機械学習といえばScikit-Learn。Scikit-Learnでよく使うコードを紹介します。 最後におまけとして、PandasやNumpyでよく使うプログラムコードも紹介します。 これらのプログラムコードはコピペで利用できるのでブックマークしておくことをおすすめします！ これからエンジニアを目指して機械学習のPythonを学びたい方、エンジニア入門としてプログラムコードを書きたい方はこの記事を参考にしてください。
適用対象: Python SDK azure-ai-ml v2 (現行) 自動機械学習 (自動 ML または AutoML とも呼ばれます) は、時間のかかる反復的な機械学習モデルの開発タスクを自動化するプロセスです。 これにより、データ サイエンティスト、アナリスト、開発は、モデルの品質を維持しながら、高いスケール、効率性、生産性で ML モデルを構築することができます。 Azure Machine Learning の 自動 ML は、Microsoft Research 部門の最先端技術に基づいています。 コードの経験がある場合: Azure Machine Learning Python SDK に関する記事。 「チュートリアル: AutoML と Python を使用して物体検出モデル (プレビュー) をトレーニングする」を開始する。 AutoML のしくみ トレーニング中、Az
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【開催報告】ML@Loft #4 (Edge) | Amazon Web Services
gpt2-japaneseの使い方 (2) - GPT-2のファインチューニング｜npaka
無料で登録不要、オフラインでも使える機械学習ツールを作ってみた - Qiita
グラフニューラルネットワーク(GNN)を使ったタグ分類
hydra-mlflow-optuna
PyData Tokyo Meetup #21 LightGBM
Kubeflow 1.0: Cloud Native ML for Everyone
Emergent tool use from multi-agent interaction
GBDTのハイパーパラメータの意味を図で理解しつつチューニングを学ぶ - まずは蝋の翼から。
https://deepimagination.cc/eDiffi/
世の人もすなる Airflow というものを、してみんとてするなり | 株式会社オープンストリーム
グーグルはスマートテキスト選択をどう改善したのか？その手法が明らかに
JAXライクなfunctorchで機械学習を速くする – part 1 – Rest Term
survey-imbalanced-learning
インテルから消えたNervanaと入れ替わったHabana Labs AIプロセッサーの昨今 (1/4)
熱気球で世界中にインターネットを提供するGoogle発の「Loon」プロジェクトが大きく飛躍、その勝因とは？
TensorFlowのSavedModelの便利さを紹介する - 生き抜くぜ21世紀
機械学習によく使うPythonのコード一覧まとめ | AI入門ブログ
自動 ML とは AutoML - Azure Machine Learning