ヤフーの広告配信で機械学習の改善サイクルを高速化した話 〜 TensorFlow Serving導入
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo!広告 ディスプレイ広告エンジニアの川崎です。 ユーザーに最適な広告を配信するプラットフォームの開発をしています。 この記事では、広告配信にTensorFlow Servingを導入して生産性改善した事例をご紹介します。 Yahoo!広告 ディスプレイ広告とは？ Yahoo!広告では、Yahoo! JAPANのさまざまなサービスや提携パートナーサイトに広告を掲載できます。Yahoo!広告は、検索広告とディスプレイ広告に大別されます。本記事で扱うディスプレイ広告は、例えば以下の図ようにYahoo! JAPAN トップページなどに掲載される広告です。 広告配信の仕組み 広告配信システムの概略図を以下に示します。
PyTorch／TensorFlow／Keras／scikit-learnライブラリ内蔵のデータセット一覧
PyTorch／TensorFlow／Keras／scikit-learnライブラリ内蔵のデータセット一覧：AI・機械学習のデータセット辞典 機械学習やディープラーニング用の主要ライブラリが提供する「画像／音声／テキストなどのデータセット」の名前とリンクを表にまとめ、典型的な使い方を簡単に紹介する。 連載目次 本連載「AI・機械学習のデータセット辞典」では、ここまで主に、scikit-learnやKeras／TensorFlow（tf.keras）、TensorFlow Datasets、PyTorchといった主要なPythonライブラリに共通的に含まれる代表的なデータセットを紹介し、各ライブラリでの典型的な実装コード例を示してきた。しかし、これらの全ライブラリに共通的に含まれているデータセットはまれで非常に少ない。よってこれからは、個々のライブラリに1つしか含まれていないようなこまごまと
TensorFlow 2.0 時代の Keras API での画像分類器 - すぎゃーんメモ
TensorFlowを初期の頃から触っていて define-and-run の流儀にはそれなりに慣れてしまっていたけど、そろそろTensorFlowも2.0がreleaseされそうだし(2019.09時点で 2.0rc1) 新しいinterfaceも触っておかないと、と思って勉強してみた。 Effective TensorFlow 2.0 を読むと、major changesとして "Eager execution"、recommendationsとして"Keras layers and models"が紹介されている。 これからの時代はKeras APIを使ってEager executionでやっていく必要がありそうだ。 お題: 将棋駒画像の分類 昨年くらいから将棋の画像認識をやろうと思って 駒の画像データセットを作成 していた。今回はこれを使う。 各駒14種の先手・後手で28種、空白マ
Microsoft、オープンソースのAIデバッグ／可視化ツール「TensorWatch」を発表
Microsoft Researchは2019年6月25日（米国時間）、データサイエンスやディープラーニング、強化学習向けにオープンソースのデバッグ／可視化ツール「TensorWatch」を発表した。TensorWatchは「Jupyter Notebook」で動作し、機械学習（ML）トレーニングのリアルタイム可視化や、モデルとデータの重要な分析タスクを実行する。 Microsoft ResearchはTensorWatchを、「研究者やエンジニアの仕事に役立つ先進的機能を数多く提供する、デバッグツールのスイスアーミーナイフ」とうたっている。2019年6月にスペインのバレンシアで開催された「ACM SIGCHI Symposium on Engineering Interactive Computing Systems」で、TensorWatchのプレゼンテーションを行ったという。 Mic
TensorFlow 2.0 のコードの書き方基本集（PyTorchとの比較） - HELLO CYBERNETICS
はじめに 線形回帰と学習のコード データセット PyTorch TF2.0 違い 些細な違い：層の定義の仕方 些細な違い：ロス関数の書き方 大きな違い：勾配計算とパラメータ更新 ニューラルネットワークの簡単な書き方 PyTorch TF2.0 違い 畳み込みニューラルネットワーク PyTorch TF2.0 違い パディング 畳み込み層→線形層 traininigフラグ RNN PyTorch TF2.0 違い 大きな違い：多層化 些細な違い：Bidirectional 大きな違い：戻り値の並び 学習 はじめに 最近KerasからPyTorchに流れていく人たちが多く見受けられます。その中でて「Kerasで書いていたコードをPyTorchのコードで実装するにはどうすれば良いんだろう？」という声があります。要は、今まで使っていたフレームワークでやろうとしていたことを、別のフレームワークでやろ
TensorFlow LiteがGPUをサポートしたらしいのでiOSで試してみた - Qiita
TensorFlow LiteがAndroidやiOSデバイスのGPUをサポートしたようです1。 TensorFlow Lite Now Faster with Mobile GPUs (Developer Preview) バックエンドはAndroidではOpenGL ES 3.1、iOSではMetal。 This new backend leverages: OpenGL ES 3.1 Compute Shaders on Android devices Metal Compute Shaders on iOS devices iPhone 7では最大6倍の高速化が見られたようです。 By leveraging the new GPU backend in the future, inference can be sped up from ~4x on Pixel 3 and Sams
TensorFlowで統計モデリング - StatModeling Memorandum
とある勉強会で「TensorFlowで統計モデリング」というタイトルで講義をしました。聴衆はPythonユーザが多く、データ量が大きい問題が多そうだったので、StanよりもTensorFlowで点推定するスキルを伸ばすとメリットが大きいだろうと思ってこのようなタイトルになりました。 発表資料は以下になります。 TensorFlowで統計モデリング from . . 発表資料の途中に出てくるtf_tutorial.htmlとmodeling.htmlの内容は、以下のipynbをhtmlで出力したものです（見づらかったらプログラム名のところをクリックしてGitHubに移動して見てください）。 ちなみに僕が紹介しているTensorFlowの書き方はEager Executionではなく、Define and Runのやや古い書き方です。あまり気にしていませんけど。 ここではTensorFlowを
TensorFlow.jsでPython学習済モデルを読み込み、ブラウザで予測結果を出力する - Qiita
はじめに TensorFlow Developer Summit 2018 にて Webブラウザ上で機械学習のモデルの構築、学習、学習済みモデルの実行などが可能になるJavaScriptライブラリ「TensorFlow.js」がGoogleによって公開されました。 今はやりっぽいのでJavascriptの勉強もかねてちょっと動かしてみました。 目的 Python モデルをTensorFlow.js で読み込む方法メモ 作ったもの Pythonのモデルを用いた推測結果をTensorFlow.jsのコンソール上で表示 コード https://github.com/hiyashichuka/tfjs-iris ※以下を参考にしました https://github.com/tensorflow/tfjs-examples/tree/master/iris 環境 OS Windows 10 Bash
超入門訳TensorFlow MNIST For ML Beginners - Qiita
はじめによりはじめに プログラミングもデータ分析も初心者、高校数学しか知らないのにTensorFllowに手を出したのですが、TensorFllow入門で調べてみても、全く入門でなかったのでTensorFlow MNIST For ML Beginnersチュートリアルを訳してくださっていたものを自分なりに解釈して書き換えました。 せっかくなので投稿します。 自分のために作ったので、よくわからないところは赤字、分かった気になったところは太字にしてあります。 理解の助けとなるサイト等ありましたら教えていたただけると幸いです。 はじめに このチュートリアルは機械学習と TensorFlow の初心者を想定しています。もしMNISTやsoftmax（多項ロジスティック）回帰について知っているなら、より早いペースのチュートリアル が良いかもしれません。 プログラムを学ぶ時、最初に “Hello W
TensorFlowのRNNを追ってみる - 緑茶思考ブログ
TensorFlowのRNN実装はサンプルが少なく、 かつそういったサンプルコードでは、 限定された一部のAPIしか使っていないなど全体を網羅しづらい感じがあるので、 なるべく全体感を思い出しやすいように、自分用にメモ。 （と言う割に基本的なAPIしか使ってないが...) TensorFlowのRNNのAPIを使わないRNNの実装 まずは2(タイム)ステップだけ動作するRNNをつくる。 各ステップで入れるデータをX0, X1としてplaceholderをつくる。 各ステップでは、入力ユニット数(=4)にあたるデータを用意。 今回は隠れ層は1つとして、 唯一の隠れ層のユニット数は6。 n_inputs = 4 n_neurons = 6 X0 = tf.placeholder(tf.float32, [None, n_inputs]) X1 = tf.placeholder(tf.float
あらゆるデータを可視化するTensorBoard徹底入門
TensorBoardの主要機能 折れ線グラフ 画像 音声 ヒストグラム 計算グラフ 次元削減のプロット TensorBoardの読み方 シンボルの意味 name scopeとnode グラフの色 Structure View Device View 計算時間・メモリ テンソルの次元数 Summary Operation scalar histogram image audio 可視化してみる ハイパーパラメータの探索 Embedding Visualization メタデータファイルの作り方 スプライト画像の作り方 ラベルによる色分け t-SNEとPCA まとめ TensorFlowの優れた機能として、TensorBoardによる充実した可視化環境が挙げられます。TensorBoardがあれば、ニューラルネットワークの学習が上手くいかないときに、俯瞰してネットワークを表示したり、様々なデ
過渡期にあるTensorFlowとKerasの関係を調べる - Qiita
（ 変数名コントロールの違い について追記しました．） はじめに TensorFlow Dev Summitなどで情報がリリースされていますが，TensorFlowとKerasの統合が進められています．Keras Blog - Introducing Keras 2 から引用します． Keras is best understood as an API specification, not as a specific codebase. In fact, going fowards there will be two separate implementations of the Keras spec: the internal TensorFlow one, available as tf.keras, written in pure TensorFlow and deeply comp
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TensorFlow Liteを使った組み込みディープラーニング開発