機械学習ライブラリ「TensorFlow 2.7」がリリース
「TensorFlow 2.7」では、デバッグエクスペリエンスを大幅に改善し、スタックトレースの簡素化、カスタムKerasレイヤから発生したエラーでの追加のコンテキスト情報の表示、KerasとTensorFlowのすべてのエラーメッセージの幅広い監査といった変更が行われている。 スタックトレースの簡素化では、エラー時に表示されるスタックトレースをデフォルトでフィルタリングし、TensorFlow内部コードに由来するフレームを非表示にすることで、重要な情報のみを表示する。これによって、スタックトレースがより単純かつ短くなり、コードの問題を理解した修正が容易になる。なお、TensorFlowコードベース自体を実際にデバッグしている場合は、tf.debugging.disable_traceback_filtering()を呼び出すことでフィルタリングメカニズムをオフにできる。 カスタムKera
kerasからのインポートでエラーになる
前提・実現したいこと ネットにあるチュートリアルを試してみるところですが， いきなりimportでエラーになります 環境は次のとおりです windows10（64bit） anaconda 5.3.1 python 3.7 TensorFlow 1.11（keras内蔵） Jupyter Notebookを利用 【コマンド】＞＞＞＞＞ import tensorflow from tensorflow import keras from keras.layers import Input, Dense ＜＜＜＜ 【エラー】＞＞＞＞＞ ModuleNotFoundError Traceback (most recent call last) <ipython-input-19-d63db0619a81> in <module> 1 import tensorflow 2 from tenso
PyTorch vs. TensorFlow、ディープラーニングフレームワークはどっちを使うべきか問題【2021年】
連載目次 昨年10月、同タイトルの記事を公開して好評だった。今回は、2021年に向けた、そのアップデート記事となる。 ディープラーニング（深層学習）を実装する場合、専用のライブラリ／フレームワークを用いるのが一般的だ。ディープラーニングが流行してから直近5年ほどの間に、次々と新しいフレームワークが登場した。現在、主要なものを挙げると、 TensorFlow： 2015年登場、Google製。一番有名で、特に産業界で人気 Keras： 2015年登場、作者がGoogle社員。使いやすくて簡単。TensorFlow 2に同梱され標準API化 PyTorch： 2016年登場、Facebook製。この中では新興だが、特に研究分野で人気急上昇中 Chainer： 2015年登場、日本のPreferred Networks製。2019年12月に開発を終了し、PyTorchへの移行が推奨されている な
ヤフーの広告配信で機械学習の改善サイクルを高速化した話 〜 TensorFlow Serving導入
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo!広告 ディスプレイ広告エンジニアの川崎です。 ユーザーに最適な広告を配信するプラットフォームの開発をしています。 この記事では、広告配信にTensorFlow Servingを導入して生産性改善した事例をご紹介します。 Yahoo!広告 ディスプレイ広告とは？ Yahoo!広告では、Yahoo! JAPANのさまざまなサービスや提携パートナーサイトに広告を掲載できます。Yahoo!広告は、検索広告とディスプレイ広告に大別されます。本記事で扱うディスプレイ広告は、例えば以下の図ようにYahoo! JAPAN トップページなどに掲載される広告です。 広告配信の仕組み 広告配信システムの概略図を以下に示します。
Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer
最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータセット「Wiki-40B」とその使い方を紹介します。 Wiki-40Bとは？ Wiki-40Bは、40言語以上のWikipediaを前処理して作られたデータセットです。このデータセットは言語ごとに学習/検証/テスト用に分かれているので、単語分散表現や言語モデルの学習・評価に使えます。言語ごとの対応状況については、以下のページを参照するとよいでしょう。 wiki40b | TensorFlow Datasets 前処理としては、大きくは以下の2つに分けられます。 ページのフィルタリング ペー
Reuters newswire：ロイターのニュース記事のトピック分類データセット
連載目次 データセット解説 Reuters newswire classification dataset（ロイターのニュースワイヤー分類データセット。以下、Reuters newswire）は、ニュース配信テキストが「46分野のどのトピックに該当するか」を判定するために使える、テキスト分類／文書分類用データセットである（図1、詳細は後述するがReuters-21578のサブセットとなっている）。 図1 Reuters newswireデータセットの内容例 ※元々のデータセットの配布元： David D. Lewis氏のサイト「Reuters-21578 Text Categorization Test Collection」。また、UCI Machine Learning Repository「Reuters-21578 Text Categorization Collection Da
ラズパイとUSBカメラとTensorFlowで物体検出 - Qiita
更新情報： 2021年5月に TensorFlow 2.5, OpenCV 4.5.1, Debian 11 Bullseyeに合わせて更新しプログラムを動作確認した ラズパイにUSBカメラを繋ぎ、Python 3上のOpenCVを用いて映像を取り込み、リアルタイムにTensorFlowで物体検出する手順です。Tensorflow HubのサンプルとTensorFlow Lite のサンプルを改変して用いて、それぞれ以下のような検出結果を表示します。ラズパイ依存部分は無いので、インテルCPUを積んだノードパソコンとかでも以下のプログラムは実は問題無く動作します（少なくともLinux稼働していれば（などといいつつ後半２つがインテルUbuntu 20.04で動作していなくて直せていない…😭））。ARM特有の話として import cv2 をTensorFlow関連パッケージのimportより
TensorFlow.jsノードをNode-REDで使ってみる - Qiita
日立製作所OSSソリューションセンタの横井です。今回は、画像認識を行うNode-REDのTensorflow.jsノードの使い方をご紹介します。 Tensorflow.jsとNode-RED TensorFlow.jsとは、TensorFlowのJavaScript実装です。TensorFlow.jsを用いることで、ブラウザ上やサーバサイドのNode.jsで学習や推論処理をリアルタイムに実行できます。また、Node-REDは、主にIoT向けに開発されたピジュアルプログラミングツールです。InfoQの記事によると、2020年のトレンドとしてTensorlow.jsはEarly Majority、Node-REDはEarly Adoptersという流行っている/流行りつつあるOSSとして位置付けられています。 本記事では、これらトレンドの2つのOSSを組み合わせて何ができるか見てみましょう。
PyTorch／TensorFlow／Keras／scikit-learnライブラリ内蔵のデータセット一覧
PyTorch／TensorFlow／Keras／scikit-learnライブラリ内蔵のデータセット一覧：AI・機械学習のデータセット辞典 機械学習やディープラーニング用の主要ライブラリが提供する「画像／音声／テキストなどのデータセット」の名前とリンクを表にまとめ、典型的な使い方を簡単に紹介する。 連載目次 本連載「AI・機械学習のデータセット辞典」では、ここまで主に、scikit-learnやKeras／TensorFlow（tf.keras）、TensorFlow Datasets、PyTorchといった主要なPythonライブラリに共通的に含まれる代表的なデータセットを紹介し、各ライブラリでの典型的な実装コード例を示してきた。しかし、これらの全ライブラリに共通的に含まれているデータセットはまれで非常に少ない。よってこれからは、個々のライブラリに1つしか含まれていないようなこまごまと
TensorFlow 2.0でTPUを利用する
こんにちは、GMOアドマーケティングのS.Rです。 TPUとはディープラーニングを高速化するために、Googleが開発したプロセッサーです。TPUの利用により、ディープラーニングのモデルのトレーニング時間を20倍以上改良する事が可能です。 TensorFlow 1.xでTPUを利用するAPIを提供していますが、TensorFlow 2.0ではこのAPIの利用方法が変更されました。 今回はTensorFlow 2.0でTPUを利用する方法を皆さんへご紹介します。 利用する環境 Googleが無料で提供している機械学習目的の研究用ツール【Colab】を利用します。 1 Colabのインスタンスを作る Colabを利用するために必要な最初のStepは、Colabのファイルを作る事です。 Google Driveの管理画面へ遷移し、新しいColabのファイルを作ります。 2 TPUを設定する 作成
第6回 カスタマイズするための、TensorFlow 2.0最新の書き方入門
連載目次 前々回と前回は、TensorFlow 2.x（2.0以降）の書き方を説明した。既に全3種類4通りの書き方を説明済みだが、基本はそれらで修了である。 今回は、応用編として残り2つの書き方を紹介する。※脚注や図、コードリストの番号は前回からの続き番号としている（前々回・前回・今回は、切り離さず、ひとまとまりの記事として読んでほしいため連続性を持たせている）。 今回の内容と方針について TensorFlowのメリットは、初心者向けからエキスパート向けまでさまざまな書き方が用意されており、誰でも簡単に学んで使いこなせるだけでなく、必要に応じて応用発展的な実装も可能なことである。 逆に、そのメリットがデメリットでもあり、人によって書き方が大きく違うこととなり、初心者から見ると理解の妨げになりやすい。例えばTensorFlowの公式チュートリアルやドキュメント、ネット上／GitHub上のサン
TensorFlow 2.0 時代の Keras API での画像分類器 - すぎゃーんメモ
TensorFlowを初期の頃から触っていて define-and-run の流儀にはそれなりに慣れてしまっていたけど、そろそろTensorFlowも2.0がreleaseされそうだし(2019.09時点で 2.0rc1) 新しいinterfaceも触っておかないと、と思って勉強してみた。 Effective TensorFlow 2.0 を読むと、major changesとして "Eager execution"、recommendationsとして"Keras layers and models"が紹介されている。 これからの時代はKeras APIを使ってEager executionでやっていく必要がありそうだ。 お題: 将棋駒画像の分類 昨年くらいから将棋の画像認識をやろうと思って 駒の画像データセットを作成 していた。今回はこれを使う。 各駒14種の先手・後手で28種、空白マ
スタンドアロンKerasとtf.kerasの違いとは？ ～ #AskTensorFlow より～
スタンドアロンKerasとtf.kerasの違いとは？ ～ #AskTensorFlow より～：TensorFlow 2＋Keras（tf.keras）入門 「スタンドアロンKerasとtf.kerasは何が違うのか？」「tf.kerasが、将来的にTensorFlowから削除される可能性はあるのか？」など、TensorFlow 2.0時代のKerasに関する一般的な疑問と、それへのTensorFlowチームメンバーからの回答をまとめる。
Microsoft、オープンソースのAIデバッグ／可視化ツール「TensorWatch」を発表
Microsoft Researchは2019年6月25日（米国時間）、データサイエンスやディープラーニング、強化学習向けにオープンソースのデバッグ／可視化ツール「TensorWatch」を発表した。TensorWatchは「Jupyter Notebook」で動作し、機械学習（ML）トレーニングのリアルタイム可視化や、モデルとデータの重要な分析タスクを実行する。 Microsoft ResearchはTensorWatchを、「研究者やエンジニアの仕事に役立つ先進的機能を数多く提供する、デバッグツールのスイスアーミーナイフ」とうたっている。2019年6月にスペインのバレンシアで開催された「ACM SIGCHI Symposium on Engineering Interactive Computing Systems」で、TensorWatchのプレゼンテーションを行ったという。 Mic
TensorFlowで文字列から音声に変換するモデルを試す - Qiita
やりたいこと・方針 TensorFlowを使って日本語文字データ→音声データへの変換を学習させたい。 1.教師データのサンプルを作成する 2.生成された学習データの特性を確認、加工する 3.文字データ→音声データへの変換を学習させる 4.学習結果を使用して文字データ→音声データ変換を試す 5.少ない教師データ数、短い学習時間で効率的に学習させる方法を考える やっていることは、音声読み上げソフトと同じことです。 音声加工の知識を全く持たない自分でも、機械学習に頼れば似たような仕組みを真似できるのか？という興味から始まっています。 学習データに関しては、音声加工についての知識などもっておりませんので、機械学習のゴリ押しでなんとかする方針です。 音韻長など処理済みのデータを教師にしたほうが間違いなく高効率ですが、そういった処理済みのデータを大量に用意する方法も思いつかないですし、1データずつ人間
Google、学習用データの匿名化ツール「TensorFlow Privacy」公開 差分プライバシー採用
開発者は数行のコードを追加するだけで、AIモデルのプライバシーを強化できるという。GoogleがGmailのスマートリプライなどで採用している「差分プライバシー」技術に基づいている。差分プライバシー技術は、米Appleも「iOS 10」で利用している。差分プライバシーは、大まかに言えば、リアルなユーザーデータを個人が特定できないよう加工し、かつデータとしての有用性を保つ技術。 Googleは、TensorFlow Privacyを提供することで、開発者が自分の機械学習ツールの安全性を高め、改善することを支援したいとしている。 関連記事 GmailのスパムブロックにTensorFlowが活躍 1日1億件のスパムを削除中 Googleが、Gmailでは99.9％のスパム、フィッシング、マルウェアをブロックしており、機械学習システム「TensorFlow」の採用により、さらに1日当たり1億件のブ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TensorFlow Liteを使った組み込みディープラーニング開発
Keras/Tensorflowをimportしたら"Illegal instruction (コアダンプ)"と出た時の対処法 - Qiita
はじめての AI 〜 Google がめざす、誰もが使える機械学習 - Google スライド
はじめての AI 〜 Google がめざす、誰もが使える機械学習 - Google スライド