並び順

ブックマーク数

期間指定

  • から
  • まで

201 - 240 件 / 2674件

新着順 人気順

TensorFlowの検索結果201 - 240 件 / 2674件

  • TensorFlow.jsがChromeでWebWorker上でもWebGL backendで動く - すぎゃーんメモ

    tensorflow.js は処理の重さ的に worker で動かしたいのだがまだ WebWorker で動かすと cpu backend に fallback してしまうので、この issue ずっとみてる https://t.co/KYGEQSFwq5— 無糖派層 (@mizchi) July 30, 2019 僕も以前にWebWorker上でTensorFlow.jsを使おうとして WebGL backendで動かないことに気付いて諦めていたのだった。 memo.sugyan.com …と思っていたのだけど、どうも先月くらいの @tensorflow/tfjs@1.2.2 あたりから ChromeではOffscreenCanvasというのを使ってWebWorker上でもWebGL backendで動くようになったようだ。 試してみたところでは 動くのはChromeのみで、Safari

      TensorFlow.jsがChromeでWebWorker上でもWebGL backendで動く - すぎゃーんメモ
    • Building LLM applications for production

      [Hacker News discussion, LinkedIn discussion, Twitter thread] A question that I’ve been asked a lot recently is how large language models (LLMs) will change machine learning workflows. After working with several companies who are working with LLM applications and personally going down a rabbit hole building my applications, I realized two things: It’s easy to make something cool with LLMs, but ver

        Building LLM applications for production
      • TensorFlow 事例: から揚げを認識して弁当箱に入れる Foodly

        .app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads

          TensorFlow 事例: から揚げを認識して弁当箱に入れる Foodly
        • 音楽ソース分離エンジンSpleeterを利用し、YouTubeの動画からボーカルの音声を取り除いたカラオケ音源を作成してくれるアプリ「Youka for Mac/Windows」がリリース。

          音楽ソース分離エンジンSpleeterを利用し、YouTubeの動画からボーカルの音声を取り除いたカラオケを作成する「Youka for Mac/Windows」がリリースされています。詳細は以下から。 昨年、音楽ストリーミングサービスを提供しているフランスのDeezerが、機械学習を利用し複数のオーディオトラックからなる音楽を各トラックへ分離できる「Spleeter」というツールをオープンソースで公開し話題になりましたが、このSpleeterを利用し、YouTubeで公開されているPVやMVから音声のみのカラオケを作成できるツール「Youka」が新たに公開されています。 我々はSpleeterをリリースすることで、音楽情報検索(MIR)を研究するコミュニティが最先端のソース分離アルゴリズムの力をより活用できるようにします。SpleeterはTensorflowに基づいたPythonライブ

            音楽ソース分離エンジンSpleeterを利用し、YouTubeの動画からボーカルの音声を取り除いたカラオケ音源を作成してくれるアプリ「Youka for Mac/Windows」がリリース。
          • プログラマーが本当に支持するプログラミング言語がわかる「人気の高いプログラミング言語2019」が発表

            by Kevin Ku 世界最大の専門職団体であり電気・電子工学・コンピューターサイエンス分野の文献や論文誌を発行するIEEEによる学会誌IEEE Spectrumが、「Top Programming Languages 2019(人気の高いプログラミング言語2019)」を発表しました。毎年発表されているランキングですが、2019年からはランク付けに使用する指標の一部が変更されています。 The Top Programming Languages 2019 - IEEE Spectrum https://spectrum.ieee.org/computing/software/the-top-programming-languages-2019 IEEE Spectrumは、プログラミング言語の人気を判断するためには、あるプログラミング言語が別の分野では全く使用されていないケースなどについ

              プログラマーが本当に支持するプログラミング言語がわかる「人気の高いプログラミング言語2019」が発表
            • Linux GUIアプリがWindows 10にもたらす価値 - 阿久津良和のWindows Weekly Report

              レポート Linux GUIアプリがWindows 10にもたらす価値 - 阿久津良和のWindows Weekly Report Windows 10 バージョン2004は、ファイルI/Oのパフォーマンスを改善し、Linuxカーネルの機能を呼び出すシステムコールの互換性を大きく高めたWSL 2(Windows Subsystem for Linux 2)を搭載する。Docker DesktopのホストもHyper-V仮想マシンからWSL 2へ移行したことで、Windows 10 Homeエディションでも開発環境を整えることが可能になった。 Docker Desktopの設定画面。Dockerと統合するLinuxディストリビューションを選択できる WSL 2で動作するDebian GNU/Linuxでhello-worldコンテナを実行した状態 Windows 10とLinuxを併用する環

                Linux GUIアプリがWindows 10にもたらす価値 - 阿久津良和のWindows Weekly Report
              • 「職人の技」の定量化を目指す TensorFlow

                .app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads

                  「職人の技」の定量化を目指す TensorFlow
                • BPF Performance Tools (Book)

                  Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te

                  • Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし

                    機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip

                      Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし
                    • データ分析部門にビジネス上のレゾンデートルを与えるということ - 渋谷駅前で働くデータサイエンティストのブログ

                      3月にばんくしさんとイベントでご一緒したり個人的に話をする機会*1があったんですが、その際に何度も話題にされていたのが「エンジニア部門やAI部門にビジネス上のレゾンデートル(存在意義)をどう与えるか」というテーマでした。これについては実際にご本人もnoteの記事としてまとめられています。 このnote記事ははてブ数を見るまでもなく各所で多くの議論を呼んだようで、観測範囲ではかなり広汎に分かれた論調が散見されています。そのいずれもそれぞれの界隈*2における実態を反映しているように見受けられ、一口にエンジニア業界・AI業界といってもやはり多様なのだなという感想を持ちました。 ということで既にある程度論点が出尽くしてきた感もありますが、今回のブログ記事ではデータ分析部門の話題に特化した上で、そこに僕の見聞談並びに見解を幾許か付け加えてみようかと思います。ちなみにあまり楽しい話題ではない旨、予め警

                        データ分析部門にビジネス上のレゾンデートルを与えるということ - 渋谷駅前で働くデータサイエンティストのブログ
                      • 「Kubeflow 1.0」正式版リリース。あらゆるKubernetes上にJupyter notebookなど機械学習の開発、トレーニング、デプロイ機能を構築

                        「Kubeflow 1.0」正式版リリース。あらゆるKubernetes上にJupyter notebookなど機械学習の開発、トレーニング、デプロイ機能を構築 Kubeflow開発チームは、Kubeflow 1.0の正式リリースを発表しました。 Today, Kubeflow 1.0 has been released. Check out this deep-dive to learn the core set of applications included in the open-source release, and the advantages of using it on Anthos for the enterprise → https://t.co/XV0HPvsWX9 pic.twitter.com/O2s5tpzFLz — Google Cloud Platform

                          「Kubeflow 1.0」正式版リリース。あらゆるKubernetes上にJupyter notebookなど機械学習の開発、トレーニング、デプロイ機能を構築
                        • キカガクが初心者向けに無料でAIが学べるオンライン学習サイト「KIKAGAKU」を公開 | AI専門ニュースメディア AINOW

                          最終更新日: 2020年4月2日 総受講生数25,000人以上に、AIなどの先端技術に関する教育を展開してきた株式会社キカガクが、 AIの数学・プログラミング・ビジネス活用方法などについて解説する、 オンライン学習資料「KIKAGAKU」を無料公開しました。 KIKAGAKUは誰しもが挫折せず、 最短距離で最先端の知識を身に付ける事を1つの目標とし、厳密性よりわかりやすさ・言葉よりイメージで理解すること重視して設計されています。 また、 学ぶ道筋・知識を体系化することにで、遠回りすることなく、 学習を進めることができるといいます。 初回リリースでは、 ディープラーニングの基礎から画像認識、 自然言語処理の基礎について学ぶことができるコンテンツが公開されています。 KIKAGAKU のコンテンツは大きく以下の2つに分かれています。 数学を通して理論を理解するパート 学んだ理論をTensorF

                            キカガクが初心者向けに無料でAIが学べるオンライン学習サイト「KIKAGAKU」を公開 | AI専門ニュースメディア AINOW
                          • GitHub - deezer/spleeter: Deezer source separation library including pretrained models.

                            Spleeter is Deezer source separation library with pretrained models written in Python and uses Tensorflow. It makes it easy to train source separation model (assuming you have a dataset of isolated sources), and provides already trained state of the art model for performing various flavour of separation : Vocals (singing voice) / accompaniment separation (2 stems) Vocals / drums / bass / other sep

                              GitHub - deezer/spleeter: Deezer source separation library including pretrained models.
                            • スプラトゥーン3で、やられたシーンをOBSのリプレイバッファで自動保存する - Qiita

                              この記事は スプラトゥーン3の試合中に、やられる直前15秒の動画を自動作成するシステムを開発したので紹介します。 ここに至るまでの15秒の動画を試合中に自動作成します。 スプラトゥーン2の時に開発した、やられたシーン自動抽出システムは、時間がかかる スプラトゥーン2に引き続きスプラトゥーン3もやりこんでいますが、対面力に課題ありです。そこで、やられたシーンを録画で振り返りつつXマッチに潜っています。 その振り返りの効率化のため、スプラトゥーン2の時にプレイ録画から、やられたシーンを自動抽出するシステムを作りました。その様子はこちらの記事で解説しています。 スプラトゥーン2のプレイ動画から、やられたシーンだけをディープラーニングで自動抽出する Flutter Webで画像分類を行う(AutoML Vision, TensorFlow.js) しかしこのシステムには問題があります。試合が終わっ

                                スプラトゥーン3で、やられたシーンをOBSのリプレイバッファで自動保存する - Qiita
                              • 「Kaggleで勝つデータ分析の技術」から見る実用的な機械学習の知見

                                はじめに 機械学習に関する実用的な知見を知るために、「Kaggleで勝つデータ分析の技術」を読んだので、Kaggle以外の場面でも活用できる話題をまとめてみた。本書は機械学習の基本的な内容も含んでいるが、この記事では機会学習に関する一通りの知識を持ち、実問題に利用している読者を想定してまとめた。従って、勾配ブースティング木の仕組みや、回帰タスクの評価方法等、基本的な内容については解説しない。本記事では、評価の落とし穴や、モデルを改善するための特徴量の工夫、チューニングのTipsについて紹介する。 特徴量 Tips 1: 欠損値の扱い データにはしばしば欠損値が含まれている。欠損値は、そもそも値が存在していない場合の他に、ユーザが意図して入力していない場合や、観測器のエラーによって取得できていない場合等、様々な理由によって生じる。欠損がランダムに発生していない限り、欠損しているという事実が何

                                  「Kaggleで勝つデータ分析の技術」から見る実用的な機械学習の知見
                                • 読み手をイライラさせない技術記事などを書くために最低限守ったほうがいいこと - Qiita

                                  追記: この記事は「人が一生懸命書いた記事を読んでイライラする人間」を擁護するつもりは一切ありません。 追記: この記事は「自分の記事ではイライラさせたくないな」と思う人向けに執筆したのであって、この記事のあることをQiitaにあるすべての記事に矯正したいという思想のもとで執筆したものでは有りません。 はじめに こんにちは Qiitaやnoteといった情報共有に向いたサービスがどんどん普及しており、知識量に関係なく誰でも情報が発信できるいい時代になりましたね。 しかし、投稿されているすべての記事が良いと思えるわけではないのは確かです。タイトルに書いてあるものとは違う内容が書いてあったり、問題解決まで達していない結論で終わってたり。記事中の動かないコードを調べるために、そこから別の記事をはしごをして、それを繰り返していた結果業務時間が終わっていたり。 あまり私も人のことは言えませんが、いろん

                                    読み手をイライラさせない技術記事などを書くために最低限守ったほうがいいこと - Qiita
                                  • Python in Visual Studio Code – February 2021 Release - Python

                                    We are pleased to announce that the February 2021 release of the Python Extension for Visual Studio Code is now available. You can download the Python extension from the Marketplace, or install it directly from the extension gallery in Visual Studio Code. If you already have the Python extension installed, you can also get the latest update by restarting Visual Studio Code. You can learn more abou

                                      Python in Visual Studio Code – February 2021 Release - Python
                                    • 高校の「情報II」でデータサイエンスがしっかり学べる!すごい!

                                      高校の「情報II」でデータサイエンスがしっかり学べる!すごい! 2020-06-25-1 [Programming][Python][BookReview] データサイエンティストに俺はなる!! Python 初学者のタツヲです。 いまどきは高校の授業(情報II)でデータサイエンスをやるのですね。 文部科学省から教員用の資料が公開されてるのを知りました。 「情報II」を取った高校生がどんなことを学んでいるのかを知るために、さっそく調査です! 高等学校情報科「情報Ⅱ」教員研修用教材(本編):文部科学省 第3章がデータサイエンスの話題ですので、そこを読みました。 で、読んでみた感想ですが、内容が本格的すぎて震える。 大学のデータサイエンス演習のテキストじゃないのかよ、これ。 流し読みでは一部ついていけないところも(真面目に読む必要あり)。 高校生のうちからこの辺をマスターできれば将来安泰でしょ

                                        高校の「情報II」でデータサイエンスがしっかり学べる!すごい!
                                      • 機械学習は次のステージへーーMIT研究者が発明、“No-Hardware AI”「Neural Magic」のインパクト - BRIDGE(ブリッジ)テクノロジー&スタートアップ情報

                                        Image Credit : Neural Magic HP ピックアップ:Neural Magic gets $15M seed to run machine learning models on commodity CPUs ニュースサマリ:“No-Hardware AI” 企業を謳う「Neural Magic」は、11月6日、シードラウンドにて1,500万ドルの資金調達を実施したと発表した。出資者にはComcast Ventures NEA、Andreessen Horowitz、Pillar VC、Amdocsが名を連ねる。 同社は、MITでマルチコア処理と機械学習を長年研究してきた2人の研究者によって2018年に設立された。ディープラーニングモデルを処理する高コストなGPUやTPUなどの専用AIハードウェアを使うことなく、汎用CPUでより大きなモデルをより速く、より高い精度で処理

                                          機械学習は次のステージへーーMIT研究者が発明、“No-Hardware AI”「Neural Magic」のインパクト - BRIDGE(ブリッジ)テクノロジー&スタートアップ情報
                                        • M1 Mac、「TensorFlow」の新Mac版でのトレーニングが従来の7倍速

                                          米Appleは11月18日(現地時間)、Macに最適化した「TensorFlow 2.4」のmacOS向けフォークのプレリリース版をGitHubで公開したと発表した。 TensorFlowは米Googleが2015年にオープンソース(Apache License 2.0)で公開した機械学習プラットフォーム。ツール、ライブラリ、コミュニティリソースを備え、Linux、Windows、macOS、Android、iOSをサポートする。 これまでのMac版TensorFlowは、MacでのトレーニングでCPUのみを使っていたが、新バージョンは「ML Compute」を活用することで、CPUだけでなく、GPUも最大限に活用する。これはIntel Macだけでなく、M1搭載の最新モデルでも可能だ。 例えば、M1搭載の13インチMacBook Proでのトレーニングは、ベンチマークで従来の最大7倍高速

                                            M1 Mac、「TensorFlow」の新Mac版でのトレーニングが従来の7倍速
                                          • 「GPT-3」に近い性能の言語モデルをオープンソースで目指す「GPT-Neo」

                                            非常に高精度の文章を作れる言語モデル「GPT-3」は、OpenAIが開発したものの、オープンソースでもオープンアクセスでもなく、さらにMicrosoftと独占的ライセンス契約を締結しているので、自由に使うことはできません。こうした状況に対して「オープンソースのGPT-3」を作ろうとする動きがあります。その中の1つが「GPT-Neo」です。 EleutherAI - GPT-Neo https://www.eleuther.ai/gpt-neo AI Weekly: Meet the people trying to replicate and open-source OpenAI's GPT-3 | VentureBeat https://venturebeat.com/2021/01/15/ai-weekly-meet-the-people-trying-to-replicate-and

                                              「GPT-3」に近い性能の言語モデルをオープンソースで目指す「GPT-Neo」
                                            • 達人出版会

                                              探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う! オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R/RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット&JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール

                                                達人出版会
                                              • 第4回 知ってる!? TensorFlow 2.0最新の書き方入門(初中級者向け)

                                                第4回 知ってる!? TensorFlow 2.0最新の書き方入門(初中級者向け):TensorFlow 2+Keras(tf.keras)入門(1/2 ページ) TensorFlow 2.x(2.0以降)では、モデルの書き方が整理されたものの、それでも3種類のAPIで、6通りの書き方ができる。今回は初心者~初中級者にお勧めの、SequentialモデルとFunctional APIの書き方、全3通りについて説明する。 連載目次 前回までの全3回では、ニューラルネットワークの仕組みや挙動を図解で示しながら、TensorFlow(tf.keras)による基本的な実装方法を説明した。しかし実際には、TensorFlowの書き方はこれだけではない。 TensorFlowにおける、3種類/6通りのモデルの書き方 3種類のAPI 大きく分けて、下記の3種類があることを第2回で説明済みである。 Seq

                                                  第4回 知ってる!? TensorFlow 2.0最新の書き方入門(初中級者向け)
                                                • 【ディープラーニング】機械学習初心者が競艇1位予想を作れるのか試してみた。 - Qiita

                                                  はじめに ディープラーニングの勉強を始めて1ヶ月。 基礎的なものは理解できた気がしてきたので、何かできないかと考えてみました。 そしてふと、この競艇の順位予想が思いつきました。 順位予想ができるという確信はありませんでしたが、ボートレースのデータのオープンソースが公開されていることがわかり、これはやってみるしかないと思いました。 参考にしたデータ元と特徴量 ↓データ元のサイトは下記リンクから飛ぶことができます。↓ BOTE RACE OFFICIAL タウンロード・他 選手のデータから勝率まで細かく載っているので学習させるにはちょうどいい情報量だと思います。 今回学習させるデータの種類は以下の通りです。 艇番 年齢 体重 級別 全国勝率 全国2率 当地勝率 当地2率 モーターナンバー モーター勝率 ボートナンバー ボート勝率 とりあえずこの情報量で学習させていきます。 選手番号を使うことも

                                                    【ディープラーニング】機械学習初心者が競艇1位予想を作れるのか試してみた。 - Qiita
                                                  • コンピュータビジョン(CV)の動向 2021 | gihyo.jp

                                                    はじめに 国立研究開発法人 産業技術総合研究所の人工知能研究センターに所属している、片岡裕雄と申します。研究者としてコンピュータビジョン(CV)やパターン認識に関する研究を行う一方で、研究コミュニティcvpaper.challengeを主宰して「CV分野の今を映し、トレンドを創り出す」ことにも挑戦しています。cvpaper.challengeには最新動向の日本語サーベイ資料や研究メンバーによる研究成果も載せています。今回の記事に書ききれない、より詳細な情報はぜひそちらをご覧ください。 今回の記事については、出身大学の大先輩・皆川卓也氏から話を受けて実現しました。皆川氏は2010年にコンピュータビジョンの業界動向を寄稿されているのですが、今回恐れ多くもその企画を受け継ぐことになりました。 それから11年、深層学習の隆盛とともに発展してきたCV分野の動向を述べるにはあまりにも紙面が限られていま

                                                      コンピュータビジョン(CV)の動向 2021 | gihyo.jp
                                                    • GoogleでJetson Nano x TensorFlowの可能性に関してプレゼンしてきました - karaage. [からあげ]

                                                      Googleさんでのプレゼン発表無事終わりました Google 東京オフィスのTFUG(TensorFlow User Group)イベントでJetson Nanoに関して発表してきました。イベントの詳細やプレゼンすることになった経緯などは以下参照下さい(既にイベントは終了しています)。 どうなることかと思いましたが、無事プレゼン終えることができてホッとしております。 この記事では、プレゼン見れなかった人への情報提供、プレゼン見てくださった方への情報補足として、発表内容や関連情報をまとめておこうと思います。 「Jetson Nano x TensorFlowで始めるモバイルAI画像認識」 発表スライド Jetson Nano x TensorFlowで始めるモバイルAI画像認識 from karaage0703 発表したスライド資料です。私以外の方のスライド等は以下リンク先参照下さい。 S

                                                        GoogleでJetson Nano x TensorFlowの可能性に関してプレゼンしてきました - karaage. [からあげ]
                                                      • APIを呼び出すコードの生成に特化した大規模言語モデル「Gorilla」、APIの更新にリアルタイムで追従可能&オープンソースでモデル・トレーニングデータが公開済み

                                                        GPT-4のような高性能なモデルでも、APIの呼び出しコードを生成させるとかなりの確率で間違ったコードを生成してしまいます。「Gorilla」はAPIを呼び出すコードの生成に特化するようにファインチューニングが行われており、精度の高い呼び出しコードを生成できるだけでなく、情報検索器(Information Retriever)と一緒に利用するとAPIの更新にリアルタイムで追従できるという驚異的な機能が付いたモデルです。 Gorilla https://shishirpatil.github.io/gorilla/ Gorillaのトレーニングにおいては、「Torch Hub」「TensorFlow Hub」「HuggingFace」という3つのソースから収集した1645個のAPI呼び出しコードをもとにAIが1万6450個の命令とAPIのセットを作成し、その1万6450個の命令セットでファイ

                                                          APIを呼び出すコードの生成に特化した大規模言語モデル「Gorilla」、APIの更新にリアルタイムで追従可能&オープンソースでモデル・トレーニングデータが公開済み
                                                        • 自然言語処理におけるEmbeddingの方法一覧とサンプルコード - 機械学習 Memo φ(・ω・ )

                                                          概要 自然言語処理における単語や文章のEmbeddingの方法を勉強したので概要を記載しました。 また、学習済みモデルからEmbeddingベクトルを取得するサンプルソースコードも一部記載しました。 概要 Word2vec fastText GloVe Skip-thought SCDV USE ELMo BERT おわり 宣伝 Word2vec 似た意味の単語の周りには同じような単語が出現するとして、ある単語の周辺に出現する単語を予測するNNの隠れ層の重みを、ある単語のベクトルとしたもの。Doc2vecはWord2vecを文章に拡張したもの。 NNには以下のようなSkip-Gramのモデルが使われる。 Word2vecの元論文 : [1310.4546] Distributed Representations of Words and Phrases and their Composit

                                                            自然言語処理におけるEmbeddingの方法一覧とサンプルコード - 機械学習 Memo φ(・ω・ )
                                                          • ラズパイを超お手軽に定点観測カメラにする方法 - karaage. [からあげ]

                                                            ラズパイを超お手軽定点観測カメラにしてみた ベランダの家庭菜園でアサガオを育て始めたので、久しぶりにRaspberry Pi(ラズパイ)を使って定点観測(タイムラプス撮影)してみることにしました。 ラズパイを使った家庭菜園の定点観測に関しては、以前「電波ガーデニング」と名付けたプロジェクトをしていたので、そちらを活用することにしました。 このときは、100円均一のケースで防水したり、温度・湿度センサをつけて測定したりと色々やっていたのですが、今回は単純にカメラでの撮影だけすることにしました。 過去にやったことですが、需要あるかもしれないのでメモがわりに必要なものや、セットアップ方法を書いておきます。 お手軽定点観測カメラのハードウェア 必要なものは以下となります。 ラズパイ ケース ラズパイカメラモジュール SDカード 電源アダプタ・ケーブル 防水の延長電源 必要な最低限のハードウェアとセ

                                                              ラズパイを超お手軽に定点観測カメラにする方法 - karaage. [からあげ]
                                                            • NN研究における再現性にまつわるエトセトラ - 渋谷駅前で働くデータサイエンティストのブログ

                                                              先日、ふとしたきっかけでしましま先生*1がこちらの論文について触れられているのを見かけたのでした。 これは推薦システム分野におけるNN研究の再現性について検証した2019年の論文で、近年のトップ会議*2に採択されたNN手法18個に対して再現を試みたところ、「reasonableな」努力で再現できたのはわずかに7個に過ぎず、その中でも1個は論文中で主張されたベースラインを超えることは出来なかったと報告しています。 ただ、この報告はNN研究における再現性に関する議論のあくまでも一例であり、実際コロナ禍以前から「論文中ではSOTAを達成と書いているのに同じ実装をどう組んでもSOTAに達しない」みたいな業界噂話はそこかしこで耳にしたものでした。しかしながら、実際のソフトウェアやアプリケーションとしてそれらのNN手法が用いられて、尚且つその結果として何かしらの不具合でも起きない限りは、機械学習業界の

                                                                NN研究における再現性にまつわるエトセトラ - 渋谷駅前で働くデータサイエンティストのブログ
                                                              • マイクロソフト、WebAssemblyとWebGLで推論エンジンを実装した「ONNX Runtime Web」(ORT Web)をオープンソースで公開

                                                                マイクロソフト、WebAssemblyとWebGLで推論エンジンを実装した「ONNX Runtime Web」(ORT Web)をオープンソースで公開 マイクロソフトは、WebAssemblyとWebGLで機械学習の推論エンジンを実装した「ONNX Runtime Web」(ORT Web)をオープンソースで公開しました。 INTRODUCING: #ONNXRuntime Web (ORT Web), a new feature in ONNX Runtime to enable JavaScript developers to run and deploy machine learning models in browsers https://t.co/Ey3tsNlkEe pic.twitter.com/9uGyK8Pra0 — onnxruntime (@onnxruntime)

                                                                  マイクロソフト、WebAssemblyとWebGLで推論エンジンを実装した「ONNX Runtime Web」(ORT Web)をオープンソースで公開
                                                                • [CEDEC 2020]CreativeAIでキャラを自動生成するミクシィの研究

                                                                  CEDEC 2020最終日となる2020年9月4日,ミクシィによるCreativeAI関連のセッションが行われた。 CreativeAIとはなにかというと,要はAIでイラストなどを自動生成してやろうという研究である。無限にアニメキャラ風のイラストを生成するWebサイトなどを見たことがある人もいるのではないかと思うのだが,そういったものと同様の手法でゲームキャラを作れないかといった研究がミクシィで進められており,その成果などが発表されたのだ。 発表を行ったのは,同社デザイン本部 制作室 テクニカルアートグループ エンジニアチームリーダー長舩龍太郎氏とモンスト事業本部 開発室 モンストクライアントG クライアント2T リードプログラマー銭宇喆氏の両名で,主にモンストのキャラクター生成の話を中心にした取り組みが語られた。 ※本セッションの内容は現在研究開発中のものであり,サービス中の「モンスター

                                                                    [CEDEC 2020]CreativeAIでキャラを自動生成するミクシィの研究
                                                                  • Kaggle Grandmasterになるまでの7年間の軌跡 - のんびりしているエンジニアの日記

                                                                    皆さんこんにちは お元気でしょうか。冬だというのに、GPUと暖房で半袖装備でも過ごせています。 今年、長きにわたるMaster生活の終演を迎え、ようやくGrandmasterになることができました。 そこで、Grandmasterになるまでの経験をこちらに書き記しておこうと思います。 この記事はKaggle AdventCalendar2021カレンダー2、25日目になります。 qiita.com 著者の背景 Kaggleへの取り組み 1-3年目 4年目 IEEE's Signal Processing Society Avito Demand Prediction Challenge Home Credit Default Risk 5年目あたり 6年目 Global Wheat Detection 7年目 Shopee - Price Match Guarantee Hungry Ge

                                                                      Kaggle Grandmasterになるまでの7年間の軌跡 - のんびりしているエンジニアの日記
                                                                    • 機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning –

                                                                      機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning – 論文紹介 概要 「Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning」は、米国のNIST(National Institute of Standards and Technology)が策定を進めている機械学習セキュリティに関するベストプラクティスのドラフトであり、機械学習システムの安全確保を目的として、機械学習にまつわるセキュリティを「攻撃」「防御」「影響」の3つの視点で分類している。 NISTIR8269はブログ執筆時点(2020年7月9日)でドラフト版であるが、「NIST SP8

                                                                        機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning –
                                                                      • WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場

                                                                        WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場 ONNX Runtime WebがWebGPUに対応。Webブラウザ上でさらに高速な推論処理が可能になった。Stable Diffusion Turbo全体をWebブラウザ上で高速に実行可能で、RTX4090を用いた場合1秒以内で結果が出力される。 ONNX Runtime Webの基になっている「ONNX Runtime」はクロスプラットフォーム対応の推論エンジンです。TensorFlow、PyTorch、SciKit Learnなどをはじめとするさまざまな機械学習のモデルに対応し、これらで生成されたモデルによる推論処理をプラットフォームに依存せず実行するランタイムの役割を果たします

                                                                          WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場
                                                                        • エッジで機械学習ってなんだろう -ブラウザ、スマホ、IoT機器での推論を概観する- - Qiita

                                                                          本内容は、技術書典7 合同本『機械学習の炊いたん2』収録の、「エッジで機械学習」記事を公開したものです。内容は2019年9月時点の調査等に基づきます。 最近Raspberry Pi 4の検証結果などをみていると、エッジ、かつCPUでもそれなりの速度で動くケースもみられます。またこの後にM5StickV(K210)などを触りましたが、専用チップも使い所があります。今後、それらの動きもできれば補足したいと思います。 9/12-22に開催された技術書典9では、新刊『機械学習の炊いたん3』を頒布しました。私は、「AIエンジニア、データサイエンティストのための経営学、ソフトウェア工学」を寄稿しています。他にも機械学習のビジネス、エンジニアリング、数理までもりだくさん。気になられたら、ぜひご覧ください! 他にも、技術書典9「機械学習、データ分析」系の新刊リスト - Qiitaの通り、たくさんの本が出品

                                                                            エッジで機械学習ってなんだろう -ブラウザ、スマホ、IoT機器での推論を概観する- - Qiita
                                                                          • 荒れ果てたpython開発環境を再構築する - 制御とコンピューターサイエンスの間

                                                                            きっかけ tensorflow入れようとpip installしようとしたらpipが何故かお亡くなりになった. うーん.と調べているうちにすごいことに気づいてしまった. 自分の開発環境が: - brew, pyenv, virtualenv, pyenv-virtualenv, virtualenvwrapper, anacondaごちゃ混ぜ(←すごいミックス!) - bash/zshごちゃ混ぜ よく理解しない大学3年生の時とかにインストールしたのと, 友達に勝手にシェルをzshにされていたのが原因です. (terminal便利にしといたから〜って言われたこともあったな〜) 参考文献 ここが一番よくまとまってた www.zopfco.de アンインストール ゆっくりいきましょう anaconda conda install anaconda-clean anaconda-clean --y

                                                                              荒れ果てたpython開発環境を再構築する - 制御とコンピューターサイエンスの間
                                                                            • RaspberryPi 3 Model B+でIoT監視カメラをつくる(その7 カメラのAI化) | そう備忘録

                                                                              追加インストール機械学習の為にGoogeのTensorFlow関連のモジュールを追加インストールした。 Edge TPUランタイムのインストール以下のコマンドでラズパイにEdge TPU(Tensor Processing Unit)ランタイム(スタンダード版)のインストールを行った。 尚、本来はCoral USB Acceleratorの様なEdge TPUユニットをラズパイに接続して機械学習を行うのが理想なのだろうが今のIoT監視カメラにCoral USB Acceleratorを追加すると外箱を作り直さないといけないのと、そこそこの値段がするので(1.5万円ぐらい)ラズパイ単体でTensor Flow Liteを動かすことにしている。 この為、最後の行のlibedgetpu1-stdのインストールは今回のプログラムをラズパイ単体で動かすだけであれば不要なのだが、今後Coral USB

                                                                                RaspberryPi 3 Model B+でIoT監視カメラをつくる(その7 カメラのAI化) | そう備忘録
                                                                              • 第1回 初めてのニューラルネットワーク実装、まずは準備をしよう ― 仕組み理解×初実装(前編)

                                                                                第1回 初めてのニューラルネットワーク実装、まずは準備をしよう ― 仕組み理解×初実装(前編):TensorFlow 2+Keras(tf.keras)入門 機械学習の勉強はここから始めてみよう。ディープラーニングの基盤技術であるニューラルネットワーク(NN)を、知識ゼロの状態から概略を押さえつつ実装してみよう。まずはワークフローを概観して、データ回りの処理から始める。

                                                                                  第1回 初めてのニューラルネットワーク実装、まずは準備をしよう ― 仕組み理解×初実装(前編)
                                                                                • 無償入手可能な音声コーパス/音声データベースの一覧 - Qiita

                                                                                  無償かつ入手しやすい音声データセットをメモしています。 ライセンス・利用規約は「商用利用可能」「研究用途のみ」ともに紹介します。 コーパスを探すときに有用なサイト コーパス配布元サイト 音声資源コンソーシアム : 日本語コーパスが豊富、無償または有償で利用可能 緩いライセンスのコーパスでなくても良いときはここ 自発的発話の日本語音声コーパスはだいたいここにある 入手は要申請 所属や責任者を記入する必要があるため、研究者や企業でないと厳しい? (この記事では音声資源コンソーシアムのコーパスは未掲載) Shinnosuke Takamichi: コーパス一覧 : 日本語中心。高道先生が携わっている音声コーパス 大量の日本語音声コーパスが配布されている 音声合成のコーパスをつくろう (Slideshare) : 2021年6月時点の音声コーパス事情 あなたにどうしても伝えたい30の音声コーパス

                                                                                    無償入手可能な音声コーパス/音声データベースの一覧 - Qiita