ラズパイでディープラーニングと筋電位センサを用いた筋電義手（プロトタイプ）作りました - もう疲れたので電子工作します
最近、以前から興味のあった筋電位センサを触っています。 また、ディープラーニングの勉強も始めたのですが、 ディープラーニングの仕組みを理解する中で「ディープラーニングって筋電位センサに応用できるんじゃ？」と閃きました。 そこで色々試してみたところ、簡単な動作推定を行うことに成功したので、まとめてみます。 タイトルにある通り、ラズパイを使ってます。 実際の動作 筋電位センサ（自作） 筋電位センサ（市販：MyoWare） 回路 ディープラーニング入門 ディープラーニング（データ解析） ディープラーニング（データ取得） ディープラーニング（学習） ディープラーニング（推定） システムまとめ 感想 実際の動作 実際に動いているときの動画です。 手を握った時、反った時、屈曲した時の３パターン（厳密には無動作時を併せて４パターン）における筋電位パターンをディープラーニングを用いて分類し、分類結果に応じ
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 【IIJ 2022 TECHアドベントカレンダー 12/8（木）の記事です】 Whisperの追加学習に挑む2022年の冬 2022年アドベントカレンダー企画だそうです。 いかがお過ごしでしょうか。 私はもう興味を引くものに没頭するしか楽しみがないもんで、PCに向かってぼんやり面白いネタはないかなーと探す日々です。 最近はすっかりディープラーニングにズブズブで、とうとう数式かくのが面倒なあまり手書き入力のためのペンタブレットを買いました。てへ。 今回は9月から10月にかけてStabl
最近、機械学習を勉強している人が増えてきたので、簡単な機械学習ならわかるよといった人たち向けに将棋AIの開発、特に評価関数の設計について数学的な側面から書いていこうかと思います。線形代数と偏微分、連鎖律程度は知っているものとします。 3駒関係 3駒関係はBonanzaで初めて導入された、玉と任意の2駒との関係です。この線形和を評価関数の値として用います。評価関数とは、形勢を数値化して返す数学的な関数だと思ってください。 この3駒関係を俗にKPPと呼びます。King-Piece-Pieceの意味です。将棋の駒は40駒ありますので、{先手玉,後手玉}×残り39駒×残り38駒/2 通りの組み合わせがあります。この組み合わせは1482通りあります。Cをコンビネーション記号とすると、次のようになります。 $$ 2 \times {}_{39}C_{2}= 2 \times \frac{39 \tim
本書はコードを動かしながら学び、機械学習が使えるようになることを目的とした書籍です。現実的な問題を出し、サンプルデータを示しながら、機械学習で問題を解決に導くまでの一連の手法を体系立てて解説します。 深層学習以外の機械学習にはscikit-learnを使い、機械学習プロジェクトの流れ、データからモデルを学習する方法、データの処理・クリーニングなどの基礎から、特徴量の選択や過学習、データの次元削減など応用までを学びます。深層学習にはTensorFlowとKerasを使い、ニューラルネットワークの構築と訓練、ニューラルネットワークアーキテクチャ、深層学習や強化学習、さらにTensorFlowの分散処理のメカニズムや実装までを幅広く解説します。 第2版では教師なし学習と深層ネットワーク訓練手法、コンピュータビジョンテクニック、自然言語処理、Tensor Flowの大規模な訓練や効率的なデータの取
Text Classification: All Tips and Tricks from 5 Kaggle Competitions
In this article, I will discuss some great tips and tricks to improve the performance of your text classification model. These tricks are obtained from solutions of some of Kaggle’s top NLP competitions. Namely, I’ve gone through: Jigsaw Unintended Bias in Toxicity Classification – $65,000 Toxic Comment Classification Challenge – $35,000 Quora Insincere Questions Classification – $25,000 Google QU
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 最新の最適化アルゴリズムRAdam ニューラルネットワークは画像認識や自然言語処理など多方面で使われており、おもしろいことにも使うことができます。そんなニューラルネットワークが高い精度を出すためには、優秀な最適化アルゴリズムが必要不可欠です。最適化アルゴリズムとして現在デファクトスタンダードとなっているのがAdamです。Adamが登場したのは2014年のことですが、そこからAdamに取って代わるような最適化アルゴリズムは久しく出ていません。そんな現状をとうとう変えると期待されている新しい最適化アルゴリズムの論文が国際学会ICLR2020に採択されました。その名もRectified Adam、通称RAda
GPT-neoxの学習用にマルチノード並列学習環境を整えた with DeepSpeed - ABEJA Tech Blog
1. はじめに 2. 並列学習環境を調べる 並列学習方法を調べる ネットワーク、コンピューティング周りを調べる 3. インフラ環境を構築する コンパクトプレースメントポリシーの作成 Compute Engine を起動する (Fast Socket と gVNIC を利用する) 4. まずはシングルノードで動かす 5. 次はマルチ環境で動かす w/ Docker リポジトリをクローン ssh/config を作成 authorized_keys を作成 hostfile を作成 Docker を build 6. つまずいたポイント 学習途中に出力したファイルを再利用するのでNFSが必要に NFSのリージョンを間違えて速度が出なかった 大量のGPUの調達はリソースを確保できないかもしれないので要サポート確認 コンパクトプレースメントポリシーは邪魔になりそうだった 7. 結果 8. まとめ
https://blog.tensorflow.org/2020/09/introducing-tensorflow-recommenders.html https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhRP3srVMnqWpCBVIQWg5esg0J_w-u0ZRuIGtmJRLukKIgN4r5fVmnCloV-4zR6dAITFG4cRg6xb2z1V7MXGlG8FJ5PSgPFzSSCE23IiSmLEzczykvX2Dodl08IKuDooGacNBB3v0Hz1hc/s0/TF+Recommenders+06.gif September 23, 2020 — Posted by Maciej Kula and James Chen, Google BrainFrom recommending movies
「gpt2-japanese」の「smallモデル」と「ファインチューニングのコード」が公開されたので、日本語によるGPT-2のファインチューニングを試してみました。 前回 (1) Google Colabのノートブックを開く。 (2) メニュー「編集→ノートブック→ハードウェアアクセラレータ」で「GPU」を選択。 (3) 以下のコマンドで、「gpt2-japanese」をインストール。 # gpt2-japaneseのインストール !git clone https://github.com/tanreinama/gpt2-japanese %cd gpt2-japanese !pip uninstall tensorflow -y !pip install -r requirements.txt2. モデルのダウンロード「smallモデル」を「gpt2-japanese」フォルダにダウン
時間依存性を考慮したWord Embeddingsのまとめ - Sansan Tech Blog
はじめに こんにちは、DSOC研究開発部の橋本です。最近買ってよかったな、と思ったものは「詰め替えそのまま」です。これはシャンプーやトリートメントの詰め替えをそのままホルダーにかけて使うことができるようになるグッズで、文字通り（比較的安い）詰め替えをそのまま・簡単に使えるようになる点、お風呂の床に詰め替えを置かなくて済むようになる点という2つの点から非常に良いです。気になる人はぜひググって買ってみてください。 詰め替えそのままの話はさておき、今回時間依存性を考慮したword embeddingsの話をします。 時間に依存するword embeddingsの必要性 現在では、word embeddingsはもはや一般的なツールになりつつあると思います。学習済みのword embeddingsを適用して特徴量とし、何かしらの機械学習アルゴリズムにかける、というのもよく行われていると思います。し
1. はじめに 前回に引き続きPyTorchを用いたarXiv実装の2回目になります。今回紹介する論文はVISUALIZING THE LOSS LANDSCAPE OF NEURAL NETSになります。 扱う内容は前回と同じニューラルネットの可視化です。ただし前回は中間層の可視化でしたが、今回は出力層の可視化です。本論文ではディープラーニングのロス関数を可視化する手法を提案しています。 ディープラーニングの学習においては、SGDやAdaGradなどのアルゴリズムを用いてロス関数を最小とするパラメータの探索を行います。凸関数は局所最適化を繰り返すことで大域的最適解が得られますが、非凸関数ではその保障はありません（参照ページ）。そしてディープラーニングのロス関数は一般に凸関数とは限らないため、学習により適切なパラメータが求まる保障はありません。 しかし、適切なバッチサイズ・フィルタサイズを
![[論文実装_その2] ディープラーニングのネットワークモデルを3次元で可視化してみる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/26da7c5e5b4148328e45f21a91228dcc25186dde/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCJUU4JUFCJTk2JUU2JTk2JTg3JUU1JUFFJTlGJUU4JUEzJTg1XyVFMyU4MSU5RCVFMyU4MSVBRTIlNUQlMjAlRTMlODMlODclRTMlODIlQTMlRTMlODMlQkMlRTMlODMlOTclRTMlODMlQTklRTMlODMlQkMlRTMlODMlOEIlRTMlODMlQjMlRTMlODIlQjAlRTMlODElQUUlRTMlODMlOEQlRTMlODMlODMlRTMlODMlODglRTMlODMlQUYlRTMlODMlQkMlRTMlODIlQUYlRTMlODMlQTIlRTMlODMlODclRTMlODMlQUIlRTMlODIlOTIzJUU2JUFDJUExJUU1JTg1JTgzJUUzJTgxJUE3JUU1JThGJUFGJUU4JUE2JTk2JUU1JThDJTk2JUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgyJThCJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xMWJhYjBjYTk5MzEyMWQwMjA3NjY3YjBmMTRjOTQ0MA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwb2tuLXl1JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xOTNhYTUyZjM2M2YyODE5MWJlNzY0NWVlMjE5YTYxNQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D7ee8857f7711c58f74c421bbf2d580a6)
AWS 認定 機械学習 – 専門知識(AWS Certified Machine Learning – Specialty)の学習方法とマシンラーニング・ディープラーニングの基礎知識が学べる学習リソースの紹介 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 機械学習 – 専門知識(AWS Certified Machine Learning – Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 機械学習 – 専門知識」とは 「AWS 認定
はじめに Tensorflow Recommenders (TFRS) は Tensorflow による推薦システム構築のためのライブラリです。特に大規模サービスへの応用が念頭に置かれており、two-tower アーキテクチャの推薦モデルの構築と、近似近傍探索による高速な推論を可能にしてくれます。 公式のチュートリアルで基本的な使い方を学ぶことができます。また以下のようなブログ記事も参考になるでしょう。 TensorFlow Recommenderで映画のレコメンダーシステムを構築 TensorFlow Recommendersの紹介 大規模サービスで効率よくレコメンドを提供するためにTensorflow Recommendersを活用する 今回この記事を書こうと思ったのは、公式のチュートリアルなどではTFRSを使う上で重要な精度面に関する情報が不足していると思ったからです。この後実演する
We propose a categorical semantics of gradient-based machine learning algorithms in terms of lenses, parametrised maps, and reverse derivative categories. This foundation provides a powerful explanatory and unifying framework: it encompasses a variety of gradient descent algorithms such as ADAM, AdaGrad, and Nesterov momentum, as well as a variety of loss functions such as as MSE and Softmax cross
このPCAが熱いトップ10 - Qiita
この記事はバイオインフォマティクス Advent Calendar 2020の22日目の記事です 今年はあまり書くことが思いつかなかったので、自分が注目しているPCA（Principal Component Analysis, 主成分分析）ベースの手法を紹介する。 1. Randomized PCA Halko, N et al., FINDING STRUCTURE WITH RANDOMNESS: PROBABILISTIC ALGORITHMS FOR CONSTRUCTING APPROXIMATE MATRIX DECOMPOSITIONS, 2010 データを一度ランダムに低次元に射影してコンパクトにしてから扱うことで、大規模データ行列も高速・低メモリで計算できるPCA。 今年出したPCAのベンチマーク論文で、速度、精度ともに性能が良かった。 乱数を使っているのに、驚くほど正確
zero to one
ニューラルネットワークとディープ ラーニング 誤差逆伝播法 多層パーセプトロン 単純パーセプトロン 勾配消失問題 信用割当問題 ディープラーニングのアプローチ 制限付きボルツマンマシン 事前学習 オートエンコーダ 積層オートエンコーダ ファインチューニング 深層信念ネットワーク ディープラーニングを実現するには TPU CPU と GPU GPGPU ディープラーニングのデータ量 活性化関数 Leaky ReLU関数 ReLU関数 tanh 関数 学習の最適化 学習率 交差エントロピー 誤差関数 局所最適解 イテレーション 鞍点 大域最適解 エポック モーメンタム プラトー RMSprop AdaGrad AdaDelta AdaBound ADAM AMSBound ハイパーパラメータ ランダムサーチ 確率的勾配降下法 グリッドサーチ バッチ学習 最急降下法 データリーケージ ミニバッチ
勾配降下法一覧 (2020) - Qiita
対象者 深層学習の最適化手法である確率的勾配降下法をまとめてみました。 といっても、こちらにまとめられている数式と論文を基に、初期値や論文に載っていなかった定数の決定などをPytorch、Keras、Chainerなどの実装を参考に行ったものをまとめただけです。 数式などは実装ライクにまとめますので、自分で実装してみたい人は見ていってください。 間違いなどがあれば気軽にご指摘ください。 また、新しい最適化手法の情報をお持ちの方や、作成中の最適化手法についても是非教えてください！ こちらで探索平面ごとの挙動の違いを紹介しています。 こちらにて実装コードを公開しています。ご自由にご活用ください。 目次 はじめに 最急降下法とは 確率的勾配降下法とは 実装ベース SGD Momentum SGD NAG AdaGrad RMSprop AdaDelta Adam RMSpropGraves SM
Is Optimization a Sufficient Language for Understanding Deep Learning?
Is Optimization a Sufficient Language for Understanding Deep Learning? In this Deep Learning era, machine learning usually boils down to defining a suitable objective/cost function for the learning task at hand, and then optimizing this function using some variant of gradient descent (implemented via backpropagation). Little wonder that hundreds of ML papers each year are devoted to various aspect
[AI入門] ディープラーニングの仕組み ～その4：最適化アルゴリズムを比較してみた～ | SIOS Tech. Lab
SGDSGDはstochastic gradient descent（確率的勾配降下法）の略です。 SGDの考え方は、 「勾配を見ればどちらに動かせばlossが減るのか分かるなら、勾配の分だけパラメーターの値を減らせばよい」 です。 for i in range(steps): parameter = parameter - lr * grad デフォルトパラメータ lr = 0.01 パラメータを勾配×学習率だけ減らします。 学習率は一度のパラメータの更新でどのぐらい学習を進めるかを調整します。小さすぎると学習が全然進まず、大きすぎるとパラメータが最適値（lossが最小になるときの値）を通り過ぎてしまいうまく学習できません。 もっとも簡単で基本的なアルゴリズムです。これ以降に紹介する最適化アルゴリズムは基本的にこれを改良していったものです。 確率的勾配降下法だけでなく、最急降下法やミニバ
![[AI入門] ディープラーニングの仕組み ～その4：最適化アルゴリズムを比較してみた～ | SIOS Tech. Lab](https://cdn-ak-scissors.b.st-hatena.com/image/square/620a434198ba32dd88e0464aef4cd02fef3c9e22/height=288;version=1;width=512/https%3A%2F%2Ftech-lab.sios.jp%2Fwp-content%2Fuploads%2F2020%2F09%2Fai_study_kikaigakusyu.png)
こんばんは、へるもです。 いよいよG検定ですね！ 圧倒的な暗記項目の多さにやる気を失っていたのですが、インターネットで調べてもよいという特長を活かして、カンニングペーパーを作ることにしました。 ※取得後に思ったこと herumo.hatenablog.com herumo.hatenablog.com herumo.hatenablog.com チートシート 考えることはみんな同じようで、ネットで調べると幾つか出てきますね。「G検定カンペ、まとめ、チートシート」とかが検索ワードとして強いようです。 ただ、いくつのページを開いて検索するというのは不合理ですし、次の項目で紹介するページを参考にして、ここにないものをまとめる、といった形で作成しました。 これだけ書いても足りないんだろうな、と思うとつらいのですが、それでもないよりマシです。 自分用のメモなので間違っていたらごめんなさい。何かあれば
Adam — latest trends in deep learning optimization.
Adam [1] is an adaptive learning rate optimization algorithm that’s been designed specifically for training deep neural networks. First published in 2014, Adam was presented at a very prestigious conference for deep learning practitioners — ICLR 2015. The paper contained some very promising diagrams, showing huge performance gains in terms of speed of training. However, after a while people starte
【前編】Pytorchの様々な最適化手法(torch.optim.Optimizer)の更新過程や性能を比較検証してみた！ – 株式会社ライトコード
最適化手法の更新過程や性能を比較検証してみよう！ 機械学習では、学習を行う際に、「損失関数の値」と「勾配」からパラメータを更新し、「モデルの最適化」を行います。 この時の「モデル最適化手法」は様々な方法が考案・活用されていますが、それぞれ最適化される過程は異なってきます。 今回は、Pytorchに用意されている各種最適化手法（torch.optim.Optimizer）の学習過程がどのように異なるのかについて、「損失関数」や「精度の比較」により検証します。 本記事は「前編」「後編」でお届けいたします。 各種torch.optim.Optimizerの紹介と挙動 今回検証する「最適化手法」は、次の6つです。 SGD : torch.optim.SGDAdagrad : torch.optim.AdagradRMSprop : torch.optim.RMSpropAdadelta : tor
Random Forest vs Neural Network (classification, tabular data) May 10, 2019 by Piotr Płoński Random forest Neural network Which is better: Random Forest or Neural Network? This is a common question, with a very easy answer: it depends :) I will try to show you when it is good to use Random Forest and when to use Neural Network. First of all, Random Forest (RF) and Neural Network (NN) are different
JDLA Deep Learning for GENERAL 2019 #1（G検定）合格までに実施した勉強法をご紹介します。 私が実施した勉強法は以下の通りです。（詳細は、過去記事にリンクしてあります。） ステップ0. G検定合格のためG検定の概要と受験した感想 ステップ1. 問題集の解答を一通り読破する。（解答から読破するところがポイント） ステップ2. テキストを一通り読破する。 ステップ3. 問題集を解く。（テキストの章問題も一緒に解く。） ステップ4. 過去問を解く。 ステップ5. 3,4を繰り返す。 ステップ6. 通勤時などの隙間時間に参考書籍を読む。 その他：覚えたことをTwitterでつぶやく。 G検定対策 復習のつぶやき総集編（その１） G検定対策 復習のつぶやき総集編（その２） G検定対策 復習のつぶやき総集編（その３） 上記勉強法に利用した、問題集や過去問サイトは以下
みなさん optimizer は何を使っていますか? (僕は SGD + Momentum + Nesterov が好きです) adagrad/adadelta/adam などなど NN で用いられる optimizer は数多くありますが, 最近提案された optimizer に adabound というものがあります。 adabound はざっくりいうと SGD と adam のいいとこ取りを狙った手法で、論文では序盤では adam の早い収束性を, 終盤では SGD の高い汎化性を再現しています。 序盤終盤すきのない adabound 先生 pytorch での実装GitHub - Luolc/AdaBound: An optimizer that trains as fast as Adam and as good as SGD. 自分のスライドで恐縮ですが Adabound やそ
【資格試験対策】ディープラーニングG検定【キーワード・ポイントまとめ】 - ITとかCockatielとか
last update : 2021/2/24 last update : 2021/2/24 はじめに １．📘人工知能（AI）とは（人工知能の定義） AIの定義 人工知能レベル AI効果 ロボットとの違い 歴史 ✅ 💻ENIAC ✅ ダートマス会議 ✅ 第１次AIブーム ✅ 第２次AIブーム ✅ 第３次AIブーム ２．📘人工知能をめぐる動向 2-1.📘探索・推論 探索・推論の手法 ✅ 探索木 ✅ ハノイの塔 ✅ ロボットの行動計画 ✅ ボードゲーム ✅ コスト ✅ Mini-Max法 ✅ α-β法 ✅ モンテカルロ法 2-2.📘知識表現 知識表現 ✅ 💻ELIZA（イライザ） ✅ エキスパートシステム ✓ 💻DENDRAL ✓ 💻マイシン（MYCIN） ✅ 意味ネットワーク ✅ Cycプロジェクト オントロジー（ontology） ✅ セマンティックウェブ ✅ ヘビーウェ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenAI Whisper に追加学習をさせる試み | IIJ Engineers Blog
機械学習エンジニアのための将棋AI開発入門その1 | やねうら王 公式サイト
scikit-learn、Keras、TensorFlowによる実践機械学習 第2版
ついにAdamを超えた！最新の最適化アルゴリズム「RAdam」解説 - Qiita
Introducing TensorFlow Recommenders
gpt2-japaneseの使い方 (2) - GPT-2のファインチューニング｜npaka
[論文実装_その2] ディープラーニングのネットワークモデルを3次元で可視化してみる - Qiita
Tensorflow Recommendersの精度を上げるためのテクニック
Categorical Foundations of Gradient-Based Learning
G検定に向けたチートシート 当日用のカンペ - 社畜の馬小屋
Random Forest vs Neural Network (classification, tabular data)
JDLA G検定合格に使った過去問,問題集など対策・体験記
Adabound の final_lr と収束性について - nykergoto’s blog