化学反応におけるDeep learningの適用 - Preferred Networks Research & Development
近年様々な分野に対してDeep learningの応用が研究されてきています。 化学の分野でも物性値の予測モデルや、化合物の生成モデルの研究などが盛んになってきています。最近では、有機化合物の合成を行う際に必要な化学反応の予測をDeep learningで行うという試みが行われてきているのでその先行研究サーベイをしました。 サーベイ資料はこちらのSlideshareにアップロードしています。 問題設定：反応予測および逆合成経路探索 化学反応で、反応物 (reactant) AとBを触媒 (reagent) Cの下で反応させたときに 生成物 (product) D ができたようなプロセスは Reaction SMILES を用いると “A.B.C>>D” というように表すことができます。 ここで、 AとBとC から何ができるか？ （答えはD）を予測する問題を順方向の反応予測問題と呼び、Dを作
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 2012年にAlexNet[Krizhevsky, A.(2012)]が登場してから、画像認識分野での発展は著しい。その発展を支えてきたものこそ大規模データセットImageNet[Deng, J.(2009)]である。ImageNetでSoTAを達成すると、そのモデルには最強モデルの称号が与えられると言っても過言ではない。2020年6月にGoogle Brainによって出されたこの論文は、そんな当たり前に使われてきたImageNetデータセットに対して疑問符を叩きつけるものとなっている。現存のImageNetでの性能評価が必ずしも正しいのだろうか。この論文を通してその答えを探しにいく。 本論文で使われて
はじめに 微分可能レンダラーという研究があります。これは画像の描画過程を微分可能に近似することで、レンダラーへの入力（3次元モデルやカメラ姿勢など）とその出力（画像）の関係をディープラーニングで扱うことが出来るようになるというものです。 この考え方をアスキーアートに適用してみたところ、教師なし学習による精密なアスキーアート生成が可能となりました。 *趣味の活動ですので内容の正確さには期待しないでください。 背景 ディープラーニングでアスキーアートの自動生成を扱った研究として、2017年のDeepAA（日本語解説記事）があります。これはテキストとその描画結果である画像のデータを用意したうえで、逆向きの変換を一文字ずつ教師あり学習させるというものです。 この方法はそれなりの精度が出ているのですが、一文字ずつ学習している構成であることから精密な線の位置合わせができないという問題があります。また、
《日経Robotics》ラズパイ4の新GPUをハックしてディープラーニング推論を高速化、ベンチャーIdeinはなぜ開発できた？
IoT向けの安価な小型コンピュータとして注目を集める「Raspberry Pi（ラズパイ）」の全シリーズに、GPUが標準搭載されていることをご存じだろうか。 元は教育用途として始まった同デバイスだが、ユーザーが3次元グラフィックスに触れられるよう、米Broadcom社製のメインチップにGPUコア「VideoCore」が搭載されているのである。 IoTやAI技術を手掛ける日本のベンチャー、Idein（イデイン）は、このラズパイ1～3のGPUをディープラーニング（深層学習）推論のアクセラレータとして使えるようにしたことで知られる1）。このラズパイのGPUは米NVIDIA社のGPGPUと異なり、グラフィックス以外の汎用演算を行うための開発環境やツールがチップ開発元から提供されている訳ではない。 本誌が2019年3月号で解説したように、Ideinは当時、公開されている命令セットアーキテクチャ（IS
1. Deep Metric Learning 概要 Metric Learningとは日本語で「距離学習」と呼ばれる方法で, 入力空間におけるサンプル同士の類似度が, ユークリッド距離やコサイン類似度などの尺度と対応するように別空間に埋め込むための変換を学習する方法です. この別空間のことを埋め込み空間や特徴空間といいます(以後, 埋め込み空間で統一). DMLは, この変換をDeep Neural Networkによって非線形に設計します. とりわけ入力が画像であれば, DNNとしてConvolutional Neural Networkが用いられます. 犬種を用いた例をあげます. $x_1$, $x_2$はチワワの画像を表しており, $x_3$は柴犬の画像を表しています. $x_1$と$x_2$は同じ犬種なので画像としての類似度が高いと言えます. 一方で$x_1$と$x_3$は異なる
はじめに トレーニー（筋トレを愛している人）の多くが習慣化している「自撮り（肉体）」。トレーニング後にパンプした肉体を撮りためて、後で見返すのが至福のときですよね。さらに、撮りためた画像をタイムラプスのようにアニメーションで表示させたら、より筋肉の成長が手に取るようにわかりますよね！ この記事はディープラーニングを使って、肉体のタイムラプスを劇的に見やすくした話を書いています。 まずは結果から 2017/12～2020/3の体の変化 ※データサイズの都合上、画像をクロップ&圧縮しています。 目次 1.手作業での補正 1-1.そのまま表示 1-2.位置の固定 1-2-1.乳首おへそ座標付与ツール 1-2-2.動画作成 2.ディープラーニングを用いた自動補正 2-1.アノテーションデータ作成 2-2.学習 2-3.未知画像への適用 2-4.後処理 2-4-1.各ピクセルの出力値が閾値以下のもの
深層学習を用いた三次元点群処理入門
第230回CVIM研究発表会 チュートリアルでの「深層学習を用いた三次元点群処理入門」のスライド資料です 図などは各論文から引用しています
やってみたら簡単！ディープラーニング・オセロを作って自分を負かすまで強くした話(その2・iOS編) - Qiita
前回の記事「やってみたら簡単！ディープラーニング・オセロを作って自分を負かすまで強くした話(その1)」の続編です。 前回は、ディープラーニング・オセロのモデルを作って推論させるところまでを説明しました。 今回は、今回はこのモデルをiOSで動作させ、ミニマックス法やモンテカルロ木探索に組み込む方法について説明します。 前回、UIの説明をすると書きましたが、UIそのものはもともと参加していたコンテストであるリバーシチャレンジから提供されていたものを利用していたので、説明としては省略します。 前回はPython中心の記事でしたが、今回はSwift + Core ML中心の記事になります。 コードはこちらにあります。 TokyoYoshida/reversi-charenge ミニマックス法とモンテカルロ木探索ではどうだったか？ 結論から言うと、ミニマックス法は強くならず、モンテカルロ木探索は、私
最終更新 2021/11/24 本質的な内容は変化していないものの，最新の研究動向に対して本記事で取り上げた論文はかなり古くなっているので注意してください． 本記事より良くまとめられているオープンアクセスの日本語文献があるので，そちらを参照するほうがよいと思います． 深層学習技術のセキュリティ課題についてはこちら 森川 郁也(富士通株式会社), "機械学習セキュリティ研究のフロンティア" 電子情報通信学会 基礎・境界ソサイエティ Fundamentals Review, Vol.15 No.1, 2021 https://www.jstage.jst.go.jp/article/essfr/15/1/15_37/_article/-char/ja 深層学習技術のハードウェアセキュリティ課題についてはこちら 吉田 康太, 藤野 毅(立命館大学), "エッジAIデバイスのハードウェアセキュリテ
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 スイス・チューリッヒ工科大学の研究チームが開発した「Controlling Style and Semantics in Weakly-Supervised Image Generation」は、ユーザーが手描きで大雑把に指定したマスク（画像処理ソフトなどで使われる領域指定）とテキスト記述や属性から、もっともらしいリアルな絵を生成する深層学習フレームワークだ。 手描きマスクからリアルな絵を生成する従来の技術には大規模なラベル付きデータが必要で、複雑な形状やオブジェクトから構成される絵の合成はできなかった。オブジェクトを削除すると不自然な部分が残ってしまう問題もあった。 今回の手法では、オブ
NTT、暗号化したままディープラーニングを行う技術
日本電信電話(NTT)は9月2日、データを暗号化したまま一度も元データに戻さずに、ソフトマックス関数やAdam(adaptive moment estimation)と呼ばれる最適化処理を含む標準的なディープラーニング(深層学習)の学習処理を行う技術を、世界で初めて実現したと発表した。 通常、データを利活用するためには、通信時や保管時に暗号化した場合でも、処理を行う時には元データに戻して処理する必要があるが新技術により、企業秘密や個人のプライバシーに関わるデータをディープラーニングで使用する時に、サーバではデータを暗号化したまま一度も元データに戻さずに処理可能になるという。 サーバでは常にデータは暗号化したままであり一度も元データに戻さないため、従来よりもユーザーや組織が安心してデータを提供でき、学習に利用できるデータ量や種類が増え、精度の高いAI(人工知能)の実現が可能になると同社は考え
もはやまとめではない
著者のCaleb Kaiser氏は、エンジェル投資家とスタートアップを志望する求職者のためのWebサイトを運営するAngelListに勤務した後、機械学習向け開発環境Cortexの開発に携わっています。同氏がMediumに投稿した記事『ディープラーニングはもう難しくない』では、近年、機械学習アプリの開発の敷居が低くなっていることとこの事実から導かれる帰結が論じられています。 機械学習とディープラーニングが活用されるようになった第三次AIブームが始まった数年前においては、AIモデルの開発には大規模な学習データ、巨大なアーキテクチャ、そして多額の資金が必要だったため、Googleのような資本力のある企業しか開発できませんでした。 こうしたなか、AI開発の敷居を下げる技術が登場しました。その技術とは、事前学習済みのAIモデルを特定の目的に最適化する転移学習です。転移学習を使えば大規模な学習データ
Sentence BERTをFine TuningしてFAQを類似文書検索してみる - Taste of Tech Topics
こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はRTX4090のマシンを買って電気代が上がってきています。 昨今NLP界隈では事前学習モデルが出てからは、検索というのもキーワードでの検索だけではなく、文章を入力にして似たような文章を探す類似文書検索も使われるようになりました。 そんな中で、今回はFAQを対象にした類似文書検索をSentence BERTを使って試してみます。 FAQでよくある困りごと 今回やること Sentence BERTとは 検証 FAQデータセットから文章ベクトルを学習する 回答文から文章ベクトルを生成する 質問文から近しい回答を見つける 単語が揺れてもいい感じに回答を取得できるのか検証 まとめ FAQでよくある困りごと FAQはあらゆる場面で重要な情報源ですが、いまいち検索がしづらい情報でもあります。 FAQを利用し
ONNXモデルのチューニングテクニック (基礎編)
基礎編 / 応用編１ / 応用編２ サイバーエージェント AI Lab の Conversational Agent Teamに所属している兵頭です。今回は私が半年ほど蓄積したONNXのチューニングテクニックを全てブログに残したいと思います。皆さんが既にご存知であろう基本的なことから、かなりトリッキーなチューニングまで幅広くご紹介したいと思います。長文になりますがご容赦願います。 このブログのメインターゲット層は「リサーチャーが実装したモデルを実環境へデプロイするタスクを有する方々」です。一部リサーチャーの方々の参考になる情報が混じっていることもあるかもしれませんが、あまり興味を引かない内容だとは思います。リサーチャーメインの組織に属しながらリサーチエンジニアの立ち位置で身を投じていますので、研究の観点の少し手前あるいは少しその先の部分を担っている立場からこのブログを記載しているものとご認
自分が技術書典応援祭＋技術書典8（＋α）で買った技術系同人誌のなかでおすすめのものを書いていきたいと思います。データサイエンス、機械学習系が多めです。 買ったもの全部は書けなかったので、ここに書いていないのがおすすめではないというわけではないです。（最後以外は）全て自分で購入したものです。 A Primer on Adversarial Examples タイトル：A Primer on Adversarial Examples サークル：原理的には可能 著者：菊田遥平 ページ数：99ページ 電子版 https://techbookfest.org/product/5483924549533696 個人的にはめちゃめちゃおすすめの本です。「技術書典 応援祭」に出ている本では一番これがおすすめです。 いきなり「Adversarial Examples」と言っても何のことだかわからないですよね
連載目次 本稿は、ニューラルネットワーク（以下、ニューラルネット）の仕組みや挙動を、数学理論からではなくPythonコードから学ぶことを目標とした連載（基礎編）の第2回です。「難しい高校以降の数学は苦手だけど、コードを読んでロジックを理解するのは得意！」という方にはピッタリの記事です。 前回の第1回では、本連載の目的や特徴を示した後で、「ニューラルネットの訓練（学習）処理を実現するために必要なこと」として、 ステップ（1）順伝播： forward_prop()関数として実装（前回） ステップ（2）逆伝播： back_prop()関数として実装（今回） ステップ（3）パラメーター（重みとバイアス）の更新： update_params()関数として実装（次回）。これによりモデルが最適化される という3大ステップを示しました。前回はこのうちの「ステップ（1）順伝播」まで実装が完了しています。今回
はじめに 機械学習の書籍多いけど、どれ買えば良いのかをレベル別にオススメします。 レベルはレベル1~レベル5の五段階です。 今の自分にあったレベルから書籍を選んでみて下さい。 また３〜４ヶ月でここに紹介した書籍を読み進められるとベストです。 勉強方法はこのnoteでは触れませんが、Couseraのマシンラーニングコースなどオンラインでとても良い講座があるので、書籍以外のサービスも活用してみて下さい。 ＊AIに関して勉強したい方は下記の２つご利用ください！ AI Academy 無料でPythonや機械学習、ディープラーニングが学べるオンラインAIプログラミング学習サービス *一部コンテンツは月額980円にて全て利用可能。 AI Academy Bootcamp 個人向け2ヶ月10万円で受講可能な、受講後すぐに業務で使える分析力を身に着けられるAI・データ活用ブートキャンプ 人工知能基礎編<
前回の記事では、ディープラーニングの異常検知に関するベンチマークを 行いました。その結果、「L2-SoftmaxLoss」が一番良い性能を示しました。 本稿では、その元になった「論文の概要」と「異常検知に適用した場合の考察」を 記したいと思います。 ※なお、本稿の図は特に明記がない場合は論文（L2-constrained Softmax Loss for Discriminative Face Verification ）より引用しています。 論文の結論 結論からいうと、論文で言いたかったことは ということです。この意味が分かる方は、既に論文のほとんどを理解できています。 あとは、分類精度を向上させるために、ソフトマックス関数をどう改造するかのお話しです。 ソフトマックス関数のクロスエントロピー 分類問題で良く使われるソフトマックス関数のクロスエントロピーは 以下のとおりです。 L_S=-\
３つの要点 その１ パラメータ数を激減させる新しい畳み込みMixConvを提案 その２ MixConv層を含んだモデルをAIに自動生成(=NAS)させることでMixNetを開発 その３ MixNetはMobileNet-V3やMnasNetなどの小型画像認識モデルのみならずResNet-153に対してはパラメータ数1/9程度で性能を凌いだ MixConv: Mixed Depthwise Convolutional Kernels written by Mingxing Tan, Quoc V. Le (Submitted on 22 Jul 2019 (v1), last revised 1 Dec 2019 (this version, v3)) Journal reference: BMVC 2019 Subjects: Computer Vision and Pattern
AI で画像生成するテキストを作成 ジェネレーター
NTT（日本電信電話）は7月10日、音を認識するために訓練したディープニューラルネットワーク（DNN）が、ほ乳類の脳と類似した反応を示すことが分かったと発表した。ほ乳類の聴覚神経系が、音の情報処理において合理的にできていることを示唆しているという。 ヒトを含むほ乳類の脳は、音が耳に届いてから認識するまでに、脳幹や大脳皮質など多くの段階で音の特徴を分析し、それに応じた反応を見せる。例えば音を認識する上で重要な手掛かりとされる振幅変調（音の大きさの緩やかな変化）では、その波形に同期して神経が発火する（神経反応）。 また細胞によって特定の周波数のみに強く同期する「変調チューニング」が見られたり、より中枢に近い神経細胞のほうが同期できる周波数の上限が低いなどの特徴がある。しかし、これまでの神経生理学のアプローチでは、なぜこうした特徴が現れるのか分からなかった。 今回の研究では、動物の聴覚神経系と同
“ラズパイ5”にNPU追加できる「Raspberry Pi AI Kit」 最大13TOPSの推論性能 日本では近日販売へ
関連記事 「Raspberry Pi 5」発表 拡張性や処理速度が向上 国内の販売時期は未定 英Raspberry Pi財団は、小型コンピュータ「Raspberry Pi 5」シリーズを発表した。英国では10月から販売予定だが、日本国内での販売時期は不明。 AI処理に適した「Copilot+ PC」、各メーカーが続々発表 ラインアップ一覧 米Microsoftは、AIアシスタント「Copilot」などAIの実行に適したWindows PCカテゴリー「Copilot+ PC」を発表した。各メーカーが6月18日以降に発売するSnapdragon搭載のCopilot+PCを紹介する。 AI対応“Copilot+ PC”でArm搭載の新「Surface Pro／Laptop」 「M3 MacBook Airより高速」とうたう性能と価格は？ 要点まとめ 米Microsoftが発表した、新しい「Sur
Raspberry Pi 3 B+ ＆ PyTorchの深層学習で、カメラ映像内の複数物体をリアルタイム分類 - Qiita
Raspberry Pi 3 B+ ＆ PyTorchの深層学習で、カメラ映像内の複数物体をリアルタイム分類PythonOpenCVRaspberryPiDeepLearningPyTorch 大学の授業関係でラズパイ3B+とpicameraをゲット。暇なので、ラズパイに深層学習を用いた分類をさせてみようと思い立ちました。ただ、前もって撮った写真を分類させるのではなく、picameraからのリアルタイムの映像内の物体を分類させ、いい感じに表示させます。 学生レベルかもしれませんが、一部分でも参考になれば幸いです。 思い描いたこと 「固定されたpicameraの視野内に複数の私物を置くと、それをリアルタイムに分類し、表示する機能」をラズパイ内に作ってみようと思いました。 具体的には、背景差分（背景画像と変化した部分を抜き出す手法）で物体を抽出し、PyTorch [ﾊﾟｲﾄｰﾁ]（Keras,
かまろ/Camaro @mlaass1 ディープラーニングのモデリングの経験則を語る会をやってみたい。理論的な背景は不要（あってもいい）で、こういうときはこうする、こういうデータにはこうすると上手くいく、初手はいつもこれ、などのヒューリスティックを無責任に語る会。 2020-08-03 12:23:09 かまろ/Camaro @mlaass1 画像だとデータの特徴と合わせてこの辺り話してみたい。 ・image sizeとmodelの大きさ ・batch sizeの決め方とBatch norm ・fp16使うか ・デバイス(GPU/TPU)の違い ・間違いないaugmentation ・間違いないscheduling ・frameworkの違い(tf/pytorch) ・lossの選び方 ・optimizerの違い ・headの設計方法 2020-08-03 12:46:04 かまろ/Cam
現実に存在する物体をスマホで切り取り、PCで開いたPhotoshopへ貼り付けできるツール「AR Cut ＆ Paste」のプロトタイプが公開されました。 観葉植物を切り抜き（画像はTwitterより） Photoshopへ貼り付け（画像はTwitterより） 「AR Cut ＆ Paste」は、Google Arts ＆ Cultureに所属するシリル・ディアーニュさんが公開したオープンソースソフトウェア。デスクに置いた観葉植物やノートをスマホカメラで写し、PCで開いたPhotoshopへ貼り付ける様子をTwitterに投稿しました。カメラで写した物体を切り取り、Photoshopの画面へカメラを近づけると貼り付け完了します。タップによる操作で、感覚的にカットアンドペーストができるようです。 ディアーニュさんの投稿によると、操作にかかる時間はコピーに2.5秒、貼り付けに4秒程度となってい
Kaggleはすっかりただの野次馬の一人になって久しいんですが、しばらく前に行われたPetFinder.my - Pawpularity Contestというコンペで優勝者がSVR（サポートベクター回帰）を使ったことが話題になっていたというのを聞いて、NN全盛のこのご時世に意外だなと思ったのでした。 しかし、よくよく考えてみればかのVapnik御大がかつてSVMを考案する際にベースとしたアイデアはNNとは方向性の違う代物だったわけです。故に、例えばSVMとNNとがどのような点で異なるかが「見える化」出来れば、SVMが復権するための条件のようなものが見えてきそうです。 ということで、久しぶりに「サンプルデータで試す機械学習シリーズ」をやってみようと思います。実はDNNについては6年前にも似たようなことをやっているのですが、SVMとDNNとでサンプルサイズを変えながら比較するというのはやったこ
Fossbytesは7月26日(米国時間)、「Programmers Can Code Faster With This AI-Based Autocompleter Tool」において、カナダのウォータールー大学コンピュータサイエンスの学生が開発した入力補完ツール「Deep TabNine」を紹介した。 Deep TabNineは、Open AIによる予測テキストのディープラーニング言語モデル「GPT-2」に基づき、効率のよい開発を実現するという。Open AIは、イーロン・マスク氏が共同会長を務める非営利のAI(人工知能)研究企業。 サポートするプログラミング言語はJava、Python、JavaScript、C、C++、PHP、TypeScript、Kotlin、Objective-C、HTML、CSS、Go、C#、Ruby、Rust、Swift、 Haskell、OCaml、Sca
日本語BERTモデルをPyTorch用に変換してfine-tuningする with torchtext & pytorch-lightning - radiology-nlp’s blog
TL;DR ①TensorFlow版訓練済みモデルをPyTorch用に変換した (→方法だけ読みたい方はこちら) ②①をスムーズに使うための torchtext.data.Dataset を設計した ③PyTorch-Lightningを使ってコードを短くした はじめに 日本語Wikipediaで事前学習されたBERTモデルとしては, 以下の2つが有名であり, 広く普及しています: SentencePieceベースのモデル (Yohei Kikuta さん提供) TensorFlow版 Juman++ベースのモデル (京大黒橋研提供) TensorFlow版 PyTorch版(Hugging Face transformers準拠) このうち, SentencePieceベースのものは現在TensorFlow版のみの提供となっており, PyTorch版は存在しません。 そのため, 私のよう
Google I/O 2023基調講演まとめ
米Googleは5月10日（現地時間）、年次開発者会議「Google I/O」をハイブリッドで開催した。約2時間20分の基調講演で発表されたことを時系列で簡単にまとめる。なお、開発者向け基調講演は別途行われており、技術的な詳細はそちらで発表された。 ハードウェアも発表されたが、全体的にAI中心の講演となった。オープニングに流れた動画もGoogleが数年前からAIに取り組んできたことを示すもので、「われわれは（AIに）大胆な野心を持っているが、アプローチには常に責任がある」とし、そのアプローチの方針は「Make AI helpful for everyone（AIを誰にとっても役立つものに」だという。 最初に登壇したスンダー・ピチャイCEOは「みなさんもご存じの通り、今年はAIが非常に忙しい年になっており、私達にも語ることがたくさんあります」と口火を切った。 「生成AIにより、Google検
日本語でのTransformerの活用拡大と、Transformerを超える技術発展が進む 高度なマルチモーダルAIの研究が進展し、何らかのサービス登場する ローコード／ノーコードのAIサービスを採用するケースが増える AutoMLを利用するケースは着実にさらに増えていく MLOpsは引き続き広まり、採用する企業が増えていく エッジデバイスでの機械学習／TinyMLの利用は引き続き拡大する 量子AI／量子機械学習の実用化に向けた研究がさらに進展する 責任あるAIのための原則や規制が各所で制定され続ける なお、AutoML、MLOps、TinyML（エッジデバイス上の小さな機械学習技術）、責任あるAIを支える説明可能性／解釈可能性やデータとプライバシーの規制強化などのトレンドは、数年を掛けて拡大中のため、2019年や2020年で予測した項目と重複しているが、2022年も継続するトレンドとして
ツイッター上に「スタバなう」とつぶやきながらラーメンなど他の画像を投稿することに深層学習系が激怒してる件に対して「でも人間は間違えるから悪化させてあげよう」って話
四代目シャイニング丸の内 @shimaru365 ツイッター上に「スタバなう」とラーメン等を投稿することに深層学習系が怒っているという話しですが、ツイッターから取得するノイズの多い情報を使いこなせないようでは理想環境下に置いてしか成果出せない使えない人ということでしょう。 スタバなうと呟いてSN比を悪化させよう！ 2019-07-28 08:45:13 四代目シャイニング丸の内 @shimaru365 ユーザーが無料でエラー比率少なくアノテーションすると思った？ 研究向けに用意されたコーパスしか使えないdata-driven-kidsの皆様！お疲れ様です！ ノイズを除去することも実務で使える技術となるためには大事な仕事ですよ。SN比と戦おうぞ！ 2019-07-28 08:57:32
JDLA緊急企画！「生成AIの衝撃」～ ChatGPTで世界はどう変わるのか？ ～ 2020年のGPT-3の衝撃以来、生成AIの進展は従来のディープラーニング技術の進展とは一線を画す、破壊的な変化となっています。 2022年11月末に発表されたChatGPTでは日本語が極めて自然な形で使えるようになり、 日本でも急激に関心が高まっています。 本イベントでは、「生成AIの衝撃」セミナーでは大注目のChatGPTを中心に、「何がすごいのか」、「どうやって出来ているのか」、「いま世界で何が起きているのか」、「日本は大丈夫なのか」、「何が変わるのか」、等々、様々な観点から有識者にお話しを伺います。 連日報道されるニュースなどを見て、下記の様に感じていた方は必見です！ 「今の動向をどう見たら良いのか、分からない」 「ChatGPTに代表される、生成AIの仕組みなどについて知りたい」 「今、話
RNNからTransformerまでの歴史を辿る ～DNNを使ったNLPを浅く広く勉強～ - arutema47's blog
Amazon Prime 一ヶ月無料 Seq2seqからBERTまでのNLPモデルの歴史をざっとまとめる。 DNNは知ってるけどTransformerってなんだかわからない、って人におすすめです。 Abst. 画像認識にもTransformerが使われることが多く、DeepRLやGPT-3といったNLPモデルも身近になってきています。"Attention is 何?"と言えなくなってきたので勉強しました。 Feedforward NetworksからSeq2Seq, Attention機構からTransformer登場、そしてBERT GPTといった最新モデルまでの流れを広く浅く記述する予定。 またKaggle NLPコンペの上位解法から利用例を探る。 Tl;DR TransformerはSelf-Attentionという機構でデータ内の時系列的特徴を抽出でき、従来のRNNを始めとするNN
不均衡データ分類問題をDNNで解くときの under sampling + bagging 的なアプローチ - BASEプロダクトチームブログ
はじめに こんにちは、Data Strategy所属の岡です。グループ会社BASE BANKで分析/モデリングなども兼務しています。 テキストデータを特徴量にもつ不均衡データ分類問題をDNNで解きたくなった際、下記の論文を参考にしたのでその内容を紹介します。 https://users.cs.fiu.edu/~chens/PDF/ISM15.pdf 不均衡データ分類問題ってなに？ 何かしらのカテゴリを機械学習などで分類予測しようとする際、カテゴリごとのデータ件数に偏りがある、特に正例のデータが極端に少ないケースで予測精度が上がりにくい、という問題をこのように呼んでいます。 例: 不正決済と正常な注文、不正商品と健全な商品、がん患者と正常な患者 普通はどうやって対処するの？ ベースとなるアプローチは下記3つにまとめられます。 アプローチ 内容 デメリット アンダーサンプリング 多数派データを
〜AIが名曲を生み出す〜 この音楽を聴いてみてください。 See the Pen MusicTransformerDemo by NayuSato (@nayusato) on CodePen. 埋め込みが見られない場合はここ これはGoogleの自動作曲Music Transformerが生み出した曲の1つです。 入力は、最初の6秒だけ。 クラシックのドビュッシー「月の光」の冒頭6秒だけを与えて、その続きを全て作らせるというタスクを行わせています。 十分聴き入って感動できるような曲に仕上がっています。 ケチをつけられる点がないとは言わないけれど、「人の作った曲です」と言われても識別できないほどの精度になっています。 「Music Transformer」 2018年Googleが発表した自動作曲のAI。 自然言語処理のアルゴリズムであるTransformerを音楽に適用することにより、そ
「Google Colab」で 「PEFT」による大規模言語モデルのファインチューニングを試したので、まとめました。 1. PEFT「PEFT」(Parameter-Efficient Fine-Tuning)は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。 大規模言語モデルのファインチューニングは、多くの場合、法外なコストがかかりますが、「PEFT」は少数のパラメータのみをファインチューニングするため、計算コストとストレージ コストが大幅に削減でき、さらには、完全なファインチューニングに匹敵するパフォーマンスを実現します。 現在サポートしている手法は、次の4つです。 ・LoRA ・Prefix Tuning ・P-Tuning ・Prompt Tuning 2. Colabでの実行Google Colab
「Kaggleに挑む深層学習プログラミングの極意」は超実践的でKaggleをしない人にも役立つ書籍でした - karaage. [からあげ]
「Kaggleに挑む深層学習プログラミングの極意」献本いただきました 出版社様より「Kaggleに挑む深層学習プログラミングの極意」を献本いただきました。 Kaggleに挑む深層学習プログラミングの極意 (KS情報科学専門書) 作者:小嵜 耕平,秋葉 拓哉,林 孝紀,石原 祥太郎講談社Amazon もともと著者の1人である u++ (id:upura)さんがブログで紹介していたときから、絶対読みたかった本だったので、献本素直に嬉しかったです。 今のところ、興味のあった1〜3章まで手を動かしながら読んで、4章、5章はざっと目を通したといったところですが、凄い良い本という手応えを得ていますので、紹介したいと思います。 「Kaggleに挑む深層学習プログラミングの極意」レビュー 最初に、自分自身のレベル感を書いておくと、AIはほぼ趣味で勉強しています（仕事でも、一応最近ちょっとだけ使った経験あり
![「Kaggleに挑む深層学習プログラミングの極意」は超実践的でKaggleをしない人にも役立つ書籍でした - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/4018a95d99fa914eb62e9e998c6ee90dab249b0e/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20230201%2F20230201003729.jpg)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
画像認識の定番データセットImageNetはもう終わりか - Qiita
アスキーアート自動生成とディープラーニングをつなぐ微分可能レンダラーを実装した - Qiita
Deep Metric Learning 入門 - Qiita
ディープラーニングで肉体変化のタイムラプスを劇的に見やすくした - Qiita
深層学習のセキュリティ課題と論文まとめ - Qiita
手軽にリアルな絵を生成 粗いマスク指定とテキスト入力で
白井聡「東大さんは、これでお仕舞にすんの？」→大澤昇平「京都精華大学さんはこれでお仕舞にすんの？」
ディープラーニングはもう難しくない | AI専門ニュースメディア AINOW
技術書典応援祭＋技術書典8（＋α）で買ったおすすめの技術系同人誌 - Qiita
図とコードで必ず分かるニューラルネットワークの逆伝播
機械学習の書籍多いけど、どれ買えば良いの？レベル別にオススメ！！＜初心者向け＞ - Qiita
ソフトバンク、代理店の不正契約について「事実として把握」――本人の知らないところで端末と回線を不正契約
【論文読み】異常検知を支える技術 - Qiita
パラメータ数を激減させる新しい畳み込み「MixConv」解説！
ディープラーニングで音を認識 ほ乳類の脳に近い反応を示す
【後藤弘茂のWeekly海外ニュース】 NVIDIAのAmpereで対応した新技術「プルーニング」
ディープラーニングのモデリングの経験則を語る会についての有識者からの反応まとめ
スマホで写したものを数秒でPCにペースト 現実のモノをコピペできるARソフトのプロトタイプ公開
SVMは復権し得るか？ - 渋谷駅前で働くデータサイエンティストのブログ
ディープラーニングでコーディングを高速化する「Deep TabNine」
2022年の「AI／機械学習」はこうなる！ 8大予測
JDLA緊急企画！「生成AIの衝撃」～ ChatGPTで世界はどう変わるのか？ ～
自動作曲AI Music Transformerの衝撃 - Qiita
Google Colab で PEFT による大規模言語モデルのファインチューニングを試す｜npaka