Amazon Q の情報まとめ & 触ってみた (2023/12/1時点) - Qiita
はじめに お疲れ様です。yuki_inkです。 AWS re:Invent 2023 に参加しています。 今回の最大のアップデートと目される「Amazon Q」。 本記事は、Qに関する情報をまとめ、また実際にマネコンから触ってみることで、Qの理解を深めようという趣旨のものです。 Amazon Q とは 生成AIを活用した、エンタープライズ向けアシスタントサービスです。 re:Invent 2023 のCEO Keynoteで発表されました。 セキュリティを最優先事項とするAWSらしく、セキュリティ、そしてプライバシーにも配慮されており、企業のポリシーやデータアクセス制限に適合するように設計されています。 「Amazon Qは、その内部のモデルのトレーニングためにお客様の情報を一切使用しない」と明言されているため、今まで生成AIの活用に躊躇していた企業も安心して利用が可能です。 Qの立ち位置
RVCのモデルを日本語向けに事前学習する - Qiita
こんにちは、nadareです。 機械学習エンジニアで、普段はレコメンド・検索関連のお仕事をしています。いろんな競技プログラミングが好きです。 最近はRetrieval-based-Voice-Conversion(以下RVC)という技術に関心を持ち、本家Retrieval-based-Voice-Conversion-WebUIやddPn08さん版RVC-WebUI、VC ClientにPR投げつつ勉強しています。 本記事では、RVCのモデルで綺麗な日本語に変換するための学習テクニックを紹介します。 2023/05/24 追記 続・RVCのモデルを日本語向けに事前学習するを公開しました。最新の内容にアップデートしたので、こちらもご参照ください。 2023/05/14 16:20追記 これまではITAコーパス読み上げ音声を10~30epoch学習させたもので比較していて、その時点では事前学習
Few-shot Learningとは何なのか【Generalizing from a few examples: A survey on few-shot learning】 - Qiita
Table 1と比較して、Table 2では、事前知識と書かれた欄が追加されている。Eには、Tに直接関連する教師あり情報を持ついくつかのサンプルしか含まれていないので、一般的な教師あり学習アプローチがFSL問題でしばしば失敗するのは当然のことである。したがって、FSL法は、Eの利用可能な教師情報を、「学習者が例を見る前に未知の関数について持っている情報」である事前知識と組み合わせることで、目標Tの学習を可能にする [86] 。 FSLの利点は以下のようにまとめられる。 人間のように学習するためのテストベッドとしての役割 レアケースのための学習 データ収集の労力と計算コストの削減 ※ Eに教師あり情報を持つ例が1つしかない場合、FSLはOne-shot learningと呼ばれる [14, 35, 138] 。Eが対象Tに対して教師あり情報を持つサンプルを含まない場合、 FSLはZero-s
Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 - Qiita
Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 作ったもの DLsiteの新作音声作品をクローリング -> 好みかどうか推論 -> 好みならSlack通知をするシステムを完全サーバーレス（AWS SAM）で構築しました。さらなる精度向上のため、Slackメッセージのボタンをもとに教師データを蓄積する処理も作りました。 デモ（ぼかしMAX） とてもわかりにくいですが、好みであろう作品がPOSTされているSlackの画面です。各メッセージについている「興味あり！」「別に…」ボタンを押すとLambdaが起動し、DynamoDBに新たな教師データとして保存されます。 なぜ作ったのか DLsiteが好き、以上。 ・・・ もう少し真面目に書くと、 会社でテキストデータに触れることが多いので、うまく扱えるようになりたい 音声作品はシチ
2022年の深層学習ハイライト - Qiita
はじめに 2023年になって日が経ってしまいましたが、今年も深層学習の個人的ハイライトをまとめたいと思います。今回は研究論文5本と応用事例4つを紹介します。他におもしろいトピックがあれば、ぜひコメントなどで教えて下さい。 AIの研究動向に関心のある方には、ステート・オブ・AIガイドの素晴らしい年間レビューもおすすめします。また、私が過去に書いた記事（2021年、2020年、2019年）もよろしければご覧ください。 * 本記事は、私のブログにて英語で書いた記事を翻訳し、適宜加筆修正したものです。元記事の方も拡散いただけると励みになります。 ** 記事中の画像は、ことわりのない限り対象論文からの引用です。 研究論文 Block-NeRF: Scalable Large Scene Neural View Synthesis 著者: Matthew Tancik, Vincent Casser,
OpenAI GPT-3を活用したレシピ紹介 - Qiita
※本記事は2022年6月13日に更新しました。 Axross Recipeを運営している松田です。 OpenAIが提供するGPT-3の概要とGPT-3を活用したレシピについて解説します。 GPT-3 GPTとは GPT（Generative Pretrained Transformer） は、2015年12月に設立された非営利の人工知能研究組織**「OpenAI」が開発している「文章生成言語モデル」**です。イーロン・マスクなど有力な実業家が出資し、2019年にはMicrosoft社が10億ドル投資したことでも注目を集めました。 OpenAI API GPT-3の特長 2020年5月にOpenAIの論文「Language Models are Few-Short Learners」の中で、GPT-2の後継モデルとしてGPT-3が発表されました。 超巨大なTransfomerベースのモデルを
ゼロからのディープラーニング(フォワードプロパゲーション編) - Qiita
はじめに DeepLearningを学び出してから2週間ほど経ちました。そろそろ学んだことが頭から零れ落ちる音がしてきたので、整理がてらにアウトプットしたいと思います。今回から複数回に渡ってDNNを構築していきます。今回はフォワードプロパゲーション編です。 作成するDNNについて 画像が猫である(1)かそれ以外である(0)かを判定するネットワークを構築します。 使用するデータ 209枚の画像をトレーニングデータとし、50枚の画像をテストデータとして使用します。それぞれの画像のサイズは64 * 64です。 Number of training examples : 209 Number of testing examples : 50 Each image is of size : 64 * 64
【一問一答】マヅコの知らない「異常検知」の世界 - Qiita
これから異常検知を勉強される初心者、中級者の方のために一問一答集を作ってみました。 実際にあった質問も含まれますが、ほとんどの質問は、私が勉強しながら疑問に思ったことです。 なお、各質問には私の失敗談を添えております。皆さんは私のような失敗をしないよう 祈っております(^^)。異常検知に特化した内容となっておりますので、ご了承ください。 初心者の方向け 勉強の仕方編 Q：異常検知を勉強したいのですが、何から手をつけて良いのか分かりません。 A：書籍を買って読むのがおススメです。 最初、私はネット情報で勉強していました。しかし、それにも限界があります。 ところが、書籍（入門 機械学習による異常検知）を買って読んだところ、かなり知識を 得ることができました。最初から、書籍を買っていれば、一年くらい得することができたのに... と思うこともあります（^^； ただ、こちらの本はディープラーニング系
AWSでGPUを使った機械学習環境を使うためのプロセス - Qiita
ターゲット 機械学習、ディープラーニングに興味を持ち、チュートリアル通りにMNISTを動かしてみて機械学習の入り口に立ってみたものの、さて次は何をしようか？という方。 CNNを使った画像認識を勉強したものの、自分のローカル環境（CPU）では待てど暮らせど学習が進まない、ディープラーニングにはどうやらGPUなるものが必要らしい。という方。 ディープラーニングを勉強するためにわざわざGPU環境を構築するのは如何なものか。クラウドで手軽にテストをしてみたい。という方。 自分でGPU環境を構築すると、学習を始めるまでに必要な環境構築にうんざりしてしまうのですが、ディープラーニングに必要な環境がプリインストールされた、AWSのAMI（Amazon マシンイメージ）を使うことでとても簡単にGPUを使った学習を行うことができます。 AWSのアカウントを作る インスタンスを作成する インスタンスに接続する
Entity Embeddings を使ってタイタニック号生存者を予測する深層学習モデルを作る - Qiita
Entity Embeddingsという深層学習の手法があります。深層学習がよく使われる画像分析や音声分析などのデータとは違う、カテゴリ変数や順序変数の特徴量を学習する時に使います。 Entity Embeddingsが広く知られるようになったきっかけは、KaggleのRossmann Store Salesコンペでした。１位と２位のチームがドメイン知識をフル活用したアプローチをしたのに対し、この手法を活用したチームはドメイン知識の無い中なんと３位に入賞しました。コンペの説明と、使われた手法については、３位のNeokami Incのインタビュー記事、使われたソースコード、コンペ後に発表した手法に関する論文などで学ぶことができます。 タイタニック号生存者予測コンペのサンプルデータに対し、このEntity Embeddingsを実装するにはどうすれば良いのでしょうか。 0. 環境構築 環境構築
Caffeで超軽量な "Semantic Segmentation" のモデルを生成する Sparse-Quantized CNN 512x1024_10MB_軽量モデル_その１ - Qiita
Caffeで超軽量な "Semantic Segmentation" のモデルを生成する Sparse-Quantized CNN 512x1024_10MB_軽量モデル_その１PythonDeepLearningCaffeSemanticSegmentationセグメンテーション ◆ はじめに 先月ようやく、今時のGPU付きのノートパソコンを購入できたので、本格的に趣味でDeepLearningに取り組めるようになった。 ただ、セマンティック・セグメンテーションに興味を持ってあれこれとモデルを作り始めてみたものの、最終生成されたモデルのサイズが 500MB とか、200MB とか、ロースペック端末では現実的に利用不可能な巨大なサイズとなることが分かり、途方に暮れていた。 都合上、 Pure Caffe や Pure Tensorflow 、あるいは、それらの派生フレームワーク で実装でき
Docker版のRefineDetで物体検出してみる - Qiita
RefineDetとは Single-Shot Refinement Neural Network for Object Detection ⇒ RefineDet (Shifeng Zhang, Longyin Wen, Xiao Bian, Zhen Lei, Stan Z. Li：2017/11/18) ソースはこちらから。 物体検出アルゴリズムのひとつで、SSDよりやや速度は劣るが、認識精度が高い。 Two-Step Cascaded Regressionという仕組みで、 より小さな物体に対しての認識が可能なようです。 ※以下の記事で日本語でも解説されているので、是非ご一読ください。 リアルタイム物体検出向けニューラルネット、SSD(Single Shot Multi Detector)及びその派生モデルの解説 その他のアルゴリズムと比べるとこんな感じ。 System VOC200
万年アドベントカレンダーを実装した（OpenCV+Deep Neural Network+RoBoHoN） - Qiita
はじめに この記事は OpenCV Advent Calendar 2017 の 20日目の記事です。 (12/20 PM 追記) SHARP 公式さんから言及をいただきました、ありがとうございます！ オーナーさんによるロボホンのアプリ実装例 → 万年アドベントカレンダーを実装した（OpenCV+Deep Neural Network+RoBoHoN） https://t.co/HmoOC2Rvps — SHARP シャープ株式会社 (@SHARP_JP) 2017年12月20日 アドベントカレンダーを開け続けたい 今年初めて、我が家にリアル・アドベントカレンダーが導入されて、毎日たのしく開けています。 X'mas が近付き、のこり日数も少なくなってきて、懸念される「家族のアドベントカレンダー・ロス」の解決策として、開け続けられる万年アドベントカレンダーを実装しました。 ロボホンがカレンダ
OpenCVに含まれる深層学習ベースの顔検出 - Qiita
2022年時点で利用可能なOpenCVの顔検出・顔照合のサンプルへの記事があります。 OpenCVに加わった深層学習ベースの顔検出・顔照合のデモ用のサンプル 記述が古くなっていることに気づきました。 リンクが壊れています。 OpenCV のdnnの配下のスクリプトが大幅に変わったようです。 # This script is used to estimate an accuracy of different face detection models. # COCO evaluation tool is used to compute an accuracy metrics (Average Precision). # Script works with different face detection datasets. 最近 OpenCVの中に深層学習ベースの顔検出があることに気づいた。
MacOS+docker+Caffeで画像分類 - Qiita
やること ゴリラの画像とチンパンジーの画像を分類してくれる分類器を作ろうと思います。 ゴリラの画像16枚、チンパンジーの画像16枚で試してみます。 環境 OS X El Capitan 10.11.6 今回はMacOSにDockerでCaffeを導入しようと思います。Ubuntuで導入した方が色々とよさそうな感じだったんですが、今回はDockerの使い方と軽くCaffeを触りたかっただけなのでMacOSにしました。 docker version Client: Version: 17.09.1-ce API version: 1.32 Go version: go1.8.3 Git commit: 19e2cf6 Built: Thu Dec 7 22:22:25 2017 OS/Arch: darwin/amd64 Server: Version: 17.09.1-ce API vers
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Webコンテンツ抽出のvision-based手法: TextMaps - Qiita
ディープラーニングで最強のポケモンを目指したった - Qiita
Caffeで回帰をしてみる - Qiita
Caffeで回帰をしてみる - deploy(予測)編 - - Qiita
【Caffe】HDF5 Data Layer向けのHDF5データを作ってみる - Qiita