Transformer 深層学習モデル以前の言語モデルの課題 言語モデルでやりたいことは、「今まで生成した単語列を元に、次の単語を予測する」ことで、その単語は今まで生成した単語列を条件とし、次にある単語がくる条件付き確率を求め、その確率が最大のものを選ぶということだった。（LLM資料p.8参照） ただ、これだと単語列が長くなったときや、類義語の処理に課題が生じてしまっていた。 ニューラル言語モデル しかし、計算したい条件付き確率をNNで推定することにより、対処できた。 Encoder-Decoder型のRNN（Recurrent Neural Network)が最も基本的なモデルにはなるが、これでは長文に対応できなかった。（勾配消失＆単語間の長距離依存性の把握が困難） RNNが勾配消失するのは、活性化関数のtanhが1未満の値を取るため、BPTT時に掛け算されるとだんだん値が小さくなってし
ITエンジニアなのにまだ投資やってないの？ChatGPTでクオンツシステム作って儲けようぜpart3 - Qiita
前回まで ITエンジニアなのにまだ投資やってないの？ITエンジニアならChatGPTでクオンツシステム作って儲けようぜ ITエンジニアなのにまだ投資やってないの？ITエンジニアならChatGPTでクオンツシステム作って儲けようぜpart2 ネトフリは面白い 僕はネトフリのヘビーユーザーなんですが、投資系にも リーマンショックまでの経緯と仕組みを実録インタビューで振り返る「インサイドジョブ」や AIテック系の話で、チェスは機械には勝てないと言われてAIが勝ち、「人間の高度な知的能力でしか勝てない」と言った囲碁の世界王者に勝ち、今では7、8年も訓練を積んでようやくなる戦闘機のエースパイロットにも勝ち、AIの実用速度の高さをドキュメントした「アンノウン」なんかも面白いし勉強になります。 投資思考では技術力UPは悪手 投資思考って事業でも人生でもとても大事です。 例えば、収入に不満を持ってるエンジ
米Googleは10月3日（現地時間）、Gmailユーザーをスパムから守る対策の一環として、メールの一括送信者に対する新たな要件を設けると発表した。 一括送信者とは、アカウントに1日当たり5000件以上のメールを送信するユーザーを指す。 まず、メール内に1クリックで購読解除できるボタンを設置することを義務付ける。送信者は、解除ボタンがクリックされてから2日以内に対応することが求められる。この要件はオープンスタンダードに基づいて構築されており、Gmail以外のメール受信者も恩恵を受けられるとしている。 また、GoogleはGmailヘルプの一括送信者向けのページ「一括送信ガイドライン」を更新し、メールの認証要件についての説明を追加した。メールが迷惑メールに分類されないように、ドメインに対して認証を設定する必要があるというものだ。 一括送信者は、2024年2月までにこれらの要件を満たすことが義
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
高速なPython互換言語「Mojo」のMac版登場、Appleシリコンにネイティブ対応。Pythonの9万倍、C言語に比肩する高速性
高速なPython互換言語「Mojo」のMac版登場、Appleシリコンにネイティブ対応。Pythonの9万倍、C言語に比肩する高速性 Modular社はPythonの高速なスーパーセットと同社が位置づける開発中の新言語「Mojo」の、Appleシリコンにネイティブ対応したMac版をリリースしました。 Today is the day! Mojo for Mac is live! Download it right now! Read our launch blogpost on how to get startedhttps://t.co/XSMkqUmHKt — Modular (@Modular_AI) October 19, 2023 Mojoは9月に初めてローカル環境でコンパイルなどを実行可能なLinux対応のツール群を公開しています。今回のAppleシリコンにネイティブ対応した
最近の話ですが、以下のようなニュースが話題になっているのを見かけました。 データサイエンス系の学部は文理融合の学びを掲げ、文系の受験生も集めるため、受験科目に「数学」を含まない入試方式を設ける大学も少なくない。河合塾によると、私立大のデータサイエンス系学部・学科における昨春の一般選抜のうち、数学を選ばずに受験できる大学は約半数もあった。 要は「数学不要」のデータサイエンス学部が出てくるようになったというお話で、各種SNSでは論議を呼んでいるようです。界隈によってはほとんど「嘲笑」に近い評が流布していることもあり、少なくともデータサイエンス業界におけるこのニュースの受け止められ方としてはかなり冷ややかだという印象があります。 とは言え、冗談でも何でもなく「全国津々浦々どこに行っても大学の新設データサイエンス学部の広告を見かける」*1というのが既に常態化している昨今では、これに類する話題は今後
Webアプリ版Photoshopを実現させた最新Web技術をGoogleが紹介。WebAssemblyのスレッドによる高速化、ストリーミングコンパイル、Web Componentsなど
Webアプリ版Photoshopを実現させた最新Web技術をGoogleが紹介。WebAssemblyのスレッドによる高速化、ストリーミングコンパイル、Web Componentsなど Photoshopは画像の作成や加工といった専門的な用途を目的に、長年にわたって作り込まれた代表的なデスクトップソフトウェアの1つと言えます。 プロフェッショナルな用途を満たす膨大な画像処理の機能を細かく作り込まれたユーザーインターフェイスから操作し、画像の変形や加工、フィルタリングなどの大量の複雑な演算処理が実行されるなど、Webアプリケーションへの移植を難しくする要素が満載です。 それらの困難を克服し、Photoshop Webではデスクトップ版Photoshopでよく使われる一般的な機能を、類似のユーザーインターフェイスでWebに実装し、商用サービスとして提供することに成功しました。 Photosho
プログラマーがソースコード内に書いた「アスキーアート」図2000点以上を収集 使われ方を分析しデータベース化【研究紹介】 レバテックラボ（レバテックLAB）
米カリフォルニア大学サンディエゴ校に所属する研究者らが発表した論文「Taking ASCII Drawings Seriously: How Programmers Diagram Code」は、ソースコード内で使用するアスキーアート（ASCII art）を収集し分析した研究報告である。 ▲ソースコード内で活用されたアスキーアートの一例 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容 オープンソースのソフトウェア開発では、プログラマーがコードの中にアスキーアートを使って図を描き、アイデアを視覚的に表現することがよくある。アスキーアートはコードや自然言語では表現しにくい概念を視覚的に明快に説明でき、またコードよりも詳細度は低いものの、コードを理解するうえで「サムネイル」のような役割を果たす。 こうしたアスキーアートは、実際のソフトウェア開発
追記：続きを書きました。 はじめに 先日以下の記事が投稿され、その斬新な考え方に個人的ながら衝撃を受けました。 内容をざっくり言うと、ニューラルネットワークの学習を現在の主流であるBP法（誤差逆伝播法）ではなく、ED法（誤差拡散法）という新しい学習手法を提案しているものです。 もし記事の内容が本当ならニューラルネットワークの学習がO(1)でできてしまう事になり、まさしく革命が起きてしまいます。 （結論からいうと速度面はそこまででもなかったです（それでも早くなる可能性あり）） （ただこの新手法のポテンシャルは革命を起こす可能性は秘めているといっても過言ではありません） ED法に関してネットを探すとインターネットアーカイブに情報が少し残っていました。 このページですがED法のサンプルプログラム（C言語）が残っており、このサンプルプログラムをベースにpythonで書き起こしたものが本記事となりま
OpenAIのBatch APIを使ってお得にプロンプトを一括処理してみる - Taste of Tech Topics
はじめに こんにちは。データサイエンスチームYAMALEXのSsk1029Takashiです。 最近はOpenAIに日本支社が出来て、日本語対応が加速するというニュースにわくわくしています。 今回はそんなOpenAIから発表されたBatch APIという機能が便利、かつお得な機能だったのでどのように使えるのか試してみます。 Introducing the Batch API: save costs and get higher rate limits on async tasks (such as summarization, translation, and image classification). Just upload a file of bulk requests, receive results within 24 hours, and get 50% off API pri
2023年5月に発表された新しいプログラミング言語「Mojo」が世間で注目を浴びています。 PythonをベースにしたAI向きの言語であるということで、どんな言語なのか気になっている方も多いのではないでしょうか？ この記事では、Mojoの特徴や機能、今後の将来性について解説します。Mojoを学んでみたい方向けの学習方法もまとめているので、これからMojoを勉強すべきか検討している方は、ぜひご一読ください。 レバテックフリーランスはITエンジニア専門の フリーランスエージェントです案件を探してみる 注目のプログラミング言語「Mojo」とは？ プログラミング言語「Mojo」とは、どのような目的で作られ、他の言語と比べて何が新しいのでしょうか。まずはMojoの概要と特徴についてチェックしていきます。 Mojoプログラミング言語の概要 「Mojo（モジョ）」とは、Modular社が2023年5月に
Modular社はPythonの高速なスーパーセットだと同社が位置づけている開発中の新言語「Mojo」が、今月（2023年10月）中にAppleシリコンを搭載したMacに対応予定であることを明らかにしました。 Mojo is coming to Apple Silicon before the end of October! Here’s a sneak-peak using Infermo - https://t.co/7KEV3G5xj7 - created by @fe_tilli to train a model for digit recognition pic.twitter.com/q350IS2oDl — Modular (@Modular_AI) October 11, 2023 MojoはPython互換として既存のTensorFlowやPyTorchなどをそのまま実行
Apple A4チップやAMD Ryzenの生みの親であるジム・ケラー氏がNVIDIAのCUDAとx86アーキテクチャを「沼」と呼んで批判
AMDのAthlonやZenマイクロアーキテクチャ、Apple A4などさまざまなチップの開発に携わったアーキテクトでエンジニアのジム・ケラー氏が、X(旧Twitter)で「NVIDIAのCUDAは沼です」と批判したことが報じられています。 Jim Keller criticizes Nvidia's CUDA, x86 — 'Cuda’s a swamp, not a moat. x86 was a swamp too' | Tom's Hardware https://www.tomshardware.com/tech-industry/artificial-intelligence/jim-keller-criticizes-nvidias-cuda-and-x86-cudas-a-swamp-not-a-moat-x86-was-a-swamp-too ケラー氏の経歴は以下の記事を
1BitLLMの実力を見る｜shi3z
1BitLLMは本当に実現可能なのか?そして、実現されると予告されていることに意味はあるのか? ようやく再現実装に成功した人が現れたので僕も試してみた。 ちなみに1Bit(1.58bit) LLMについての考察はこのページが面白いので一読をお勧めする。 ただし、普通のHuggingFaceのお作法とはかなり違うので注意が必要。 まず、このHuggingFaceリポジトリを丸ごとgit cloneする $ git lfs install $ git clone https://huggingface.co/1bitLLM/bitnet_b1_58-3B $ cd bitnet_b1_58-3Bこれをやらずにいつもの凡例みたいにいきなりpipelineに読み込もうとすると謎のエラーが出て悩まされることになる。海外でも悩んでる人が何人もいるみたいだ。まあ個人的には「こんな説明で誰がわかる?」と思
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
はじめに 機械学習に関する実用的な知見を知るために、「Kaggleで勝つデータ分析の技術」を読んだので、Kaggle以外の場面でも活用できる話題をまとめてみた。本書は機械学習の基本的な内容も含んでいるが、この記事では機会学習に関する一通りの知識を持ち、実問題に利用している読者を想定してまとめた。従って、勾配ブースティング木の仕組みや、回帰タスクの評価方法等、基本的な内容については解説しない。本記事では、評価の落とし穴や、モデルを改善するための特徴量の工夫、チューニングのTipsについて紹介する。 特徴量 Tips 1: 欠損値の扱い データにはしばしば欠損値が含まれている。欠損値は、そもそも値が存在していない場合の他に、ユーザが意図して入力していない場合や、観測器のエラーによって取得できていない場合等、様々な理由によって生じる。欠損がランダムに発生していない限り、欠損しているという事実が何
APIを呼び出すコードの生成に特化した大規模言語モデル「Gorilla」、APIの更新にリアルタイムで追従可能＆オープンソースでモデル・トレーニングデータが公開済み
GPT-4のような高性能なモデルでも、APIの呼び出しコードを生成させるとかなりの確率で間違ったコードを生成してしまいます。「Gorilla」はAPIを呼び出すコードの生成に特化するようにファインチューニングが行われており、精度の高い呼び出しコードを生成できるだけでなく、情報検索器(Information Retriever)と一緒に利用するとAPIの更新にリアルタイムで追従できるという驚異的な機能が付いたモデルです。 Gorilla https://shishirpatil.github.io/gorilla/ Gorillaのトレーニングにおいては、「Torch Hub」「TensorFlow Hub」「HuggingFace」という3つのソースから収集した1645個のAPI呼び出しコードをもとにAIが1万6450個の命令とAPIのセットを作成し、その1万6450個の命令セットでファイ
先日、ふとしたきっかけでしましま先生*1がこちらの論文について触れられているのを見かけたのでした。 これは推薦システム分野におけるNN研究の再現性について検証した2019年の論文で、近年のトップ会議*2に採択されたNN手法18個に対して再現を試みたところ、「reasonableな」努力で再現できたのはわずかに7個に過ぎず、その中でも1個は論文中で主張されたベースラインを超えることは出来なかったと報告しています。 ただ、この報告はNN研究における再現性に関する議論のあくまでも一例であり、実際コロナ禍以前から「論文中ではSOTAを達成と書いているのに同じ実装をどう組んでもSOTAに達しない」みたいな業界噂話はそこかしこで耳にしたものでした。しかしながら、実際のソフトウェアやアプリケーションとしてそれらのNN手法が用いられて、尚且つその結果として何かしらの不具合でも起きない限りは、機械学習業界の
WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場
WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場 ONNX Runtime WebがWebGPUに対応。Webブラウザ上でさらに高速な推論処理が可能になった。Stable Diffusion Turbo全体をWebブラウザ上で高速に実行可能で、RTX4090を用いた場合1秒以内で結果が出力される。 ONNX Runtime Webの基になっている「ONNX Runtime」はクロスプラットフォーム対応の推論エンジンです。TensorFlow、PyTorch、SciKit Learnなどをはじめとするさまざまな機械学習のモデルに対応し、これらで生成されたモデルによる推論処理をプラットフォームに依存せず実行するランタイムの役割を果たします
2. 機械学習・AIチートシート まずは機械学習やAI開発に関わるチートシートからです！ Machine Learning Cheat Sheet | DataCamp 主要な機械学習アルゴリズム、その利点と欠点、および使用ケースをガイドするものです。初心者からエキスパートまで、誰でも役立つリソースです。 機械学習アルゴリズム チートシート MicrosoftのAzureが提供している機械学習アルゴリズムに関するチートシートです。 TensorFlow Cheat Sheet https://zerotomastery.io/cheatsheets/tensorflow-cheat-sheet/ 機械学習と人工知能のためのオープンソースライブラリ、TensorFlowのチートシートです。基本的な概念やベストプラクティスがまとめられています。 （メールアドレスでサブスクライブするとPDFがダ
株式会社ZOZO 推薦基盤チームリーダーの @f6wbl6 です。この記事は「ZOZO Advent Calendar 2023」のカレンダー7の最終回（25日目）です。 この記事では、ZOZOの推薦基盤チームで私とチームメンバーがこの一年、サービス面・組織面で取り組んできたものをいくつか取り上げたいと思います。なおこの記事のタイトルと冒頭の文章は弊社 CTO 兼執行役員の @sonots が書いた以下の記事のオマージュです。 2023年以前の取り組み まず前提として、推薦基盤チームではこれまでにどのような施策を実施してきたのかを簡単にご紹介します。 商品詳細画面「おすすめアイテム」枠の改善 ZOZOTOWN において、商品詳細画面の下にある「おすすめアイテム」枠での推薦精度を改善するプロジェクトです。 既存システムではオンプレの SQL Server に対して都度クエリを投げていましたが
この記事は新野淳一氏のブログ「Publickey」に掲載された「AWSのデッキ構築型カードゲーム「AWS BuilderCards」が日本語化。手元のカードを揃えてAWSのWell-Architectedなシステム構築を競う」（2024年3月7日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 Amazon Web Services（AWS）のユーザーグループ「JAWS-UG（AWS User Group - Japan）によるイベント「JAWS DAYS 2024」が3月2日に東京 池袋サンシャインシティで開催され、ここで初めて日本語化されたAWSのデッキ構築型カードゲーム「AWS BuilderCards」が披露されました。 AWS BuilderCardsが初めて日本語化 AWS BuilderCardsはAWSがカードやルールを作成し提供している、遊びと教育
ペパボ研究所 研究員の渡辺（@ae14watanabe）です。 先日、ペパボ研究所（以降、ペパ研）が社内で実施した新卒エンジニア向け機械学習研修についてご紹介します。 ペパボでは毎年新卒エンジニア向けの研修を実施していますが、2020年からその研修の一環としてペパ研が機械学習研修を担当しています。 毎年、その時々の社内外の状況を考慮しつつ研修コンテンツをアップデートしているのですが、今年はChatGPTを始めとする大規模言語モデル（Large Language Model: LLM）の発展と普及の勢いを鑑みて、研修目的やコンテンツを設定し、実施しました。このエントリでは研修の概要について述べるとともに、本研修オリジナルの資料を公開します。 本研修の目的 現在、多くのWebサービスが高度な自然言語処理機能を次々とリリースしているように感じます。我々GMOペパボでも例外ではなく、例えばロリポッ
こちらは「ChatGPT の仕組みを理解する」の後編記事になります。 前編は以下の記事をご参照ください。 tech-blog.abeja.asia 前半記事では、自然言語の基礎的な部分から GPT-3.5 まで説明していきました。GPT-3.5 の次としては、ChatGPT の元になっている InstructGPT を説明したいところなんですが、InstructGPT では強化学習の手法を使用しているので、後半記事では一旦自然言語から離れて強化学習の基礎から PPO までを説明し、最後にメインコンテンツである InstructGPT → ChatGPT を説明します。 強化学習の基礎事項 強化学習のモデル化 環境のマルコフ性とマルコフ決定過程（MDP） 価値関数 強化学習手法の分類 価値ベースの強化学習手法 方策ベースの強化学習手法と方策勾配法 アクター・クリティック手法 TRPO [Tr
それぞれのツールに関する詳しい説明は本記事では行いません。詳しく知りたい方は、ツール名のリンクから公式ドキュメント等を参照してみてください。 上記の表に挙げたツール群にはそれぞれに特徴があります。pyenv、venv、pipのように単一機能に特化したものから、Condaのようにデータサイエンスや機械学習プロジェクトで使用される複雑なパッケージの依存関係や環境管理をサポートするツール、PoetryのようにPythonパッケージインデックス（PyPI）への公開をサポートするツールなど、開発シーンに合わせて選択することができます。 uvとは uvは2024年の2月中旬に発表されたばかりの新しいパッケージ管理ツールです。Rustで書かれており、ここ最近で飛躍的に使用されるようになったRust製のPythonリンター＆フォーマッター「Ruff」を開発しているAstral社によって提供されています[1
PyTorchやTensorFlow互換のAI処理高速化プラットフォーム「MAX」プレビュー公開、Pythonを高速化した「Mojo」搭載
Modular社がAI処理を高速化するプラットフォーム「MAX」をプレビュー公開。PyTorchやTensorFlow、ONNXなどのAIモデルと入れ替えるだけで処理が最大5倍高速になる。 Pythonの高速なスーパーセット「Mojo」言語を発表したことで話題となったModular社が、AI処理を高速化するプラットフォーム「MAX」（Modular Accelerated Xecution）のデベロッパーエディションをブレビュー公開しました。 MAX Developer Edition Preview has officially launched! It's a drop-in replacement for running and serving @PyTorch, @tensorflow and @onnxai models much faster and leverages the
ED法への生理学的な考察 - Qiita
初めまして。普段は産婦人科医をしつつAIの医学応用に関する研究をしています。 Qiitaは見る専でしたが、以下のバズっている記事を拝見した時、生理学の神経構造の話をふと思い出したのでメモ代わりに記載しようと思います。 読みにくい部分があれば申し訳ありません。 とくに@pocokhc(ちぃがぅ)さんの記事のコード詳細と実験内容を見ていた時、実際の神経系の構造とあまりに似ていたことにびっくりしました。 まず、興奮性ニューロンと抑制性ニューロンの2種類から構成されるED法の構成ですが、これは実際の神経系でも同様の構造になっています。実際の神経はシナプスのつながりをニューロンと言います。信号を伝える側の興奮性シナプスに電気が走ると、電位依存性のカルシウムチャネルが開き、Caが放出されます。このCaの影響でシナプスの末端にある小さな袋から神経伝達物質（中枢神経系では主にグルタミン酸）が放出されます。
ライブラリについて知る Pythonでデータ分析をする際は、データの整理や数値計算を簡単にできるライブラリを使うと便利です。ライブラリは、コードを簡略化や綺麗なグラフの作成にも役立ちます。 データ分析のための代表的なライブラリは、「NumPy」「Pandas」「Matplotlib」などです。 NumPy 数値計算や配列操作を行うためのライブラリで、高度な数学関数が利用できます。NumPyは、機械学習にもよく利用されるプログラミング言語で、大量のデータ処理にかかる時間もNumPyを利用することで短縮できます。 NumPyについて詳しくは、「Pythonの拡張モジュール「NumPy」とは？インストール方法や基本的な使い方を紹介！」をご覧ください。 Pandas 表形式の配列データを扱うライブラリで、データの読み込み切り出し、並び替え、欠損値の保管など様々なデータ処理に役立ちます。Pandas
2023/11/19(日)で開催された JSConf JP 2023に関する、現時点での公開資料と X アカウントリンクをまとめました。 よろしければご活用ください。 はじめに 登壇者名は敬称略させていただいています。 x アカウントについては、以下のように確認できたものを記載しております。 JSConf JP 公式サイトに記載がある JSConf JP 公式サイトに記載のプロフィールと一致している 当イベントで登壇されることに言及されている スライドに記載されている リンクの間違い等ありましたらコメントいただけると助かります🙏 アーカイブ 本イベントは YouTube で配信されていましたが、執筆時点ではトラック A の動画が非公開になっていました。 アーカイブとして残るのかがわからなかったため、一旦 JSConf JP の YouTube アカウントへのリンクのみ記載にしておきます。
Vertex AIとBigQueryでつくる、簡単ベクトル検索&テキスト分析システム | DevelopersIO
Vertex AIパイプラインを使うことで、BigQueryおよびBigQueryから参照できるデータを対象にしつつも、Google Cloud Pipeline ComponentsやVertex AIメタデータなどVertex AIの機能の恩恵もできるだけ受けることができます。 データアナリティクス事業本部 機械学習チームの鈴木です。 BigQueryでは、Vertex AIと連携して格納したデータを生成AIで処理することが可能です。 例えばテーブルに格納済みのテキストをもとに埋め込みベクトルや別のテキストを生成することができます。 特に埋め込みベクトルがあれば興味があるテキストに類似したテキストをBigQuery内で検索し、類似レコードの特徴から関心のあるテキストを分析することもできます。また、RAGに使用することもできます。 今回はBigQueryとVertex AIを使って、テー
【TensorRT】Stable Diffusion Web UIを倍速にできるNVIDIA製の神AIツール！使い方〜実践まで | WEEL
Stable-Diffusion-WebUI-TensorRTは、Stable-Diffusion-WebUIでTensorRTを使用するための拡張機能で、RTXのGPUで最高のパフォーマンスを利用するためのものです。 その速度は超高速で、高速といわれていた従来の手法よりさらに2倍以上も高速です！ どれだけ速いんだよって話ですよね。 今回は、Stable-Diffusion-WebUI-TensorRTの概要や使い方についてお伝えします。 是非最後までご覧ください！ 本記事は2023年10月の執筆時点での情報となります。2024年2月現在、Stable-Diffusion-WebUI-TensorRTの最終更新は2023年10月17日にとなっています。最新の環境だと動作しない可能性があるのでご注意ください。 なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽
※この投稿は米国時間 2023 年 8 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud は、コンテナ化されたワークロードを実行するための最適な場所になるという使命を担ってきました。それは 2014 年に始まり、Google の内部クラスタ管理システムである Borg を元に、Google は Kubernetes を発明し、世界初のマネージド Kubernetes サービスである Google Kubernetes Engine（GKE）を導入しました。GKE は、現在利用できる最もスケーラブルな、業界をリードする Kubernetes サービスです1。2019 年には、当社はコンテナとサーバーレスの利点を組み合わせた初のサーバーレス プラットフォームである Cloud Run をリリースしました。現在 Cloud Run は、ク
完全に自分目線の歴史です。時系列は適当なこともあるよ。 2022/8 モデルが公開されましたが、学習を始めた人は一部だけでしょう。 Stable Diffusionリリース 22日 これまでの画像生成AIと違いモデルがオープンになったことで、誰でも自由に学習できるようになりました。StabilityAIが公開したコードには学習コードも含まれていたので、技術力さえあればこの時点で学習できたのかな。コードやモデルファイルはStabilityAIによるコードと、HuggingfaceのDiffusersライブラリの二つに分かれており、今でも混乱の原因になっている気がします。 Textual Inversion論文自体はStable Diffusionの公開直前くらいに出たもののようですね。学習方法として最初に流行った方法で、27日には日本語記事が出てますね。はやい。 この頃はStabilityA
MicrosoftのAI研究部門が2020年7月にオープンソースのAI学習モデルをGitHubのリポジトリに公開した際に38TBにおよぶ機密データを漏えいしていたことを、クラウドセキュリティ企業のWizが公表しました。機密データにはパスワードや秘密鍵、3万件を超えるMicrosoft Teamsの内部メッセージが含まれていました。 38TB of data accidentally exposed by Microsoft AI researchers | Wiz Blog https://www.wiz.io/blog/38-terabytes-of-private-data-accidentally-exposed-by-microsoft-ai-researchers Microsoft mitigated exposure of internal information in a
DockerがWebGPUを用いてGPUを抽象化、AI処理などGPUを使ったコンテナ化アプリのポータビリティを実現する技術を開発中。DockerCon 23
DockerがWebGPUを用いてGPUを抽象化、AI処理などGPUを使ったコンテナ化アプリのポータビリティを実現する技術を開発中。DockerCon 23 Docker社は米ロサンゼルスで10月3日と4日の2日間、年次イベントとして開催した「DockerCon 23」で、WebGPUを抽象化レイヤとすることで、コンテナ化されたGPUアプリケーションをポータブルにする技術を開発中であると明らかにしました。 この技術は2日目の基調講演の後半、Docker CTOであるJustin Cormack氏がOne more thingとして発表したものです。 GPUを用いたアプリケーションのポータビリティが課題に Dockerコンテナはポータビリティが大きな特長です。ノートPCからオンプレミスのサーバ、クラウド上の仮想マシンまで、簡単にDockerコンテナを移動し、そのまま実行できます。 Docke
Professional Machine Learning Engineer試験対策マニュアル - G-gen Tech Blog
G-gen の佐々木です。当記事では Google Cloud（旧称 GCP）の認定資格の一つである、Professional Machine Learning Engineer 試験の対策や出題傾向について解説します。 基本的な情報 Professional Machine Learning Engineer とは 難易度 試験対策 機械学習の一般的な知識 代表的な機械学習アルゴリズム 評価指標 回帰問題における評価指標 分類問題における評価指標 ヒューリスティック 機械学習モデルの開発、運用における課題の解決 データの前処理 欠損値の処理 カテゴリカル変数の扱い 不均衡データの対策 過学習の対策 正則化 早期停止 トレーニングの改善 ハイパーパラメータの調整 トレーニング時間の改善 交差検証 モデルのモニタリングと改善 スキューとドリフト モデルの軽量化手法 Google Cloud
食べログiOSアプリで機械学習による画像分類を導入し、料理判定機能を実装した事例紹介と知見のまとめ - Tabelog Tech Blog
こんにちは。食べログでiOSアプリのサービス開発を担当している河崎です。 私の所属するプロダクトチームでは、ユーザーが継続的かつ手軽に行ったお店の記録ができるように、アプリの改善や新機能開発など様々な対応を行っています。 この記事では、iOSアプリで料理写真を判定するために画像分類を取り入れた開発事例の紹介と、開発で得られた知見についてまとめていきます。 目次 画像分類を取り入れた新機能について 画像分類の対応方針 方針１：公開されている画像分類用のモデルやフレームワークを使用する 方針２：独自の画像分類用のモデルを構築する コストが高いと判断した理由 アプリ特有の考慮すべき条件 オンデバイスであること モデルサイズが小さいこと 解析速度が速いこと Visionフレームワークでの実現 VNClassifyImageRequest とは VNClassifyImageRequest の使い方
ChatGPTを駆使して、Raspberry PiとTensorflowを使ってドア監視をできるようにした - Qiita
ChatGPTを駆使して、Raspberry PiとTensorflowを使ってドア監視をできるようにしたPythonOpenCVRaspberryPiTensorFlowChatGPT chatGPTを駆使して、玄関の鍵が閉まっているかどうかを監視するプログラムを作りました。 はじめに 今回の要約 自分はとにかく玄関の鍵を閉め忘れることが多く、家族にも怒られていた Raspberry Piとwebカメラが家にあった 色々調べたところ、機械学習の部分はGoogle Cloud Visionで無料実装できる すでに先駆者のブログは存在する：https://r-kurain.hatenablog.com/entry/2019/10/17/211134 ある程度ライブラリが古い部分や、多少わかるOpenCVへのリライトについては、ChatGPTにすべて任せれば実装できるのではないか ある程度構想
大手クラウドはクラウド専用チップで戦う時代へ。各社がクラウド基盤に専用SoC、サーバにArm、AI処理に独自プロセッサを相次いで採用
大手クラウドはクラウド専用チップで戦う時代へ。各社がクラウド基盤に専用SoC、サーバにArm、AI処理に独自プロセッサを相次いで採用 今から10年以上前にクラウドが登場した当時、その中味はインテルのプロセッサを搭載したサーバとその上で実行される仮想化ハイパーバイザを中心に構成されていました。 しかしその後、2017年にはAmazon Web Services（AWS）は、クラウド基盤に独自開発したSystem on a Chip（SoC）を載せたNitro Systemを2013年から採用していることを明らかにします。 同じ2017年、Googleも機械学習に最適化した専用プロセッサを利用したサービス「Cloud TPU」を発表するなど、大手クラウド事業者はその規模を活かしてクラウドに最適化したチップを開発し採用することで、他社との差別化を図ろうとしていることが明らかになってきました そし
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Day 3】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】 - Qiita
Google、Gmailスパム対策で一括送信者に購読解除ボタン設置を義務付けへ
BudouX: 読みやすい改行のための軽量な分かち書き器
「入試に数学を課さないデータサイエンス学部」は是か非か - 渋谷駅前で働くデータサイエンティストのブログ
金子勇さんのED法を実装してMNISTを学習させてみた - Qiita
Mojoプログラミング言語の特徴とは？将来性は？よく分かる入門資料まとめ
Pythonの高速なスーパーセット「Mojo」がAppleシリコン搭載のMacにまもなく対応
【2024年】AWS全サービスまとめ | DevelopersIO
「Kaggleで勝つデータ分析の技術」から見る実用的な機械学習の知見
NN研究における再現性にまつわるエトセトラ - 渋谷駅前で働くデータサイエンティストのブログ
2023年版！エンジニア必見のチートシート集 - Qiita
ZOZO推薦基盤チームの2023年の振り返りと現状 - Qiita
AWSのデッキ構築型カードゲーム「AWS BuilderCards」が日本語化
新卒エンジニア向け機械学習研修2023を実施しました - ペパボ研究所ブログ
ChatGPT の仕組みを理解する（後編） - ABEJA Tech Blog
Rust製のPythonパッケージ管理ツール「uv」を使ってみよう | gihyo.jp
Pythonを使った株価のデータ取得や分析・予測方法を徹底解説！｜Udemy メディア
JSConf JP 2023 公開資料・Xアカウントリンクまとめ
コンテナ プラットフォームの新たな進化について | Google Cloud 公式ブログ
Stable Diffusion学習の歴史｜gcem156
MicrosoftのAI研究部門がMicrosoft Azure経由で38TBもの内部機密データを漏えいしていたと判明
Googleの機械学習ライブラリ「TensorFlow」がWindowsネイティブ対応を終了／今後は「WSL 2」へのインストールを
