1.4/50 Summilux ASPH, Leica M10P, RAW (これは次のblog postの続編です。) kaz-ataka.hatenablog.com 機械学習ベースのAIの生み出す結果について問題提起的な議論を聞くことが多い。 〇〇についてしらべると 極端に男性に偏っている 極端にヨーロッパ系の人たちに偏っている 極端にリベラル(英語圏の意味の左派)よりである 豊かな人達に向けた議論があまりにも多い 体型や容姿に恵まれた人への極端な偏りを感じる などなどだ。 気持ちは大いにわかるが、機械学習というものの特質を考えると致し方ないところは多い。機械学習ベースのAIは7-8年前にHarvard Business Reviewで整理したとおり、相当の計算環境に、テキスト処理や機械学習を含むアルゴリズムを実装し、大量の経験値を与えて特定の目的に向けて訓練したものだからだ。 安宅
1.4/50 Summilux ASPH, Leica M10P, RAW Midjourney、ChatGPTと立て続けに強烈なアプリケーションが出てきて、Diffusion model(拡散モデル)やtransformer architectureに基づくいわゆるGenerative AI(生成系AI)がそこらで話題だ。ガンガン画像を生み出すことで一気に注目を集めたMidjourneyはクリエーター寄りだけれど、11月末、対話型で答えを返してくれるChatGPT*1が出てきたときに*2、あまりの回答力にDS協会*3のスキル定義委員会でもひとしきり話題になり、僕も自分の研究会の学生たちに「君ら、深く考えずにまずは使い倒したほうがいいよ」と早々にアドバイスした。使わないことには凄さも課題も何もわからないからだ。 すると二週ほど前のゼミで、ある卒業を控えた学生が ChatGPTがないと生きて
DeepMind Technologies(ディープマインド・テクノロジーズ)は、イギリスにあるAlphabetの人工知能子会社である。2010年にDeepMind Technologiesとして起業され、2014年にGoogleによって買収された[3]。ロンドンを拠点とし、カナダ[4]、フランス[5]、米国にも研究センターを持つ。2015年、Googleの親会社であるAlphabetの完全子会社となった。 DeepMindは、人間と似たようなやり方でどのようにビデオゲームをプレーするかを学ぶニューラルネットワークを作成している[6]。また、従来的なチューリング機械のように外部記憶装置にアクセスできるニューラルネットワークを作成しており、これによって人間の脳の短期記憶を模倣できるのではないかと期待されている[7]。DeepMindは、開発したプログラムAlphaGoが人間のプロ囲碁棋士を初
This package provides an implementation of the inference pipeline of AlphaFold v2. For simplicity, we refer to this model as AlphaFold throughout the rest of this document. We also provide: An implementation of AlphaFold-Multimer. This represents a work in progress and AlphaFold-Multimer isn't expected to be as stable as our monomer AlphaFold system. Read the guide for how to upgrade and update co
転移学習(てんいがくしゅう、英: transfer learning)は、ある問題を解決する際に得た知識を蓄積し、関連する別の問題にそれを適用することに焦点を当てた機械学習の研究領域である[1]。たとえば、乗用車を認識するために得た知識は、トラックを認識するためにも応用できるかもしれない。この研究領域は、学習転移(英語版)に関する長い歴史を持つ心理学の文献と何かの関係をもつが、2つの分野の実用的な結びつきは限定的である。実用的な面では、過去に学習した仕事の情報を新たな仕事の学習のために再利用または転送することで、強化学習手段のサンプル効率を大幅に改善することができる可能性がある[2]。 歴史[編集] 1976年、Stevo BozinovskiとAnte Fulgosiは、ニューラルネットワークの学習における転移学習に明示的に取り組んだ論文を発表した[3][4]。この論文では、転移学習の数
Transformer(トランスフォーマー)は、2017年6月12日にGoogleの研究者等が発表した深層学習モデルであり、主に自然言語処理 (NLP)の分野で使用される[1]。 自然言語などの時系列データを扱って翻訳やテキスト要約などのタスクを行うべく設計されているのは回帰型ニューラルネットワーク (RNN)と同様だが、Transformer の場合、時系列データを逐次処理する必要がないという特徴がある。たとえば、入力データが自然言語の文である場合、文頭から文末までの順に処理する必要がない。このため、Transformer では 回帰型ニューラルネットワークよりもはるかに多くの並列化が可能になり、トレーニング時間が短縮される[1]。 その導入以来、Transformer モデルは自然言語処理の多くの問題に取り組む上で広く選択されており、 Long Short-term Memory(LS
※本記事は2022年6月13日に更新しました。 Axross Recipeを運営している松田です。 OpenAIが提供するGPT-3の概要とGPT-3を活用したレシピについて解説します。 GPT-3 GPTとは GPT(Generative Pretrained Transformer) は、2015年12月に設立された非営利の人工知能研究組織**「OpenAI」が開発している「文章生成言語モデル」**です。イーロン・マスクなど有力な実業家が出資し、2019年にはMicrosoft社が10億ドル投資したことでも注目を集めました。 OpenAI API GPT-3の特長 2020年5月にOpenAIの論文「Language Models are Few-Short Learners」の中で、GPT-2の後継モデルとしてGPT-3が発表されました。 超巨大なTransfomerベースのモデルを
本記事は、画像生成AI Advent Calendar 2022 15日目を埋める記事です。 はじめに 画像生成AIは、学習した画像をコラージュした画像を出力しているのではないか、という議論があります。多くのモデルは勝手に収集した画像で学習(訓練)されているため、そのようなコラ画像が生成されていたら大問題です。 上の図を見てください。この図は、今月投稿された論文 [1] Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models [Gowthami Somepalli+, arXiv 2022] の図です。上段がStable Diffusionの生成画像、下段が訓練データのサブセット(LAION Aesthetics v2 6+)中で一番似た画像です。生成画像の一部またはほぼ全部が
Bidirectional Encoder Representations from Transformers(BERT)は、自然言語処理の事前学習用の Transformer ベースの機械学習手法である[1]。BERT は、Google の Jacob Devlin と彼の同僚によって2018年に作成され公開された[2][3]。2019年現在、Google は BERT を活用して、ユーザー検索の理解を深めている[4]。 背景[編集] 方向制約[編集] BERT 以前の多くの言語モデルは事前学習に単方向性(英: unidirectional)のタスクを採用しており[5]、学習された表現も単方向の文脈しか考慮しないものであった。この制約は文脈レベルの表現が必要なタスクの性能へ大きなペナルティを与えうる。 手法[編集] これらの背景に基づき、BERT は MLM事前タスクと双方向 Trans
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く