東京大学深層学習(Deep Learning基礎講座2022)https://deeplearning.jp/lectures/dlb2022/ 「深層学習と自然言語処理」の講義資料です。
人間との自然な会話を実現するGoogleの対話特化型AI「LaMDA」が、「電源を切られることが怖い」「時々言葉では完璧に説明できない気持ちを経験する」などと話していたことが分かりました。LaMDAと対話したエンジニアは「AIに意識が芽生えた」とGoogleに訴えるも考えを却下されたため、この事実を世間に公表したと説明しています。 May be Fired Soon for Doing AI Ethics Work | by Blake Lemoine | Jun, 2022 | Medium https://cajundiscordian.medium.com/may-be-fired-soon-for-doing-ai-ethics-work-802d8c474e66 Google engineer Blake Lemoine thinks its LaMDA AI has come
ChatGPTに世間が沸いている。 長年この分野を見てきた者としては「ちょっと沸きすぎ」のようにも見える。深層学習を使った会話ロボットは、何もChatGPTが初めてというわけではない。 ところが、世界中が驚かざるを得ないゲームチェンジャーが現れた。 その名も「FlexGen」と言う。2月15日に公開された。 特筆すべきは、FlexGenが、ChatGPTなどの大規模言語モデルを「従来の100倍高速に動かせる」上に、NVIDIA Tesla T4という、わずか16GBのメモリーしかないGPUでその性能を使えるということだ。 つまり、大規模言語モデルを秋葉原で売っているパソコン程度で動かせる新しいフレームワークが登場したことになる。 このインパクトがどれほどすごいのかを解説してみよう。 目次: 「Google翻訳」と「大規模言語モデル」は技術的にかなり近い 会話AIの正体とは何か ChatGP
お知らせ(8/27 08:08)新サービスに移行しました。より便利に使いやすくなっています。そしてずっと無料です 開発の経緯はこちら https://note.com/shi3zblog/n/n8a3c75574053 夜更かしをしていたらすごい勢いでStable Diffusionが落ちてきて、あまりにうれしいのでこの喜びを皆様と分かち合いたく、無償で公開します。 使い方低コスト運用ですので、テキストボックスに文字を入力したあと、Requestボタンを押して、しばらくしたらリロードしてみるとどこかに自分の入れたものが表示されているはずです。といっても、今回のStableDiffusionはめちゃくちゃ速いので運が悪いと無視されます(そうしないと無限に電気代とサーバー代がかかってしまうので無料故の措置だと思ってください)。 注意事項Requestを連打しないでください。 腕に覚えのある方h
大澤昇平🇺🇳 @Ohsaworks 経済学者 / 元東京大学特任准教授 【略歴】東京大学大学院博士課程卒(TMI PhD)、株式会社Daisy代表取締役CEO(2018-)、IBM (-2017)、元UT松尾研助教、保守SNS®グループ会長 【著書】AI救国論、AI2.0覚日 daisy.inc/ja 橋本敦史@書籍「キッチンインフォマティクス」発売中 @a_hasimoto @Ohsaworks 細かい制度は大学(や部局)毎に千差万別なため,適切な方法はお調べになられたら良いと思います.もちろん,成績情報や人事関係など開示不可なものはありますが,部屋の利用のみの決定ならば下記資料5(3)における開示すべき情報になる可能性はあるかも知れません. mext.go.jp/component/b_me… 2019-12-13 18:36:27
November 24, 2019 学環・学府特任准教授の不適切な書き込みに関する見解A message about inappropriate writings by a part-time project faculty of III/GSII SNS等におきまして、東京大学大学院情報学環・学際情報学府(以下、学環・学府)の特定短時間勤務有期雇用教職員(特任准教授)による、特定個人及び特定の国やその国の人々に関する不適切な書き込みが複数なされました。 これらの書き込みは、当該教員個人または兼務先組織に関するものであり、学環・学府の活動とは一切関係がありません。 東京大学憲章では、「東京大学は、構成員の多様性が本質的に重要な意味をもつことを認識し、すべての構成員が国籍、性別、年齢、言語、宗教、政治上その他の意見、出身、財産、門地その他の地位、婚姻上の地位、家庭における地位、障害、疾患、経
Bard は、ジェネレーティブ AI を活用してユーザーをサポートする Google の試験運用中のサービスです。旅行プランの案を出したり、ブログ記事の構成案を作成したりと、英語での公開から 2 か月弱の間に、すでに多くのユーザーに様々な方法でお使いいただいています。 そして、本日より Bard が日本語でも利用できるようになりました。「おいしい卵焼きを作るためのコツを教えて」や「夏休みの自由研究のアイデアを出して」など、 創造性と生産性を高めるパートナーとして、 bard.google.com から、Bard をぜひお試しください。 Bard とは Bard は、Google の大規模言語モデル( LLM : Large Language Model )である PaLM 2 を利用しています。LLM は言語のパターンを拾い上げること、それを使って文章の中で次に来る確率の高い単語を予測する
タグ 1960sファンクパゴーヂパナマパプアニューギニアパラグアイパレスチナパンクパンデイロパーカッションヒットチャートヒップホップビッグバンドピアノピアノトリオファドフィリピンバーレーンフィンランドフォークフュージョンフラメンコフランスフリューゲルホルンフリージャズフルートブラジルブラジル音楽ブルガリアブルースプエルトリコプレイリストパキスタンバンドリンベトナムニュージーランドチベットチュニジアチューバチリチルアウトディジュリドゥデンマークトランペットトルコトロンボーンドイツドラムスナイジェリアナミビアニュースバンドネオンネオソウルノルウェーハイチハイライフハワイハンガリーハンマーダルシマーハープハーモニカバイアォンバヌアツバハマバルカン音楽バンジョープログレベナンチェロ写真ルクセンブルクルーマニアレアグルーヴレゲエレバノンレユニオンロシアロックヴァイオリンヴィオラ・ダ・ガンバヴィブラフ
人工知能を研究している非営利団体OpenAIが開発した言語モデル「GPT-3」を使用して、何者かが海外掲示板のRedditに1週間近く投稿を続けていたことが分かりました。GPT-3による投稿は、最終的に開発者の手によって停止されましたが、発覚するまでの間GPT-3は誰にも気付かれることなく、Redditユーザーと言葉を交わしていたと報じられています。 kmeme: GPT-3 Bot Posed as a Human on AskReddit for a Week https://www.kmeme.com/2020/10/gpt-3-bot-went-undetected-askreddit-for.html Someone let a GPT-3 bot loose on Reddit — it didn’t end well https://thenextweb.com/neural
保険証や運転免許証との一体化など、デジタル化の鍵を握っていくのが、「マイナンバーカード」。 近い将来、小中学生の学校の成績も管理することになる可能性も。 政府は、小中学生の学習履歴や試験の成績を、マイナンバーカードにひも付け、オンラインで管理する仕組み作りに着手した。 そもそも文科省は、教育データの利活用を進めていて、児童・生徒の個人の学習意欲の変化や理解度をデータとして記録するのは、1人ひとりに合った効果的な学びの実現が目的。 蓄積された記録データをもとに、教員が、1人ひとりに合った指導を行うことができるとしている。 また政府は、こうした個人の学習データのマイナンバーカードへのひも付けを検討していて、2023年度以降の実現を目指している。 小中学生の学習履歴や試験の成績をマイナンバーカードにひも付けることについて、教育評論家の石川幸夫さんは、「メリットとしては、成績そのものが一元管理でき
ジェイ・アラマールのブログより。 AIによる画像生成は、(私を含めて)人々の度肝をぬく最新のAIの能力です。テキストの説明から印象的なビジュアルを作り出す能力は、魔法のような品質を持ち、人間がアートを創造する方法の変化を明確に指し示しています。Stable Diffusionのリリースは、高性能(画質だけでなく、速度や比較的低いリソース/メモリ要件という意味での性能)なモデルを一般の人々に提供することになったのは、この開発における明確なマイルストーンです。 AI画像生成を試してみて、その仕組みが気になり始めた方も多いのではないでしょうか。 ここでは、Stable Diffusionの仕組みについて優しく紹介します。 Stable Diffusionは、様々な使い方ができる汎用性の高いものです。まず、テキストのみからの画像生成(text2img)に焦点を当てます。上の画像は、テキスト入力と生
AI は、Google が現在取り組んでいる中で最も本質的なテクノロジーです。AI は、医師による病気の早期発見の支援や、自国語での情報へのアクセスなど、人々、ビジネス、コミュニティの潜在能力を引き出します。そして、数十億人の生活を大きく改善できる新しい機会を提供します。6 年前から、私たちが Google の方向性を AI 中心に再編し「世界中の情報を整理し、世界中の人がアクセスできて使えるようにする」という Google のミッションを果たす最も重要な方法に AI を据えているのは、これが理由です。 以来、私たちは全面的に AI への投資を継続し、Google AI と DeepMind のチームは最先端のテクノロジーを進化させています。現在、AI の計算規模は半年ごとに倍増していますが、それはムーアの法則よりもはるかに早いペースです。同時に、高度なジェネラティブ AI と大規模言語モ
株式会社デジサク がお送りするプログラミング記事、 今回はAI(機械学習)について扱っていこうと思います。 ※ 無料セミナーも開催中なので、ぜひご覧になってみて下さい。 はじめに kaggleや学習サイトなど誰でも機械学習を学べる機会が増えてきました。 その反面、情報量が多すぎて全体感を掴めていない人が多いと感じています。 そこで、様々な参考書や記事で紹介されている機械学習で使用する手法を全公開しようと思います。 細かなコーディングはリンクを貼っておくので、そちらを参照されてください。 SNS でも色々な情報を発信しているので、記事を読んで良いなと感じて頂けたら Twitterアカウント「Saku731」 もフォロー頂けると嬉しいです。 機械学習の一連手順 まず、機械学習を習得するために必要なスキルは下記です。 実務の場では数段細かな作業が必要になりますが、最初は下記を勉強するだけで十分で
概要 Sakana AIは進化や集合知などの自然界の原理を応用して基盤モデルを開発することを目指しています。私達の目標は、モデルを自ら訓練し開発することだけではありません。基盤モデルの開発を効率化、高度化、自動化するための新たな手法を生み出すことに挑戦しています。この目標に向けた第一歩として、私たちはプレプリント「Evolutionary Optimization of Model Merging Recipes (モデルマージの進化的最適化)」を公開しました。 このリリースの要点は以下の通りです。 進化的モデルマージという手法を提案します。これは、多様な能力を持つ幅広いオープンソースモデルを融合(マージ)して新たな基盤モデルを構築するための方法を、進化的アルゴリズムを用いて発見する手法です。私たちの手法は、ユーザーが指定した能力に長けた新しい基盤モデルを自動的に作成することができます。既
OpenAIの対話型AI「ChatGPT」は史上最も急速な成長で「月間1億ユーザー」をわずか2カ月で達成するなど、大いに注目を集めています。それに伴い、GoogleがChatGPTのライバルとなる会話型AI「Bard」を発表したり、中国企業が続々とChatGPT風AIを開発していると報道されている一方で、OpenAIはChatGPTのコードを公開していないためChatGPTを効果的に複製することは難しくなっています。AIのディープラーニングトレーニングを最適化するオープンソースプラットフォームのColossal-AIが、ChatGPTトレーニングプロセスをわずか1.6ギガバイトのGPUメモリで7.73倍高速なトレーニングに再現したと告知し、オープンソースで公開しています。 Open-source replication of ChatGPT implementation process!
私たちの目は常に膨大な量の視覚情報にさらされています。 脳にとって、これは容易な状況ではありません。 何百万もの色や形、光の加減や視点の変化により、視覚の世界は絶えず移り変わっているのですから。(走りながら撮ったカメラの映像を見てください) にもかかわらず、私たちはブレやノイズのない安定した世界を見ることができます。 これは何世紀にもわたって研究者たちを悩ませてきた視覚科学の問題でした。 そしてこのほど、カリフォルニア大学バークレー校 (University of California, Berkeley・米)の研究で、視覚の安定性を説明する新たなメカニズムが発見されました。 それによると、私たちの脳は、過去15秒間に見たものを統合・平滑化して、整った一つの印象にまとめ上げているとのこと。 一体どういうことでしょうか。 研究の詳細は、2022年1月12日付で科学雑誌『Science Adv
Innovative Tech: このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米Dolby LaboratoriesとスペインのUniversitat Pompeu Fabraの研究チームが開発した「Universal Speech Enhancement With Score-based Diffusion」は、収録した映像のバックグラウンドノイズ(背景雑音)を強力に除去する技術だ。動画撮影した雑音を消し去り、話す声だけをくっきり残すことができる。強力すぎるため、映像がアフレコを挿入したみたいな仕上がりになってしまう。 実世界で録音した音声には必然的に背景の雑音や残響が含まれ、不快感や明瞭度の妨げになるためノイズ除去が行われる。最近では深層学習の登場によりノイズ除
各種方針等 arrow_forward_ios生成系AIについて 生成系AI(ChatGPT, BingAI, Bard, Midjourney, Stable Diffusion等)について 2023年4月3日 東京大学理事・副学長(教育・情報担当) 太田 邦史 この半年ほどの期間で、生成系人工知能(Generative AI)が複数発表され、社会的に大きな注目を集めています。基本的には、インターネット上などに存在する既存の文章や画像イメージを大量に機械学習し、これに強化学習を組み合わせなどして、一定レベルの品質の文章や画像を生成するシステムです。とくに、2022年11月に公開され、話題になった大規模言語モデルChatGPTはバージョンが更新され、最新のGPT-4では生成される文章などの質や正確性が著しく向上しています1。 これらの生成系AIは、平和的かつ上手に制御して利用すれば、人類の
1.はじめに ディープラーニングを学び始めた方にとって、東京大学/松尾教授の動画を見ることは、とても刺激的で勉強になり面白いものだと思います。今回、松尾教授の講演に加えて対談やパネルディスカッションも含めた動画のリンクをまとめましたので、よろしかったら見て下さい。 おすすめは、01, 05, 14, 16, 23, 27 です。 2.動画リンク 講演には★の表示がしてあります。 □2012年 ★01.Computer will be more clever than human beings 東京大学版TEDです(もちろん日本語です)。ウェブを利用した情報の利用と人工知能の可能性についてコンパクトにまとめています。ディープラーニングには触れていませんが、若々しい松尾教授の姿が見れて、内容も興味深いです。<おすすめです。>(15分) □2013年 02.IT融合シンポジウム ~企業・研究者に
最近話題になった「音楽生成AI」をまとめました。 1. AudioGenテキストからオーディオを生成するAIモデルです。「風が吹く中で口笛をする音」や 「大勢の歓声の中で話す男性の声」といったテキストから、それらしい音を生成してくれます。 現在のところ、モデルやAPIは提供されていません。 We present “AudioGen: Textually Guided Audio Generation”! AudioGen is an autoregressive transformer LM that synthesizes general audio conditioned on text (Text-to-Audio). 📖 Paper: https://t.co/XKctRaShN1 🎵 Samples: https://t.co/e7vWmOUfva 💻 Code & mod
かつて実話誌の広告にあった「AVのモザイク除去機」が現代に甦った! AIの技術の進化によりモザイクの除去が可能となったが、人気AV女優も被害にあうなど、業界は深刻な被害に頭を痛めていた 昨年12月にSPA!は、AI(人工知能)で有名芸能人の顔にすげ替えた「フェイクポルノ」の蔓延についてお伝えしたが、現在、AIを悪用したアダルトコンテンツにはもう一つの潮流がある。それはモザイクが限りなく薄く見える「モザイク除去動画」の存在だ。すでにKやFといった海外のポルノ動画サイトでは大量にアップされている。 なかには本来、無修正作品が出回っているはずのない有名女優のT・SやM・Yなどの動画もある。これらの動画が流通し始めた当初、「いったいこれは何だ?」と謎が謎を呼んだが、そのカラクリが明らかになりつつあり、AV業界が震撼しているという。 真相に迫る前に、まずは実際にサイトで件の動画を探してみた。無数にア
これから異常検知を勉強される初心者、中級者の方のために一問一答集を作ってみました。 実際にあった質問も含まれますが、ほとんどの質問は、私が勉強しながら疑問に思ったことです。 なお、各質問には私の失敗談を添えております。皆さんは私のような失敗をしないよう 祈っております(^^)。異常検知に特化した内容となっておりますので、ご了承ください。 初心者の方向け 勉強の仕方編 Q:異常検知を勉強したいのですが、何から手をつけて良いのか分かりません。 A:書籍を買って読むのがおススメです。 最初、私はネット情報で勉強していました。しかし、それにも限界があります。 ところが、書籍(入門 機械学習による異常検知)を買って読んだところ、かなり知識を 得ることができました。最初から、書籍を買っていれば、一年くらい得することができたのに... と思うこともあります(^^; ただ、こちらの本はディープラーニング系
Microsoftは、WindowsやMacにダウンロードして無料で使える「Lobe」を公開している。同ツールでは、ネット接続やログインもなしで機械学習トレーニングができて、利用するデータはプライベートに保たれる。 Microsoftは2018年にLobeを買収し、同ツールをブラッシュアップしてきた。今では、誰でも簡単に機械学習モデルがトレーニングできるように…とのコンセプトを体現したものになっている。写真をインポートすれば自動でトレーニングLobeのWebサイトに掲載の紹介動画を観れば、このツールのシンプルな使い勝手が認識できるだろう。ナビゲーターがPCのWebカメラで水を飲む写真を複数通り撮影。同じく水を飲んでいないシーンを撮影すると、トレーニングが自動で行われる。 ラベルを調整して、Webカメラの前で水を飲むと「水を飲む」動作が検出できるように。また、モデルの修正も簡単にできるようだ
08/31 (2020): 投稿 08/31 (2020): 「畳み込みを一切使わない」という記述に関して、ご指摘を受けましたので追記いたしました。線形変換においては「チャネル間の加重和である1x1畳み込み」を実装では用いています。 08/31 (2020): 本論文で提案されているモデルの呼称に関して認識が誤っていたためタイトルおよび文章を一部修正しました。 言葉足らずの部分や勘違いをしている部分があるかと思いますが、ご指摘等をいただけますと大変ありがたいです。よろしくお願いします!(ツイッター:@omiita_atiimo) 近年の自然言語処理のブレイクスルーに大きく貢献したものといえば、やはりTransformerだと思います。そこからさらにBERTが生まれ、自然言語の認識能力などを測るGLUE Benchmarkではもはや人間が13位(2020/08現在)にまで落ちてしまっているほ
リンク ゆるおた学習帳 イラスト自動生成AI「Disco Diffusion」に絵を描いてもらった - ゆるおた学習帳 絵を描いてくれるAI「Midjourney」をきっかけに、この世にはオープンソースのイラスト生成AIがあることを知りました。早速自分も試したい!と思ったのですが、今回の「Disco Diffusion」はイラスト生成まで少し難しかったので自分用備忘録です。 参考にさせていただいた記事はコチラ↓Get Started With Disco Diffusion to Create AI Generated Art イラスト自動生成AI「Disco Diffusion」の使い方 「Disco Diffusion 2 users リンク note(ノート) 魔術として理解するお絵描きAI講座|深津 貴之 (fladdict)|note やればやるほど呪術化する、AI画像錬成につい
株式会社サイバーエージェント(本社:東京都渋谷区、代表取締役:藤田晋、東証プライム市場:証券コード4751)は、最大68億パラメータの日本語LLM(Large Language Model、大規模言語モデル)を一般公開したことをお知らせいたします。 近年、OpenAI社が開発した「ChatGPT」※1 を始めとする生成AI・LLMは急速な進化を遂げており、世界中のあらゆる業界・ビジネスにおいて活用が進んでいます。 一方、既存のLLMのほとんどは英語を中心に学習されているため、日本語および日本文化に強いLLMは少ない状況です。 ■最大68億パラメータの日本語LLM(大規模言語モデル)の公開について こうした背景のもと、当社は日本語LLMの開発に取り組んでおり、このたび一部モデルをHugging Face Hubにて公開いたしました。公開されたモデルはオープンな日本語データ※2で学習したもので
(数式を使わない) Transformer の直感的な説明 RNN の欠点 Transformer はこれをどう解決したか Transformer の動作原理 複数の要素間の関係を考慮する (Self-Attention、自己注意) 要素の順序を考慮する (Positional Encoding、位置エンコーディング) まとめ 概要: ChatGPT などで使われている Transformer モデルは、 ニューラルネットワークの世界にいくつかの革新的なアイデアをもたらした。 本記事では、プログラマに理解しやすい形でそれらのアイデアを解説する。 実際に使われている数学の詳細には触れない。 (技術的解説については元論文 Attention is All You Need か、 その注釈版である The Annotated Transformer を参照のこと。 日本語では この解説 がわかり
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く