生成AI（人工知能）の活用においては、大規模言語モデル（LLM）に与えるプロンプト（指示文）の工夫が重要だ。最新の研究で、プロンプトは長く詳細であるほど良好な結果が得られることが分かっており「メガプロンプト（巨大プロンプト）」という言葉すら登場しているほどだ。 LLMに与えるプロンプトというと、米OpenAI（オープンAI）が提供するChatGPTのようなチャットボットの入力画面に打ち込む数行のテキストを想像しがちだ。しかし先進的なAI研究者は最近、紙に印刷すると1～2ページにも及ぶような、とても長いプロンプトの開発に取り組んでいるのだという。 「私たちのチームではそれをメガプロンプトと呼んでいる」。ディープラーニング（深層学習）の著名研究者で、AI教育サービスを手掛ける米DeepLearning.AI（ディープラーニングドットAI）の創業者であるAndrew Ng（アンドリュー・ウン）氏
AI、わからない。｢マシンラーニング｣と｢ディープラーニング｣って何がちがうの？2024.05.30 08:0010,541 Lucas Ropek - Gizmodo US ［原文］ （ そうこ ） 初めてChatGPTを使ったときの驚きも今はむかし。すっかり慣れてきてしまった今日このごろ。 AIがいたるところに進出してはいるものの、AIが結局なんなのか、どんな技術なのかはいまひとつわかっていません。マルチモーダルとか、ディープラーニングとかマシンラーニングとか、よく耳にする言葉はあるんですけどね。 AI開発に欠かせないという｢マシンラーニング｣ってなんですか？ ｢ディープラーニング｣ってなんですか？ そもそもAIってなんですか？AI。Artificial Inteligenceの頭文字をとったもので、日本語では人工知能のこと。いつの日か、マシン自身が｢考える｣ことができるようになるのが
「Anthropicに参加し、スーパーアラインメントミッションを継続できて嬉しい」──米OpenAIを退社したばかりのヤン・ライケ氏は5月28日（現地時間）、Xにこうポストした。 ライケ氏はOpenAIで、人間より賢いAIの制御を目指すSuperalignmentチームのトップをチーフサイエンティストだったイリヤ・サツケバー氏と共同で務めていた。サツケバー氏は14日に、ライケ氏は17日に退社を発表している。 ライケ氏は退社の際、OpenAIが「安全性が輝かしい製品の開発より後回しになっている」と批判した。両氏の退社後、Superalignmentチームは解散したが、OpenAIは28日、理事会メンバーが率いる新たな安全およびセキュリティ委員会の設立を発表した。 ライケ氏はポストで、「私の新しいチームは、スケーラブルな監視、弱い一般化から強い一般化への移行、自動化されたアライメントの研究に取
この連載ではおなじみのキャラクター「明日来子さん」に右側からライトを当ててみた。左がIC-Lightを適用したもので、右がオリジナル。環境はWebUI Forge用の拡張機能を使用 5月8日に、「ControlNet」など画像生成AI関連の著名研究者であるイリヤスフィール（lllyasviel）さんが発表した「ICライト（Imposing Consistent Light、印象的な一貫的なライト）」が盛り上がりました。入力した画像をもとに、後から指定した照明効果を踏まえた画像を生成する技術です。 画像生成AIで照明効果がつけられる「ICライト（IC-Light）」 発表された学習済みモデルは、「ライトを指定すると、キャラクターのデータに合わせてテキストのプロンプトに合わせて独自に背景を生成するもの」「キャラクターとライトの影響を加味して、別の背景画像と合成するもの」の2種類があります。これ
「Graph Game」はニューラルネットワークの構造をグラフで作成するゲームです。AI技術の発展と共に頻繁に目にするようになった「ニューラルネットワーク」をどの程度理解しているか試せるゲームとのことなので、実際にプレイしてみました。 Graph Game - By Sabrina Ramonov https://graphgame.sabrina.dev/ サイトにアクセスするとこんな感じ。「RNN」「LSTM Cell」「GRU Cell」「ResNet Block」「Deep RNN」という5つのステージが用意されています。まずは「RNN」をクリックしてみます。 「x_t」「h_t」「y_t」という3つの箱が出現しました。それぞれの箱はデータを表しており、上が出力で下が入力となっています。「x_t」の上の○をクリックし、ドラッグして「h_t」の下に接続します。 緑の線で接続が表示され
自作イラストに「AI学習禁止」と記載することに意味はある？学習段階における「画像生成AIと著作権」【弁護士が解説】（THE GOLD ONLINE（ゴールドオンライン）） - Yahoo!ニュース
誰でもイラストレーター並みの絵を出力できるとして話題の「画像生成AI」。画像生成にあたっては、テキストで指示を与えて出力するほか、画像を与えることで新しい画像を出力する、という方法もあります。ただし後者は、自らの手で制作してきたクリエイターから大きな反発を呼んでおり、自作品が生成AIに使われる事態を防ごうと、投稿物やプロフィールに「AI学習禁止」と記載するケースも増えています。とはいえ、こうした表明は有効なのでしょうか。五十嵐良平弁護士が、著作権法と照らし合わせて解説します。 画像生成AIの台頭で絵描き界隈に波紋画像生成AIが次々と発表され、大きな話題を呼んでいます。みなさんも、使ったことがあるのではないでしょうか。 私からは、主に著作権を取り上げて、法律の観点から画像生成AIに関連する議論を紹介していきたいと思います。AIと著作権に関する議論は、AIを作る段階（学習段階）とAIを利用する
Interview | tofubeats | 今は仕切り直しの気分 | AVE | CORNER PRINTING
突発性難聴の発症に端を発する極めてパーソナルなアルバムである前作『REFLECTION』から2年。tofubeatsの新作EP『NOBODY』は、AI歌声合成ソフト『Synthesizer V』（Dreamtonics）を用いて制作された誰でもない声をフィーチャーしたハウス・ミュージックが頭と体を揺らす作品だ。彼にとって特定のヴォーカリストをフィーチャーしない初めての作品である本作は、画期的なことをしれっとやってのけるtofubeatsらしいマナーが感じられると共に、何重にもレイヤードされたコンセプトが匿名的なダンス・ミュージックに乱反射され、聴けば聴くほどに深く引き込まれる。その心地良くディープなグルーヴのただ中で、果たしてtofubeatsは何を思うのか。 取材・文 | 小野田 雄 | 2024年4月 撮影 | 久保田千史 ――コロナ禍がクラブ・カルチャーにおける大きな転換点。現場に立
未経験から IT エンジニアを安心して目指すには？現実の壁と成功へのロードマップ 7 ステップ | 安定志向のITキャリア入門
YouTube で見る 未経験からでも IT エンジニアになれる？ それって本当に現実的なの？ 未経験から IT 業界への転職は、様々な情報が錯綜していて心配かもしれませんね。わたし自身も IT エンジニアになる際は先行きの不透明さから不安でした。 しかし、その不安や心配は大切なサインです。わたしの 20 年の IT エンジニア経験を鑑みても、安心して IT キャリアを歩むためには押さえておいた方が良い大事なポイントがあります。 この記事ではまず、未経験の方が不安に感じる理由の候補 7 つを明らかにします。その上で、それらの不安を安心に変え、現実の壁を乗り越えるロードマップをお伝えします。 この記事を読むことで、あなたは IT キャリアへの不安を払拭する術を知ることができます。安心して次へのアクションを始められるようになりますよ！ この記事を書いた人 りもじい YouTube X Inst
ロボット工学セミナー：「ロボットのためのLLM・VLM 利活用」 2024年5月23日 ⾃⼰教師あり学習は，ラベルなしデータを⽤いた事前学習法である．⾃⼰教師あり学習では，データから正解ラベルを⾃動で作成できるプレテキストタスクにより事前学習を⾏い，様々な下流タスクに効果的な特徴表現を獲得する．対照学習に基づく⼿法が教師あり事前学習法と同程度以上の学習効果が⽰されて以降，対照学習の派⽣⼿法が数多く提案された．また，Vision Transformer (ViT) の台頭以降は，ViT の構造に合わせた⽅法として Masked Image Modeling が提案され，現在に⾄るまで盛んに研究が⾏われている．本チュートリアルではまず⾃⼰教師あり学習の概要と代表的な評価⽅法について紹介し，対照学習と Masked Image Modeling ⼿法について解説する．
AIの仕組みであるLLMの「ブラックボックス」の内部を見てどのニューラルネットワークが特定の概念を呼び起こすかを知る試みをAnthropicが解説
チャットAI「Claude」などを開発するAI企業「Anthropic」がAIモデルの内部動作について、何百万もの概念がどのように表現されているかという研究結果を報告しました。 Mapping the Mind of a Large Language Model \ Anthropic https://www.anthropic.com/research/mapping-mind-language-model AIモデルの本体である大規模言語モデル(LLM)の出力はブラックボックスとして扱われており、入力に対応して出力が行われた時になぜその特定の応答が出力されたのかは不明となっています。そのため、モデルが有害・偏見・ウソなどの危険な出力をしないことを信頼するのは難しいものです。 Anthropicは以前よりLLMの内部についての研究を行っており、2023年10月には「特徴」単位でまとめるこ
tf.kerasが終了 Keras 3がTensorFlowから独立し、マルチバックエンド復活！：TensorFlow 2＋Keras（tf.keras）入門 TensorFlow＋Kerasの最新情報として、Keras 3.0のリリースに伴い、TensorFlowから独立し、TensorFlow 2.16以降でKeras 3がデフォルトとなったことについて紹介します。また、Keras 3（TensorFlowバックエンド）での書き方や、今後のディープラーニングライブラリの選び方についても私見を示します。 連載目次 もう4年も前になりますが、2020年5月に「マルチバックエンドKerasの終焉（しゅうえん）、tf.kerasに一本化」という記事を書きました。しかしその後、逆の動きが起きています。本稿では、前回の記事をフォローアップする目的も兼ねて、最新の状況をお伝えします。 そもそもKer
プロンプトエンジニアリングを最適化する為のフレームワークSAMMOを実際に使ってみた - Taste of Tech Topics
いつの間にか春も過ぎ去りすっかり夏模様の今日この頃皆さんいかがお過ごしでしょうか？菅野です。 生成AIの重要性が高まり、生成AIで利用できるテキスト量が長くなるにつれてにつれて、プロンプトエンジニアリングの重要性が高まってきました。 プロンプトエンジニアリングとは、そのプロンプトにどのような命令、事前情報等を入力すると、より適した応答が返ってくるかを設計する技術です。 そんなプロンプトエンジニアリングを最適化する為のPythonライブラリ、SAMMOがMicrosoft社から2024年4月18日にリリースされたので紹介していきます。 www.microsoft.com SAMMOとは？ Structure-Aware Multi-objective Metaprompt Optimizationの頭文字をとったフレームワークです。 元来、プロンプトエンジニアリングでは、エンジニアが、様々な
OpenAIのGPT-4のアーキテクチャへの仮説：Mixture Of Experts(MoE)による拡張性の高いLLM｜鈴木いっぺい (Ippei Suzuki)
OpenAI社のGPT-4は、従来のGPT-3, GPT-2.5と比較して巨大な言語モデル持ち、パラメタ数でいうと1,750億〜2,800億個、とされています。これはデータ量で言うと45GBに及びます（従来のGPT-3はその1／3近くの17GB）。データ量が多くなった分、精度や正確性は高くなったと評価されてますが、ハルシネーションによる間違った回答の比率が少なくなったかと言うと そうでも無い、と言う意見も多いし、人間の思考の様な推論（reasoning）がまだ十分にできない、と言うことも根本的な課題です。 AIシステムのパラメタが巨大化する最大の課題は、それをトレーニングするためのコストが著しく高くなってしまう、という事。この辺のスタディはかなりされていると思いますが、この課題を解決する方法の一つとして、MoE (Mixture of Experts) アーキテクチャ、と呼ばれるニューラル
2024年05月18日19時30分 【特集】株価変貌の初動につけ！ 先端半導体「HBM」で化ける最強6銘柄 ＜株探トップ特集＞ ―生成AI市場急拡大でにわかに脚光、GPUとともに新たな成長のステージへ― 東京株式市場では5月に入ってから日経平均株価が一進一退、3万8000円台での往来を繰り返している。方向感の定まらない地合いが続いているが、5日・25日・75日移動平均線がいずれも3万8000円台半ばで収れんする動きにあり、もみ合い圏離脱の機は熟しつつある。世界の株式市場に目を向ければ5月は総じて強気相場が繰り広げられており、欧州や米国では軒並み主要株価指数が史上最高値を更新するなどリスクオンを強く印象づける。相対的に出遅れる日本株のキャッチアップが期待されるところだ。 3月決算企業の決算発表が概ね終了し、ここからは再びテーマ買いの動きが復活しそうだ。米国株市場ではNYダウに先立ってナスダッ
最近、プロセッサに「NPU」と呼ばれる人工知能（AI）処理に特化したユニットが搭載されるのがちょっとしたブーム（？）になっている。このNPUって、GPUなどと何が違うのか、なぜプロセッサに搭載されるようになってきたのか解説しよう。 プロセッサに搭載されている「NPU」って何？ Intelの最新プロセッサ「Core Ultra」には、人工知能（AI）処理に特化した「NPU」が搭載されている。NPUは、スマートフォン向けのプロセッサにも搭載が進んでいる。ところで、このNPUはCPUやGPUと何が違うのだろうか？ 写真は、Intelのプレスリリース「AI PCの新時代の到来を告げるインテル Core Ultra プロセッサー」のCore Ultraプロセッサーの写真を使って、「CPU」「GPU」「NPU」の文字を載せたもの。 今回のお題は「NPU」である。出だしから注釈になってしまうが、NPUと
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
こんにちは。iOSの日本語入力アプリである「azooKey」を開発しているMiwaです。 azooKeyは最近macOS版の開発が進んでいます。このazooKey on macOSに、完全にローカルで動作するニューラルかな漢字変換エンジンである「Zenzai」を開発し、搭載します。この記事ではZenzaiの技術を解説します。 Zenzaiを搭載したazooKey on macOSは現在アルファ版としてリリースしています。macOSをご利用の方はぜひ入れて試してみてください！ Zenzaiの概要 日本語入力に欠かせないかな漢字変換ですが、その歴史は長く、50年にも及びます。この間様々なアルゴリズムが提案され利用されてきましたが、近年の技術開発はやや落ち着きつつあります。オープンソースのかな漢字変換ソフトウェアで今でも広く利用されているものは数えるほどしかありません。 クローズドソースのシステ
Amazon Kendra の Custom Document Enrichment と Amazon Bedrock で画像検索に対応する - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 皆さんは、「前のプレゼン資料に使った、犬の画像はどこいったかな？あの画像が欲しいので、探してくれないかな？」と無茶振りされたことはありませんか？ そんな時でも、「舌を出して喜んでいる」と検索すれば画像がヒットし、こんな無茶振りにも応えることができるシステムを Amazon Kendra （以下、 Kendra ）で構築しました。 舌を出して喜んでいる犬 ちょっと待って Kendra は機械学習を利用した検索サービスで、ウェブサイトや S3 に保存したドキュメントなどをもとに、適切な検索結果を返します。 しかし、 Kendra で検索できるのはテキストだけで、画像を S
高学歴､高収入､高スキルな人ほど｢リストラ候補｣になる…東大AI研究者が証言する｢AIと仕事｣の意外な関係 給料の低い｢肉体労働｣はAIの影響を受けにくい
長らく議論が続く「AIによる労働への影響」 「特別なスキルを必要としない賃金が低い仕事であるほど、コンピュータ／AIによる自動化の影響を受ける可能性が高い」 これは、コンピュータ／AIが労働に与える影響を分析する研究で、長らく共有されてきた主張です。この分野の研究はいくつか例がありますが、ほぼすべてでこの結論に達していたと言っていいでしょう。 ディープラーニング登場直後の2013年に発表された、オックスフォード大学のカール・フレイとマイケル・オズボーンによる世界的に有名な論文「雇用の未来」でもこの主張がされています。 また、2019年に出版された、同じくカール・フレイによる書籍『テクノロジーの世界経済史』（邦訳版は2020年、日経BP刊）でも、数多くの研究を俯瞰ふかんしながら同様の主張にまとめられています。 では、生成AIが登場した2023年現在に広く共有されている主張はどうなっているので
「EOS Rシステム」初のフラッグシップ機“EOS R1”を開発 新開発の映像エンジンシステムにより高性能AF・高画質を実現 | キヤノングローバル
ニュース 「EOS Rシステム」初のフラッグシップ機“EOS R1”を開発 新開発の映像エンジンシステムにより高性能AF・高画質を実現 キヤノンは、RFマウントを採用した「EOS Rシステム」初のフラッグシップモデルとして、フルサイズミラーレスカメラ“EOS R1”の開発を進めており、2024年中の発売を目指します。 EOS R1 ＊RF24-70mm F2.8 L IS USM装着時 現在開発中の“EOS R1”は、キヤノンの最先端技術を結集し、フラッグシップ機に求められる最高クラスの性能、高耐久性・高信頼性を兼ね備えたプロ向けミラーレスカメラです。静止画・動画性能をともに飛躍的に進化させ※、スポーツや報道、映像制作など幅広い分野の第一線で活躍するプロフェッショナルの高いニーズに応えます。 本機は、従来の映像エンジン「DIGIC X」に加え、新開発の映像エンジン「DIGIC Accele
顔認識技術は、セキュリティ、マーケティング、エンターテインメントなど、さまざまな分野で応用されています。 特に、ディープラーニングの発展により、顔認識の精度は飛躍的に向上し、より広い範囲で利用されるようになりました。 そんな中、Pythonで顔認識を手軽に実装できるオープンソースのフレームワーク「Deepface」が注目を集めています。 Deepfaceは、複数の最先端の顔認識モデルをラップしており、少ないコード量で高精度な顔認識を実現できます。 この記事では、そんなDeepfaceについて解説しています。 本記事の内容 Deepfaceとは？DeepfaceのインストールDeepfaceの動作確認 それでは、上記に沿って解説していきます。 GitHub - serengil/deepface: A Lightweight Face Recognition and Facial Attri
ナナロク世代とAI｜shi3z
理系の学生にちょっとした仕事を頼んだ。 「画像形式をどうするか聞かれたんですけど、ジェーイーピージーとかピーエヌジーとかどれを選べばいいですか」 そうか。理系といっても情報系じゃないから、JPEGをジェイペグと読むことを知らないのか。 ファイル形式の違いは、その形式フォーマットが生まれた背景を理解しないと適切なファイルを選べない。なるほど。 ひょっとすると僕はこのnoteを最近の読者が読むには少し難しく書き過ぎていたのかもしれない。最近は大学の講義が多いので、講義をきっかけに僕に興味をもってくれた学生がいたとしても、僕の記事は読み方さえわからない言葉がたくさん出てきてわけがわからない教科書みたいに見えているのかもしれない。これが老いるということか。 ほとんどの読者は、実はさりげなく置いてけぼりになっているのではないか。それでも今は少子化でナナロク世代(1976年生まれの人)以降の老人の方が
『なめらかな社会とその敵 PICSY・分人民主主義・構成的社会契約論』（勁草書房、2013年）を上梓した鈴木健と、本特集の監修者であり情報社会論にも通暁する法哲学者・大屋雄裕の対談をお届けする。 『なめらかな社会とその敵』は、生命システムから社会システムまでを論じ、「二項対立のない社会」を構想する特異な思想書。人文系の研究者だけではなく、エンジニアやクリエイターにも幅広く読まれる同書のインパクトは、出版から10年経ったいまも変わらない。それどころか、近年ではWeb3周辺のコミュニティでも予言の書のように参照されるなど、さらに影響力を増している。 本対談では、そんな「なめらかな社会」のアイデアを改めて検討しながら、同書刊行後の社会変化や技術進化について語り合う。民主主義の危機やガバナンスシステムの劣化に目を背けず、同時にブロックチェーンやAIといった技術の進展を眺望する議論は、現実を踏まえつ
AIの可能性を再定義するHBM、その構造を理解する
AIへの関心が高まり、データストレージの需要 高帯域幅メモリ(HBM)が注目を集めています。人工知能(AI)が進化し続けるのに伴い、その需要も増え続けているのです。こうした需要に応えるべく、多くの主要テクノロジー企業がHBMに注力しています。HBMは、低エネルギー消費でより高速なデータアクセスを実現する様に設計された、高度なコンピューターメモリです。これはAIにとって、メモリチップの性能面と消費電力の削減という点で、重要な要素になります。 HBMは3D積層を採用しており、先端パッケージング技術を使用して、複数のデバイス層を垂直に積み重ねます。専用のDRAMチップを垂直に積層して、高速チャンネルで接続することにより、複雑なAIタスクの実行に必要な高速なデータ交換を可能にしています。 生成AIやデータ処理といった新たな成長ドライバーは、まだ導入の初期段階であり、HBMの市場ポテンシャルは今後も
文中の図は理がない限り、原論文あるいはドキュメントからの引用です。 KANってなに？ KAN（Kolmogorov-Arnold Network） は2024年4月30日にプレプリント公開サイトarXivに投稿された論文 にて提案された従来のMLPとは異なる新たなニューラルネットワーク構造です。1 コルモゴロフ・アーノルド表現定理（Kolmogorov-Arnold representation theorem）に基づいて設計されており、非線形な活性化関数そのものを直接学習することから、パラメータ効率が良く、学習結果の解釈可能性が高いことが特徴です。 上の画像は$x, y$を入力として$\exp(\sin(\pi x)+y^2)$を正解として学習させるケースを示した図ですが、元の関数の関係性がそのまま活性化関数の形状として学習され現れていることが読み取れます。 コルモゴロフ・アーノルド表現
【DL輪読会】Evolutionary Optimization of Model Merging Recipes モデルマージの進化的最適化
Google DeepMindがすべての生命分子の構造と相互作用をきわめて正確に予測できるAIモデル「AlphaFold 3」を発表
Google DeepMindがAI系創薬企業のIsomorphic Labsと協力し、タンパク質やDNA、RNA、リガンドなど生命分子の構造と相互作用をきわめて正確に予測できるAIモデル「AlphaFold 3」をリリースしました。 Google DeepMind and Isomorphic Labs introduce AlphaFold 3 AI model https://blog.google/technology/ai/google-deepmind-isomorphic-alphafold-3-ai-model/ Accurate structure prediction of biomolecular interactions with AlphaFold 3 | Nature https://www.nature.com/articles/s41586-024-0748
Amazon Bedrock と Pinecone でマルチモーダル検索を行う - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 皆さんは、飼っている猫が寂しそうだから兄弟みたいな犬を連れてきてあげようかな、と思ったことはありませんか？ 私は猫も犬も飼ったことがないので何とも言えませんし、なぜ犬かはさておき、マルチモーダル検索を使えばそんな要望にも応えることができます。 茶トラにはレトリーバーがお似合い 概要 マルチモーダル検索 Titan Multimodal Embeddings Pinecone 構成 Titan Multimodal Embeddings でベクトル化する Pinecone で類似画像を検索する できること テキストでの検索 画像での検索 カテゴリを指定した検索 処理時間
コルモゴロフ・アーノルド・ネットワークス(KAN;Kolmogorov–Arnold Networks)は、MITとカルテック、ノースイースタン大学、NSF人工知能および相互作用研究所らの共同研究によって生まれた、これまでの多層パーセプトロン(MLP;Multi Layer Perceptron)に変わるニューラルネットワークだそうな。 先週一番話題になったので知ってる人も多いと思う。 AIの世界は恐ろしく、世界の片隅で新発見がされるとそれが一週間もしないうちに世界中でテストされ、改良され、確認され、解析される。 KANの公式な実装には機械学習屋がHello Worldと呼ぶMNIST(手書き数字6万字を学習させて精度を競うモノ)がなかった。それどころかGPUも使われていなかったので、「一体全体どうすれば?」と困惑するしかなかったのだが、さすが世界は広い。すでにEfficient-KANや
◆深層学習において、過去の学習過程をモデル間で再利用する全く新たな仕組みとして「学習転移」技術を実現しました。 ◆本技術は、深層学習におけるパラメータ空間の高い対称性を活用し、実際に学習することなく低コストな変換により数秒～数分程度で一定の精度を実現できるため、モデルの再学習コストを抜本的に削減できることを示しました。 ◆これにより、NTTが研究開発を進める大規模言語モデル（LLM）「tsuzumi（*1）」をはじめとした多様な基盤モデル（*2）の運用コスト削減・消費電力の削減や、多数のAIで議論することで多様な解の創出をめざしたAIコンステレーション（*3）の構想具現化など、次世代のAI技術開発に貢献します。 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、深層学習において過去の学習過程をモデル間で再利用する全く新たな仕組みとして「学習転移」技術
1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
NTTは2024年5月7日、過去の学習（トレーニング）過程を再利用することで、AIモデルの再学習コストを大幅に削減する「学習転移」技術を発表した。同社によると世界初の技術で、同社の「tsuzumi」をはじめとした大規模基盤モデル（ファウンデーションモデル）の更新時や差し替え時に、各ドメインにおける再学習（ファインチューニング）が容易になることが想定されている。2025年度以降の実用化を目指す。 基盤モデル更新時にドメイン特化モデルの再学習コストを削減するには？ 学習転移は、深層学習（ディープラーニング）処理において、「過去の学習過程をモデル間で再利用する」新たな仕組みとなる。具体的には、ニューラルネットワークのパラメータ空間における高い対称性を活用して、過去の学習過程のパラメータ列を適切に変換することで、新たなモデルの学習結果を低コストに実行できるというもの。 これにより、生成AIの大規模
Sakana.aiが公開した「Evolutionary Model Merge」手法を「mergekit」で実施してみる - Taste of Tech Topics
皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 日々、LLMが進化していて、画像が本職（のはず）の私ですら、ここ数年LLMの勉強をはじめています。 学習してモデル公開しましたといった記事はよく見ますが、今回は今、非常に注目されている日本に拠点があるAIスタートアップである「Sakana.ai」が公開した「Evolutionary Model Merge」を使う話をします。 Evolutionary Model Merge 「Evolutionary Model Merge」は「Sakana.ai」から発表された進化的モデルマージと呼ばれる技術です。 端的に言ってしまえば、複数のモデルを利用して新し
GitHub - Blealtan/efficient-kan: An efficient pure-PyTorch implementation of Kolmogorov-Arnold Network (KAN).
This repository contains an efficient implementation of Kolmogorov-Arnold Network (KAN). The original implementation of KAN is available here. The performance issue of the original implementation is mostly because it needs to expand all intermediate variables to perform the different activation functions. For a layer with in_features input and out_features output, the original implementation needs
5/3～5/5に開催された第34回世界コンピュータ将棋選手権にHEROZチームとして、「dlshogi with HEROZ」というプログラム名で参加しました。 大会の概要 世界コンピュータ将棋選手権は、1990年より毎年開催されている歴史のあるコンピュータ将棋の大会です。 今回は34回目の開催で、45チームが参加しました。 第1予選、第2予選を通過した上位8チームで総当たりのリーグ戦で決勝戦が行われました。 大会の結果 決勝リーグでは最終戦で自力で勝てば優勝でしたが千日手になり、トップの「お前、 CSA 会員にならねーか？」(tanuki-チーム)と勝ち点同一でSB差で準優勝という結果になりました。 なお、二次予選は昨年とは異なり苦戦を強いられて、ボーダーラインで辞退があったため繰り上げで決勝に進めました。苦戦した事情は後述します。 今大会の特徴 定跡が出回った 先手勝率が高い角換わりの
AIの新星ニューラルネットワーク「KAN」とは？ LLMが“カンニング”して評価を盛ってた？ など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第45回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ 高精度なニューラルネットワーク・アーキテクチャ「KAN」をMITなどの研究者らが開発 1手先のトークン予測ではなく、4手先のトークンを同時に予測するモデルをMetaなどが開発 医療分野に特化したマルチモーダル大規模言語モデル「Med-Gemini」をGoogleが開発 大規模言語モデルが答えに相当するベンチマークを事前に学習し、高い評価を出していた？ AIカンニング問題を指摘した研究 一貫性の高い長編ビデオをテキストから生成するAIモデル「StoryDiffusion」 高精度なニューラ
はじめに 今回始めて松尾研LLMコミュニティの初心者向け講座"Begginning LLM"の第一回に参加しました！ １～２ヶ月に１回ほど開催される連続講座のようでChatGPTで遊んだことあるけど本格的にLLMのこと知りたい！けど何からはじめていいのか分からないという人にぴったりの講座だと感じました。 この講座内容のすべては以下のYoutubeで公開されています。 今回のセミナーの中では松尾研所属のからあげさんが２つのユニットのセミナーを行っていました。 この記事ではからあげさんから学んだことを思ったままに書いていきます。 からあげさんはここがすごいぞ みなさんからあげさんのセミナーがとても気になって受講された方が多いんじゃないかな？と思いました。 もちろん、わたしも松尾研LLMでのからあげさんのご活躍が見たくて申し込みました！！！ 約100枚の圧倒的スライド数 まず、すごいボリュームの
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生成AIを賢くするには「メガプロンプト」がお勧め、ファインチューニングは有害？
AI、わからない。｢マシンラーニング｣と｢ディープラーニング｣って何がちがうの？
OpenAIを「限界点に達した」と退社したライケ氏、競合Anthropicで安全チーム結成へ
画像生成AIに照明革命 日本と世界で同時に“神ツール”登場 (1/3)
自分がどれくらいニューラルネットワークを理解しているかを確かめられるゲーム「Graph Game」
⾃⼰教師あり学習によるビジョン基盤モデルの事前学習
Graph Game - By Sabrina Ramonov
tf.kerasが終了 Keras 3がTensorFlowから独立し、マルチバックエンド復活！
株価変貌の初動につけ！ 先端半導体「HBM」で化ける最強6銘柄 ＜株探トップ特集＞ | 特集 - 株探ニュース
第288回 人工知能時代には必須か？ 最近、プロセッサに搭載されている「NPU」って何
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
ニューラルかな漢字変換エンジン「Zenzai」をazooKey on macOSに搭載します
グーグルのAI祭り「Google I/O 2024」基調講演を総まとめ
PythonとDeepfaceで始める顔認識 – 初心者から上級者まで
なめらかな社会は近づいているか | 【公式】攻殻機動隊グローバルサイト
本家Examplesで知る、新たなニューラルネットワーク『KAN』の威力 - Qiita
【DL輪読会】KAN: Kolmogorov–Arnold Networks | ドクセル
AlphaFold 3 predicts the structure and interactions of all of life’s molecules
最後にKANは勝つのか?MLPに変わると主張されるKANを試す｜shi3z
世界初、AIモデルの再学習コストを大幅に削減可能な過去の学習過程を再利用する「学習転移」を実現～NTT版LLM「tsuzumi」など基盤モデルの更新・差し替えを容易に～ | ニュースリリース | NTT
NTTが「学習転移」技術を発表 AIモデルの再学習コストを大幅削減
第34回世界コンピュータ将棋選手権 結果報告 - TadaoYamaokaの開発日記
からあげさんってすごいなあポエム(松尾研LLMコミュニティ初心者セミナー)