データサイエンスエキスパート ゲームクリア 攻略チートシート配布 攻略指針 図書館を巡ってアイテム収集 図書館の初見殺しトラップ攻略 参考書籍 統計基礎 統計学（初歩） 統計学（高度） ベイズ統計 分散分析 数学基礎 線形代数 微積分 計算基礎 情報全般 データベース アルゴリズム モデリング・AIと評価 歴史・応用分野・AIなど 多変量解析 時系列解析 グラフィカルモデル テキスト分析 因果推論 機械学習・モデル評価・ニューラルネットワーク データサイエンスエキスパート ゲームクリア 日本統計学会が主催するデータサイエンスエキスパート試験に合格した。 www.toukei-kentei.jp データサイエンスエキスパートは、統計検定より実践寄りであるデータサイエンスシリーズの最上位資格という位置付け。下位資格には「データサイエンス基礎」や「データサイエンス発展」があるが簡単そうだったので
数式処理システムのMathematicaや質問応答システムのWolfram Alphaを開発したStephen Wolfram氏が「What Is ChatGPT Doing … and Why Does It Work?」（ChatGPTは何をしていて、なぜそれがうまく機能するのか？）と題するブログ記事を発表しました。 この記事は、とても分かりやすい言葉で、沢山例を挙げて詳しく説明していますので、ChatGPTの仕組みを理解したいと思っている人には必読の記事だと思います。 ブラウザの翻訳機能を利用して日本語で読むこともできますが、易しい言葉で書かれた文章であるにも関わらず、これを完全に理解するのは簡単なことではありません。 前半は大規模言語モデル、ニューラルネットワーク、Transformerなどの仕組みについて相当詳しく説明しており、後半はChatGPTに関するWolfram氏独自の解
Azure OpenAI Service で、Function calling を試してみる - Taste of Tech Topics
こんにちは、igaです。 台風が接近していて、外出の予定と重ならないかドキドキしています。 今回は、Azure OpenAI Service（以下、Azure OpenAIと記載します）で7月から利用できるようになった「Function calling」を試してみます。 Function callingとは、実行可能な関数を予め定義しておき、自然言語から実行すべき関数と引数を特定してくれる機能です。 OpenAIのAPIで、6月にリリースされた機能ですが、それがAzure OpenAIでも利用できるようになりました。 この機能のポイントは、「関数を呼び出す」ことではなく、「呼び出す関数（とその引数）を特定してくれる」ことにあります。 （名前が「Function calling」なのに、ややこしいですね） Azure OpenAIの利用開始方法とAPIの呼び出し方については、前回の記事を参考
AWSの生成AIサービスである Amazon Bedrock がGAになったので早速使ってみた - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 今回は2023年9月28日に GA となった Amazon Bedrock の紹介と使ってみた感触をお伝えします。 1. Amazon Bedrock とは 2. 利用可能なモデル 3. Anthropic Claude V2 を使ってみた 3.1. Claude とは 3.2. Playground 3.3. 追加設定 4. まとめ 1. Amazon Bedrock とは Amazon Bedrock （以下、 Bedrock ）は AWS 上で使える、大規模言語モデル（ LLM ）の基盤モデルを提供する完全マネージド型サービスです。 2023年9月28日に GA
プロンプトエンジニアリングを最適化する為のフレームワークSAMMOを実際に使ってみた - Taste of Tech Topics
いつの間にか春も過ぎ去りすっかり夏模様の今日この頃皆さんいかがお過ごしでしょうか？菅野です。 生成AIの重要性が高まり、生成AIで利用できるテキスト量が長くなるにつれてにつれて、プロンプトエンジニアリングの重要性が高まってきました。 プロンプトエンジニアリングとは、そのプロンプトにどのような命令、事前情報等を入力すると、より適した応答が返ってくるかを設計する技術です。 そんなプロンプトエンジニアリングを最適化する為のPythonライブラリ、SAMMOがMicrosoft社から2024年4月18日にリリースされたので紹介していきます。 www.microsoft.com SAMMOとは？ Structure-Aware Multi-objective Metaprompt Optimizationの頭文字をとったフレームワークです。 元来、プロンプトエンジニアリングでは、エンジニアが、様々な
導入 本当に革命的な技術なのか? 「君たちはどう生きるか」で驚いている間にすごい論文が世界の話題を掻っ攫っていた。 その名も「ReLORA」簡単に言えば、「事前学習にLoRAを使う」というものである。 これは本当に革命的な発見かもしれないので、僕の仮説も含めて丁寧に説明する。 まず、大前提として、「LoRA」という技術について LoRAは、「Low Rank Adaptation(日本語で言うとすれば低階適応)」という技術で、これまでは主にファインチューニングに使われてきた。 ファインチューニングとは、あらかじめ学習されたニューラルネットワークに対して追加で学習させ、概念を強調させたり新しく覚えさせたりする。 たとえば、僕の顔でStableDiffusionをファインチューニングすれば、僕みたいな顔の絵がどんどん出てくる。 言語モデルにおけるLoRAも同様で、新しい概念や「こういうやりとり
OpenAIのChat Completions APIの基本的な利用方法解説 - Taste of Tech Topics
昨年から育てていたバジルがもはや木になりつつある菅野です。 今注目を集めつつある文章生成AIである「ChatGPT」に関して、提供元のOpenAI社は2023/07/07に、「GPT-4」のAPIを有料ユーザー向けに一般公開したことを発表しました。 今回は、その「Chat Completions API」について紹介します。 例えば、自作のWebアプリでChatGPTライクなやりとりを実現したい、 それで入力された文章を加工したプロンプトでChatの応答を得たい、 といったときに、このAPIを使います。 この図のような動きですね。 openai.com Chat Completions API とは？ 「Chat Completions API」は、チャット補完に特化した言語モデルと、それを利用する専用のAPIです。 ChatGPTでも同じ言語モデルを利用しているため、このAPIを利用する
この記事は新野淳一氏のブログ「Publickey」に掲載された「AWSのデッキ構築型カードゲーム「AWS BuilderCards」が日本語化。手元のカードを揃えてAWSのWell-Architectedなシステム構築を競う」（2024年3月7日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 Amazon Web Services（AWS）のユーザーグループ「JAWS-UG（AWS User Group - Japan）によるイベント「JAWS DAYS 2024」が3月2日に東京 池袋サンシャインシティで開催され、ここで初めて日本語化されたAWSのデッキ構築型カードゲーム「AWS BuilderCards」が披露されました。 AWS BuilderCardsが初めて日本語化 AWS BuilderCardsはAWSがカードやルールを作成し提供している、遊びと教育
“ラズパイ5”にNPU追加できる「Raspberry Pi AI Kit」 最大13TOPSの推論性能 日本では近日販売へ
関連記事 「Raspberry Pi 5」発表 拡張性や処理速度が向上 国内の販売時期は未定 英Raspberry Pi財団は、小型コンピュータ「Raspberry Pi 5」シリーズを発表した。英国では10月から販売予定だが、日本国内での販売時期は不明。 AI処理に適した「Copilot+ PC」、各メーカーが続々発表 ラインアップ一覧 米Microsoftは、AIアシスタント「Copilot」などAIの実行に適したWindows PCカテゴリー「Copilot+ PC」を発表した。各メーカーが6月18日以降に発売するSnapdragon搭載のCopilot+PCを紹介する。 AI対応“Copilot+ PC”でArm搭載の新「Surface Pro／Laptop」 「M3 MacBook Airより高速」とうたう性能と価格は？ 要点まとめ 米Microsoftが発表した、新しい「Sur
生成AIの登場により、プログラミングの世界が劇的に変化している。この変化については「ChatGPT以前のソフトウェア開発は石器時代だった」と評されるほどだ。『生成AIで世界はこう変わる』を上梓した東京大学 松尾研究室に所属する今井 翔太氏も「これは本当にすごい」と確信したという。今井氏は生成AIのプログラミング活用を（1）コードの提案、（2）対話的生成、（3）全コードの生成という3つの形態に分類。ここでは今井氏自身の経験と学術調査をもとに、どのようにソフトウェア開発者の作業が変革されているのかを紹介する。 1994年、石川県金沢市生まれ。東京大学 大学院工学系研究科技術経営戦略学専攻 松尾研究室 に所属。博士（工学、東京大学）。人工知能分野における強化学習の研究、特にマルチエージェント強化学習の研究に従事。ChatGPT登場以降は、大規模言語モデル等の生成AIにおける強化学習の活用に興味。
「Anthropicに参加し、スーパーアラインメントミッションを継続できて嬉しい」──米OpenAIを退社したばかりのヤン・ライケ氏は5月28日（現地時間）、Xにこうポストした。 ライケ氏はOpenAIで、人間より賢いAIの制御を目指すSuperalignmentチームのトップをチーフサイエンティストだったイリヤ・サツケバー氏と共同で務めていた。サツケバー氏は14日に、ライケ氏は17日に退社を発表している。 ライケ氏は退社の際、OpenAIが「安全性が輝かしい製品の開発より後回しになっている」と批判した。両氏の退社後、Superalignmentチームは解散したが、OpenAIは28日、理事会メンバーが率いる新たな安全およびセキュリティ委員会の設立を発表した。 ライケ氏はポストで、「私の新しいチームは、スケーラブルな監視、弱い一般化から強い一般化への移行、自動化されたアライメントの研究に取
Amazon Bedrock「Claude2.1」の最大20万トークンで何が変わるか確認してみた - Taste of Tech Topics
Amazon Bedrock Advent Calendar 2023 13日、 および Anthropic Claude Advent Calendar 2023 18日の記事です。 こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 先日、 Bedrock 上で Claude 2.1 が使えるようになりました。 aws.amazon.com このモデルは精度が高いことはもちろんですが、 20 万（ 200K ）トークンを一度に扱うことができる という特徴があります。 200K のトークンがあれば、約 15 万単語もしくは 500 ページの本を一度に扱える、と言われています。 とは言いますが、これは実際どれくらいイン
ChatGPT Code Interpreter で実行されるコードから、外部へアクセスはできるのか？ - Taste of Tech Topics
最近自室のポトスの成長が著しく、ジャングルになりつつある菅野です。 先日、OpenAIから、公式のプラグインとして「Code Interpreter」が発表されました。 「Code Interpreter」では、Pythonコードの生成・実行が可能ですが、本記事では、「Code Interpreter」が生成したコードを実行する場合、外部APIにアクセスは可能なのか、確認してみます。 openai.com 検証で用いるAPI 今回の検証では以下のREST-APIを認証なしで実行できるデモ用サイトを利用します。 JSONPlaceholder - Free Fake REST API 上記サイトの https://jsonplaceholder.typicode.com/todos/1 へリクエストを送信すると、以下のようなレスポンスが得られます。 { "userId": 1, "id":
ChatGPTの Assistants API でPDFを要約 - Taste of Tech Topics
こんにちは、安部です。 最近急に、暖かさを通り越して暑いぐらいになってきましたが、皆さまいかがお過ごしでしょうか。 季節外れかなとも思いつつ、もう半袖で過ごしたいくらいの気候ですね。 さて、今回は、OpenAIのAssistants APIの使い方を紹介していきます。 題材は「PDFを和訳して要約してもらう」としました。 これはWeb版のChatGPTでも単にPDFファイルを添付して依頼すればできますが、APIの使い方を示すサンプルとしてはちょうどよいと思います。 最新情報については以下の公式ドキュメントをご覧ください。 https://platform.openai.com/docs/assistants/overview https://platform.openai.com/docs/api-reference/assistants それでは早速、Assistants APIの使い方
こちらは「ChatGPT の仕組みを理解する」の後編記事になります。 前編は以下の記事をご参照ください。 tech-blog.abeja.asia 前半記事では、自然言語の基礎的な部分から GPT-3.5 まで説明していきました。GPT-3.5 の次としては、ChatGPT の元になっている InstructGPT を説明したいところなんですが、InstructGPT では強化学習の手法を使用しているので、後半記事では一旦自然言語から離れて強化学習の基礎から PPO までを説明し、最後にメインコンテンツである InstructGPT → ChatGPT を説明します。 強化学習の基礎事項 強化学習のモデル化 環境のマルコフ性とマルコフ決定過程（MDP） 価値関数 強化学習手法の分類 価値ベースの強化学習手法 方策ベースの強化学習手法と方策勾配法 アクター・クリティック手法 TRPO [Tr
【機械学習】機械学習を用いたin silico screening【AI創薬】~第2/5章 スクレイピングによる公共データベース（PDB)からの機械学習データを収集~ - LabCode
AI創薬とは？ AI創薬は、人工知能（AI）技術を利用して新しい薬物を発見、開発するプロセスです。AIは大量のデータを高速に処理し、薬物の候補を予測したり、薬物相互作用を評価したりします。また、AIは薬物の効果や安全性をシミュレートすることも可能で、臨床試験の前の段階でリスクを評価することができます。これにより、薬物開発のコストと時間を大幅に削減することが期待されています。AI創薬は、薬物開発の新しいパラダイムとして注目を集め、製薬企業や研究機関で積極的に研究、導入が進められています。また、バイオインフォマティクス、ケモインフォマティクス、機械学習、ディープラーニングなどの技術が組み合わされ、薬物開発のプロセスを革新しています。さらに、AI創薬は個人化医療の推進にも寄与し、患者にとって最適な治療法を提供する可能性を秘めています。 今回はAI創薬の中でも、in silico screeeni
1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
深層モデルのパラメータを一列に並べてベクトルにします。このベクトルは大規模なモデルであれば何十億次元にもなります。一見、意味のない数値の羅列のようですが、このベクトルはベクトルとして深い意味があることが分かってきています。例えば、 と を異なるパラメータベクトルとすると、 や をパラメータとして持つモデルはちゃんと機能します。本稿では、このようなモデルパラメータの算術を用いた手法とその背後にある理論について解説します。 モデルスープ タスクベクトル モデルパラメータとニューラルタンジェントカーネル おわりに モデルスープ モデルスープ [Wortsman+ ICML 2022] は複数のモデルパラメータを平均することで性能を上げる手法です。事前学習モデル からはじめて、様々なハイパーパラメータで訓練した結果のパラメータを とします。これらを平均したベクトル は個々のモデルよりも性能が高く、
GPT-4Vのモデルを利用してOCRできるか試してみた - Taste of Tech Topics
こんにちは、安部です。 気温の上下に翻弄されて最近風邪をひいてしまいましたが、皆さま元気にお過ごしでしょうか。 今回は、GPT-4Vのモデルを利用して、OCRができるか試していきます。 GPT-4Vによって、「ChatGPTに目ができた」などと騒がれましたが、文字認識はどれくらいできるのでしょうか？ 得意分野ではなさそうですが、GPTも進化が目覚ましいので分かりませんね。 検証では、日本語(漢字/ひらがな/カタカナ)・英語の2言語で精度など比較していきます。 また、手書き・活字での違いも見ていきましょう。 一番簡単に試せるChatGPT（Web版）でOCRをさせようとするとエラーになることが多かったので、 ここではAPIを使っていくこととします。 APIを呼び出すプログラム 以下のコードを使い、gpt-4-vision-previewというモデルを呼び出しています。 画像は個人のgithu
問題に感じた箇所や改善すべきと思った点など、コメントいただけますと幸いです。レビューに貢献していただいた方には、感謝の印として、本書に名前を記載させていただく予定です（もちろん、同意のある方のみです）。下記のように、レビューアの方の名前をクレジットとして掲載する予定です。 左は『ゼロから作るDeep Learning ❷』、右は中国語に翻訳された『Deep Learning 2』なお、本のタイトルに「❺」とありますが、前作までの知識がなくても読める内容になっています。前提条件としては、Pythonと数学の基本的な知識が必要になります。数式も多く登場します。ちなみに、本書の概要は次のとおりです。 人気シリーズの第5弾。今回のテーマは「生成モデル」です。本書では「正規分布」から「拡散モデル」に至るまでの技術を繋がりのあるストーリーとして展開します。読者は小さな学びを積み重ねながら、ステップバイ
ChatGPTでHARファイルを解析してWebアクセスの問題点を検出する - Taste of Tech Topics
9月になりましたが、まだまだ暑い日が続きますね、昼間に出歩く際にはネックリングが手放せない菅野です。 Webアプリケーションで問題があった際には、よくブラウザの開発者ツール等を確認してエラーや、遅延の原因を探ったりしますよね。 今回は上記のようなエラー解析、問題解析をChatGPTで簡単に実施できないか検証していきます。 とはいえ、ブラウザの開発者ツールをそのままChatGPTに渡すことはできないため、開発者ツールから生成したHARファイルをChatGPTのAdvanced Data Analysisで解析してもらいます。 「Advanced Data Analysis」というのは、少し前まで「Code Interpreter」と呼ばれていたChatGPTの機能のことです。 名称変更されただけで挙動は変わっていないようです。 個人的には「Code Interpreter」の方が好きだったの
Meta、テキストや旋律から音楽を生成するAI「MusicGen」をオープンソース化 Hugging Faceでお試し可能
米Metaは6月9日（現地時間）、音楽生成LMの「MusicGen」を発表した。ディープラーニングによる音声処理と生成のためのライブラリ「Audiocraft」の一部として、GitHubでオープンソース化した。商用利用も可能だ。 曲のイメージをテキストプロンプトで入力することで音楽を生成できる。オプションで、mp3形式のメロディデータを追加することも可能だ。 MusicGenは、米Googleが2017年に発表した深層学習モデル「Transformer」をベースにした音楽生成モデル。Googleが1月に発表した「MusicLM」のような従来の類似モデルとは異なり、自己教師型でセマンティック表現が不要だ。 MusicGenのトレーニングには、1万件の高品質な音楽トラックの内部データセットと、ShutterStockとPond5の音楽データを利用した。2万時間分のライセンス音楽を使ったとしてい
先日、Googleのブログ記事を見つけて読む機会があった。「Googleレンズ」のいろいろな使い方を、道路標識の翻訳から皮膚の状態の検索まで、詳しく紹介している記事だ。意外なことに、筆者が気に入っている使い方はあまり載っていなかったので、自分なりの使い方リストを作ってみた。 Googleレンズは人工知能（AI）を利用する画像認識ツールで、大量のデータセットを使ってトレーニングされた、高度なディープラーニングのアルゴリズムを通じて物やテキストを識別する。識別する対象は、スマートフォンでリアルタイムに撮影した画像でもいいし、スマートフォンに入っている写真を「Google」アプリにアップロードして取り込んだ画像でもいい。5月に開催された「Google I/O」での発表によると、Googleレンズは、同社のチャットボットAIである「Bard」にも搭載される予定とのことで、このAIツールにも写真をア
Magika
AI翻訳ツールを提供する独DeepLは7月3日（日本時間）、日本法人「DeepLJapan」（東京都港区）を設立したと発表した。日本企業との取引を迅速化するとしている。 DeepL JapanはDeepLの5番目の拠点。1日の時点で21人の社員が所属している。代表者名は未登録。同社によると日本はDeepLにとって世界第2位の市場であり、日本法人の設立は自然なことだったという。 DeepLのヤロスワフ・クテロフスキーCEOは5月に、自民党のデジタル社会推進本部を訪問。AIの社会実装について意見を交わしている。 関連記事 Twitterの翻訳機能が消えた？ いや、まだある？ 「DeepLで翻訳」は便利？ 邪魔？ 「ツイートを翻訳」ボタンが消えた？ 「まだある」という報告も。ユーザーやツイートによって表示されたりされなかったりするようだ。 DeepL翻訳、「です・ます」「だ・である」の切り替えが
セガ フェイブ（1日付でセガトイズから商号変更）は4月18日、猫型ペットロボット「KIMIT ラグドール」の販売停止と回収を発表した。ユーザーから「焦げ臭い匂いがする」という問い合わせを受け調査したところ、不具合を確認した。 3月28日にユーザーの問い合わせを受けて調査した結果、モーターを制御するICからの発熱が原因と分かった。ICとモーターユニットカバーに接触している生地が焼損していたという。これまでに発火やけがの報告はない。 セガ フェイブは、KIMITの販売を停止し、これまでに販売した商品の回収と返金を始める。ユーザーに対しては不具合を謝罪した上で、電源をオフにして使用を中止するように呼び掛けている。 KIMITは、産業用ロボットメーカーの中国Elephant Roboticsと共同開発した猫型ペットロボット。可動部は首としっぽ、液晶パネルを使った目に限られるものの、ディープラーニン
ChatGPT (Advanced Data Analysis)でBNF式からパーサーを生成する - Taste of Tech Topics
こんにちは、最近ピアノを習い始めた安部です。 今回は、ChatGPTのAdvanced Data Analysis (旧Code Interpreter)にBNF式を与えてパーサーを作成してもらおうと思います。 BNF式のように機械的に解釈可能なものであれば、正確にコードを生成してくれるのではないでしょうか？ BNFでうまくいけば、その他の様々な形式のデータやフォーマットからパーサーを自動生成してくれることが期待できそうです。 1. BNFとは BNF（バッカス・ナウア記法）とは、プログラムの構文規則（文脈自由文法）を記述するための記法です。 正確な定義よりも具体例を見た方が早く理解できると思うので、例を示します。 『プログラム意味論』（横内寛文 著）の冒頭に登場する、非常に単純なプログラムを許容する言語の定義です。 <変数> ::= A | B | C | ... | Z <定数> ::
ロボット工学や自動運転などで顕在化するAI課題を解決、MIT発「Liquid Neural Networks」とは何か - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
現在の人工知能（AI）を取り巻く環境では、 大規模言語モデル（LLM）の話題から、ますます大規模なニューラルネットワークの開発競争が起きている。しかし、すべてのアプリケーションが、大規模なディープラーニングモデルの計算量とメモリの要求をできるわけではない。 このような環境の制約が、いくつかの興味深い研究の方向性につながっている。MIT（マサチューセッツ工科大学）の CSAL（コンピュータ科学・人工知能研究所）の研究者が開発した新しいタイプのディープラーニングアーキテクチャ「Liquid Neural Networks」は、特定の AI 問題に対して、コンパクトで適応性が高く、効率的なソリューションを提供する。これらのネットワークは、従来のディープラーニングモデルに内在する課題のいくつかに対処するように設計されている。 Liquid Neural Network は AI の新たなイノベーシ
生成AIブームが｢一言でいえば薄っぺらい｣のはなぜか？ AI研究者が語る｢ChatGPTの10年前｣
2022年〜2023年にかけて起こった、画像生成AIやChatGPTを始めとする大規模言語モデルの日常化は、私たちのライフスタイルをどう変えていくのでしょうか？ AIの研究者でプログラマーの清水亮氏は、｢生成AI｣のような可能性を考えはじめたのは、生成AIブームのはるか前の約10年前からだと言います。 今のAIの最前線が興味深いのは、最先端の成果が｢企業｣から生まれるのではなく、AIで遊ぶ｢趣味人（ホビイスト）｣たちから、驚くような実例が出ていることだとも。 AI研究者が見ている現在のAIブームと、最前線の風景を聞きます。 ※この記事は西田宗千佳氏の新書『生成AIの革新 新しい知といかに向き合うか』（9月11日発売）の発売に合わせ、筆者西田氏とAI研究者の清水亮氏の対談としてお届けします。 西田 今の世の中での生成AIブームを、どう捉えていますか? 清水 今のブームはとても表層的なものなの
ChatGPTを筆頭にした「大規模言語モデル(LLM)」と呼ばれるAIが話題に上らない日はない。このAIが得意なタスクには「プログラムの自動生成」が挙げられるが、Metaからプログラム生成に特化したCodeLlamaが商用利用可能なオープンなライセンスでリリースされた。そこで実際に使ってみよう。 CodeLlamaで素数判定のプログラムを自動生成させたところ プログラミングは大規模言語モデルが得意とするタスク リリースからわずか2ヶ月で1億ユーザーを達成した「ChatGPT」の公開から本稿執筆時点で8ヶ月が過ぎた。筆者も業務でChatGPTをはじめ、Github Copilotなど、大規模言語モデル(LLM)関連サービスを使わない日はないくらいだ。 特に「プログラミング」は、間違いなく大規模言語モデルが得意とするタスクであり、GitHub Copilotを利用している多くの人がその利便性を
Sakana.aiが公開した「Evolutionary Model Merge」手法を「mergekit」で実施してみる - Taste of Tech Topics
皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 日々、LLMが進化していて、画像が本職（のはず）の私ですら、ここ数年LLMの勉強をはじめています。 学習してモデル公開しましたといった記事はよく見ますが、今回は今、非常に注目されている日本に拠点があるAIスタートアップである「Sakana.ai」が公開した「Evolutionary Model Merge」を使う話をします。 Evolutionary Model Merge 「Evolutionary Model Merge」は「Sakana.ai」から発表された進化的モデルマージと呼ばれる技術です。 端的に言ってしまえば、複数のモデルを利用して新し
システムから言語モデルがどのように使えるか、その時どういうことに気をつける必要があるかを考える「『ChatGPTなどの言語モデルはどのようにシステムで使えるか』きしだなおき氏」。ここで、LINE Fukuoka株式会社のきしだなおき氏が登壇。まずは、ChatGPTの概要と、人間がどう使うかについて話します。 きしだ氏の自己紹介 きしだなおき氏：今日は「ChatGPT」などの言語モデルがどのようにシステムで使えるかという話を、概要レベルでやりたいと思います。まだ細かい知見は溜まっていない……。たぶん世界中でまだ知見が溜まっていないので、今は知見を溜めていくところだという話をしたいと思っています。 まず自己紹介です。LINE Fukuokaで働いています。役職的にはDeveloper Relationsなので、別に仕事でLLMを触っているわけではないです。Twitter（現X）は@kis（とい
AIの仕組みであるLLMの「ブラックボックス」の内部を見てどのニューラルネットワークが特定の概念を呼び起こすかを知る試みをAnthropicが解説
チャットAI「Claude」などを開発するAI企業「Anthropic」がAIモデルの内部動作について、何百万もの概念がどのように表現されているかという研究結果を報告しました。 Mapping the Mind of a Large Language Model \ Anthropic https://www.anthropic.com/research/mapping-mind-language-model AIモデルの本体である大規模言語モデル(LLM)の出力はブラックボックスとして扱われており、入力に対応して出力が行われた時になぜその特定の応答が出力されたのかは不明となっています。そのため、モデルが有害・偏見・ウソなどの危険な出力をしないことを信頼するのは難しいものです。 Anthropicは以前よりLLMの内部についての研究を行っており、2023年10月には「特徴」単位でまとめるこ
三宅陽一郎氏が説く、シンギュラリティの向こう側 「業界はしばらく大騒動だけど、すごく新しくて、おもしろい」 スクエニ・三宅氏が語る、生成AIの発展により訪れる“ゲーム産業の一大変革期” 米国OpenAI社が公開した「ChatGPT」が盛り上がりを見せている中、議論されがちなのは“AIの脅威”。それではエンジニアやプログラマーにとって、AIは脅威なのでしょうか？それとも新たな相棒なのでしょうか？ 今回は、株式会社スクウェア・エニックスのジェネラル・マネージャー リードAIリサーチャーである三宅陽一郎氏に、AIの一般化によるエンジニア、そして人類の未来についておうかがいしました。全3回。3回目は、生成系AIの発展による、ゲーム業界の未来について。前回はこちら。 生成系AI活用の鍵は、いかにエンハンスメントに持っていくか ーー生成系AIは、何を出してくるかわからない怖さがあるとのことでしたが、コ
以下の記事が面白かったので、かるくまとめました。 ・Methods and tools for efficient training on a single GPU 1. LLMを単一GPUで効率的に学習する方法大規模モデルの学習では、次の2つを考慮する必要があります。 ・スループット・学習時間 ・モデルのパフォーマンス 「スループット」 (サンプル / 秒) を最大化すると、学習コストの削減につながります。これは通常、GPUメモリを限界まで利用することで実現されます。必要なバッチサイズがメモリオーバーする場合は、「Gradient Accumulation」などの「メモリの最適化」が必要になります。 ただし、「推奨バッチサイズ」がメモリに収まる場合は、学習が遅くなる可能性があるため、「メモリの最適化」を適用する必要はありません。どのバッチサイズが最良の結果をもたらすかを決定し、それに応じ
はじめに 今回始めて松尾研LLMコミュニティの初心者向け講座"Begginning LLM"の第一回に参加しました！ １～２ヶ月に１回ほど開催される連続講座のようでChatGPTで遊んだことあるけど本格的にLLMのこと知りたい！けど何からはじめていいのか分からないという人にぴったりの講座だと感じました。 この講座内容のすべては以下のYoutubeで公開されています。 今回のセミナーの中では松尾研所属のからあげさんが２つのユニットのセミナーを行っていました。 この記事ではからあげさんから学んだことを思ったままに書いていきます。 からあげさんはここがすごいぞ みなさんからあげさんのセミナーがとても気になって受講された方が多いんじゃないかな？と思いました。 もちろん、わたしも松尾研LLMでのからあげさんのご活躍が見たくて申し込みました！！！ 約100枚の圧倒的スライド数 まず、すごいボリュームの
次々とタイトルを奪取し、将棋界を席巻する天才・藤井聡太。その師匠である杉本昌隆八段が、瞬く間に頂点に立った弟子との交流と、将棋界のちょっとユーモラスな出来事を綴ったエッセイ集『師匠はつらいよ 藤井聡太のいる日常』（文藝春秋）。 その中の一篇「パソコンショップでの攻防」（2022年5月26日号）を転載する。 （段位・肩書などは、誌面掲載時のものです） ◆ ◆ ◆ パソコンの買い替えを藤井竜王に相談 私たちの仕事道具は将棋盤と駒だが、現代はそれとは別に欠かせないものがある。研究用のパソコンだ。 DL（ディープラーニング）系の将棋ソフトが形勢判断に優れているそうで、従来のものより評価が高い。藤井聡太竜王がそれで研究をしているとのことで、注目度は高いのだ。 起動させるためには高性能パソコンが必要で、これがかなり値が張る。昨年、渡辺明名人が購入されたパソコンは約130万円だとか。 実は私、長年使って
6年ぶりのATOK新エンジン、パーソナルAIでどう変わったのか。「ATOK2023」の今（小寺信良） | テクノエッジ TechnoEdge
18年間テレビ番組制作者を務めたのち、文筆家として独立。家電から放送機器まで執筆・評論活動を行なう傍ら、子供の教育と保護者活動の合理化・IT化に取り組む。一般社団法人「インターネットユーザー協会」代表理事。 モノカキにとって、キーボードは絵筆のようなものであるが、日本語変換エンジンはさらにもっと奥深いところにあるツールである。自分の頭の中にある文章を実際に文字化していく際に、同音異義語で誤変換されたり、あるいは求める漢字が全然出てこないと、思考が止まってしまい、どう話を展開したかったのか忘れてしまうことがある。これはストレスというより、まあまあ死活問題となり得る。 現在日本語変換エンジンは無料でも優秀なものが多く、Windows付属のIME、macOS付属の日本語変換、Google日本語入力などを使っている人も多いだろう。ライターでもこれらを使う人は多い。 そんな中で有料の日本語変換エンジ
オープンLLMの開発をリードする現場の視点から、開発の実情や直面する課題について発表したのは、Stability AI Japan株式会社の秋葉拓哉氏。Weights & Biasesのユーザーカンファレンス「W＆Bカンファレンス」で、LLM開発のポイントを紹介しました。全2記事。前半は、より優れたLLMを作るために必要なこと。前回はこちら。 より優れたLLMを作るために必要なこと 秋葉拓哉氏：めでたくFine-Tuningもできた。これけっこう、びっくりするかもしれません。コードはさすがにゼロとはいかないと思いますが、ほとんど書かずに実はLLMは作れます。 「さすがにこんなんじゃゴミみたいなモデルしかできないだろう」と思われるかもしれませんが、おそらく余計なことをしなければこれだけでも、まあまあそれっぽいLLMにはなるかなと思います。 なので、ちょっと、先ほどの鈴木先生（鈴木潤氏）の話と
PyTorchやTensorFlow互換のAI処理高速化プラットフォーム「MAX」プレビュー公開、Pythonを高速化した「Mojo」搭載
Modular社がAI処理を高速化するプラットフォーム「MAX」をプレビュー公開。PyTorchやTensorFlow、ONNXなどのAIモデルと入れ替えるだけで処理が最大5倍高速になる。 Pythonの高速なスーパーセット「Mojo」言語を発表したことで話題となったModular社が、AI処理を高速化するプラットフォーム「MAX」（Modular Accelerated Xecution）のデベロッパーエディションをブレビュー公開しました。 MAX Developer Edition Preview has officially launched! It's a drop-in replacement for running and serving @PyTorch, @tensorflow and @onnxai models much faster and leverages the
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
23/7/5 データサイエンスエキスパート合格 チートシートと攻略ガイド - LWのサイゼリヤ
Wolfram氏によるChatGPTの仕組みと機能に関する解説について｜IT navi
これぞ革命!?ゼロから大規模言語モデルを学習できるReLORA登場(7/18追記あり)｜shi3z
AWSのデッキ構築型カードゲーム「AWS BuilderCards」が日本語化
ChatGPT以前のソフトウェア開発は「石器時代」、プログラミングが劇的大変化のワケ
OpenAIを「限界点に達した」と退社したライケ氏、競合Anthropicで安全チーム結成へ
ChatGPT の仕組みを理解する（後編） - ABEJA Tech Blog
モデルパラメータの算術 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
『ゼロから作る Deep Learning ❺』 公開レビューのお知らせ｜斎藤 康毅（さいとう こうき）
「Googleレンズ」の威力を実感できる、便利な使い方7選
AI翻訳の「DeepL」、日本法人設立 世界2位の市場で事業を迅速化
リアルな猫型ロボット「KIMIT」、不具合で販売中止、回収へ 「電源をオフに」呼びかけ
ゼロからはじめるPython(106) プログラム生成AIのCodeLlamaを手元のPCでも動かしてみよう
ChatGPTはどのようなシチュエーションで使えるか 活用シーンと正しい答えが出やすくなる命令のやり方を解説
「業界はしばらく大騒動だけど、すごく新しくて、おもしろい」 スクエニ・三宅氏が語る、生成AIの発展により訪れる“ゲーム産業の一大変革期”
大規模モデルを単一GPUで効率的に学習する方法｜npaka
からあげさんってすごいなあポエム(松尾研LLMコミュニティ初心者セミナー)
「かなり将棋がお好きなんですねえ」藤井聡太の師匠がパソコンショップに行ったところ… | 観る将棋、読む将棋 | 文春オンライン
作るだけなら簡単なLLMを“より優れたもの”にするには 「Pretraining」「Fine-Tuning」「Evaluation & Analysis」構築のポイント