こんにちは。iOSの日本語入力アプリである「azooKey」を開発しているMiwaです。 azooKeyは最近macOS版の開発が進んでいます。このazooKey on macOSに、完全にローカルで動作するニューラルかな漢字変換エンジンである「Zenzai」を開発し、搭載します。この記事ではZenzaiの技術を解説します。 Zenzaiを搭載したazooKey on macOSは現在アルファ版としてリリースしています。macOSをご利用の方はぜひ入れて試してみてください！ Zenzaiの概要 日本語入力に欠かせないかな漢字変換ですが、その歴史は長く、50年にも及びます。この間様々なアルゴリズムが提案され利用されてきましたが、近年の技術開発はやや落ち着きつつあります。オープンソースのかな漢字変換ソフトウェアで今でも広く利用されているものは数えるほどしかありません。 クローズドソースのシステ
Amazon Kendra の Custom Document Enrichment と Amazon Bedrock で画像検索に対応する - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 皆さんは、「前のプレゼン資料に使った、犬の画像はどこいったかな？あの画像が欲しいので、探してくれないかな？」と無茶振りされたことはありませんか？ そんな時でも、「舌を出して喜んでいる」と検索すれば画像がヒットし、こんな無茶振りにも応えることができるシステムを Amazon Kendra （以下、 Kendra ）で構築しました。 舌を出して喜んでいる犬 ちょっと待って Kendra は機械学習を利用した検索サービスで、ウェブサイトや S3 に保存したドキュメントなどをもとに、適切な検索結果を返します。 しかし、 Kendra で検索できるのはテキストだけで、画像を S
高学歴､高収入､高スキルな人ほど｢リストラ候補｣になる…東大AI研究者が証言する｢AIと仕事｣の意外な関係 給料の低い｢肉体労働｣はAIの影響を受けにくい
長らく議論が続く「AIによる労働への影響」 「特別なスキルを必要としない賃金が低い仕事であるほど、コンピュータ／AIによる自動化の影響を受ける可能性が高い」 これは、コンピュータ／AIが労働に与える影響を分析する研究で、長らく共有されてきた主張です。この分野の研究はいくつか例がありますが、ほぼすべてでこの結論に達していたと言っていいでしょう。 ディープラーニング登場直後の2013年に発表された、オックスフォード大学のカール・フレイとマイケル・オズボーンによる世界的に有名な論文「雇用の未来」でもこの主張がされています。 また、2019年に出版された、同じくカール・フレイによる書籍『テクノロジーの世界経済史』（邦訳版は2020年、日経BP刊）でも、数多くの研究を俯瞰ふかんしながら同様の主張にまとめられています。 では、生成AIが登場した2023年現在に広く共有されている主張はどうなっているので
「EOS Rシステム」初のフラッグシップ機“EOS R1”を開発 新開発の映像エンジンシステムにより高性能AF・高画質を実現 | キヤノングローバル
ニュース 「EOS Rシステム」初のフラッグシップ機“EOS R1”を開発 新開発の映像エンジンシステムにより高性能AF・高画質を実現 キヤノンは、RFマウントを採用した「EOS Rシステム」初のフラッグシップモデルとして、フルサイズミラーレスカメラ“EOS R1”の開発を進めており、2024年中の発売を目指します。 EOS R1 ＊RF24-70mm F2.8 L IS USM装着時 現在開発中の“EOS R1”は、キヤノンの最先端技術を結集し、フラッグシップ機に求められる最高クラスの性能、高耐久性・高信頼性を兼ね備えたプロ向けミラーレスカメラです。静止画・動画性能をともに飛躍的に進化させ※、スポーツや報道、映像制作など幅広い分野の第一線で活躍するプロフェッショナルの高いニーズに応えます。 本機は、従来の映像エンジン「DIGIC X」に加え、新開発の映像エンジン「DIGIC Accele
顔認識技術は、セキュリティ、マーケティング、エンターテインメントなど、さまざまな分野で応用されています。 特に、ディープラーニングの発展により、顔認識の精度は飛躍的に向上し、より広い範囲で利用されるようになりました。 そんな中、Pythonで顔認識を手軽に実装できるオープンソースのフレームワーク「Deepface」が注目を集めています。 Deepfaceは、複数の最先端の顔認識モデルをラップしており、少ないコード量で高精度な顔認識を実現できます。 この記事では、そんなDeepfaceについて解説しています。 本記事の内容 Deepfaceとは？DeepfaceのインストールDeepfaceの動作確認 それでは、上記に沿って解説していきます。 GitHub - serengil/deepface: A Lightweight Face Recognition and Facial Attri
ナナロク世代とAI｜shi3z
理系の学生にちょっとした仕事を頼んだ。 「画像形式をどうするか聞かれたんですけど、ジェーイーピージーとかピーエヌジーとかどれを選べばいいですか」 そうか。理系といっても情報系じゃないから、JPEGをジェイペグと読むことを知らないのか。 ファイル形式の違いは、その形式フォーマットが生まれた背景を理解しないと適切なファイルを選べない。なるほど。 ひょっとすると僕はこのnoteを最近の読者が読むには少し難しく書き過ぎていたのかもしれない。最近は大学の講義が多いので、講義をきっかけに僕に興味をもってくれた学生がいたとしても、僕の記事は読み方さえわからない言葉がたくさん出てきてわけがわからない教科書みたいに見えているのかもしれない。これが老いるということか。 ほとんどの読者は、実はさりげなく置いてけぼりになっているのではないか。それでも今は少子化でナナロク世代(1976年生まれの人)以降の老人の方が
『なめらかな社会とその敵 PICSY・分人民主主義・構成的社会契約論』（勁草書房、2013年）を上梓した鈴木健と、本特集の監修者であり情報社会論にも通暁する法哲学者・大屋雄裕の対談をお届けする。 『なめらかな社会とその敵』は、生命システムから社会システムまでを論じ、「二項対立のない社会」を構想する特異な思想書。人文系の研究者だけではなく、エンジニアやクリエイターにも幅広く読まれる同書のインパクトは、出版から10年経ったいまも変わらない。それどころか、近年ではWeb3周辺のコミュニティでも予言の書のように参照されるなど、さらに影響力を増している。 本対談では、そんな「なめらかな社会」のアイデアを改めて検討しながら、同書刊行後の社会変化や技術進化について語り合う。民主主義の危機やガバナンスシステムの劣化に目を背けず、同時にブロックチェーンやAIといった技術の進展を眺望する議論は、現実を踏まえつ
AIの可能性を再定義するHBM、その構造を理解する
AIへの関心が高まり、データストレージの需要 高帯域幅メモリ(HBM)が注目を集めています。人工知能(AI)が進化し続けるのに伴い、その需要も増え続けているのです。こうした需要に応えるべく、多くの主要テクノロジー企業がHBMに注力しています。HBMは、低エネルギー消費でより高速なデータアクセスを実現する様に設計された、高度なコンピューターメモリです。これはAIにとって、メモリチップの性能面と消費電力の削減という点で、重要な要素になります。 HBMは3D積層を採用しており、先端パッケージング技術を使用して、複数のデバイス層を垂直に積み重ねます。専用のDRAMチップを垂直に積層して、高速チャンネルで接続することにより、複雑なAIタスクの実行に必要な高速なデータ交換を可能にしています。 生成AIやデータ処理といった新たな成長ドライバーは、まだ導入の初期段階であり、HBMの市場ポテンシャルは今後も
文中の図は理がない限り、原論文あるいはドキュメントからの引用です。 KANってなに？ KAN（Kolmogorov-Arnold Network） は2024年4月30日にプレプリント公開サイトarXivに投稿された論文 にて提案された従来のMLPとは異なる新たなニューラルネットワーク構造です。1 コルモゴロフ・アーノルド表現定理（Kolmogorov-Arnold representation theorem）に基づいて設計されており、非線形な活性化関数そのものを直接学習することから、パラメータ効率が良く、学習結果の解釈可能性が高いことが特徴です。 上の画像は$x, y$を入力として$\exp(\sin(\pi x)+y^2)$を正解として学習させるケースを示した図ですが、元の関数の関係性がそのまま活性化関数の形状として学習され現れていることが読み取れます。 コルモゴロフ・アーノルド表現
【DL輪読会】Evolutionary Optimization of Model Merging Recipes モデルマージの進化的最適化
Google DeepMindがすべての生命分子の構造と相互作用をきわめて正確に予測できるAIモデル「AlphaFold 3」を発表
Google DeepMindがAI系創薬企業のIsomorphic Labsと協力し、タンパク質やDNA、RNA、リガンドなど生命分子の構造と相互作用をきわめて正確に予測できるAIモデル「AlphaFold 3」をリリースしました。 Google DeepMind and Isomorphic Labs introduce AlphaFold 3 AI model https://blog.google/technology/ai/google-deepmind-isomorphic-alphafold-3-ai-model/ Accurate structure prediction of biomolecular interactions with AlphaFold 3 | Nature https://www.nature.com/articles/s41586-024-0748
Amazon Bedrock と Pinecone でマルチモーダル検索を行う - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 皆さんは、飼っている猫が寂しそうだから兄弟みたいな犬を連れてきてあげようかな、と思ったことはありませんか？ 私は猫も犬も飼ったことがないので何とも言えませんし、なぜ犬かはさておき、マルチモーダル検索を使えばそんな要望にも応えることができます。 茶トラにはレトリーバーがお似合い 概要 マルチモーダル検索 Titan Multimodal Embeddings Pinecone 構成 Titan Multimodal Embeddings でベクトル化する Pinecone で類似画像を検索する できること テキストでの検索 画像での検索 カテゴリを指定した検索 処理時間
コルモゴロフ・アーノルド・ネットワークス(KAN;Kolmogorov–Arnold Networks)は、MITとカルテック、ノースイースタン大学、NSF人工知能および相互作用研究所らの共同研究によって生まれた、これまでの多層パーセプトロン(MLP;Multi Layer Perceptron)に変わるニューラルネットワークだそうな。 先週一番話題になったので知ってる人も多いと思う。 AIの世界は恐ろしく、世界の片隅で新発見がされるとそれが一週間もしないうちに世界中でテストされ、改良され、確認され、解析される。 KANの公式な実装には機械学習屋がHello Worldと呼ぶMNIST(手書き数字6万字を学習させて精度を競うモノ)がなかった。それどころかGPUも使われていなかったので、「一体全体どうすれば?」と困惑するしかなかったのだが、さすが世界は広い。すでにEfficient-KANや
◆深層学習において、過去の学習過程をモデル間で再利用する全く新たな仕組みとして「学習転移」技術を実現しました。 ◆本技術は、深層学習におけるパラメータ空間の高い対称性を活用し、実際に学習することなく低コストな変換により数秒～数分程度で一定の精度を実現できるため、モデルの再学習コストを抜本的に削減できることを示しました。 ◆これにより、NTTが研究開発を進める大規模言語モデル（LLM）「tsuzumi（*1）」をはじめとした多様な基盤モデル（*2）の運用コスト削減・消費電力の削減や、多数のAIで議論することで多様な解の創出をめざしたAIコンステレーション（*3）の構想具現化など、次世代のAI技術開発に貢献します。 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、深層学習において過去の学習過程をモデル間で再利用する全く新たな仕組みとして「学習転移」技術
1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
Sakana.aiが公開した「Evolutionary Model Merge」手法を「mergekit」で実施してみる - Taste of Tech Topics
皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 日々、LLMが進化していて、画像が本職（のはず）の私ですら、ここ数年LLMの勉強をはじめています。 学習してモデル公開しましたといった記事はよく見ますが、今回は今、非常に注目されている日本に拠点があるAIスタートアップである「Sakana.ai」が公開した「Evolutionary Model Merge」を使う話をします。 Evolutionary Model Merge 「Evolutionary Model Merge」は「Sakana.ai」から発表された進化的モデルマージと呼ばれる技術です。 端的に言ってしまえば、複数のモデルを利用して新し
GitHub - Blealtan/efficient-kan: An efficient pure-PyTorch implementation of Kolmogorov-Arnold Network (KAN).
This repository contains an efficient implementation of Kolmogorov-Arnold Network (KAN). The original implementation of KAN is available here. The performance issue of the original implementation is mostly because it needs to expand all intermediate variables to perform the different activation functions. For a layer with in_features input and out_features output, the original implementation needs
5/3～5/5に開催された第34回世界コンピュータ将棋選手権にHEROZチームとして、「dlshogi with HEROZ」というプログラム名で参加しました。 大会の概要 世界コンピュータ将棋選手権は、1990年より毎年開催されている歴史のあるコンピュータ将棋の大会です。 今回は34回目の開催で、45チームが参加しました。 第1予選、第2予選を通過した上位8チームで総当たりのリーグ戦で決勝戦が行われました。 大会の結果 決勝リーグでは最終戦で自力で勝てば優勝でしたが千日手になり、トップの「お前、 CSA 会員にならねーか？」(tanuki-チーム)と勝ち点同一でSB差で準優勝という結果になりました。 なお、二次予選は昨年とは異なり苦戦を強いられて、ボーダーラインで辞退があったため繰り上げで決勝に進めました。苦戦した事情は後述します。 今大会の特徴 定跡が出回った 先手勝率が高い角換わりの
AIの新星ニューラルネットワーク「KAN」とは？ LLMが“カンニング”して評価を盛ってた？ など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第45回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ 高精度なニューラルネットワーク・アーキテクチャ「KAN」をMITなどの研究者らが開発 1手先のトークン予測ではなく、4手先のトークンを同時に予測するモデルをMetaなどが開発 医療分野に特化したマルチモーダル大規模言語モデル「Med-Gemini」をGoogleが開発 大規模言語モデルが答えに相当するベンチマークを事前に学習し、高い評価を出していた？ AIカンニング問題を指摘した研究 一貫性の高い長編ビデオをテキストから生成するAIモデル「StoryDiffusion」 高精度なニューラ
はじめに 今回始めて松尾研LLMコミュニティの初心者向け講座"Begginning LLM"の第一回に参加しました！ １～２ヶ月に１回ほど開催される連続講座のようでChatGPTで遊んだことあるけど本格的にLLMのこと知りたい！けど何からはじめていいのか分からないという人にぴったりの講座だと感じました。 この講座内容のすべては以下のYoutubeで公開されています。 今回のセミナーの中では松尾研所属のからあげさんが２つのユニットのセミナーを行っていました。 この記事ではからあげさんから学んだことを思ったままに書いていきます。 からあげさんはここがすごいぞ みなさんからあげさんのセミナーがとても気になって受講された方が多いんじゃないかな？と思いました。 もちろん、わたしも松尾研LLMでのからあげさんのご活躍が見たくて申し込みました！！！ 約100枚の圧倒的スライド数 まず、すごいボリュームの
Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametriz
GitHub - KindXiaoming/pykan: Kolmogorov Arnold Networks
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ChatGPTを10倍以上高速化、秒速1,000兆回の演算ができるAIチップを開発 シリコンバレーで注目されるAIスタートアップGroqとは | AMP[アンプ] - ビジネスインスピレーションメディア
NVIDIAに対抗するAIスタートアップGroqとは？ NVIDIAが驚異的な決算を記録する中、シリコンバレーで密かに注目を集めているスタートアップがある。大規模言語モデル（LLM）の推論に特化したAIチップ「言語処理ユニット（LPU）」を開発するGroqだ。 VentureBeat（2024年2月23日）の報道によると、Groqは「年末までに、（同社のAIチップが）LLMスタートアップの主要インフラとして広く使用されることになるだろう」と予測されており、NVIDIAが圧倒的なシェアを占める市場で一石を投じる構えを見せている。 Groqの創業者でCEOを務めるジョナサン・ロス氏は、CNNのインタビューで同社のオーディオチャットインターフェースを披露し、「スピード記録を打ち破る」と自信を見せた。実際、Groqのチャットアプリのデモ版では、ユーザーが選択した「Llama」や「Mistral」モ
![ChatGPTを10倍以上高速化、秒速1,000兆回の演算ができるAIチップを開発 シリコンバレーで注目されるAIスタートアップGroqとは | AMP[アンプ] - ビジネスインスピレーションメディア](https://cdn-ak-scissors.b.st-hatena.com/image/square/082876f96f10999bb44dfa8b23e5f52283eda67a/height=288;version=1;width=512/https%3A%2F%2Fampmedia.jp%2Fwp-content%2Fuploads%2F2024%2F03%2Fshutterstock_1928860634-2.jpg)
歴史から忘れ去られたAIプロジェクト「Cyc」
1980年代に誕生し、人間の質問に適切に答えられる性能を発揮するなどその頭角を現したものの、ディープラーニングなどの手法が流行するにつれて忘れ去られていったAIプロジェクト「Cyc」について、テクノロジー専門家のI・A・フィッシャー氏が紹介しました。 Cyc: history's forgotten AI project - by I. A. Fisher https://outsiderart.substack.com/p/cyc-historys-forgotten-ai-project 1983年、AIの研究者グループがスタンフォード大学に集まり、「いかにして常識を備えた機械をプログラムするか」という議題について話し合いました。 会合の主催者であるスタンフォード大学のダグ・レナト教授は、1970年代にAM(Automated Mathematician)というシステムを開発した人物で
Agents for Amazon Bedrock の作成がより簡単になった！ - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 先日Amazon Bedrock（以下、 Bedrock）の新機能が複数発表されましたが、今回は「Agents for Amazon Bedrock」（以下、エージェント）作成に追加されたアップデートを確認します。 以前、当社のブログでエージェントを扱った記事があったので、同じことをやってみて、どれくらい変わったのか確認してみます。 acro-engineer.hatenablog.com 概要 Bedrock エージェントでEC2インスタンスを作成する エージェント名入力 エージェントの詳細入力 アクショングループの追加 Lambda 作成 作成したエージェントを試
PyTorch の社内勉強会の題材にしたいと思い立ち、畳み込みニューラルネットワーク（Convolutional Neural Network, CNN）を用いた自己対戦型強化学習の三目並べ AI を実装したので公開します。見通しの良いシンプルな実装を目指しました。結局、それなりのコード量になってしまいましたが。 動作環境 Google Colaboratory の CPUランタイムにて動作を確認しました。 概略 おおまかな処理フローは次図の通りです。盤面情報を受け取った先攻方策と後攻方策は、○×を書き込む場所を返します。この先攻方策と後攻方策に AI を実装し自己対戦させます。 盤面情報は、空白マスをゼロ、先攻 ○ を+1、後攻 × を-1とした形状 (H,W)=(3,3) の二次元配列とします。 盤面座標は、場合により二次元座標と1次元に展開したフラット座標を使い分けます。 三目並べの
1 GPUとは GPU（Graphics Processing Unit）は、PC内で画像処理などの特定のタスクを高速に処理することを目的とした専用の装置です。 主に画像処理やAI（人工知能）、科学計算などの分野で活用されています。CPU（Central Processing Unit）が一般的な演算や制御を担当するのに対し、GPUは大量のデータを並行して処理することが得意で、これにより高速な演算処理を実現しています。もともとは画像処理を目的に誕生しましたが、近年では機械学習などAI関連分野での活用が増加しており、生成AIのブームを追い風に、世界的に需要が高まっています。 2 GPUとCPUの違い GPUとCPUには以下のような違いがあります。 2.1 設計思想と役割 CPUは一般的な演算や制御を担当するために設計されていて、プログラムの実行やOS（オペレーティングシステム）の管理などPC
世界平均を超えるようになった“日本の生成AI活用度” 日進月歩の技術におけるアジャイルガバナンスの必要性 生成AIの衝撃 ～ アジャイルガバナンスの必要性と3ディメンジョン・モデルによる進化へ #1/4 日本は生成AIの活用がとんでもなく進んでいる 森正弥氏：森正弥です。「生成AIの衝撃 アジャイルガバナンスの必要性と3ディメンジョンモデルによる進化」と題して、話題提供をできればと思います。 今ちょっと気づいたんですけど、ストリーミング用のカメラがありますね？私は普通にこう歩きながら話すんですけど（笑）。そうすると、ナチュラルにフレームアウトしていく感じになるので、どうしようかなとちょっと思っています。 生成AI、「ChatGPT」の衝撃はすごいですよね。「自分のコーディングやプログラミング、あるいは趣味でのいろんなデザインとか、クリエイティブな仕事とか作業でもう使っているよ」という方は手
Azure OpenAI Service の Assistants API でデータ分析 - Taste of Tech Topics
こんにちは、igaです。 最近は気温の上下が大きいので、服装選びが大変ですね。 今回は、Azure OpenAI Servce Assistants APIを使ってみました。 Azure OpenAI Servce Assistants APIに横浜市の人口データを投入して、人口の増減がどう推移しているのか自動で分析させてみました。 Azure OpenAI Servce Assistants API Azure OpenAI Servce Assistants APIとは Azure OpenAI Servce Assistants APIは、2024年4月現在パブリックプレビューとして利用できる機能です。 learn.microsoft.com Azure OpenAI Servce Assistants API（以降、Assistantsと表記します）により、Azure OpenAI
Winnyの金子勇さんが考案された機械学習アルゴリズムED法を再現して実装した人がいていま話題になっている。 『Winny』の金子勇さんの失われたED法を求めて…いたら見つかりました https://qiita.com/kanekanekaneko/items/901ee2837401750dfdad いまから書くことは私の記憶頼りなので間違ってたらコメント欄で教えて欲しい。 1998年ごろだと思うのだが、私はWinnyの金子勇さんのホームページの熱心な読者だった。(ページも全部保存してたので私のHDDを漁れば出てくると思うが、すぐには出せない。) Winnyのβ版が発表されたのが2002年なのでそれよりはずいぶん前である。 当時、金子さんはNekoFightという3D格闘ゲームを公開されていた。そのゲームには、自動的に対戦から学習するAIが搭載されていた。 当時の金子さんのホームページの
MLX で Llama 3 を試す｜npaka
「MLX」で「Llama 3」を試したので、まとめました。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 2. 推論の実行「MLX」は、Appleが開発した新しい機械学習フレームワークで、「Apple Silicon」(M1/M2/M3など) を最大限に活用するように設計されています。 推論の実行手順は、次のとおりです。 (1) Pythonの仮想環境の準備。 今回は、「Python 3.10」の仮想環境を準備しました。 (2) パッケージのインストールと実行。 今回は「mlx-community/Meta-Llama-3-8B-Instruct-4bit」のモデルを利用します。 pip install mlx-lm mlx_lm.generate --model mlx-community/Meta-Llama-3-8B-Instruct-4bit -
EDLA
誤差拡散学習法のサンプルプログラム 99/7/12 公開 99/7/16 詳細追加 99/8/6 一部修正 99/8/19 論文追加 99/10/27 経過報告 ED法サンプルプログラム（UNIX汎用、tgz、4KB） 階層型神経回路網（ニューラルネットワーク）の教師あり学習アルゴリズムである誤差拡散学習法（ED法）のサンプルプログラムです。 比較のために用いたバックプロパゲーション法（ＢＰ法）のサンプルプログラムも示しておきます。 慣性項ありBP法のサンプルプログラム（UNIX汎用、tgz、4KB） なお、これらのプログラムでは、階層型構造をリカレント型の一種とみなして計算しています。また、パラメータ入力の際には、単にリターンを押すとデフォルト値（括弧の中の値）が用いられるようになっていますので、実行の際にはリターンを連打すればＯＫです。また、X-Windowを用いてトータルエラーのグラ
GitHub - pytorch/torchtune: A Native-PyTorch Library for LLM Fine-tuning
torchtune is a PyTorch-native library for easily authoring, fine-tuning and experimenting with LLMs. We're excited to announce our alpha release! torchtune provides: Native-PyTorch implementations of popular LLMs using composable and modular building blocks Easy-to-use and hackable training recipes for popular fine-tuning techniques (LoRA, QLoRA) - no trainers, no frameworks, just PyTorch! YAML co
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ニューラルかな漢字変換エンジン「Zenzai」をazooKey on macOSに搭載します
グーグルのAI祭り「Google I/O 2024」基調講演を総まとめ
PythonとDeepfaceで始める顔認識 – 初心者から上級者まで
なめらかな社会は近づいているか | 【公式】攻殻機動隊グローバルサイト
本家Examplesで知る、新たなニューラルネットワーク『KAN』の威力 - Qiita
【DL輪読会】KAN: Kolmogorov–Arnold Networks | ドクセル
AlphaFold 3 predicts the structure and interactions of all of life’s molecules
最後にKANは勝つのか?MLPに変わると主張されるKANを試す｜shi3z
世界初、AIモデルの再学習コストを大幅に削減可能な過去の学習過程を再利用する「学習転移」を実現～NTT版LLM「tsuzumi」など基盤モデルの更新・差し替えを容易に～ | ニュースリリース | NTT
第34回世界コンピュータ将棋選手権 結果報告 - TadaoYamaokaの開発日記
からあげさんってすごいなあポエム(松尾研LLMコミュニティ初心者セミナー)
KAN: Kolmogorov-Arnold Networks
自己対戦で強化学習する三目並べ AI をPyTorchで実装 - Qiita
AI分野での活用も増加している「GPU」の種類と選び方を学ぼう
世界平均を超えるようになった“日本の生成AI活用度” 日進月歩の技術におけるアジャイルガバナンスの必要性
Winnyの金子さんのED法について | やねうら王 公式サイト