コルモゴロフ・アーノルド・ネットワークス(KAN;Kolmogorov–Arnold Networks)は、MITとカルテック、ノースイースタン大学、NSF人工知能および相互作用研究所らの共同研究によって生まれた、これまでの多層パーセプトロン(MLP;Multi Layer Perceptron)に変わるニューラルネットワークだそうな。 先週一番話題になったので知ってる人も多いと思う。 AIの世界は恐ろしく、世界の片隅で新発見がされるとそれが一週間もしないうちに世界中でテストされ、改良され、確認され、解析される。 KANの公式な実装には機械学習屋がHello Worldと呼ぶMNIST(手書き数字6万字を学習させて精度を競うモノ)がなかった。それどころかGPUも使われていなかったので、「一体全体どうすれば?」と困惑するしかなかったのだが、さすが世界は広い。すでにEfficient-KANや
クリエイターの創作活動を支えるファンコミュニティ「pixivFANBOX」
本記事では、「Adaptive-RAG」についてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは普段の業務で、生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、Adaptive系で現在、最も「コスパ」が良いとされる「Adaptive-RAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー RAGの回答精度を高めるための手法です。韓国科学技術院（KAIST）の研究者らによって2024年3月に提案されました。「Adaptive-RAG」という手法を使うメリットは、ユーザーからの入力としてシンプルな質問・複雑な質問、どちらも想定される場合に、「そこまで遅くなりすぎずに、ある程度の回答精度がでる」という点
GitHub、「Copilot Workspace」テクニカルプレビューを開始。ほとんど全ての開発工程をAIで自動化
GitHub、「Copilot Workspace」テクニカルプレビューを開始。ほとんど全ての開発工程をAIで自動化 テクニカルプレビューは上記のCopilot Workspaceのページからウェイトリストボタンをクリックして申し込みます。 Copilot Workspaceはほとんど全ての工程を自動化 Copilot Workspaceは、自然言語で書かれたIssue（課題）を基に、Copilotが仕様案と実装計画を示し、コーディングや既存のコードの修正を行い、ビルドをしてエラーがあればデバッグも行うという、プログラミングのほとんど全ての工程をCopilotが自動的に実行してくれる、というものです。 人間は各工程でCopilotから示される内容を必要に応じて修正するか、そのまま見守ることになります。 GitHub CEOのThomas Dohmke（トーマス・ドムケ）氏は、Copilot
グラフニューラルネットワーク - Forkwell Library #50 https://forkwell.connpass.com/event/315577/ での講演スライドです。 サポートサイト：https://github.com/joisino/gnnbook グラフニューラルネットワーク（機械学習プロフェッショナルシリーズ）好評発売中！：https://www.amazon.co.jp/d/4065347823 連絡先: @joisino_ (Twitter) / https://joisino.net/
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし
最近オープンになる大規模言語モデル（LLM）が、軒並みGPT-4レベルの性能となっています Huggngfaceで無料でダウンロードできるのですが、問題は必要VRAM容量です 話題の、Command-r-Plusは、日本語性能について評価が高く、一部の性能はGPT-4並みと言われますが、さすがに大型で104Bパラメータもあるため、4bitに量子化しても60GB程度のVRAMが必要となります。 コンシューマークラスのGPUの最高峰、RTX4090は、VRAM24GBのため、command-r-plusをすべてGPUに載せて推論しようと考えると、3台のマルチGPUデスクトップが必要です しかし、RTX4090は450W消費のGPUのため冷却機構が大きく、1デスクトップに3台収めるのは至難の業となります。 先日、水冷ラジエーター付きRTX4090で、マルチGPUデスクトップを作成しました。 水冷
Introducing Meta Llama 3: The most capable openly available LLM to date
Today, we’re introducing Meta Llama 3, the next generation of our state-of-the-art open source large language model.Llama 3 models will soon be available on AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM, and Snowflake, and with support from hardware platforms offered by AMD, AWS, Dell, Intel, NVIDIA, and Qualcomm.We’re dedicated to developing Llama 3
「パパ、ママ、会いに来たよ」AIで死者を“復活” 中国で新ビジネスが論争に 「冒とく」か「心の救済」か | TBS NEWS DIG
世界では今、インプットされたデータから文章や画像などを自動で作り出す「生成AI」の技術が急速に進化しています。こうした中、中国では「生成AI」を使って亡くなった人を「復活」させるビジネスが登場し、論争を…
Vocoflex | Dreamtonics株式会社
Vocoflexは、Dreamtonicsの音声モーフィング技術研究により生まれた 実験的な製品です。
","eos_token":"<|endoftext|>","pad_token":"<|endoftext|>","unk_token":"<|endoftext|>"}},"discussionsDisabled":false,"downloads":1177,"downloadsAllTime":1177,"id":"kotoba-tech/kotoba-whisper-v1.0","isLikedByUser":false,"isWatchedByUser":false,"inference":"Yes","lastModified":"2024-04-22T01:56:19.000Z","likes":27,"pipeline_tag":"automatic-speech-recognition","library_name":"transformers","librariesO
Introducing OpenAI Japan
As we grow our operations internationally, we’re expanding into Asia with a new office in Tokyo, Japan. We are committed to collaborating with the Japanese government, local businesses, and research institutions to develop safe AI tools that serve Japan’s unique needs and to unlock new opportunities. We chose Tokyo as our first Asian office for its global leadership in technology, culture of servi
AIの歴史と現在の問題 - デマこい！
ジョン・ヘンリーの教訓 19世紀の都市伝説に「ジョン・ヘンリー」という人物がいます[１]。 彼は屈強な肉体労働者で、ハンマーを振るって岩に穴を開ける達人でした。ところが蒸気機関で動くドリルの登場により、彼は失業の危機に瀕します。そこで彼は、人間は機械よりも優れていることを示すために、穴開け競争で蒸気ドリルに戦いを挑んだというのです。 伝説によれば、ジョン・ヘンリーは（驚くべきことに）僅差で勝利を収めたとされています。しかし、あまりにも肉体を酷使したために、勝利の直後にその場で倒れて帰らぬ人になりました。周囲の野次馬たちは言いました。「彼は人間らしく死んだ」と。 この逸話から得られる教訓は何でしょうか？ 「機械と競い合うのは命にかかわる」とか「バカバカしい」とかではないと私は思います。それはあまりにも表層的な解釈です。生成ＡＩが躍進する現在、ジョン・ヘンリーは遠い過去の伝説ではありません。現
AI作曲サービスの新星「Udio」が誰でも利用可能に。Sunoを超えたか、試してみた（CloseBox） | テクノエッジ TechnoEdge
Suno対抗のAI作曲サービスとして前評判の高かったUdioがパブリックベータとして一般公開されました。
Scaling laws describe the relationship between the size of language models and their capabilities. Unlike prior studies that evaluate a model's capability via loss or benchmarks, we estimate the number of knowledge bits a model stores. We focus on factual knowledge represented as tuples, such as (USA, capital, Washington D.C.) from a Wikipedia page. Through multiple controlled datasets, we establi
GitHub - facebookresearch/schedule_free: Schedule-Free Optimization in PyTorch
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Command R+ is a state-of-the-art RAG-optimized model designed to tackle enterprise-grade workloads, and is available first on Microsoft Azure Today, we’re introducing Command R+, our most powerful, scalable large language model (LLM) purpose-built to excel at real-world enterprise use cases. Command R+ joins our R-series of LLMs focused on balancing high efficiency with strong accuracy, enabling b
","chat_template":[{"name":"default","template":"{{ bos_token }}{% if messages[0]['role'] == 'system' %}{% set loop_messages = messages[1:] %}{% set system_message = messages[0]['content'] %}{% elif false == true %}{% set loop_messages = messages %}{% set system_message = 'You are Command-R, a brilliant, sophisticated, AI-assistant trained to assist human users by providing thorough responses. You
基盤モデルの開発をしている中で苦労することは？ 南野充則氏（以下、南野）：では、ここからパネルディスカッションに移っていきたいと思います。最初は、こちら側でお題を用意しています。大きなトピックとしては、基盤モデルの開発とコスト、基盤モデルにおけるアカデミアとビジネスの観点でどのような考え方をされているのかというところ。 あとは、日本語特化LLMの意義と展望といったところですね。大きなトピックとして揃えていますが、今「Slido」でのご質問もいただいていますので、適宜Slidoも拾いながらやっていければと思います。Slidoは、このQRコードからみなさんに質問していただければと思います。 さっそくですが、トピック1に移っていきたいと思います。「基盤モデルの開発をしている中で苦労されることは？」というところで、これはまず垣内さんからお願いしたいです。この基盤モデルを作っている中でどんな苦労があ
漫画家の著作権を守るAI
エンドルフィン株式会社（本社：東京都港区、代表：張鉉洙）、株式会社SUPERNGINE（本社：韓国、代表：KIM DONGJUN）は2024年3月27日、東京・永田町にて開催された一般社団法人マンガジャパン及びデジタルマンガ協会合同「早春の会」にて、ピュアモデルAIによって制作したマンガ作品を初披露いたしました。 現在、市場で出回っている生成AIの多くは他の権利者の絵柄も学習した状態であるため、安易に使用してしまうと作家本来の”個性”が失われるだけでなく、著作権侵害のリスクもはらんでいます。 一方で、エンドルフィン株式会社と株式会社SUPERNGINEが提供するサービスは、契約した漫画家のデータだけを学習させる、ピュアモデルAIによるものです。 加えて、著作権者である漫画家の許可がなければ作動せず、また漫画家自身がそのすべての学習成果をコントロールできるよう、オーダーメイド型でサービスを提
なお、今回作ったRerankerの技術的な話は、日本語 Reranker 作成のテクニカルレポートに記載しているので、興味のある方はそちらをご覧ください。 そもそも Reranker とは？ Reranker とは、名前の通り再ランク付け(rerank)するもので、質問文に対して関連する順に文章を並べ替えます。文ベクトル(文章のembeddings)で類似度を測って並べ替えするものと何が違うのか？と思われるかもしれませんが、実際、文ベクトル類似度でも同じように並べ替えが可能です。 しかしながら、大きく二つの点で異なります。 Reranker は再ランク性能が高い 文ベクトルは、質問文と文章を同じベクトル空間上の表現として類似度を測ります。そのため大規模なデータに対しても事前に文章のベクトルを算出しておくことで、効率的な計算が可能です。 しかしながら、Reranker は再ランクに特化してお
LLMの現在 - Speaker Deck
今のLLMを取り巻く状況について紹介します。
中学生でもわかる深層学習
第1章 理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章 応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理 (p.151-) ・講演のまとめ (p.167-)
こんにちは、ニケです。 皆さん、CursorとClaude使っておりますでしょうか？ ブラウザ版Claudeに課金してはや数週間、もうこれがないとコーディングもままならないくらいには依存しちゃっています。 それまではCursorのChat欄メイン、たまーにうまくいかないときにChatGPTを使っていましたが、もう完全に乗り換えてしまいました。 GPTsのようなChatGPT専用の機能も元々あまり使っていなかったので、今回のサムネ作成で2週間ぶりに使用…（もうサブスク辞めようかな というわけで今回は私が普段どうやってCursorとClaude使って開発しているのかを共有したいと思います。 ⚠ 以降の説明は、Cursor有料版（$20）と ブラウザ版Claude（$20）が前提となっています。 ⚠ 私の環境ではGithub Copilotも有効になっていますが、CursorのCopilot機能
Amazon、生成 AI の Anthropic にさらに27億5,000万ドル（約4,150億円）出資ーー同社史上「最大規模」 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
VentureBeat made with Midjourney V6 Amazon（アマゾン）は、人工知能スタートアップの Anthropic（アンスロピック）に追加で27億5000万ドル（訳註：現在の日本円レートで約4,150億円）を投資したことを発表した。これにより、昨年最初に約束した12億5000万ドルと合わせ、総額40億ドルの投資が確定した。 CNBC によると、これは Amazon にとって「最大のベンチャー投資」である。 Amazon Web Services（AWS）の Data and AI 担当バイスプレジデントである Dr. Swami Sivasubramanian（スワミ・シバスブラマニアン）博士は、 Amazon の企業ブログに掲載された声明の中で次のように述べている。 「Anthropic の生成 AI に関する先見の明のある取り組み、特に最近導入された最先端
GitHubは、脆弱性のあるコードをAIボットが自動的に発見、修正したコードとその解説をプルリクエストしてくれる「code scanning autofix」（コードスキャン自動修正機能）を発表しました。 Meet code scanning autofix, the new AI security expertise now built into GitHub Advanced Security! https://t.co/cTDuKZCWMv — GitHub (@github) March 20, 2024 下記がそのコードスキャン自動修正機能の説明です。「Found means fixed: Introducing code scanning autofix, powered by GitHub Copilot and CodeQL」から引用します。 Powered by GitH
概要 Sakana AIは進化や集合知などの自然界の原理を応用して基盤モデルを開発することを目指しています。私達の目標は、モデルを自ら訓練し開発することだけではありません。基盤モデルの開発を効率化、高度化、自動化するための新たな手法を生み出すことに挑戦しています。この目標に向けた第一歩として、私たちはプレプリント「Evolutionary Optimization of Model Merging Recipes （モデルマージの進化的最適化）」を公開しました。 このリリースの要点は以下の通りです。 進化的モデルマージという手法を提案します。これは、多様な能力を持つ幅広いオープンソースモデルを融合（マージ）して新たな基盤モデルを構築するための方法を、進化的アルゴリズムを用いて発見する手法です。私たちの手法は、ユーザーが指定した能力に長けた新しい基盤モデルを自動的に作成することができます。既
はじめに Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages という論文では、LLMの学習済み重みパラメータの足し引きによって、事前学習済みモデルに対話能力を与えることができるという結果が示されています。 具体的には、英語で事前学習されたモデル（以下ではベースモデルと呼びます）と、ベースモデルを指示チューニング (instruction tuning)してチャット形式の対話ができるようにしたモデル（英語チャットモデル）、ベースモデルを英語以外の言語で継続事前学習したモデルの３つのモデルを用います。 英語チャットモデルの重みからベースモデルの重みを引いたものは、チャット形式で対話ができる能力を表したベクトルであり、そのベクトルを
Pretraining Large Language Models (LLMs) on large corpora of textual data is now a standard paradigm. When using these LLMs for many downstream applications, it is common to additionally bake in new knowledge (e.g., time-critical news, or private domain knowledge) into the pretrained model either through RAG-based-prompting, or fine-tuning. However, the optimal methodology for the model to gain su
Claudia - Anthropic ClaudeのC# SDKと現代的なC#によるウェブAPIクライアントの作り方 2024-03-18 AI関連、競合は現れども、性能的にやはりOpenAI一強なのかなぁというところに現れたAnthropic Claude 3は、確かに明らかに性能がいい、GPT-4を凌駕している……！というわけで大いに気に入った（ついでに最近のOpenAIのムーブが気に入らない）ので、C#で使い倒していきたい！そこで、まずはSDKがないので非公式SDKを作りました。こないだまでプレビュー版を流していたのですが、今回v1.0.0として出します。ライブラリ名は、Claudeだから、Claudiaです！.NET全般で使えるのと、Unity(Runtime/Editor双方)でも動作確認をしているので、アイディア次第で色々活用できると思います。 GitHub - Cyshar
公開されている大規模言語モデルをどの程度のデータで Fine Tuning すれば Claude や ChatGPT などの API 公開されているモデルの精度に匹敵するのか検証した資料です。 言語処理学会第30回年次大会 併設ワークショップ 日本語言語資源の構築と利用性の向上 (JLR2024) での発表資料です。 実装はこちら https://github.com/aws-samples/aws-ml-jp/tree/main/tasks/generative-ai/text-to-text/evaluation/lm-evaluation-harness 先行し公開したブログ https://aws.amazon.com/jp/blogs/news/cost-efficiency-of-api-and-oss-generative-ai/
Claude3にプロジェクト全体をぶち込むためのプロジェクトの構造とファイル内容を自動でまとめるPythonスクリプト
はじめに Claude3Opusはものすごい能力で、手動で作成するのは面倒なプロジェクトのドキュメンテーションなどを一撃で生成してくれます。 しかし、プロジェクト全体の内容をWebのCladeには投入できないし、ファイルを１個ずつコピペするのもかなり時間を要します。 頼みのCursorもClaudeは対応していないので@Codebase機能が利用できません・・・ そこで、Pythonスクリプトを使ってプロジェクトのフォルダ構造とファイルの内容を自動的にまとめるスクリプトを作成したので紹介します！ このスクリプトを使うことで、プロジェクトを200kトークンまでの単一のテキストにまとめ、Claude3Opusに簡単に投入できるようになります。 スクリプトの機能と使い方 このPythonスクリプトは以下のような機能を持っています： プロジェクトのフォルダ構造をMarkdown形式で生成。※本当は
【ブリュッセル時事】欧州連合（EU）欧州議会は13日、フランス東部ストラスブールで本会議を開き、人工知能（AI）の開発や利用を巡る世界初の規制法の最終案について、賛成多数で承認した。 【ひと目でわかる】生成AIを巡る米企業トップの発言 加盟国の合意を経て施行される見通し。 規制案では、AIのリスクを四つに分類。リスクに応じた措置を事業者に義務付けた。市民の社会的なランク付けや、人種や政治信条といった個人情報に基づく生体認証システムの運用など、人権を脅かすようなAIの利用は禁止する。 急速に普及する生成AIを巡っては、AIモデルを提供する事業者に対し、開発に利用した著作物に関する情報の開示やリスク管理などを義務付けた。 違反した事業者には、最大で3500万ユーロ（約56億円）もしくは世界売上高の7％に相当する巨額の制裁金が科される。
We've raised a $21 million Series-A led by Founders Fund. Learn more here. March 12th, 2024 | Written by Scott Wu Introducing Devin, the first AI software engineerAnd setting a new state of the art on the SWE-bench coding benchmark Meet Devin, the world’s first fully autonomous AI software engineer. Devin is a tireless, skilled teammate, equally ready to build alongside you or independently comp
はじめまして。株式会社ナレッジセンスの門脇です。普段はエンジニア兼PMとして、「社内データに基づいて回答してくれる」チャットボットをエンタープライズ企業向けに提供しています（一応、200社以上に導入実績あり）。ここで開発しているチャットボットは、ChatGPTを始めとしたLLM（Large Language Models）を活用したサービスであり、その中でもRAG（Retrieval Augmented Generative）という仕組みをガッツリ利用しています。本記事では、RAG精度向上のための知見を共有していきます。 はじめに この記事は何 この記事は、LlamaIndexのAndrei氏による『A Cheat Sheet and Some Recipes For Building Advanced RAG』[1]という記事で紹介されている「RAGに関するチートシート」について、And
はじめに 東京工業大学 横田研究室の藤井です。 本日(2024/03/11)Mixtral-8x7B-Instruct-v0.1から日本語継続事前学習を行ったSwallow-MX-8x7b-NVE-v0.1をリリースさせて頂きました。 本モデルの開発は、産総研、東京工業大学 岡崎研究室、横田研究室の合同プロジェクトにて行われました。公式プロジェクトページはこちらです。 Swallow-MX はMoE(Mixture of Expert)モデルの継続事前学習モデルであり、Denseモデルにおいて有効性が示されている継続事前学習手法がMoEモデルにおいても有効であることを示す結果が得られました。 Denseモデルに対する継続事前学習に関しては、以下のブログやNLP2024の我々の論文をご覧ください。 リリースモデル 日本語継続事前学習済みモデル Swallow-MX-8x7b-NVE-v0.1
Prompt library
Explore optimized prompts for a breadth of business and personal tasks. User-submitted prompts have dark backgrounds with light colored icons (currently, there are none). You can submit prompts via our prompt submission form.
AIイラストが理解る！StableDiffusion超入門【2024年最新版】A1111、Forge対応｜賢木イオ @studiomasakaki
AIイラストが理解る！StableDiffusion超入門【2024年最新版】A1111、Forge対応 こんにちは、2022年10月からAIイラストの技術解説記事を連載してます、賢木イオです。この記事は、これまでFANBOXで検証してきた120本（約70万文字）を超える記事をもとに、2024年春現在、画像生成を今から最短距離で学ぶための必要情報をまとめたメインコンテンツです。 これから画像生成を学びたい初心者の方や、手描きイラストにAI技術を取り入れてみたい方が最初に読む記事として、必要知識が網羅的に備わるよう解説しています。素敵なイラストを思い通りに生成するために覚えるべきことを紹介しつつ、つまずきやすいポイントや参照すべき過去記事、やってはいけないことなどを紹介していますので、最初にこの記事から読んでいただくとスムーズに理解できるはずです。 解説役は更木ミナちゃんです。よろしくお願い
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最後にKANは勝つのか?MLPに変わると主張されるKANを試す｜shi3z
2023年、AIの影響で『絵に求められる事』が激変してきている話。｜さいとう なおき｜pixivFANBOX
RAGに質問分類させる「Adaptive-RAG」の解説
僕たちがグラフニューラルネットワークを学ぶ理由
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti
自宅PCでクラスターを構築：コンシューマーGPUの枠を超え、大型LLMをローカルで動かす！｜AIサトシ
kotoba-tech/kotoba-whisper-v1.0 · Hugging Face
「現状、人間はこの技術を制御しきれない」。読売新聞とNTTが生成AIのあり方に共同提言
Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws
Introducing Command R+: A Scalable LLM Built for Business
CohereForAI/c4ai-command-r-plus · Hugging Face
「数千万円かかるコスト」と「山のような技術的課題」 開発者たちが語る、日本語LLMの現在地
日本語最高性能のRerankerをリリース / そもそも Reranker とは? - A Day in the Life
CursorとClaudeを使った最近の私の開発環境｜ニケちゃん
GitHub、脆弱性のあるコードの自動修正機能発表。AIボットが修正済みコードと解説をプルリクエスト
Sakana AI
Chat Vectorを使って日本語LLMをチャットモデルに改造する - Qiita
NVIDIA、1パッケージに2ダイの新型GPU「Blackwell」。AI性能は学習4倍、推論30倍に
RAFT: Adapting Language Model to Domain Specific RAG
neue cc - Claudia - Anthropic ClaudeのC# SDKと現代的なC#によるウェブAPIクライアントの作り方
Prompt Tuning から Fine Tuning への移行時期推定
AI包括規制、最終案を承認 リスク応じた措置義務付け 欧州議会（時事通信） - Yahoo!ニュース
Introducing Devin, the first AI software engineer
RAGでの回答精度向上のためのテクニック集（応用編-B）
Swallow-MX: Mixtral日本語継続事前学習MoEモデル