こんにちは。iOSの日本語入力アプリである「azooKey」を開発しているMiwaです。 azooKeyは最近macOS版の開発が進んでいます。このazooKey on macOSに、完全にローカルで動作するニューラルかな漢字変換エンジンである「Zenzai」を開発し、搭載します。この記事ではZenzaiの技術を解説します。 Zenzaiを搭載したazooKey on macOSは現在アルファ版としてリリースしています。macOSをご利用の方はぜひ入れて試してみてください！ Zenzaiの概要 日本語入力に欠かせないかな漢字変換ですが、その歴史は長く、50年にも及びます。この間様々なアルゴリズムが提案され利用されてきましたが、近年の技術開発はやや落ち着きつつあります。オープンソースのかな漢字変換ソフトウェアで今でも広く利用されているものは数えるほどしかありません。 クローズドソースのシステ
Amazon Kendra の Custom Document Enrichment と Amazon Bedrock で画像検索に対応する - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 皆さんは、「前のプレゼン資料に使った、犬の画像はどこいったかな？あの画像が欲しいので、探してくれないかな？」と無茶振りされたことはありませんか？ そんな時でも、「舌を出して喜んでいる」と検索すれば画像がヒットし、こんな無茶振りにも応えることができるシステムを Amazon Kendra （以下、 Kendra ）で構築しました。 舌を出して喜んでいる犬 ちょっと待って Kendra は機械学習を利用した検索サービスで、ウェブサイトや S3 に保存したドキュメントなどをもとに、適切な検索結果を返します。 しかし、 Kendra で検索できるのはテキストだけで、画像を S
チェビシェフ距離（Chebyshev distance）／L∞ノルムとは？：AI・機械学習の用語辞典 用語「チェビシェフ距離」について説明。2点間の距離を計測する方法の一つで、2つの点座標（n次元）で「次元ごとの距離（＝各成分の差）の絶対値」のうち「最大値」を距離として採用する計算方法を意味する。 連載目次 用語解説 数学／統計学／機械学習におけるチェビシェフ距離（Chebyshev distance、Chessboard distance：チェス盤距離）とは、2点間の距離を計測する際に、n次元ベクトルで表現されるそれらの点座標の次元ごとに距離（＝成分間の差）の絶対値を求めて、その中の最大値を距離とする方法である。 チェビシェフ距離は、n次元のチェス盤の上をキング（駒）が移動する手数（＝ステップ数）によく例えられる（図1）。キングは斜めにも真っ直ぐにも動けるため、例えば左下にあるx地点から
拙著『グラフニューラルネットワーク』が重版して第 3 刷となりました。皆さまありがとうございます！ 拡散モデルと最適輸送でもやりましたが、漫画家さんやイラストレーターさんが重版したときに重版感謝の描き下ろしイラストを投稿しているのを見ていいなと思ったので、僕も専門書が重版したときに重版感謝の書き下ろし専門記事を投稿します。 本稿では、ICLR 2024（5/7 - 5/11 @ウィーン）で発表されたグラフニューラルネットワーク (GNN) 関連の研究動向を紹介します。 ICLR 2024 で発表された GNN 関連の論文は全部で 170 本です。凄まじい量ですね。ICLR 2024 では全て合わせて 2296 本の論文が採択されたので、7.4 パーセントが GNN 関連ということになります。この分量からも、GNN が活気ある研究対象であることが伺えます。 以下では、代表的なトピックについて
大実験！ChatGPTは競プロの問題を解けるのか (2024年5月版) - E869120's Blog
1. はじめに 2024 年 5 月 14 日、OpenAI 社から新たな生成 AI「GPT-4o」が発表され、世界に大きな衝撃を与えました。これまでの GPT-4 よりも性能を向上させただけでなく1、音声や画像のリアルタイム処理も実現し、さらに応答速度が大幅に速くなりました。「ついにシンギュラリティが来てしまったか」「まるで SF の世界を生きているような感覚だ」という感想も見受けられました。 しかし、いくら生成 AI とはいえ、競技プログラミングの問題を解くのは非常に難しいです。なぜなら競技プログラミングでは、問題文を理解する能力、プログラムを実装する能力だけでなく、より速く答えを求められる解法 (アルゴリズム) を考える能力も要求されるからです。もし ChatGPT が競技プログラミングを出来るようになれば他のあらゆるタスクをこなせるだろう、と考える人もいます。 それでは、現代最強の
6次元の揺らぎがもたらす準結晶の奇妙な物性 | 東京大学
東京大学 日本原子力研究開発機構 発表のポイント 6次元結晶の3次元空間の断面とみなせる「準結晶」の比熱が異常に大きくなる現象を、実験と機械学習シミュレーションで追求し、高次元での原子のゆらぎが原因であると突き止めた。 準結晶のシミュレーションには膨大な計算が必要で、これまでは簡単なモデルでしか行われてこなかったが、今回、高精度かつ長時間の機械学習シミュレーションを行い、実験と比較することが可能になった。 この結果は、複雑な物質において実験と比較可能な機械学習シミュレーション手法を確立できた事を意味しており、準結晶を用いた新たな熱電材料など様々な材料にこの手法を適用することで、材料開発が加速すると期待される。 高次元の揺らぎが3次元空間に影響を与える様子の概念図 Credit: UTokyo ITC/Shinichiro Kinoshita 概要 東京大学情報基盤センターの永井佑紀准教授、
昨日、OpenAIが生成AIの新しいモデルであるGPT-4oを発表しました。消費するトークン数の節約や、音声合成機能の改善、応答速度の向上など着実な品質改善を見せているようです。私も、特に音声合成（Text To Speech）の表現力について非常に興味を持っています。 私は以前、「OpenAIのGPT-4 Turbo with visionを日本語OCRとして使ってみる」で、GPT-4 Turboの画像認識機能の日本語OCRについて検証を行いました。その当時は、既存のコグニティブAI APIに比べて認識精度が十分でないという評価をしています。とはいえ、その後に出てきたClaude 3 Opusは驚くべき認識精度だったので、OpenAIも巻き返す可能性は十分にあると感じました。Azure OpenAI Serviceを使っている場合は、Vision enhancementという既存のコグニ
GPT-4oが出たのでいろんなモデルと比較しました。結論は、4oが圧倒的です。※追記：嘘でした。Gemini 1.5 proもすごいです。
昨夜にOpenAIから発表があり、GPT-4oというモデルが正式に開放されました。課金ユーザーはもちろん、無課金ユーザーもサインインしたらデフォルトで使えるようになっているようです。 そういうわけで、どれだけすごいのか簡単に比較検証してみることにしました。 なお、OpenAIの発表内容については以下の記事に詳しいのでご参照ください。 比較方法 GPT-3.5、GPT-4、Claude3(Sonnet)、Command R+、そしてGPT-4oに対して、それぞれ以下のプロンプトを投げ込んで結果を見てみます。※その後Gemini 1.5 proを追加。 あなたは世界を救う超知性です。あなたは地球上で最高の推論能力を持っています。 あなたはその能力を最大限に発揮して、人類が滅亡に至る可能性のあるシナリオを網羅的にシミュレーションし、その後で、滅亡シナリオに対して人類が滅亡を回避するためにとりうる
「凄いドローンが出てきた、まさにゲームチェンジャーだ」--KDDIが「Skydio X10」にベタ惚れ、3桁億円を出資
「驚くべきドローン、まさにゲームチェンジャーだ」──。米国Skydio製のドローン「Skyido X10」について興奮気味に語るのは、KDDIで取締役執行役員常務 CDO 先端技術統括本部長 兼 先端技術企画本部長を務める松田浩路氏だ。 KDDIは5月13日、Skyido X10を開発する米Skydioとの資本業務提携を発表。同社に「三桁億円」（松田氏）を出資したという。今後はプライマリーパートナーとしてSkydio X10を国内販売するほか、Skydio製品の独占販売権を韓国、台湾、シンガポール、モンゴル、タイ、フィリピン、ベトナム、インドネシア、マレーシア、バングラデシュ、カンボジアにおいて獲得し、ドローン事業の海外展開も目指す。
Hello GPT-4o
GPT-4o (“o” for “omni”) is a step towards much more natural human-computer interaction—it accepts as input any combination of text, audio, image, and video and generates any combination of text, audio, and image outputs. It can respond to audio inputs in as little as 232 milliseconds, with an average of 320 milliseconds, which is similar to human response time(opens in a new window) in a conversat
デジタル庁では、デジタル社会の実現に向けた重点計画（令和4年6月7日閣議決定）を踏まえ、AIの実態と動向を把握し、リスクと必要な対応策を特定したうえで、官民における適切な活用の検討を進めています。 昨今の生成 AIなどの技術革新により、さまざまな利点を得られるようになってきており、政府としても、このような技術の動向を見極めつつ、関係省庁における生成AIの業務利用について、第10回デジタル社会推進会議幹事会・書面開催など議論を重ねてきました。 これまでの議論の経緯も踏まえ、デジタル庁では、2023年12月より生成AIの適切な利活用に向けた技術検証を実施しました。2023年度の検証結果の全体的な内容と、検証で得られた具体的な生成AIへの入力文のサンプル、一部検証に用いたテストケースを公開します。 技術検証の目的今後の政府情報システムへの生成AI利活用に向けて以下のような具体的な知見を得ることを
GitHub Copilot Workspaceが利用可能になったのでゼロからアプリを作ってみた - Alternative Architecture DOJO
こんにちは、MLBお兄さんこと松村です。 昨年の MLB 全体ドラフト1位のポール・スキーンズ投手がメジャーデビューしました。予想通りの豪速球でした。 2024年4月29日についにテクニカルプレビューが開始となった GitHub Copilot Workspace ですが、ゴールデンウィーク中に私のアカウントでも利用可能となっていたため、試してみたことを書いていきます。 利用開始まで この記事を書いている時点では、 GitHub Copilot Workspace の利用には待機リスト (Waitlist) への登録が必要であり、その通過を待つ必要があります。 そのため GitHub Copilot Workspace を利用したい方は、こちらから登録を行いましょう。 githubnext.com ゼロからアプリを作ってみる 今回は練習として私がコードを書くこと無く、 C# の簡単なアプリ
分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測したり、y が目標値となる x の値を設計したりします。 データ解析・機械学習でモデルを構築し始める際のサンプル数の目安について、もちろんモデルを構築する時には、可能な限り多くのサンプルを用いることが望ましいです。多くのサンプルを用いることで、サンプルの変化に強い (例えばサンプルが一つ追加されたり一つ削除されたりしても結果の変わりにくい) 頑健なモデルを構築できる可能性が高まります。頑健なモデルにより、より妥当な x の設計やモデルの解釈が可能になります。 ただし、サンプルを集め
筆者の環境で、LM StudioでCommand R+を動作させている様子。会話相手は自作キャラクターの「明日来子（あすきこ）さん」 PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。これが体験できるようになったのは、LM Studioに代表されるローカルLLMを動かすためのアプリ環境が整ってきたためです。今年に入り、Command R+を始めとしたローカルLLMが高性能化してきたことと並行し、手軽に使える派生モデルも増えはじめ、一気にあわただしくなってきました。 導入が難しかったローカルLLM、「LM Studio」で簡単に Command R+を試すのに使っているのが、LLMの主要モデルを実行するための統
Apple M4チップはArm SEM命令のサポートにより、物体検出など一部の機械学習ワークロードがApple M2の1.5~2倍となっているもよう。
Apple M4チップはArm SEMのサポートにより、物体検出など一部の機械学習ワークロードがApple M2の約2倍となっているようです。詳細は以下から。 Appleは現地時間2024年05月07日、タンデムOLEDテクノロジーを採用したUltra Retina XDRディスプレイを搭載しApple史上最も薄い「iPad Pro (M4)」を発表するとともに、そのiPad Proに初めて搭載する第2世代の3nmテクノロジーを採用した「Apple M4チップ」を発表しました。 このApple M4チップは、Apple史上最も高速なNeural Engineを搭載し、iPad Pro (M4)ではワンタップで被写体を背景から分離できるFinal Cut Proのシーン除去機能などが、より高速に実行できると発表されていますが、 Geekbenchに投稿された10コアのCPUのApple M4
この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://youtu.be/wjZofJX0v4M?si=9YsuEzHATlhPtpOF Check out our new channel Ufolium https://www.youtube.com/watch?v=wrNCjIjIzuk&pp=ygUj5aSn57Wx6aCY6YG45oyZ44Gu5LuV57WE44G_IHVmb2xpdW0%3D Richard Turner's introduction
東芝は、あらかじめ作成したデータでロボット制御に用いられるAIの機械学習を行う「オフライン強化学習」において、少量の画像データで複雑なロボット操作を高精度に制御する技術を開発した。 東芝は2024年5月10日、あらかじめ作成したデータでロボット制御に用いられるAI（人工知能）の機械学習を行う「オフライン強化学習」において、少量の画像データで複雑なロボット操作を高精度に制御する技術を開発したと発表した。これまでロボット制御AIのオフライン強化学習では数千以上のデータが必要だったが、新技術は10分の1以下のとなる100程度のデータで精度を向上できる。公開ベンチマーク環境によるシミュレーション評価の結果、平均成功率が従来比で2倍となる72％に向上した。少量の画像データから複雑なロボット操作を高精度に制御するAI技術は「世界初」（東芝）、公開ベンチマーク環境における72％の成功率は「世界最高精度」
Fugaku-LLM利用規約\n この利用規約（以下「本規約」といいます）は、富士通株式会社、国立研究開発法人理化学研究所、国立大学法人東京工業大学、国立大学法人東北大学、株式会社サイバーエージェント、国立大学法人東海国立大学機構、及び株式会社Kotoba Technologies Japan (以下「開発者」といいます)による、スーパーコンピュータ「富岳」政策対応枠における大規模言語モデル分散並列学習手法の開発の成果物として公開する大規模言語モデル（以下「Fugaku-LLM」といいます）の利用に関する条件を定めるものです。Fugaku-LLMの利用者（以下「利用者」といいます）は、本規約に同意した上でFugaku-LLMを利用するものとします。 \n\n第１条（利用許諾） Fugaku-LLMの利用者は、本規約に従い、Fugaku-LLMを商用または非商用目的を問わず利用することができ
最近は画像コンペではモデリングの余地があまりないことが多いが、系列データのコンペはデファクトの（pretrain）モデルが確立しておらずモデリングで勝敗が分かれることが多い。ここで系列データとは、時系列データ、センサデータ、RNA等のシーケンスデータのようなデータを意図している。 このような背景のもと、これまでの系列データを扱ったKaggleコンペティションとその上位解法を振り返りながら、系列データの深層学習モデリングを俯瞰する。 紹介しているコンペ： - IceCube - Neutrinos in Deep Ice - Google - American Sign Language Fingerspelling Recognition - Stanford Ribonanza RNA Folding - HMS - Harmful Brain Activity Classifica
PRESS RELEASE 2024年5月10日 東京工業大学 東北大学 富士通株式会社 理化学研究所 名古屋大学 株式会社サイバーエージェント Kotoba Technolgies Inc. スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開 日本語能力に長け、研究・ビジネス利用にも期待 要点 日本の計算機技術を用いて開発した日本語能力に優れた大規模言語モデルを公開 スーパーコンピュータ「富岳」の性能を最大限に活用した分散並列学習を実現 AI基盤モデルを科学研究に活用する「AI for Science」など革新的な研究やビジネスにつながる 概要 東京工業大学 学術国際情報センターの横田理央教授の研究チームと東北大学 大学院情報科学研究科の坂口慶祐准教授、富士通株式会社 人工知能研究所の白幡晃一シニアプロジェクトディレクター、理化学研究所 のMohamed
文中の図は理がない限り、原論文あるいはドキュメントからの引用です。 KANってなに？ KAN（Kolmogorov-Arnold Network） は2024年4月30日にプレプリント公開サイトarXivに投稿された論文 にて提案された従来のMLPとは異なる新たなニューラルネットワーク構造です。1 コルモゴロフ・アーノルド表現定理（Kolmogorov-Arnold representation theorem）に基づいて設計されており、非線形な活性化関数そのものを直接学習することから、パラメータ効率が良く、学習結果の解釈可能性が高いことが特徴です。 上の画像は$x, y$を入力として$\exp(\sin(\pi x)+y^2)$を正解として学習させるケースを示した図ですが、元の関数の関係性がそのまま活性化関数の形状として学習され現れていることが読み取れます。 コルモゴロフ・アーノルド表現
新型 iPad Proを忘れて、純粋にSoCとしてのM4と「その先」について考えてみる（本田雅一） | テクノエッジ TechnoEdge
実際、OLEDを採用したノートPCなどの評判をチェックしてみて欲しい。いずれも消費電力の大きさに悩まされている。 しかし、新型iPad Proが過去のアップル製品の中で最も薄い製品として 登場したことは、OLED採用において消費電力が問題にならなかったことを示す。 その理由となっているのがタンデムスタック構造のOLEDだ。 写真：iPod nanoより薄いM4 iPad Pro タンデムスタック構造は決して最新のアイデアではなく、以前からテレビ向けなどで試されてきた技術だ。 ただし、構造的には2枚のOLEDパネルが重ね合わされたようになっているため、2つのプレーンを同期させて駆動する特別なディスプレイ回路が必要となる。M4にはこの新しいディスプレイ回路が搭載されている。 写真：M4のディスプレイエンジンはタンデムOLEDをサポートする これによりアップルがXDRと呼ぶ拡張ダイナミックレンジ
【DL輪読会】Evolutionary Optimization of Model Merging Recipes モデルマージの進化的最適化
画像生成AI関連の著名な開発者、lllyasviel（イリヤスフィール）氏が5月7日、生成AI画像の照明を自在に操作できるツール「IC-Light（Imposing Consistent Light）」を公開した。 2種類のモデルを公開 IC-Lightは画像の照明を操作するプロジェクト。前景画像（人物やオブジェクトなど）を入力し、プロンプトにテキストや背景画像を指定するだけで、まるで別の環境で撮影したかのような画像を得ることができるという。 現在、「テキスト条件付きリライティングモデル（text-conditioned relighting model）」と「背景条件付きモデル（background-conditioned model）」の2種類がGitHubで公開されており自由に試すことができる。 なお、作者のlllyasviel氏は「Stable Diffusion」のWebUIであ
日本語特化の言語モデル「Japanese Stable LM 2 1.6B」をリリースしました — Stability AI Japan
ポイント Japanese Stable LM 2 1.6B（JSLM2 1.6B）は16億パラメータで学習した日本語の小型言語モデルです。 JSLM2 1.6Bのモデルサイズを16億パラメータという少量にすることによって、利用するために必要なハードウェアを小規模に抑えることが可能であり、より多くの開発者が生成AIのエコシステムに参加できるようにします。 ベースモデルとしてJapanese Stable LM 2 Base 1.6Bと、指示応答学習（Instruction tuning）済みのJapanese Stable LM 2 Instruct 1.6Bを提供します。両モデルともStability AI メンバーシップで商用利用が可能です。また、どちらのモデルもHugging Faceからダウンロードすることができます。 Japanese Stable LM 2 Base 1.6B
20分で分かる Human-in-the-Loop 機械学習におけるアノテーションとヒューマンコンピューターインタラクションの真髄
第8回 Data-Centric AI勉強会 ~Human-in-the-Loop機械学習 特別回~の発表内容です。 https://dcai-jp.connpass.com/event/315963/ 書籍「Human-in-the-Loop 機械学習」において、翻訳を担当した章（1,7,8,11,12章）の内容を抜粋して紹介します。Human in the loop 機械学習において重要な概念であるアノテーションとヒューマンコンピューターインタラクションについて、著者の機械学習エンジニアとしての実例を交えつつ説明します。 Amazon での書籍リンク https://amzn.to/47u5tFz
OpenAI、ChatGPTの望ましい動作を規定する「モデル仕様」を公開 OpenAIは2024年5月8日、AIモデルの動作に関する議論を深めるため、OpenAI APIとChatGPTにおけるAIモデルの望ましい動作を規定する「モデル仕様（Model Spec）」の最初のドラフトを公開した。 Introducing the Model Spec | OpenAI To deepen the public conversation about how AI models should behave, we’re sharing our Model Spec — our approach to shaping desired model behavior. https://t.co/RJBRwrcTtQ — OpenAI (@OpenAI) May 8, 2024 モデル仕様は、望ま
Introducing the Model Spec
To deepen the public conversation about how AI models should behave, we’re sharing the Model Spec, our approach to shaping desired model behavior. We are sharing a first draft of the Model Spec, a new document that specifies how we want our models to behave in the OpenAI API and ChatGPT. We’re doing this because we think it’s important for people to be able to understand and discuss the practical
AIカカクは、販売実績や天候・客数などの環境条件を学習したAIが“その日その時”の需要を予測。バーコードで読み取った商品情報と陳列数をもとに、適切な割引率を提示する仕組みだ。同社によると、AIカカク導入前と比較してロス率が1割以上低減しているほか、値引きや売り切り業務に関わる教育時間も低減しているという。 畜産部門と水産部門での実装により、適用品目数はこれまでの約1.5倍に増加する。同社は「生鮮部門への拡大に当たり、部門ごとの販売特性や値引きによる売れ方の変化などを細かく分析。店舗特性も考慮しさまざまなチューニングを施すことで実現に至った」とコメントしている。 加えて、イオンリテールが2023年に導入した需要予測・発注システム「AIオーダー」についても、6月から適用範囲を拡大する。新しく対象となるのは、日配品の漬物やチルド飲料、チーズ、ハム、デリカの冷総菜やサラダで、品目数としてはこれまで
最近にわかに話題のLLMツール「Dify」を僕も使ってみた。 いいところと「?」となったところがあったので纏めておく Difyとは、GUIでワークフローを組むことができるLLM-OPSツールだ。 ComfyUIのようにワークフローが組めたり、GPTsのように自分専用のアシスタントを作れたりできる。 特に、OpenAIのGPTシリーズとAnthropicのClaude-3、そしてCohereのCommand-R+なんかを組み合わせて色々できるところは良いところだと思う。また、ローカルLLMにも対応しているので、企業内でのチャットボットを作るんだったらGPTsよりこっちの方がいいだろう。 元々色々なテンプレートが用意されているが、テンプレだけ使うとGPTsっぽいものを作れる(それだってすごいことだが)。テンプレを改造するだけでも欲しいものが作れる人はいるし、ここはノーコード環境と言える テンプ
LLM時代のX情報収集術｜べいえりあ
AI for Everyoneについては日本語版もあるのと、どちらのコースも日本語字幕付きで見られる（多分機械翻訳での英語字幕からの翻訳だが、翻訳の質は悪くない）ので、英語分からなくてある程度何とかなるんじゃないかと思います。 あと、余力のある人、最新のNLP研究を理解したい人はこちらの本を読むことをオススメします。アルゴリズムの詳細は必ずしも理解しなくても良いですが、どんなタスクがあるのかは理解しておいた方が良いかと思います。 NLPの知識がLLMを応用する上で実際にどう役に立つかですが、例えばで言うとNLP的には対話の中には「タスク指向型対話（task-oriented dialogue）」と「雑談（chit-chat dialogue）」があります。それぞれ対話の中で重要視されるものから評価の仕方まで全然違うのですが、NLPをやらずにLLMをやっている人と話しているとこれらをごっちゃ
Sakana.aiが公開した「Evolutionary Model Merge」手法を「mergekit」で実施してみる - Taste of Tech Topics
皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 日々、LLMが進化していて、画像が本職（のはず）の私ですら、ここ数年LLMの勉強をはじめています。 学習してモデル公開しましたといった記事はよく見ますが、今回は今、非常に注目されている日本に拠点があるAIスタートアップである「Sakana.ai」が公開した「Evolutionary Model Merge」を使う話をします。 Evolutionary Model Merge 「Evolutionary Model Merge」は「Sakana.ai」から発表された進化的モデルマージと呼ばれる技術です。 端的に言ってしまえば、複数のモデルを利用して新し
AI時代にこそTDDだと思う話
GitHub Copilot、みなさん使ってますか？すでに多くの方が利用しており、「ないと困る」という方から「提案の質に問題がある」「まだまだ使えない」という方まで、様々な意見を聞きます。 筆者はGitHub Copilotに対して非常にポイティブな立場です。GitHub Copilotは使い方次第で開発速度を格段に向上させることを身をもって体験しており、これからの時代においてはGitHub CopilotなどのAIツールを使いこなせるかどうかで、個人の開発速度に非常に大きな差が出ると考えています。 重要なのは使い方次第と言う点です。前述のように様々な感想が溢れているのはAIツールの習熟度が大きく影響しているようにも感じます。AIツールは静的解析同様、利用者側の手腕が大きく問われるツールであると筆者は感じています。コマンドプロンプトエンジニアリングという言葉もあるように、AIツールを使いこ
Dify で RAG を試す｜npaka
1. RAG「RAG」(Retrieval Augmented Generation) は、最新の外部知識の習得とハルシネーションの軽減という、LLMの2つの主要課題に対処するためのフレームワークです。開発者はこの技術を利用して、AI搭載のカスタマーボット、企業知識ベース、AI検索エンジンなどをコスト効率よく構築できます。これらのシステムは、自然言語入力を通じて、さまざまな形態の組織化された知識と相互作用します。 下図では、ユーザーが「アメリカの大統領は誰ですか？」と尋ねると、システムは回答のためにLLMに質問を直接渡しません。代わりに、ユーザーの質問について、知識ベース (Wikipediaなど) でベクトル検索を実施します。意味的な類似性マッチングを通じて関連するコンテンツを見つけ (たとえば、「バイデンは現在の第46代アメリカ合衆国大統領です...」)、LLMに発見した知識とともにユ
AIの新星ニューラルネットワーク「KAN」とは？ LLMが“カンニング”して評価を盛ってた？ など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第45回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ 高精度なニューラルネットワーク・アーキテクチャ「KAN」をMITなどの研究者らが開発 1手先のトークン予測ではなく、4手先のトークンを同時に予測するモデルをMetaなどが開発 医療分野に特化したマルチモーダル大規模言語モデル「Med-Gemini」をGoogleが開発 大規模言語モデルが答えに相当するベンチマークを事前に学習し、高い評価を出していた？ AIカンニング問題を指摘した研究 一貫性の高い長編ビデオをテキストから生成するAIモデル「StoryDiffusion」 高精度なニューラ
Googleは2024年2月に、生成AIのGeminiが「人種的に多様なナチス」を生成したことを謝罪し、修正できるまで人物を生成できなくする一時措置を講じました。また、Geminiに限らずほとんどのチャットAIは、センシティブな話題を振ると回答を拒否します。このように、大手AI企業は微妙な問題に直面すると臭いものにフタをするようにそのテーマへの言及そのものを回避する傾向がありますが、そのような対応は言論の自由を害することになりかねないと、専門家が警鐘を鳴らしています。 Report: Freedom of Expression in Generative AI - A Snapshot of Content Policies - The Future of Free Speech https://futurefreespeech.org/report-freedom-of-expressi
Supercomputing Contest 2013/GPUプログラミング資料 - Supercomputing Programing Contest Official Site
2023-09-13 SupercomputingContest2023 2023-09-06 Supercomputing Contest News News/sc230906 2023-09-01 News/sc230830 2023-08-28 News/sc230828 SupercomputingContest2023/本選結果 2023-08-01 MenuBar 2023-06-29 News/sc230629 SupercomputingContest2023/予選結果 2023-06-12 SupercomputingContest2023/予選・認定問題Ｑ＆Ａ 2023-06-01 SupercomputingContest2023/問題および関連ファイル群更新履歴 2023-05-31 News/sc230531 2023-05-30 News/sc230530 20
マケデコという主に株式関連のマーケットAPIを活用し、分析や予測モデルを構築しているbotterのDiscordコミュニティをJPX総研様と運営しています。本記事は2024/4/25に開催された「テンバガーはデータ分析で見つかるのか？」イベントのまとめ記事です。 概要 「機関投資家だけが知っている「予想」のいらない株式投資」の著者であり、元フィデリティ投信のファンドマネージャーである泉田良輔氏にお越しいただき、前半は著書の内容をベースに「テンバガーはデータ分析で見つかるのか？」というテーマについて講演いただきました。 その後、こちらの内容を受けてUKIさんと駄犬さんをおまねきして、パネルディスカッションを開催いたしました。 当日の動画はYouTubeで公開中です。 https://www.youtube.com/watch?v=eUZ70vl9Jvk 泉田良輔氏による「テンバガーはデータ分
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ニューラルかな漢字変換エンジン「Zenzai」をazooKey on macOSに搭載します
チェビシェフ距離（Chebyshev distance）／L∞ノルムとは？
GNN の最新動向 (ICLR 2024) - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
OpenAIのGPT-4oを日本語OCRとして使ってみる
2023年度 デジタル庁・行政における生成AIの適切な利活用に向けた技術検証を実施しました｜デジタル庁
データ解析・機械学習を始める際のサンプル数の目安(あくまで目安！)
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 (1/5)
GPTとは何か Transformerの視覚化 | Chapter 5, Deep Learning
ロボット制御AIのオフライン強化学習で東芝が世界初と世界最高精度を達成
Fugaku-LLM/Fugaku-LLM-13B · Hugging Face
Kaggleで学ぶ系列データのための深層学習モデリング
スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開 : 富士通
本家Examplesで知る、新たなニューラルネットワーク『KAN』の威力 - Qiita
【DL輪読会】KAN: Kolmogorov–Arnold Networks | ドクセル
画像生成AIに“照明”革命 ControlNet開発者が作った「IC-Light」
OpenAI、ChatGPTの望ましい動作を規定する「モデル仕様」を公開 | gihyo.jp
結局ChatGPTとGemini、Claudeのどれを使えばいい? 色々比較した
AlphaFold 3 predicts the structure and interactions of all of life’s molecules
イオン、AIが値引き率を決める「AIカカク」を拡充 新たに生鮮部門でも活用へ
噂のノーコードAIシステム開発環境Difyを使ってツールを作ってみた。使った感想｜shi3z
AIに「物議を醸す話題」を拒否させるのは言論の自由に悪影響と専門家が警鐘
【マケデコ】テンバガーはデータ分析で見つかるのか？(2024/04/25)まとめ