LLMの開発は難しい?簡単?Stability AIの現場から (2023/10/11, W&B Fully Connected)
Note: Sections 2.0 and 3.0 of this article were added in response to comments on Hacker News and Reddit. Since its inception on 2000-05-29, SQLite has been implemented in generic C. C was and continues to be the best language for implementing a software library like SQLite. There are no plans to recode SQLite in any other programming language at this time. The reasons why C is the best language to
こんにちは!ファンと共に時代を進める、Web3スタートアップのGaudiyでエンジニアをしている椿(@mikr29028944)です。 今年の8月にお台場で行われた世界最大級のアイドルフェスにて、ユーザーの投稿に反応する「バーチャルAI-DOL(バーチャルアイドル、以下 AI-DOL)」のサービスを同コミュニティアプリ内で提供しました。 このサービスには「ファンが育てるAIアイドル」というコンセプトのもと、次の機能を搭載しました。 ユーザーが投稿すると、AI-DOLが返答する。 ユーザーの投稿を記憶し、それに基づいて会話内容が進化する。 AI-DOLが記憶に基づいて2023のアワード選出をする。 たとえば「今年の初出演アイドルで最も輝いていたのは誰?」と聞くと、それに合致したアイドルを選出理由とともに答えてくれる。 GPT-4登場以降、LLMを使ったAIサービスがたくさん出ていますが、基本
※この投稿は米国時間 2023 年 8 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud の Cloud Storage は、AI ワークロードへのトレーニングと処理に必要な大量のトレーニング データ、モデル、チェックポイントを格納でき、クラウド ストレージ システムの特徴であるスケール、パフォーマンス、シンプルさ、優れた費用対効果を備えています。ただし、AI ワークロードが実際にそのデータにアクセスする際、常に簡単にアクセスできるとは限りません。AI ワークロードのほとんどが、Cloud Storage から提供されるオブジェクト セマンティクスではなく、ファイル システム セマンティクスを必要とするからです。 Linux の Filesystem in Userspace(FUSE)は、ファイル システムを Linux カーネル
はじめに 結論 背景 課題 Fine-tuning とは? Data の準備 Fine-tuning を実施 結果 おわりに 参考 はじめに こんにちは、DROBE の都筑です。 みなさん LLM 使っていますか。今回は GPT-3.5-turbo の Fine-tuning の事例を紹介します。 結論 GPT-4 を利用して得られたデータを使って GPT-3.5-turbo を Fine-tuning する事で、特定のタスクに関しては GPT-4 相当の性能が出る事が確認できた GPT-4 利用時点で使っていたプロンプトをそのまま使った場合の性能が一番高く、token 節約のためにプロンプトの省略をすると性能が劣化した 背景 LLM を利用したサービスの開発において、OpenAI を利用する場合にはモデルの選択肢がいくつかあります。2023年9月現在では、GPT-4 と GPT-3.5-
『ブレス オブ ザ ワイルド』を超える衝撃。驚異の続編はいかにして生まれたか 『ゼルダの伝説 ティアーズ オブ ザ キングダム』(以下、『ティアーズ オブ ザ キングダム』)の発売から4ヵ月。シリーズ最高傑作との呼び声も高い『ゼルダの伝説 ブレス オブ ザ ワイルド』(以下、『ブレス オブ ザ ワイルド』)の続編として、プレイヤーの大きな期待を受ける中で発売された本作では、その期待を遙かに超えるボリュームと、圧倒的な自由度、そして壮大なスケールの物語が展開。広大なハイラルの大地と大空、さらには地底までも舞台にした冒険は、世界中の人を魅了し、新たな“発見”や“創造”が日々生まれている。
将棋や囲碁はあるのに、なんでオセロはないんだろう みんな知ってるし人気出ると思うんだけど 権利的な問題?
たかぎ@LED弄りの人 @tkgsn146 某転職エージェントがゲスすぎて笑った。 (先週木曜日) 転「A社どうですか」 私「いいね、応募するわ」 転「おk」 (先週金曜) 転「先方からお祈りされました」 (今日) A社「LinkedInで見つけたけど弊社受けない?」 私「数日前に御社に落とされたで」 A社「まじで?いや記録にないよ」 (続) 2023-09-04 15:43:32 たかぎ@LED弄りの人 @tkgsn146 私「転職エージェント経由だったけど」 A社「ないっすね、hiring managerも興味持ってますし」 私「じゃあ応募するわ」 転「前回のはハードル高かったみたいですし、これどうっすか?(ブラック臭がプンプンなSES企業)」 私「ははーん?」 どことは言わねーけどさ、●ー●ルさんよぉ! 2023-09-04 15:43:33
「早く寝たいのに、布団に入ってから1~2時間は寝られない!」おまけに暑くて寝苦しい日は夜中に何度も目が覚めて、日中は頭がボーっとしてしまう人も多いはず。そんなあなたに朗報!米軍兵士の96%が120秒以内に眠りに落ちた米軍仕込みの睡眠法を、早速今晩からぜひ試してみてほしい。 教えてくれた人 工藤千秋さん/くどうちあき脳神経外科クリニック院長、坪田聡さん/睡眠専門医で雨晴クリニック院長 米軍が採用した究極の“睡眠法”とは? いつ敵に狙われるかわからない紛争地。極限の緊張下で注意力を発揮し、即座に行動しなければならない戦場の兵士たちには常に重圧がのしかかる。ひとつのミスが命にかかわる状況の中、睡眠不足で判断力を低下させないため、どんな場面でもすぐに体を休められるように米軍が採用した究極の方法がある。 「漸進的筋弛緩法(ぜんしんてききんしかんほう)」と呼ばれるその“睡眠法”は、強いストレス状況下に
あとがきを閉じる あとがきいつもコメントありがとうございます!!漫画を描く一番のモチベーションになってます!!
docs/ @docs-owners docs/another-dir/ docs/another-dir/ @another-team 背景 GitHub のコードオーナーは、プルリクエストを作成した際に自動的にレビュワーをリクエストすることができる機能です。 CODEOWNERS という名前のファイルをリポジトリに配置し、.gitignore と似たような構文でディレクトリと対応するオーナーを指定します。詳しくは以下のドキュメントに記載されています。 CODEOWNERS を利用する上で、「特定のディレクトリのオーナーを指定しつつ、一部サブディレクトリだけ別のオーナーを指定したい」という状況がありました。 docs/foo-dir/file.txt ... @docs-owners docs/bar-dir/file.txt ... @docs-owners docs/another-
ここでいう一線級はオタクならまあ知ってるってレベルでジブリとピクサーだけが一線級とかじゃなくてな オタクなら知ってる ・涼宮ハルヒの憂鬱 ・コードギアス ・魔法少女まどかマギカ ・進撃の巨人 ・ぼっち・ざ・ろっく ぐらい有名なのを除いてというやつ あとワンピースとかルパン三世とか長期連載系統も置いといて クレクレ君というのもあれなので自分も提供する ・禍つヴァールハイト 今はなきソシャゲの前日譚で偶然の不幸にに巻き込まれ、人を殺めてしまい、 色んな出会いとトラブルに巻き込まれて国の陰謀に巻き込まれてゆく… というイケメン揃い、美少女揃いでは決してなく 異世界転生するわけでも、派手派手のアクションもないのにも関わらず シックな雰囲気が活かした良いアニメ。 ・ACCA 全体的な完成度が高い作品で格調高い雰囲気がよし 伏線もバッチリ聞いていて、それを知ると前半と後半のほんとうの意味がわかるように
This repository contains a set of design patterns illustrating how to effectively build Agentic solutions powered by LLMs (Large Language Models) in Azure. Agentic AI systems are designed to autonomously pursue complex goals and workflows with limited direct human supervision. These systems act as independent agents, making decisions and performing tasks autonomously. The main capabilities of Agen
使い始めて3年くらい経ちますが、改めて振り返ってみます。 こちらの記事を書いたりしていますが復習も大事なわけで。 2024/4/12に翔泳社よりApache Spark徹底入門を出版します! その他のDatabricksコアコンポーネントの記事はこちらです。 Apache Sparkプロジェクトの歴史 SparkはDatabricksの創始者たちがUC Berkeleyにいるときに誕生しました。Sparkプロジェクトは2009年にスタートし、2010年にオープンソース化され、2013年にApacheにコードが寄贈されApache Sparkになりました。Apache Sparkのコードの75%以上がDatabricksの従業員の手によって書かれており、他の企業に比べて10倍以上の貢献をし続けています。Apache Sparkは、多数のマシンにまたがって並列でコードを実行するための、洗練され
Stability AIは日本語向け画像言語モデル「Japanese InstructBLIP Alpha」を一般公開しました。入力した画像に対して文字で説明を生成できる画像キャプション機能に加え、画像についての質問を文字で入力することで回答することもできます。 Japanese InstructBLIP Alpha「Japanese InstructBLIP Alpha」は、先日公開された日本語向け指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」を拡張した、画像を元にしたテキストが生成されるモデルです。 「Japanese InstructBLIP Alpha」は、高いパフォーマンスが報告されている画像言語モデルInstructBLIPのモデル構造を用いております。少ない日本語データセットで高性能なモデルを構築するために、モデルの一部を大規模な
Apparently, it costs OpenAI about $700,000 every day to run just one of its AI services - ChatGPT. As a result, Sam Altman’s OpenAI is burning through cash at the moment. Furthermore, despite their attempt to monetise GPT-3.5 and GPT-4, OpenAI is not generating enough revenue to break even at this point. This is leading to an alarming situation. User base in decline While OpenAI and ChatGPT opened
はじめに TuringのBrain Research teamで頑張ってる井ノ上です。(Twitter: いのいち) Turingは完全自動運転の開発を目指しており、その実現のためには賢い頭が必要だと考えています。その方法の一つとして、近年の大規模言語モデル(LLM)に見られるような文脈理解力をうまく取り入れられないかと考えており、LLMとVisionの情報をかけ合わせたモデルに注目して研究を行っています。自動運転とVision and languageモデルについては、ぜひこちらの記事を読んでみてください。 今回の記事は2023年7月に開催されたABCI LLMハッカソンで取り組んだときに開発していたGIT-LLMというモデルの開発について解説する記事となっています。途中のコードの解説部分などは少し退屈に感じるかもしれませんので、その場合はぜひ結果のパートだけでも見てみてください。いろい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く