ChatGPT�人間のフィードバックから強化学習した対話AI
東京大学の研究室内で，今井がChatGPTの知見を共有するために使用したスライド資料です． 特に以下のような話題，技術について解説しています． ・ChatGPTの凄さ ・ChatGPTの技術 ・言語モデル ・プロンプト ・GPTとは ・InstructGPT ・言語モデルと強化学習 ・RLFH
東京大学の研究室内で，今井がChatGPTの知見を共有するために使用したスライド資料です． 特に以下のような話題，技術について解説しています． ・ChatGPTの凄さ ・ChatGPTの技術 ・言語モデル ・プロンプト ・GPTとは ・InstructGPT ・言語モデルと強化学習 ・RLFH
GPT-4登場以降に出てきたChatGPT/LLMに関する論文や技術の振り返り - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、GPT-4の登場から執筆日（2023年5月31日時点）までの2ヶ月間で登場した論文を振り返りながら、まとめて紹介していきます。 LLM/ChatGPTの動向 オープンソースLLM モデル オープンソースLLMの調整 Adapter、LoRA Instruction Tuning Human Feedback プロンプトエンジニアリング プロンプトエンジニアリングの課題①：プロンプトに大量の情報を入れられない プロンプトエンジニアリングの課題②：複雑なタス
データサイエンティストという職業の10年間の変遷を振り返る - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Gordon Johnson from Pixabay) TL;DR 今年の6月に僕自身がデータサイエンティストに転じて10年という節目の年を迎え、10月でDavenportの「データサイエンティストは21世紀で最もセクシーな職業である」HBR総説から10周年になるのを機に、この10年間のデータサイエンティストという職業の変遷を振り返ることにしました。 6月の回顧録記事でも書いた通り、僕がデータサイエンティストの仕事に就いてから今年で10年になります。最近も同じかどうかは分かりませんが、古くから「10年ひと昔」という常套句がある通りで個人的には大きな節目の年だと感じています。 一方で、今年の10月にはあまりにも有名な「データサイエンティストは21世紀で最もセクシーな職業である」HBR総説が出てから10周年を迎え、後述するようにDavenportは「今もデータサイエンティ
はじめに こんにちは。Yuki | Kagglerです！ 先日、Shopeeコンペの順位が確定して銀メダルをいただき、晴れてCompetition Expertになることができました。区切りがいいのでここまで取り組んできたことをまとめてみました。 ※ 6/28追記：Amazonのリンクが切れていたので貼り直しました！ プログラミング&機械学習を始めて一年、ようやく Kaggle Expertになることができました！！ 行列も正規分布も知らず、ターミナルなんて触ったこともない状態からのスタートでしたが、ようやくここまで来ました。 ここまで来れたのは偏にこれまで関わってきた皆様のお陰です。これからも頑張ります！！ pic.twitter.com/kMkaFhqhU9 — ユウキ | Kaggler (@Yuki_Kaggler) May 12, 2021 この記事の対象者 Kaggleをやって
1年半のソフトウェアエンジニア長期インターンで出会ったオススメ本をたくさん紹介します - Qiita
イントロ ABEJAアドベントカレンダーの4日目に一昨日飛び込みました、長期インターン生の佐藤(Twitter: @TodayInsane)です。 去年は機械学習を通して、TWICEというK-POPグループへの愛を語りました。 ABEJAには昨年4月、「本当に何も出来ないけど、休学してプログラミングとかエンジニアの経験を積みたいんです」という何とも不安な主張をするぼくを受け入れていただきました。 この1年半のエンジニア / リサーチ両インターンの過程で出会った良い本をどしどし紹介します。 ちなみにインターン開始時は プログラミング、Pythonだけならちょびっと書けます！(ABCのB問題とか機械学習ライブラリの写経) HTMLってどんな風になってるんですか？(？) サーバ...？？リクエスト...？？ JavaScript、名前は聞いたことあります 英語の論文しんどい、2時間ぐらいかけてI
どうもこんにちは。最近、大規模言語モデル（LLM）の個人開発に取り組んでいる@kun1em0nと申します。この度、最近話題のChatGPTの最新モデルGPT-4を無料で使用できるアプリを作成したので公開いたします。今回アプリを無料で公開する意図についてこの記事で説明したいと思います。 Japanese-Alpaca-LoRAの作成前回の記事ではスタンフォード大学が作成したStanford Alpacaの日本語対応モデル Japanese-Alpaca-LoRAを作成し公開した話を紹介しました。 このモデルの作成に使ったデータの大元（Alpacaデータ）はText-davinci-003というOpenAIサービスで出力した結果になりますが、OpenAIの利用規約ではコンテンツ生成者はOpenAIサービスで出力した結果を競合モデルの開発用途に使用してはならないと記載されています。ただ、コンテン
オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 話題爆発中のAI「ChatGPT」の仕組みにせまる！ 注意：ChatGPTはまだ論文が出ていないため、細かい箇所は不明です。本記事では公式から出た記事およびInstructGPTの論文をもとにChatGPTの仕組みを探っていきます 本記事の流れ: 忙しい方へ ChatGPTとは GPT-3 InstructGPT ChatGPT まとめと所感 参考 0. 忙しい方へ ChatGPTは、InstructGPTをベースとしたモデルだよ InstructGPTは、「人間の好みに合った文を出力するように微調整したGPT-3」だよ InstructGPTの学習では、以下の3つが重要だよ GPT-3の教師ありファインチューニング Reward Modelの学習 RLHF（＝Re
こんにちは。nino_piraです。 先日、強化学習の資料の引用ツイートをしましたら、それなりに伸びたので、「もしかして、みんな強化学習に興味ある！？」と思い自分が読んだ&好きな資料をまとめてます。 また、ブログを書いているうちに「何を持って基礎とするか」などカテゴライズも自分の中でも行方不明になっていましたので、色々思うところはあると思いますが、暖かい目で読んで頂ければ幸いです。。。。 あくまでも私の経験 強化学習基礎系 [Qiita] DQN（Deep Q Network）を理解したので、Gopherくんの図を使って説明 [書籍]これからの強化学習 [pdf] (小南さん作成) 強化学習入門 [pdf] (通称) Sutton本第2版 [書籍] 機械学習スタートアップシリーズ Pythonで学ぶ強化学習 [ブログ]強化学習 もう少し強化学習を詳しく知りたい系の人へ [書籍]速習 強化学
はじめに この記事はNuco Advent Calendar 2022の5日目の記事です 対象読者 Pythonが注目されている理由のひとつは機械学習プロジェクトの主要な開発言語であるからといってもよいでしょう。多くの企業の業務システムのAIの開発言語はPythonです。そんなPythonの学習を始めてある程度文法の理解が進んできて、機械学習に触れてみたい方を対象にしています。 Pythonの基本文法を理解している 機械学習を始めてみたい チュートリアル概要 Pythonは長年機械学習で使用されているので、ライブラリも豊富にあります。本記事では機械学習用ライブラリのscikit-learn(サイキット・ラーン)を使用して教師あり学習を行い住宅価格を予測してみます。 何ができるようになるか 機械学習で使われる基本的な用語を理解し、学習の全体像をつかめるようになります。 機械学習の目的 機械学
例えばAIに90年代までのエロゲの絵柄を全て学習させても、2000年代以降の新しい画風は生み出せないわけだろ？ だから新しいタッチを生み出してくれる人間絵師の権利はちゃんと保護しなきゃマズいと思う さもなきゃ、いつまで経っても同じ絵柄のハンコ絵しか見れなくなるぞ ---------------------------------------------- 追記: 権利って具体的に何？ってブコメがあったけど、例えば神絵師が苦労して新しい画風を生み出したとしても、やんちゃな海外AIにすぐ模倣されて、誰でも自由に生成できるようにされたら商売上がったりだよね。 そうならないように、やはり学習や使用を勝手にされない権利を強く主張していかないとマズそう、という話。 追記2: 「既存の画風を混ぜることで既にAIは新しい画風を生み出せるよ」って意見もあった。それは確かにと思った一方で、90年代までのイラス
歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－ - NRIネットコムBlog
小西秀和です。 Amazon Web Services(AWS)に関する情報や魅力を様々な観点から記事にしてみていますが、技術史が好きなこともあって今回はAWSサービスの発表の歴史を年表でまとめました。 AWSからもWhat's Newとして公式アナウンスは発表されていますが、アナウンス日、GA日(一般提供開始日)、サービス名、サービス概要といった情報に圧縮して時系列でAWSサービス一覧を一枚もので確認できる記事が今まで欲しかったので自分で作成してみることにしました。 AWS全サービスの歴史年表の作成方法 AWS全サービスの歴史年表の対象となるAWSサービスは次の手順で選定しました。 AWSサービス・製品一覧「Cloud Products(英語版)」にあるサービスのうち「～ on AWS」といったサードパーティー製品がメインとなるサービスを除いたリストを作成 AWSサービス・製品一覧に記載
技術blogのリンクを投げたらChatGPTが要約して、いい感じに整形してチャンネル投稿してくれるbotを社内Slackに生やしたら捗った話
こんにちは、株式会社シグマアイのエンジニアの@k_muroです。 今回の記事は最近導入した「技術blogを良い感じに共有してくれるSlack bot」のご紹介を。 はじめに 技術の進化は止まらない。(真面目な話、AI系の進捗がマジですごいて全然追えない) 毎日のように新しい技術、フレームワーク、ライブラリ、ツールが生まれています。そんな中でエンジニアとして働いていると、この情報の波に疲れを感じること、ありませんか？ ありますよね？(脅迫) 実際私もその一人で、この小さな疲れが積み重なって大きなストレスとなることに気づきました。 「新しい技術情報、追いつけるかな？」 「あのブログ記事、後で読もうと思ってたのに、どこいったっけ？」 「チーム全員が同じ情報を持ってるか心配だな。」 そんな日常の疑問や不安から逃れるための一歩として、私はあるSlack botを開発しました。このbotは、送られた技
というタイトルで書こうと思ったらnoteのAI支援機能が来ていたので目次を生成してみた。 1. すべての人が思っているわけでもなく "偉い人の言うこと" は常に正しいということはない。 2. その理由のひとつに、あまりにもわけわからない内容から判断できないことがあるからだ。 3. 偉い人の言うこと以上に、その裏付けとなる情報を探し、自分で判断して行動するということが大切。 4. 誰の言葉も信じ込まず、目からウロコが落ちる、ネットバズになりそうな情報を探してみよう。 noteのGPT連携機能がタイトルから生成全体的に「何言ってんだコイツ」という内容になったのでAIの提案した流れは無視してしたい話をすることにする。 早くもAIの弱点が露呈したように見えるが、要は「意味のある記事」というのは、「わけのわからないタイトル」で始まるもので、「わけのわからないタイトル」は前例がないので、前例から内容を
機械学習の全体像をまとめてみた
教師あり学習 概要 入力値から何かしらの予測をしたい場合を考えます. 予測する対象の正解データが事前に得られる場合、 入力値から正解データを出力するモデルを学習する手法を教師あり学習と言います. 主なタスク 何を入力して、何を出力するかでタスクが分類されます. 代表的なものに以下が挙げられます 時系列予測: 現在以前の時系列データ ⇒ 未来の時系列データ 画像分類: 画像 ⇒ ラベル 物体検出: 画像 ⇒ 物の位置と種類 セグメンテーション: 画像をピクセル単位で分割 文章分類: 文章 ⇒ ラベル 機械翻訳: ある言語の文章 ⇒ 別の言語の文章 時系列予測 現在以前のデータから将来のデータを予測します. 実用例 株価予測 災害予測 自動車の事故防止システム 主要なアルゴリズム 自己回帰モデル（AR・MA・ARMA・ARIMA） 時系列間の関係を数学的に定量化、モデル化する. 周期性のあるデ
ChatGPTを使って論文の英文校正をする
Chat GPT は、自然言語処理 (NLP) 技術を使用して、特定の入力に基づいてテキストを生成する言語モデルです。 今回はChat GPT を使用して英語の文章の修正をして、文章の質と明瞭さを向上させる方法を紹介します。 https://chat.openai.com/chat それでは、Chat GPT を使用して英語の編集と校正を行うための手順について説明しましょう。 まず下記のprompt（AIに出す指示のこと）をチャットボックスに入れ””内に校正したい文章を入れます。日本語を直接入れても英語が出てきますが、Google翻訳で英訳した文章を入れた方が洗練された英語になります。（ChatGPTは日本語の入力も受け付けますが英語での入力の方が圧倒的に正確な回答が得られるため） 下記のprompt（一部改変）の出典はこちらのAwesome ChatGPT Promptsです。他にも”a
はじめに データサイエンス・機械学習っておもしろそうだけど、どうやって勉強すすめたらいいんだろう？というところから2月に勉強をスタートし、勉強のinputだけではなく実践したいと思って3月にKaggleのコンペに参戦！ その結果がなんと、銀メダル (+上位3%)をとることができました！ この記事では、そんな自分の勉強してきた過程とコンペを進めてきた流れをまとめてみようと思っているので、一例として見てもらえると嬉しいです！ 概要 ➀コンペの紹介 ➁コンペ終了までの流れ (コンペ参加する前→コンペ参加後) ③コンペ中にしていたその他の勉強 今回参加したコンペ M5 Forecasting - Accuracy コンペ (2020年3月~6月) 今回取り組んだコンペは、この時系列データのテーブルコンペで、内容としては、アメリカの小売大手であるウォルマートの「商品の売り上げ予測」 過去約5年間分の
『鉄拳8』にて、とあるユーザーが「亡くなった弟のAIゴーストを保存したい」と想いを綴り、開発者が問い合わせに反応。弟の意思は『鉄拳8』の中に残り続ける - AUTOMATON
バンダイナムコエンターテインメントがPC（Steam）/PS5/Xbox Series X|S 向けに1月26日に発売した『鉄拳8』。本作の機能「AIゴースト」に関して、弟を亡くしたプレイヤーからある質問が海外掲示板Redditに投稿された。その投稿は話題になり、本作のディレクターを務める池田幸平氏と、プロデューサーを務める原田勝弘氏が反応し、その想いは残されることとなった。 『鉄拳8』は対戦3D格闘ゲームだ。対応プラットフォームはPC（Steam）およびPS5/Xbox Series X|S。本作の舞台は前作『鉄拳7』より半年後の世界。三島一八は作中に登場する架空の企業G社の代表として世界掌握を進める。彼の息子である風間仁は、G社の侵攻を阻止し、そして自らに流れるデビルの血の因縁に決着をつけるため、一八との決着をつけようとする。それは再び世界を巻き込んだ闘争へ発展していくこととなる。 参
文書の数が多い場合、単語の種類(ボキャブラリ)も多くなり単語の次元が大幅に増えていきます。 一方、一つの文書に含まれる単語の数には限りがあるため、これは全体として疎行列になります。 また、単語が各次元として扱われますが、文書ごとの出現順序など、単語間での関連性を示す情報は抜け落ちたものとなります。 それに対して低次元(通常数百次元程度)の密な行列で単語の意味を定義する方法があります。 これは、「分散表現」や「埋め込み表現」と言われるものになっております。 この表現を獲得するため手法は様々なものがありますが、ここではWord2Vecを紹介します。 元論文 : Efficient Estimation of Word Representations in Vector Space 具体的な実装についての解説 : word2vec Parameter Learning Explained Wor
LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2022年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2022年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2021年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 223個 です。 まとめるにあ
自己紹介 普段私は、 一番得意な機械学習(深層学習)をしたり、 Python/Django でWebアプリを開発したり、 TypeScript/Vue or React でフロントエンドの開発をしたり、 PHP/Laravel でWebアプリを開発したり、 さまざまなことを行っています。 趣味で休みの日にGo言語で色々作成しているのですが、型のある世界は素敵だなと昨今感じています。 今最もやりたいことは、Goで大規模なWebアプリケーションを作成したい。 企業案件やご連絡等ございましたらお気軽に下記よりご連絡いただければと思います。 nagamatsu-k@dym.jp 第3次AIブームの到来 米Google DeepMindが開発した人工知能（AI）の囲碁プログラム「AlphaGo」が世界トップレベルの実力を持つ韓国のプロ棋士、李世ドル（イ・セドル）九段に4勝1敗と大きく勝ち越したことが
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米OpenAIの研究チームが開発した「Video PreTraining （VPT）: Learning to Act by Watching Unlabeled Online Videos」は、人間がプレイするMinecraft（マインクラフト）の映像から複雑な動作を学習するモデルだ。学習したモデルは、熟練した人でも20分以上かかるダイヤモンドツールの作成を10分程度で成し遂げ、その有効性を示した。 人がプレイしたマインクラフトのプレイ動画がWeb上に多く存在する。今回のモデルはこの膨大な動画データで学習するわけだが、これら動画からは何が起きたかが分かるだけで、マウスの動きやキーの押し順
元気です。藤原麻里菜です。 私は、いつからか、意力や興味・関心が薄れてきた。これが加齢によるものなのか、それとも疲れているのか、はたまた精神的なものなのか。まだ判断がつかない。前までは行きたい場所ややりたいことが無限にあったはずなのに、今は何もない。ライフワークの「無駄づくり」だけはかろうじて続けているけれど、それ以外のことにはあまり興味が持てなくなっているところもある。 パンデミック以前は一人旅が好きで、海外に一人で行くこともけっこうあった。でも、最近はすべてが億劫で、というか、何かを決定する体力も気力もなくて、家とアトリエしか行っていない。 この生活でも満足なんだけれど、たぶん、もっと外を出歩いたほうが新しい発見をしたり、おもしろいことが起きる可能性が高いのは、なんとなくわかっている。だから、旅行にでも行こうかなと思ったのだが、いかんせん、行きたい場所がない。もう私は自分で何も決めたく
「大人の数トレチャンネル」(YouTube)に私が出演した時の後編の動画があまり再生回数が伸びてないので改めて紹介をさせていただく次第である。 このブログでも以前ちらっと書いた、「将棋ソフトを開発して3000万円損した話」が出てくる。(詳しい内容については動画をご覧いただきたい) それとは関係ないのだが、動画の内容に関連して、いくつか補足しておきたいことがある。 AI界隈では、「プロ棋士 VS 将棋AI」という構図が「人間 VS AI」の縮図だと言われることが多々ある。例えば、これは「将棋AIのようにAIが人間を打ち負かしたあとは、○○○な未来になっていく」みたいな文脈で用いられる。 しかし、人間が将棋AIに抵抗してきた歴史について当事者視点で語ってあるブログや書籍はあまりに少なく、そのへんの情報がまるで伝わっていないように思う。 そこで、本記事では私が当事者視点でだらだらと書いていく。
日本マイクロソフトは8月29日、人間のトッププレイヤーに匹敵する強さの麻雀AI「Suphx」（Super Phoenix、スーパーフェニックス）を開発したと発表した。国内最大級のオンライン麻雀サイト「天鳳」で、AIとして初めて十段に到達した。 研究開発機関のMicrosoft Research Asiaが開発した。Suphxは19年3月、4段以上のプレイヤーのみが参加できる天鳳内の「特上卓」に出現。人間のプレイヤーと5000回以上対局し、6月に十段になった。天鳳のユーザー数は33万人で、19年8月時点で十段を維持するプレイヤーは12人しかいないという。 麻雀は、対戦相手の手牌などの情報が把握できない「不完全情報ゲーム」だ。自分の手牌と捨て牌以外の情報が分からず、運の要素も大きいため、AIで解析するのが難しいとされている。 Suphxでは、与えられた環境における価値を最大化するようにエージェ
2024年版：独断と偏見で選ぶ、データ分析職の方々にお薦めしたいホットトピックス＆定番の書籍リスト - 渋谷駅前で働くデータサイエンティストのブログ
毎年四の五の言いながら書いている推薦書籍リスト記事ですが、何だかんだで今年も書くことにしました。なお昨年度版の記事を上にリンクしておきましたので、以前のバージョンを読まれたい方はそちらをお読みください。 今回のバージョンでは、趣向をちょっと変えて「定番」と「注目分野」というように分けました。何故こうしたかというと、平たく言って 「初級＆中級向け」推薦書籍リストは定番化していて毎年あまり変更点がない 逆に直近のホットトピックスに関するテキストは毎年入れ替わりが激し過ぎて網羅しづらい という課題があり、特に2点目についてはあまりにもデータサイエンス関連書籍の新規刊行が多過ぎる＆僕自身がその流れについていけておらず完全に浦島太郎状態ですので、万人向けに等しくウケるようなリストを作るのは今回をもって完全に諦めたというのが実態です。 その上で、前回まで踏襲されていた定番書籍リストはバルクで提示すると
はじめに 2023年になって日が経ってしまいましたが、今年も深層学習の個人的ハイライトをまとめたいと思います。今回は研究論文5本と応用事例4つを紹介します。他におもしろいトピックがあれば、ぜひコメントなどで教えて下さい。 AIの研究動向に関心のある方には、ステート・オブ・AIガイドの素晴らしい年間レビューもおすすめします。また、私が過去に書いた記事（2021年、2020年、2019年）もよろしければご覧ください。 * 本記事は、私のブログにて英語で書いた記事を翻訳し、適宜加筆修正したものです。元記事の方も拡散いただけると励みになります。 ** 記事中の画像は、ことわりのない限り対象論文からの引用です。 研究論文 Block-NeRF: Scalable Large Scene Neural View Synthesis 著者: Matthew Tancik, Vincent Casser,
「わざと負けようとしても無理」と話題 プロも挑戦する“世界最弱のオセロAI”、生みの親に聞く開発の裏話（1/2 ページ） AIベンチャーのAVILENが、強化学習を使ってAIを極限まで弱くしたブラウザゲーム「最弱オセロ」をリリース。AIが対局中に「あえて角を取らない」「石を少なく取る」といった行動を取り続けるため、人間は負けることが難しいゲームだ。生みの親である吉田拓真CTOに、開発した経緯を聞いた。 「負けられるなら負けてみてくれ！」――。AIの開発やAI人材の育成を手掛けるベンチャー「AVILEN」（東京都千代田区）は7月25日に、強化学習を使ってAIを極限まで弱くしたブラウザゲーム「最弱オセロ」をリリースした。AIが対局中に「あえて角を取らない」「石を少なく取る」といった行動を取り続けるため、人間は負けることが難しいのが特徴だ。このゲームを開発した、AVILENの吉田拓真CTO（最高
Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました｜ELYZA, Inc.
Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました 本記事のサマリーELYZAが「Llama 2」ベースの商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を一般公開 性能は「GPT-3.5 (text-davinci-003)」に匹敵、日本語の公開モデルのなかでは最高水準 Chat形式のデモや評価用データセットも合わせて公開 既に社内では、130億、700億パラメータのモデルの開発も進行中 はじめにこんにちは。ELYZAの研究開発チームの佐々木、中村、平川、堀江です。 この度ELYZAは、Metaの「Llama 2」をベースに、日本語による追加事前学習を行なった日本語言語モデル「ELYZA-japanese-Llama-2-7b」と、そこにELYZA独自の事後学習を施した「
ITエンジニア本大賞2023が決定。技術書部門大賞に『良いコード／悪いコードで学ぶ設計入門』、ビジネス書部門大賞『メタバース進化論』 翔泳社が主催するイベント「ITエンジニア本大賞2023」が行われ、2月9日にプレゼン大会＆最終投票を開催し、技術書部門大賞およびビジネス書部門大賞を決定した。技術書部門大賞には『良いコード／悪いコードで学ぶ設計入門 保守しやすい 成長し続けるコードの書き方』、ビジネス書部門書大賞に『メタバース進化論――仮想現実の荒野に芽吹く「解放」と「創造」の新世界』が選ばれた。 ITエンジニア本大賞は、ITエンジニアにおすすめの技術書・ビジネス書を選出してもらうイベント。出版社や刊行年は問わずこの1年を振り返っておすすめしたい本を投票するWeb投票と、プレゼン大会、2つのイベントを通して大賞を決定する。なお、過去の大賞は殿堂入りとし、選考から除外している。 Web投票
振り飛車は不利飛車である。きのこたけのこ戦争の煽り文句で出てきそうなこの文言は今や将棋界の暗黙の了解になりつつあります。 タイトルホルダーを居飛車に独占され、勝率の上でも居飛車に押され、プロ棋士にwebニュースで冬の時代到来と言われてしまうなど、振り飛車にとって厳しい時代が到来しています。 さて、人間にとって振り飛車が冬であるように、コンピュータにとっても振り飛車は冬の状態を迎えているのでしょうか。本稿では将棋ソフトの振り飛車の歴史を紐解いていきます。 【将棋ソフトの振り飛車の黎明期（1990〜2000年初頭）】 意外にも(？)、この頃の振り飛車は将棋ソフト界隈のエース戦法の一つでした。というのも、当時の将棋ソフトは水平線効果で序盤、中盤の挙動が怪しく、序盤で変な悪手を指させないためには「初手、3手目は76歩、66歩として角交換を避ける」などの特別な処理を人間が逐一組み込まなければならなか
1. OpenAI APIのモデル「OpenAI API」は、用途に応じて「GPT-3.5」をはじめとする様々なモデル を提供しています。 ・GPT-3.5 : 自然言語とコードを理解および生成する最新モデル。 ・DALL-E : 自然言語から画像を生成・編集するモデル ・Whisper : 音声をテキストに変換するモデル ・Embeddings : 埋め込み (ベクトル表現) を生成するモデル ・Codex : コードを理解および生成するモデル ・Moderation : センシティブおよび 安全でない文章を検出するモデル ・GPT-3 : 自然言語を理解および生成する旧モデル 2. GPT-3.5「GPT-3.5」は、自然言語とコードを理解および生成する最新モデルです。最も高性能で費用対効果の高いモデルは、チャット用に最適化されていますが、既存タスクにも適している「gpt-3.5-tu
0. はじめに 昨今のAI、DXブームの影響で、機械学習、深層学習（ディープラーニング, Deep Learning） への注目は増すばかりですが、初学者の方にとって機械学習を学ぶハードルは依然高い状態かと思います。 機械学習、特にディープラーニングを習得するには学ぶべきことが多く、また分野によっては難易度が高いということもあり、学んでいる途中で挫折してしまうという人も多いという印象があります。 そこで本記事では、これから機械学習を学びたい方が自学自習する際の助けになるようにと、有用な自習コンテンツをまとめました。 本記事では、機械学習エンジニアとして実務に参画できるレベルを目指して、コンテンツを収集しました。よって機械学習の理論やライブラリに加え、社会実装する上で付随して必要となるソフトウェアエンジニアリングのスキルも含めています。 コンテンツについては、適宜追記していく予定です。 対象
この災害時にAPI制限やリプライゾンビが複数観測されていて本当になんとかして欲しい→国産SNSを作るか日本がTwitterを買収するかの時が来たのでは
今井翔太 / Shota Imai@えるエル @ImAI_Eruel 東京大学 技術経営戦略学専攻 松尾研究室 @Matsuo_Lab / 博士（工学，東京大学）/ AIを研究 強化学習，マルチエージェント，生成AI，LLM，ゲームAI @UTokyo_News_en / 著書：『生成AIで世界はこう変わる』『G検定公式テキスト』『AI白書』 / 翻訳書：『強化学習』/ 石川県金沢出身 slideshare.net/ShotaImai3 今井翔太 / Shota Imai@えるエル @ImAI_Eruel 思いっきり金沢で現地被災したのでTwitterから情報収集しているのですが、イーロンがやってきたAPI制限やリプライゾンビが最悪の形で現れているのを複数観測しているのでこれは本当になんとかしてほしい。 災害大国として真面目な災害対策をしている中で、海外の富豪の気まぐれでこうなるのはどうか
オープンソースのチャットAI「StableVicuna」がリリース。「Stable Diffusion」の開発元が提供する、人間のフィードバックに基づく強化学習でチューニングしたAI
Stability AIが、オープンソースのチャットボット 「StableVicuna」を発表 オンラインで「StableVicuna」との会話を試すことが可能 チャットボットインターフェースが近日公開予定 Stability AIは、現地時間2023年4月28日（金）にオープンソースのチャットボット「StableVicuna」 を発表しました。 Announcing StableVicuna, the AI World’s First Open Source RLHF LLM Chatbot!@CarperAI (in an effort led by @phungvanduy1) is releasing an RLHF-trained version of Vicuna-13B Learn more → https://t.co/fWk3N8Njg5 pic.twitter.com/
【エンジニア向け】「特許」ってどうとるの？
はじめに セージです。現在は特許事務所で弁理士をしています。 本稿は、特許を取得しようと思っているエンジニアに向けたものです。特許とはどういうものか、特許を取得するための流れはどんなものか、ご説明していきます。 上司から特許を取れと言われたけど、何をどうすればいいの？ 特許事務所から特許を取りたい内容の説明資料を作れと言われたけど、何を書けばいいの？ 特許を取得するための時間・お金ってどれくらいかかるの？ そんなお悩みをお持ちの方は、是非ご覧になってください。 想定する読者 以下のような人を想定しています 普段はコードを書いてるけど、会社の業務の一環で特許出願をする必要があるエンジニア 特許をたくさん取れ！と上司から言われたけどあまり特許に馴染みがない管理職 知財部（または知財担当者）が社内にないけど特許を取得したい方 ※社内に知財部がある場合は、この記事に書いてあることではなく、知財部の
生成AIによる「慣用表現の『乗っ取り』」と、その根底にある別の問題と - 渋谷駅前で働くデータサイエンティストのブログ
かなり前から「ChatGPTに学術論文を（英語で）書かせると"delve"のような普段使わないような単語が多く使われるのでバレやすい」という話がSNS以下各所で頻繁に噂されていたんですが*1、最近になってこの件について面白いpreprintが発表されていたのを知りました。それがこちらです。 もう読んで字の如しで「ChatGPTが登場して以来学術論文に使われる単語のレパートリーが劇的に変わってしまった」というのを、実際に具体的なデータに基づいて示した論文です。割と短めの読みやすい論文であることと、先述したようにSNSでは頻繁に噂されていた推測を明確化したということもあり、折角ですのでこのブログで簡単に紹介してみようと思います。 Preprintあげたのでご報告！📣 ChatGPTが使いがちな英単語ってありますよね。「delve」「realm」「utilize」あたり。 （限界助教先生の記事
俺が考える最強の「麻雀点数申告練習アプリケーション」を作ってみる ~ Pythonによる麻雀点数計算問題の自動生成と音声による点数申告 ~ - エムスリーテックブログ
こちらはエムスリー Advent Calendar 2023 1日目の記事です。 Overview エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。趣味は麻雀でフリー雀荘で毎年200半荘以上打ちます。好きな麻雀プロは園田賢さんです。 麻雀を始めるときに一番の障壁になるのは点数計算ではないでしょうか？ 特に符計算が初心者の関門のようです。一方私のような初中級者でも突然のレアな点数申告にまごつくことがあります。 そこで、今回はその人に合った麻雀の点数計算問題(主に符計算が焦点となる問題)を生成して、自分で点数計算&点数申告の練習をする方法を探求したのでその紹介をします。麻雀用語が少しだけ登場するので、対象読者は麻雀を少しでもかじったことのあるエンジニアの方です。 Overview 麻雀の点数計算の難しさ 現状の点数計算の練習
はじめに ベルマン方程式の概要 最適制御と評価関数 最適制御 評価関数 価値関数 ベルマンの最適性原理 ベルマン方程式 価値関数の離散化 状態の時間発展再訪 ベルマン方程式 まとめ 最後に はじめに 強化学習の基礎に置かれている「ベルマン方程式」について、言葉は知っているが実はちゃんと理解していないという方は意外と多いのではないかと思われます。これを知っていようが知っていまいが、正直世の中の便利なフレームワークを活用すれば強化学習を実行することは可能であるためだと推測されます。 しかし、ある種の出発点になっているはずの基礎方程式を無視して、ガチャガチャ色々試してみても、なんだかフワついたままでモヤモヤしてしまうのではないでしょうか。少なくとも自分はそうです。 なので今回はベルマン方程式を基本から丁寧に解説していきたいと思います。 ベルマン方程式の概要 細かい話をする前に、ベルマン方程式がど
RPGなどのゲームをプレイしている最中に、村人のようなノンプレイヤーキャラクターが同じことしか言わなかったり、同じ行動ばかり続けていることにがっかりしたことがあるゲーマーは多いはず。ジョージア工科大学と、Facebook AI Research(FAIR)が協力して行った最近の研究で、「目標を持って会話したり行動したりするファンタジーゲームのAI」が発表されました。 How to Motivate Your Dragon: Teaching Goal-Driven Agents to Speak and Act in Fantasy Worlds (PDFファイル)https://arxiv.org/pdf/2010.00685.pdf Teaching AI agents to communicate and act in fantasy worlds https://techxplor
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kaggle Expertになるまで勉強したことを全て書く - Qiita
無料GPT-4アプリの公開とクリーンデータセットの作成について｜kun1emon
話題爆発中のAI「ChatGPT」の仕組みにせまる！ - Qiita
自分が読んだ強化学習の資料達 - 下町データサイエンティストの日常
世界一わかりやすい機械学習プログラミングチュートリアル - Qiita
例えばAIに90年代までのエロゲの絵柄を全て学習させても、
偉い人がいうことはわけわかんないことほどだいたい正しい｜shi3z
データサイエンスはじめて1か月以内で参加したコンペで銀メダル(上位3%)とるまで！ - Qiita
ChatGPTを探す旅に出させていただきます | DevelopersIO
LLMのファインチューニング で 何ができて 何ができないのか｜npaka
【2022年】AWS全サービスまとめ | DevelopersIO
Pythonは_(アンダースコア)の使い方を理解するだけでプロフェッショナルになれる - Qiita
MinecraftをAIがプレイ、10分で「ダイヤモンドのツルハシ」を高速作成 米OpenAIが技術開発
ChatGPTに色々と決めてもらう旅に行ってきました - 藤原麻里菜のウェブ
将棋ソフトを開発して3000万円損した話 | やねうら王 公式サイト
マイクロソフトが麻雀AIを開発 「天鳳十段の実力」
2022年の深層学習ハイライト - Qiita
「わざと負けようとしても無理」と話題 プロも挑戦する“世界最弱のオセロAI”、生みの親に聞く開発の裏話
ITエンジニア本大賞2023が決定。技術書部門大賞に『良いコード／悪いコードで学ぶ設計入門』、ビジネス書部門大賞『メタバース進化論』 | gihyo.jp
将棋ソフトの勝率から見る振り飛車迫害の歴史 - コンピュータ将棋 Qhapaq
OpenAI API で提供されている モデル まとめ｜npaka
機械学習エンジニアに爆速でなるための教材集 - Qiita
強化学習に出てくるベルマン方程式を理解しよう - HELLO CYBERNETICS
ファンタジー世界が舞台のゲームでAIが「目的があるかのように」話したり行動したりできるようにする研究