はじめに 最近Command R+が界隈を賑わせています。 その賑わいの中でも「Command R+の日本語の応答速度が速い。」という声を良く聞きます。(半分以上X経由なので、よく聞くというよりも良く見るが近いですが、) そこで今回はCommand R+の日本語の応答速度が本当に速いのか、なぜ速いのかについてトークナイザー観点で述べたいと思います。 応答速度とトークナイザーの関係及びCommand R+のトークンナイザー まず前提として、入力あたりのトークン数が少なければ少ないほど応答時間が短くなります。よってトークナイザーは応答速度に大いに関係します。 詳しくは以下の記事で解説しています。少しだけ述べるとトークン数縮小に伴う語彙数増加によるEmbedding層肥大化による速度遅延<<トークン数増加による速度遅延となっています。ELYZAのfastのモデルが速い理由の一つもこの理由です。

TL;DR 量子化しても成績が下がりにくいモデルと、大きく下がるモデルがある 一部のモデルは量子化すると回答が極端に短くなる 量子化によって回答が短くなる度合いは、量子化前モデルの回答の長さと相関がある可能性がある はじめに 皆さんは量子化したLLMを使っていますか？ 深層学習における量子化（quantization） とは、モデルのパラメータを少ないビット数で表現することです。 通常のモデルは float32 などの高精度なデータ型を使ってパラメータを表現しますが、この精度を float16 や int8 に下げることを量子化といいます。 量子化による最大のメリットは、モデルのメモリ使用量を削減できることです。メモリの大きなモデルを動かすためには、大容量のメモリを搭載したGPUが必要ですが、量子化によってモデルのメモリ使用量を削減することで、より多くのGPUでモデルを動かすことができます

はじめに 最近の機械学習の発展はすごいですね。 特に大規模言語モデル（LLM;Large Language Model）の発展が目覚ましく、ChatGPTをはじめ目に見える形で成果が出始めています。1 この技術の進歩に置いて行かれないようにLLMを勉強しつつ強化学習に実装してみました。 記事としては前半はLLMの利用、後半は強化学習のDQNにLLMを組み込んだ実装となります。 PythonからLLMの利用 LLMの利用はBERTでもお世話になったHugging Faceを使います。 ドキュメントがかなり充実しており、チュートリアルをベースに進めてみました。 また今回実行している環境は以下です。 OS : Windows11 Python: 3.12.2 GPU : GeForce RTX3060(memory 12GB) CUDA : 12.1.1 (Torchに合わせています) # To

【読売新聞】　将棋で「相入玉」の戦いと言われたら、通常の手数の２倍である２００手超の泥仕合が浮かぶが、そこに新しい風を吹き込んだのが棋界きっての序盤巧者である伊藤匠七段だ。角換わり相腰掛け銀の後手番で、実にスマートに上部を開拓する。

人は無能に到達するまで昇進するという「ピーターの法則」というのがある。 「階層型の組織においては、どんな人も、昇進を繰り返すことでいずれは能力の限界に達し、十分に職責を果たせなくなって無能化する。その結果、「あらゆるポストは、職責を果たせない無能な人間によって占められる」という。 https://mba.globis.ac.jp/about_mba/glossary/detail-20919.html グロービスとくにリーダーが劇的な環境変化に異動、転職、抜擢で放り込まれるとこの法則が強烈に作用する。なぜなら周りの方が知識や経験があり自分がその組織内で最もそれがない人になってしまうからだ。一方で、この人は何かしてくれるのでは？という期待を関係者からは持たれる。「組織内で最も無能なのに最も期待される」という特殊状態を過ごすことになる。 12年ほど前に突然、社長をというキャリアチェンジを経験を

モニクル社内3分LTで発表しました。技術職以外の人向けに話したので、抽象度高めにしてあります。

1. はじめに Transformerは2017年に「Attention is all you need」という論文で発表され、自然言語処理界にブレイクスルーを巻き起こした深層学習モデルです。論文内では、英語→ドイツ語翻訳・英語→フランス語翻訳という二つの機械翻訳タスクによる性能評価が行われています。それまで最も高い精度を出すとされていたRNNベースの機械翻訳と比較して、 精度(Bleuスコア) 訓練にかかるコストの少なさ という両方の面で、Transformerはそれらの性能を上回りました。以降、Transformerをベースとした様々なモデルが提案されています。その例としては、BERT,XLNet,GPT-3といった近年のSoTAとされているモデルが挙げられます。 ここで、「Attention is all you need」内に掲載されているTransformerの構造の図を見てみま

スキップNG！ この「スガイ」何を利用した？ 今日の一問の答えはこちら↓ 【満点で全知全能】クイズ！七種競技 42日目 https://web.quizknock.com/heptathlon-42 ーーーーーーーーーーーーーーーーーーーー ◆新チャンネル「QuizKnockと学ぼう」はこちら！ https://www.youtube.com/c/QKmanab チャンネル登録よろしくお願いします。 ◆ゲーム実況チャンネル「GameKnack」（ゲームナック）はこちら！ https://www.youtube.com/c/QKgameknack チャンネル登録よろしくお願いします。 ◆QuizKnockサブチャンネル https://www.youtube.com/c/QKkaigi 未公開シーン、質問コーナー、会議のこぼれ話など、ゆるーくやっていきます。 ◆Twitter 伊沢拓

【持ち時間をどうするのか】　先日書いた『若手プロに知ってもらいたいこと・魚谷侑未の九蓮宝燈狙いの是非』を読んだという方とやりとりする中で「競技麻雀の定義」を改めて書かないとなあと、そういう気持ちになった。 でも、過去の記事を調べてみたら、このテーマは前に書いていた。『麻雀の歴史シリーズ⑥競技麻雀は「競技」なのか』という回に結構くどくどと、私なりの「競技麻雀論」を書いているので、まずはそちらをご覧いただきたい。 もちろん今回の記事は、予備知識がなくても読めるものにしたいとは思っている。だが、同じことを繰り返して書くつもりはないので、そのあたりはご了承いただきたい。 まず、現在おこなわれている「競技麻雀」は「かろうじて競技として踏みとどまっている状態」だと私は思っている。 それは、プレーヤーの皆さんが、今の競技麻雀を「競技だ」と認識しているからだ。もっと言うと「競技にしなければならない」と考え

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Boring avatars is a tiny JavaScript React library that generates custom, SVG-based, round avatars from any username and color palette.

Facitars! は、一定のトーンに沿った形で与えたシードからランダムなアバターアイコンを生成してくれるライブラリです。 Facitars! のサンプルコードで生成したランダムなアバター群 アカウント名やメールアドレスをシードにすることで、他のユーザーと形や色が同じにならないユニークなアイコンをユーザーごとに自動で作れるため、会員登録制のwebサービスのデフォルトアイコンなどに使えそうです。 HTMLページに埋め込んだJavaScript から呼び出すことも、サーバーサイドから呼んで画像を作ることもできるオープンソースのライブラリの形式で提供されています。実際に作ってみました。 Facitars! で自分のアカウント名などをシードに作成したアバターアイコン ユーザー登録サービスでも自分のアイコンを登録する手間は面倒と感じる人が多いようで、ユーザーが並んでいるコメント欄などでもデフォルトの

2024年3月にリリースされた最新のLLM（大規模言語モデルAI）であるClaude 3を使って、長編小説執筆支援のアプローチを模索しました。 たんに文面を書いてもらうのではなく、作品構成や案出し、推敲などについて多面的に支援をしてもらう検証をしています。 ▼ChatGPT（GPTs）で小説執筆支援AIを作る方法 本作はこちらの続編みたいな位置付けです！ https://kakuyomu.jp/works/16818023212189122505

今のLLMを取り巻く状況について紹介します。

eriko @ 多言語学習🇯🇵🇺🇸🇰🇷🇪🇸🇫🇷 @buenoerico_ ディスってるとかじゃなくて、なぜ日本の女性は声を高く、子供みたいな話し方するのか？あとキャハキャハよく笑ってる？ってずっと不思議に思ってて、友達に聞いたらそういうことを研究している人がいるらしい。論文か本があるみたいだからスペイン語だけど今度読んでみる。 2024-03-24 06:04:52 eriko @ 多言語学習🇯🇵🇺🇸🇰🇷🇪🇸🇫🇷 @buenoerico_ 確かに私も高校生の時バイトですごい甲高い声を出させられた？記憶があって、接客業では教育で甲高い声を出すように言われてる印象。多分社会的な何か理由があるんだろうなってずっと気にはなってて、ようやく謎が解けそう。自分が声低めなので、ずっとコンプレックスだったというのもある。 2024-03-24 06:21:21 佐々

以下の記事はブログメディア、TokyoDevにて公開されている『The rise and fall of D&D in Japan』の元になった原稿です。 日本在住の英語話者向け記事として「日本におけるD&Dの歴史」をまとめてほしいという依頼を受けたため、刊行されていたり、自分が立場上知り得た情報に基づいて日本のD&Dの歴史と展開を追いました。 英語版の記事は、編集部の協力により、この記事からディテール部分を大幅にカットしてD&Dの興亡と現状、影響をシンプルにまとめたものとなっています。 1985年、『ダンジョンズ＆ドラゴンズ』（以下D&D）は日本で爆発的なヒットを記録し、日本語版『ベーシックルールセット』は発売された年だけで10万部を売り上げた。翌年にはゲーム雑誌『コンプティーク』にてD&Dのセッションの様子を読み物とした記事、『D&D誌上ライブ　ロードス島戦記』が掲載された。この記事を

リンク 高槻 やよい｜ アイドルマスター ミリオンライブ！ シアターデイズ（ミリシタ）｜ バンダイナムコエンターテインメント公式サイト 高槻 やよい｜ アイドルマスター ミリオンライブ！ シアターデイズ（ミリシタ）｜ バンダイナムコエンターテインメント公式サイト スマートフォンゲームアプリ「アイドルマスター ミリオンライブ！ シアターデイズ（ミリシタ）」公式サイト 39 リンク store.yayoiken.com やよい軒 高槻店 | やよい軒 やよい軒 高槻店の詳細ページです。定食のお店「やよい軒」の店舗検索のページです。日本各地の「やよい軒」のお店を検索できます。 リンク ニコニコ大百科 やよい軒とは (ヤヨイケンとは) [単語記事] - ニコニコ大百科 やよい軒とは、株式会社プレナスがフランチャイズ展開する定食屋である。 概要 かつては「めしや丼」と言う名の外食フランチャイズチェー