推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密
推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密 2024.02.18 Updated by Ryo Shimizu on February 18, 2024, 10:08 am JST 2024年1月。国内の生成AIコミュニティに激震が走った。 コンタクトセンター向けのチャットボット開発のパイオニアとして知られるカラクリ社が商用利用可能のオープンソースモデルとして公開したKarakuri-ln-70bの性能が高すぎると話題になったのだ。 多くの日本語LLMと同様に数学能力に関するスコアは低いが、物語を記述する能力、日本語の質問に日本語で答えたり、答えをプログラムで扱い易いJSON形式にしたりする能力がこれまでの国産LLMに比べて桁違いに高かったのである。 物語を記述する能力に関しては、一説によればGPT-4を凌駕するとも言わ
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
クリエイターの時代
クリエイターの時代 2023.03.11 Updated by Ryo Shimizu on March 11, 2023, 15:48 pm JST ChatGPTが流行り過ぎている。 来週にはGPT-4が出るという話になっていて、しかもGPT-3は1750億パラメータであるのに対し、GPT-4は100兆パラメータと言われている。 普通に考えて単位が桁違いにおかしいのだが、そもそもそんなに巨大なニューラルネットワークが学習できてしまったことも驚きだが、実用的に使うためには信じられないくらい大規模な機械が必要になる。 まだ出てもいないGPT-4を警戒しても仕方ないので、むしろGPT-4が出る前の今のタイミングだからこそ、敢えて「ChatGPTブームの終わりは近い」と予測してみたい。 なぜか? 第一に、ChatGPTは、簡単に使え過ぎてしまう。 朝思いついて昼には新しいアプリができてしまう。
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる 2021.07.26 Updated by Ryo Shimizu on July 26, 2021, 07:12 am JST 最近のプログラミングの新しい波は微分可能プログラミング(differentiable programming)である。 微分可能プログラミングとは、簡単に言うと・・・と思ったが、簡単に言うのは結構難しい。 まず「微分」という言葉があまり簡単ではない印象がある。 まずは微分と積分の関係性を説明しておこう。文系の読者に向けた記事であるので、非常にざっくりと説明してみよう(そのかわり、元々数学が得意な読者にとっては直感的ではない説明になるかもしれない)。 まず、瓶からコップにジュースを移すような状況を想定してみる。 瓶からコップが一杯になるまで60秒で注ぐとし
ショートカットキーはマウスより遅い - WirelessWire News
CTRL+Xでカット、CTRL+Vでペースト。 ショートカットキーの使い方を覚えると、パソコンの達人になったような気分になりますよね。 しかし、実際にはショートカットキーを使用すると、マウスでメニューから「編集」「ペースト」を選ぶよりも平均2秒も遅いのです。 「そんなバカな」 と思いますよね。 しかし、これはTogことブルース・トグナッツィーニがAppleでMacintoshの開発を担当した際に行った膨大な実験の結果、解ったことなのだそうです。 これはTogのWebページでも詳しく紹介されています。 しかし2秒とはとても信じられません。 むしろ逆のようにさえ感じます。 しかしTogの主張によれば、我々ユーザはショートカットキーを選ぶのに2秒かかっているものの、ショートカットにたどり着くまでの時間を喪失している、つまりプチ記憶喪失状態になっているというのです。 こんな不思議な話が、慶應
日本でプログラマが少ない理由は正当な対価を支払わないからである - WirelessWire News（ワイヤレスワイヤーニュース）
「日本史なんかより、プログラミングを教えるべき」三木谷浩史氏と夏野剛氏が日本の技術者不足を嘆く この対談がテクノロジー界隈の怒りを買って大炎上しております。三木谷氏と夏野氏曰く、日本史なんか教えなくていいからプログラミングを教えろ、日本でプログラマが足りない理由は工学系とかプログラム系を学ぶ学生が少ないから、だそうであります。つまり、それらを学ばない若い人が悪い、ということの様です。 しかし日本と欧州や北米の現場をみて来た自分からすると、お前ら一体何言ってんだということを申し上げたい。 日本で通信系やIT系の技術者が増えない理由は、ずばり、それら業界がエンジニアを大事にしないからでしょう。 このブログでも再三書いていますが、欧州だと、弱小ベンダーだって日本の様なデスマーチとは無縁です。就労環境の良さは比較になりません。インフォメーションアーキテクトなら年収２千万を軽く越える人だっています。
日本でデスマーチが発生する理由とW杯コートジボアール戦のゴミ拾いの関係 - WirelessWire News（ワイヤレスワイヤーニュース）
先日のワールドカップの日本対コートジボアール戦で、日本のファンが、試合に負けたのにも関わらず、スタジアムのゴミを拾ったことが、様々な国のサッカーファンやメディアに驚かれました。 Japanese fans stayed behind after the game last night to clean their section of the stadium. Class act. pic.twitter.com/av1hzs4eXY— World Cup 2014 (@Brazil14WC) June 15, 2014 Japanese fans cleaning near the seats where they were sitting. Such an admirable civilisation. Massive respect. pic.twitter.com/leAYPuEK
日本の大学の国際化はどう考えても無理だと世界にバレている - WirelessWire News（ワイヤレスワイヤーニュース）
イギリスの高等教育専門雑誌である Times Higher Educationに、日本の私大で教えていたイギリス人学者の書いた記事が掲載されていました。この記事、日本の高等教育の実態を、外国人学者の視点で、身も蓋もない書かれ方をしており、大変興味深いといいますか、「日本の教育ヤバいんとちゃう？」とかなり心配になるのであります。 Beyond sushi: the attractions of lecturing in Japan （寿司の向こう側：日本で講義をやる魅力） と題された記事。一見「日本の大学は最高だ」という内容を期待しそうになりますが、そこはイギリス。記事を読み始めてすぐに「ああ、イギリス流の皮肉じゃないか。。。」とわかります。 イギリスの名門サセックス大学で歴史学の博士号を取得したスーザン•バートンさんは、博士号取得後、なかなか仕事がみつからず、本屋で最低賃金のアルバイトを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
