1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
世界初、AIモデルの再学習コストを大幅に削減可能な過去の学習過程を再利用する「学習転移」を実現～NTT版LLM「tsuzumi」など基盤モデルの更新・差し替えを容易に～ | ニュースリリース | NTT
◆深層学習において、過去の学習過程をモデル間で再利用する全く新たな仕組みとして「学習転移」技術を実現しました。 ◆本技術は、深層学習におけるパラメータ空間の高い対称性を活用し、実際に学習することなく低コストな変換により数秒～数分程度で一定の精度を実現できるため、モデルの再学習コストを抜本的に削減できることを示しました。 ◆これにより、NTTが研究開発を進める大規模言語モデル（LLM）「tsuzumi（*1）」をはじめとした多様な基盤モデル（*2）の運用コスト削減・消費電力の削減や、多数のAIで議論することで多様な解の創出をめざしたAIコンステレーション（*3）の構想具現化など、次世代のAI技術開発に貢献します。 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、深層学習において過去の学習過程をモデル間で再利用する全く新たな仕組みとして「学習転移」技術
約28万台のHDDを運用するストレージサービス・Backblazeがメーカー・モデル別の故障率統計データ2024年第1四半期版を公開
クラウドストレージサービスプロバイダーのBackblazeが、運用している28万3851台のストレージのうち、3307台のSSDと、972台のブートドライブ、そしてメーカーの温度基準を超過したことがある275台のHDDを省いた27万9297台について、メーカー・モデル別の故障率をまとめたデータを公開しました。 Backblaze Drive Stats for Q1 2024 https://www.backblaze.com/blog/backblaze-drive-stats-for-q1-2024/ Backblazeが公開したのは、2024年3月31日時点で「100台以上運用」か「総稼働日数が1万日以上」の条件を満たしたストレージの統計データです。集計対象は27万9297台でしたが、さらに641台が前述条件を満たさず除外されているため、合計台数は27万8565台、合計稼働時間は24
PythonだけでWebアプリが作れるライブラリが増えている（2024.05） - Qiita
※本記事で言及しているReflexのdiscord内に日本語チャンネルをつくってもらいました。もし、興味をもった人がいたら参加してみてください。 １．PythonだけでWebアプリをつくるライブラリが増えている 最近（2024.05）、Python界隈ではPythonだけでWebアプリが作れるライブラリが増えています。詳しくは他の記事を参照してもらえればと思います。 以下の記事がとても参考になりました。ありがとうございます。 ２．ライブラリの分類 こうしたライブラリも大きくわけて２つの種類があるように思います。 ①データ解析の結果を表示するダッシュボードライブラリ ②汎用的なWebアプリをつくるローコードライブラリ ①ダッシュボード系ライブラリ たとえば、上記の記事にも出てきますし、ネットでもかなり情報の多い、StreamlitやDashは項番1のダッシュボードライブラリに該当すると思いま
JSR Meetup に参加してきた
JSR Meetup JSR が気になっていたことや、Deno の中の人が主催というのも良いなと思って、ささっと参加してきました。自分用に雑にまとめておきます。 https://jsr.io/ https://github.com/jsr-io/jsr ハッシュタグ 自分のメモ Deno Land Inc. が開発、運用しているパッケージレジストリ プライベートは今のところ予定されていない TypeScript をそのまま登録できる ESM 対応 OSS で開発されている 自前の JSR を立てることもできる 積極的に改善されていきそう ドキュメントが生成される Web UI がモダン Deno が流行らないと苦しそう @std を Deno が持ってるのは他からはちょっとな ... って思われそう キレイな npm 雑感 印象としては使ってみても良さそうという感じです。ただ無理に npm
｢目標達成できる人｣がChatGPTでしていること
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
デスクトップ「Chrome」Gemini統合
この記事のポイント デスクトップ版「Chrome」に大規模言語モデル「Gemini」が統合（v124） アドレスバーに［@］と入力しつつ表示される項目から［Gemini］を選択してプロンプトを入力 「@gemini」ショートカットがまだ利用できない場合は有効的（ただし日本語では文字化けも） Google ブラウザサービス「Chrome」のデスクトップ版に、大規模言語モデル「Gemini」が統合されました。 デスクトップ版「Chrome」の「Gemini」統合では、アドレスバーに［@］と入力しつつ表示される項目（Gemini / タグを検索 / ブックマークを検索 / 履歴を検索）の中から［Gemini］を選択し、そしてそのままアドレスバーにプロンプトを入力して［Enter］キーを押すことで、「Gemini」が起動しそのまま半ダイレクトに「Gemini」からの回答を得ることができます。 デス
自社サービスのバックエンドを Go から TypeScript へ切り替えるための整理
切り替える理由 自社の主力製品で利用している技術(WebRTC / WebTransport)がブラウザベースのため TypeScript を利用する Go を採用したのは sqlc が使いたかったという理由 sqlc-gen-typescript が出てきたのでもう Go を使う理由がなくなった 自社サービスチーム全員が Go にまったく興味が無い sqlc 自体は便利 そもそも自社に Go への興味がある人がいない 自社サービスの規模ではボトルネックになるのはデータベースであって言語ではない もしアプリでスケールが必要なときは Rust や Erlang/OTP に切り替えれば良い コネクションプールは PgBouncer を利用すればいい TypeScript からは 1 コネクション 1 接続で問題無い どうせフロントエンドでは TypeScript を書く 自社では React
ノーコードで、高機能AIチャットbotを作ろう。「Dify」を徹底解説｜ChatGPT研究所
今回は、最近話題の「Dify」というオープンソースのLLMアプリ開発プラットフォームを使って、簡単にAIアプリを作る方法をご紹介します。 Difyとは何か？Difyは、生成AIツールの開発プラットフォームです。 単一のモデルを使うのではなく、複数のAIモデルやツールを組み合わせることで、特定のタスクに特化した高性能なAIアプリケーションを簡単に作ることができます。 その最大の特徴は、RAG（Retrieval-Augmented Generation）エンジンを搭載していることです。RAGとは、関連する情報を検索・取得し、それを基に高品質な回答を生成する技術です。Difyではこの強力なRAGエンジンにより、幅広い分野でのAI活用が可能となっています。 圧倒的に使いやすいインターフェースDifyのもう一つの大きな魅力は、その使いやすさです。プログラミングの知識がなくても、直感的なGUIでドラ
【未経験者大歓迎】RAG超入門：AWSが推奨するRAGを体験するハンズオン - Qiita
2024/5/5更新：生成AIに興味を持った方向け、続編を投稿しました。 「Qiitaに聞いた！！」をAmazon Bedrockで作った！（Claude 3でRAG） タイトルはふざけてますが、プロンプトエンジニアリングにより本投稿と同様の内容を行う解説をしています。 （BedrockのClaude 3モデルと、Google検索を使った構成です） 生成AIはとても注目度が高い技術ですが、すこしとっつきにくいところがあるかもしれません。新しいモデルや活用手法が毎日のように登場し、ウォッチし続けるのはかなり大変です。 タイミングを逃して入門できていない方向けに、 とりあえず作って体感してみよう というコンセプトで、ハンズオン記事を作成しました。🎉🎉🎉 ハンズオンの内容は「RAG」です。RAGは生成AIの活用法としてよく出てくるキーワードです。ハンズオンでは、ただのRAGではなく最先端の
組織に“できたてホヤホヤの暗黙知”をシェアする仕組みをどうつくるか？子どもの「逆上がり」習得過程を見て気づいたこと｜安斎勇樹
組織に“できたてホヤホヤの暗黙知”をシェアする仕組みをどうつくるか？子どもの「逆上がり」習得過程を見て気づいたこと 今日は「子どもの日」ということで、個人的な話になりますが、先日、5歳の娘が「逆上がり」を習得しました。 一人の親として感動を覚える瞬間だったことはもちろん、習得のプロセスがまさにヴィゴツキーの言う「ZPD（Zone of Proximal Development、最近接発達領域）」そのもので、親としても、研究者としても非常に感激してしまいました。 そこで本記事では、「娘の『逆上がり』習得」というきわめて身近なエピソードを通じて私が感じた、ナレッジマネジメントにおける「できたてホヤホヤの暗黙知」の重要性と、「ZPD」を学びにつなげるためのポイントについて、書いてみたいと思います。 ある日の公園での「驚き」の出来事ある日、保育園の帰り道に寄った公園にて。5歳になったばかりの娘が、
テスラのスーパーチャージャーに何が起きているか | 中古車なら【グーネット】
車の最新技術 更新日：2024.05.03 / 掲載日：2024.05.03 テスラのスーパーチャージャーに何が起きているか 文●池田直渡 写真●テスラ 5月1日。外紙が一斉に伝えたところによれば、テスラは急速充電器「スーパーチャージャー」チームのほぼ全員を解雇した。解雇の理由は発表されていないが、テスラでは4月中旬に世界の従業員の10％の人員削減を発表しており、過去に車両価格の値下げや生産調整なども発表されてきたことから見て、同社の利益体質に何らかの問題が発生していると思われる。 テスラは2024年4月23日に、2024年第1四半期の決算を発表。販売台数減少の影響を受け、総売上高は前期比で約15％減少。営業利益は前期比で約43％の減少。キャッシュフローもマイナスとなった さて、問題はスーパーチャージャーの今後の話である。昨年はテスラが立ち上げた充電方式、NACS方式の採用に北米でクルマを
X（旧Twitter）の壊滅的現状に感じる5つの “もやもや” - paiza times
＜この記事の著者＞ きたがわ - Tech Team Journal 都内IT企業でSNSに関する仕事に従事。個人のXアカウントはフォロワー1.2万人（2024年5月現在）を誇り、最新の情報に基づく見解の発信も行っている。「テクノロジーと歴史を同時に考える」をテーマに日々活動中。 2023年7月24日に「X」へ名称変更した「Twitter」。名称変更、リブランディングへの賛否はプロダクトにおける宿命ともいえます。 しかし「X」の場合はどうもそのレベルではない苦言が溢れている印象。いや、それが事実でしょう。 私自身も非常にもやもやしているので、その原因を深堀りしてみます。 【目次】 1. コンテンツモデレーションの問題 2. ユーザーエンゲージメントの指標変更 3. ユーザーベースの顕著な減少 4. 広告収入の急激な減少 5. 「インプレゾンビ」の台頭 筆者の個人的な予想と感想 1. コンテ
自作キーボード：やさしいキーキャップの作り方｜Murasaki
はじめにこの記事では、Autodesk Fusion 360を使用し、初心者でも簡単にキーキャップを作成できる方法を説明します。 キーキャップ作りを始める際の参考になれば幸いです。 また、丸みを帯びたキーキャップが作りたい方は、malayan_tapirさんの下記記事をお読み下さい。 私のキーキャップとは違う作り方をされていて、勉強になります。 この記事を読むと作れるキーキャップ達大まかな流れスケッチ機能で下書きをする 押し出し機能で平面を立体にする シェル機能で穴を空ける 軸穴を作る 完成 それでは、やっていきたいと思います。 スケッチ機能で下書きをする作成内のスケッチアイコンをクリックします。次に、スケッチする平面を指定します。 赤い矢印が指している灰色の面をクリックします。平面をクリックすると、こんな画面になります。 画面右側に、スケッチパレットが表示されるはずです。画面左上の作成内
マッキンゼーや大手コンサル会社の黄金期は過ぎ去ったのかもしれない | AI技術で人間のコンサルタントは不要に？
つい最近まで、マッキンゼーをはじめとするコンサル業界は絶好調であるかのように思われた。しかし、ここにきて風向きが変わった。英「エコノミスト」誌は、コンサル業界が今回の成長の落ち込みから復活するのは難しいと予想する。 2024年3月、ある匿名のメモがインターネット上に一時拡散した。メモの著者は複数人で、いずれも「マッキンゼーの元パートナー」と称していた。彼らは輝かしい業績を誇る戦略コンサル会社が近年、「成長ありきの無責任体制」に陥り、とくに経営陣に対しては「戦略的目標が欠如」していると手厳しく非難した。そしてマッキンゼー出身者らしい控え目な書き方ながら、「真に偉大な組織」が存亡の危機に瀕していると警告した。 このメモはすぐに削除されたが、それはマッキンゼー社員の直近の不満にほかならなかった。1月、同社マネージングパートナー（一般企業のCEOに当たる）のボブ・スターンフェルズは、最初の社内投票
「史実では坂本龍馬は大したことしてない」という説を見かけるが、最新の歴史学を調べてみたら全然活躍してるし「司馬史観」の歪みも言語化できた話
倉本圭造@新刊発売中です！ @keizokuramoto 経済思想家・経営コンサルタント。大卒でマッキンゼー入社。その後日本らしさを活かす一貫した新しい戦略の探求を始め、社会の真のリアルを見るため時にはブラック企業や肉体労働現場等にまで潜入した後独立。コンサル業のかたわら「個人の奥底からの変革」を支援する”文通サービス”も。その他詳細や著作情報はホームページ↓へ keizokuramoto.com 倉本圭造@新刊発売中です！ @keizokuramoto 史実では「坂本龍馬は大したことしてない」「実は織田信長は常識人」という話をSNSで時々見かけますが、最新の歴史学では実際はどういう説になっているのか気になって調べてみたので聞いてください。結論から言うといわゆる「司馬遼太郎史観」が「課長・島耕作」的世界観に立脚していたからこその歪みがこのギャップに繋がっているのだと私は感じました。 ・ １
日銀がこれほどまで円安を｢無視｣する3つの理由
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
1on1が嫌いな人に知ってほしいこと、苦手な原因や解決策を解説！
1on1ミーティングは、アメリカのシリコンバレーで人材育成を目的として確立された手法で、「上司と部下の1対1で行う定期的な面談」の事です。日本でもヤフー株式会社などが取り入れたことから注目を集め始め、2020年には、規模に関わらず約4割の企業が導入しています。 1on1ミーティングは組織の生産性向上やエンゲージメントを高めるための施策として有効で、1on1ミーティングを導入し始めている企業様も増えてきました。しかし、1on1を実際に行っている管理職やマネージャー、メンバーから「1on1ミーティングが嫌い」「1on1ミーティングが苦手」などの声もあります。 そのため、本記事では1on1が嫌いになってしまうような上司の特徴や悪い1on1の特徴、そしてその原因と解決策についてご紹介します！適切な1on1ミーティングの方法を知り、価値のあるものにしていきましょう。 1on1ミーティングが嫌いと感じ
ブラウザキャッシュの仕組みについてまとめた
Web開発において、ページの読み込み速度は非常に重要になります。 そのためにもブラウザのキャッシュは効率的なWebサイト運営に不可欠な機能です。 ブラウザのキャッシュには次のHTTPヘッダを設定することができます。 Expiresヘッダ Cache-Controlヘッダ Last-Modifiedヘッダ ETagヘッダ これらのキャッシュには強いキャッシュと弱いキャッシュで分類が可能です。 「Expires」「Cache-Control」は強いキャッシュであり、「Last-Modified」「ETag」は弱いキャッシュに分類できます。 強いキャッシュと弱いキャッシュ 強いキャッシュは設定された期間内は完全にローカルキャッシュを利用して、サーバーへのリクエストを行いません。 一方で弱いキャッシュはキャッシュされたリソースの検証が必要であり、ETagやLast-Modifiedヘッダを利用して
東京は家の中に文化がない + 追記
東京は住宅が狭すぎて家の中に文化がない。 まともな本棚を置けない。絵を飾るスペースがない。靴はひとり数足しか保管場所がない。 大きな冷蔵庫を置けないのでヨーロッパや東南アジアの珍味を貯めておけない。 ホームベーカリーを置けない。ピアノを置く場所がない。食器が一家で20枚もない。 子供が学校で作った紙粘土の鳩を飾れない。五月人形やひな人形を飾れない。 結婚式で作ったドライフラワーはクローゼットの奥にしか置き場がない。 ダブルベッドを2つ置ける部屋がない。もう使わないゴルフバッグを念のため置いておける物置部屋がない。 狭すぎて子供を作れない。それでも仕事のために東京にしがみついている。 生殖を制限してまで働いているという意味で、本当の社畜だと思う。 それでいて地主にバカ高い家賃を払い続ける。 弟夫婦が練馬区に住んでおり上に書いた状況だった。心底気の毒だと思う。 プライベートのかなりの時間は自宅
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
