最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
SaaSを作るという仕事について
Using "modern" Ruby to build a better, faster Homebrew
仲山進也氏 インタビュー メンバーが地雷を恐れて黙って様子見するチームは成長しない 高パフォーマンスのチームづくりを阻む10項目 新年度がスタートし、新たなチーム結成から1ヶ月が経過した5月。リーダーやマネージャーにとって、チーム管理の課題が浮き彫りになる時期です。この重要な時期に、ログミーBizのアンバサダーでありチームビルディングに詳しい仲山進也氏に、効果的なチーム作りのポイントをお聞きしました。前編は、心理的安全性の実現が難しい具体的な理由や、チーム成長を阻む心理的障壁10選などが語られました。 心理的安全性の実現が難しい具体的な理由 ――チームのパフォーマンス向上にもつながる重要な要素として、数年前から「心理的安全性」が言われていますが、実際には心理的安全性を実現できていないケースも多いようです。チームビルディングの専門家である仲山さんは、この状況をどのようにご覧になっていますか？
Go1.13以後のエラーハンドリングについて語ろう / Let's talk about error handling after Go 1 13
#RubyKaigi 2024 LTで「Improved REXML XML parsing performance using StringScanner 」というタイトルで発表しました。 - @naitohの日記
RubyKaigi 2024 LT で 6年振り にLT発表させて頂きました。 今回の内容は、おおよそ naitoh.hatenablog.com を5分に縮めた内容になります。 具体的には、下記になります。 自分が作成している RBPDF gem で SVG 画像(XMLで記述されています。)を処理したいので、XML処理ライブラリの中でインストールの容易な REXML を使いたい。 REXML は C拡張の gem の libxml-ruby と比較して dom で65倍、sax でも 21倍遅いので、速くしたい。 Ruby 3.3 で YJIT を有効にするだけで dom で65倍→44倍、sax で 21倍→14倍の性能差まで改善されるが、まだ遅いのでさらに改善したい。 RubyKaigi 2019 の Better CSV processing with Ruby 2.6 で、St
GitHub - hadashiA/Unio: Unio (short for unity native I/O) is a small utility set of I/O using native memory areas.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Unleash the power of automated index tuning in Azure Database for PostgreSQL Flexible Server
Azure Database for PostgreSQL Flexible Server offers a smart and easy way to tune your indexes and consequently improve the performance of your workloads and reduce your Azure costs. Why index tuning matters Indexes are data structures that help your database find and retrieve data faster. They are essential for improving the performance of your queries, especially when you have large tables with
Optimize Azure Functions for Performance and Costs using Azure Load Testing
Azure Functions is a serverless computing platform that allows you to run code without having to manage infrastructure, servers, or operating systems. You focus on the code that matters most to you, in the most productive language for you, and Azure Functions handles the rest. As applications grow, so do the costs and performance requirements. Finding the optimal balance between cost and performan
最近のCPUには行列乗算に役立つ命令が載っていることがあります。IntelのAdvanced Matrix Extensions (AMX)、AppleのAMX、IBM PowerのMatrix-Multiply Assist (MMA)，そしてここで取り上げるArmのScalable Matrix Extension (SME)です。 SMEはここ数年（2021年ごろから？）話は聞きますが、実物の話は聞かないという状況でした（私の中では）。それが最近発表されたApple M4に実装されているという噂を聞いて、俄然興味が出てきました。Apple M4の実物は私は持っていませんが、QEMUを使うとSMEの動作確認ができるようです。やってみましょう。 環境構築とベクトル長 Ubuntu 24.04上のGCC 14/Clang 18とQEMU 8.2で動作確認します。Ubuntuはx86_64で
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「Copilot+ PC」とはなにか マイクロソフトが狙うUX変化とWindowsの再設計
メンバーが地雷を恐れて黙って様子見するチームは成長しない 高パフォーマンスのチームづくりを阻む10項目
【笠原一輝のユビキタス情報局】 「Copilot+ PC」のローンチパートナーがQualcommになった背景
【山口真弘の電子書籍タッチアンドトライ】 13型にして超軽量579gのフラグシップモデル！「13インチiPad Pro」
Microsoft、「Copilot+ PC」対応のSnapdragon X Elite搭載「Surface Pro/Laptop」
PGOによるコンパイラ最適化 / Compiler Optimization with PGO
ArmのScalable Matrix Extension (SME)を試す