はじめに 導入 Linuxで使うbash等のシェルには、様々な○○置換という機能がありますが、その中でも「プロセス置換」( <(コマンド) や >(コマンド) ) というのはなかなかイメージし辛いのではないかと思います。 ※特にコマンド置換 ( $(コマンド)や`コマンド` ) と名前が紛らわしいというのもあります。 これはパイプと機能的にも仕組み的にも近いものですので、この機会にパイプとの関連性も含め、仕組みを紹介したいと思います。 環境 bash,zsh共にプロセス置換の機能を持っていますが、以下ではbashを前提として仕組みを説明します。 なお、各動作確認は x86_64 WSL1(Win10)/Ubuntu18.04.2 LTS, bash4.4.19(1) で行っています。 プロセス置換の概要 利用目的 bash manページのプロセス置換の項にも説明はあるのですが、なかなかそれ

Zennのトレンド記事をまとめてAIがラジオをつくります。毎朝7時に更新。 お便りも募集中。送っていただいたお便りはAIパーソナリティが読み上げます。

ローカルLLMでGitHub Copilotのような開発ができるようにしました。 Continue と Ollama を用いましたが、タブ補完がβ版ということもあってか設定で躓いたので、記事にしました。 TL;DR Ollamaを起動し、API経由のアクセスが有効か確かめます config.jsonの設定後、VSCodeを再起動します（2024-05-02時点では必要） Continueのタブ補完実行時、VSCodeのOutputタブとOllamaのserver.logでデバッグを行います。 技術選定 GitHub Copilotに代わるアシスタントとしては、Cursor, Continue, Tabby を比較しました。 今回は完全ローカルで動作するContinueを選択しました。 Cursorは2024‐05‐02時点ではCursorのサーバーを経由してLLMにアクセスしているため、n

はじめに テキスト生成モデルをAPIサーバでホストする需要が増えてきている昨今ですが1サーバでできるだけ多くのリクエストをさばくためにはどうすればよいでしょうか？もちろん高速なツールを使うことも重要ですが、それだけでは限界があります。前回の記事ではいくつかのツールを比較しましたが、どのツールでもバッチサイズを上げることで単位時間あたりの処理能力を高めることができるということがわかりました。つまりAPIサーバ側でバッチサイズを大きくする工夫をすることでより多くのリクエストをさばくことが可能になります。 今回の記事ではText Generation InferenceやvLLMなどが採用して注目を集めているContinuous batchingと呼ばれる手法について紹介します。 名称や仕組みなどについてはこれらの解説を参考にしています。 予備知識 Continuous batchingの説明に

A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team

はじめに プロセッサの周波数は処理負荷や電源状態に応じて動的に変化します。 ここではプロセッサの周波数を固定にする方法を紹介します。 固定できる周波数はProcessor Base FrequencyとCore Speedです。 プロセッサとOSは次の通りです。 Intel Core i5-5200U Processor Processor Base Frequency = 2200 MHz Core Speed = 800 MHz Windows 10 Home 10.0.18362 "プロセッサの最大周波数"を表示する プロセッサの周波数を固定にするには"プロセッサの最大周波数"の設定が必要です。 しかし初期設定では表示されていない可能性があります。表示する手順を説明します。 コマンドプロンプトを起動します。以下を入力します。 powercfg -attributes SUB_PROC

はじめに この記事では，コサイン類似度の概要から，複数のベクトル群同士のコサイン類似度を一気に算出する方法をpythonコードを用いて解説します． コサイン類似度とは コサイン類似度を一言で表すと「2つのベクトルがどの程度似ているかを表す尺度」です．この尺度は，2つのベクトルの内積を2つのベクトルの大きさ（L2ノルム）で割ることによって計算できます． コサイン類似度は，-1～1の範囲に正規化され，その値によって以下のように解釈が異なります． 1なら「2つのベクトルの成す角度が0度 → 同じ向きのベクトル → 完全に似ている」 0なら「2つのベクトルの成す角度が90度 → 独立・直行したベクトル → 似ている/似ていないのどちらにも無関係」 -1なら「2つのベクトルの成す角度が180度 → 反対向きのベクトル → 完全に似ていない」 2つのベクトルの大きさにかかわらず，2つのベクトルの向きが

YouTubeでみれる日本と海外のライブカメラ映像をまとめました。動物の癒し映像から、宇宙の絶景まで盛りだくさん！【作業用BGMにも】 こんにちは、ライターの松岡です。 みなさんは自宅のリンビングでくつろいでいる時、どんな映像をテレビで見ていますか？ 僕はケーブルテレビ「イッツコムチャンネル」で放送している、二子玉川の河川敷などを映すライブカメラの映像をよく見ています。 自宅にいながらリアルタイムで様々な場所の景色や様子を見るのは、地味に楽しいですよね。 今回はYouTubeでみれる、オススメのライブカメラ映像を紹介します！ 鳥羽水族館 ラッコ水槽ライブカメラ 2頭のラッコが水槽で気持ちよさそうに泳いでいたり、のんびりしている様子が癒されます。 24時間配信をしているので、隙間時間にみて楽しむこともできますよ！ 同じチャンネルで定期的に「ラッコのお食事タイム」をライブ配信しているので、そち

はじめに この記事はHugging Face CourseのIntroduction~Transformers, what can they do?あたりの内容を自身の見解なども合わせてまとめたものになります。 Hugging Faceって？ Hugging Faceとは主に自然言語処理のモデル開発やそれらのオープンソース提供を行っているアメリカの会社で、機械が人間と同じようにテキストを理解する技術開発に貢献することを目標としているそうです。私もこういう理念には強く共感できます。 Transformerを軸においた技術開発がメインに行われているようです。 ロゴがなんかかわいい。 Transformerについて Transformerとは系列データを逐次処理で学習するのではなく、まとめて学習させられるように設計されたモデルで、それによってGPUによる並列処理の恩恵をより受けられるようになり、

Studio Ousiaと理化学研究所に所属している山田育矢です。 この記事では、大規模言語モデル（LLM）の性能を向上させる新しい方法であるLEIA（Lightweight Entity-based Inter-language Adaptation）を紹介します。 LLMは言語によって性能に顕著な差があり、訓練に使われるテキストが最も多い英語において特に性能が高い傾向があることが知られています。LEIAは、LLMが蓄えている英語の知識を他の言語から使えるようにする訓練を施すことで、英語以外の言語でのLLMの性能を向上させる新しい手法です。 この度、英語・日本語の2言語LLMであるSwallowの7Bと13Bのモデルに対してLEIAによる訓練を施して性能向上を行ったモデルを公開します。 ライセンスは、Swallowと同様のLlama 2 Community Licenseです。これらのモ

もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし

イノベーションセンター テクノロジー部門 Generative AI PJ の内部勉強会で発表した資料です。Retrieval-Augmented Generation (RAG) において重要な役割を果たす埋め込みモデル（特に日本語に特化したもの）について整理しました。

定期的に見かけるSAPを入れても碌なことがないみたいなやつ。現場の人や中間管理職の感想としては全く正しいが、本当にERPがゴミならば（主にグローバル大企業で）これだけ普及しているわけもないわけで、なにかしら使う側に問題があるのかもしれません。 マジレスするとSAPというかERPは給料の高い人の生産性を上げるもので、給料の安い人の使い勝手とか優先度低いし、末端にたくさんのデータの入力を要求するから。別になんの矛盾もない。 https://t.co/F2J5TdeWXw — (っ╹◡╹c) (@Heehoo_kun) March 21, 2024 私が新卒入社した会社でも当時のメインフレームをSAPに置き換えるみたいな話があって、コスト削減で大変な工場でそんなものは入れられないみたいな議論があったのは覚えています。その時のラインマネージャーの一人が、「ERPは給料が安い人を大量に使って給料が高

最近オープンになる大規模言語モデル（LLM）が、軒並みGPT-4レベルの性能となっています Huggngfaceで無料でダウンロードできるのですが、問題は必要VRAM容量です 話題の、Command-r-Plusは、日本語性能について評価が高く、一部の性能はGPT-4並みと言われますが、さすがに大型で104Bパラメータもあるため、4bitに量子化しても60GB程度のVRAMが必要となります。 コンシューマークラスのGPUの最高峰、RTX4090は、VRAM24GBのため、command-r-plusをすべてGPUに載せて推論しようと考えると、3台のマルチGPUデスクトップが必要です しかし、RTX4090は450W消費のGPUのため冷却機構が大きく、1デスクトップに3台収めるのは至難の業となります。 先日、水冷ラジエーター付きRTX4090で、マルチGPUデスクトップを作成しました。 水冷

こんにちは。GitHub Copilotを先日初めて触って、感銘を受けたMNTSQ代表の板谷です。MNTSQの代表をしておりますが、現役の弁護士でもあります。 なぜ私が、GitHub Copilotに感銘を受けたかというと、「プログラミングの LLM による進化」は、契約という言語をコーディングするためにもドンピシャで使えそうだと感じたからです。 例えば、GitHub Copilot では、自分の過去のコードを参照して、最適なコードをサジェストしてくれます。 これは、契約に関わるすべてのビジネスパーソンが求めていたものです！契約の 99.9%が過去のコードの使い回しであるにもかかわらず、毎回ゼロからコーディングするのが本当に苦痛だからです。ちなみに、前回契約と理由なく diff があると取引先に怒られます。笑 しかし、GitHub Copilot 的なものがプログラミング言語だけでなく契約

2024.04.16「先達エンジニアに学ぶ 思考の現在地 Online Conference」での登壇スライドです event link: https://findy.connpass.com/event/313119/ 生成AIを使ってプロダクト作りをしていたり、社内の生産性向上をチャレンジしてる方に少しでも参考になれば幸いです。

こんにちは、安くLLMを構築したいですね。おすすめ構成をお知らせします。 LLMは大規模言語モデルのことで、AIがChatGPTみたいに文章を作ってくれます。無料で使えますが、業務で使おうとすると結構難点があるし、データの漏洩とか含めて困りますね。手元のローカルでLLMを作る際のおすすめ構成をお知らせします。 まず、LLMを作るには、マザーボード、CPU、メモリ、SSD、電...

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert