ツナカン(TUNA-JP Conference) #12 で発表した資料です

最近はAIエンジニアを名乗ってるerukitiです。フロントエンドもバックエンドも、LLMを触るあれこれもやってるので、「AIエンジニア」くらいを名乗るとちょうどよさそうだなと思ってます。いずれLLM自体の開発なんかもやってるかもしれません。 LLMプロダクトを開発していると、構造化データを作りたいのに、Anthropic ClaudeのAPIにはJSONモードが無いことや、なんならJSONモードやfunction callingを使っても、データが正しい形式に従ってることは保証しがたい、みたいな自体に遭遇することがあります。 JSONが出力できたとしても、構造化データをうまく吐き出させるのは難しいものです。文字列を出力させたいけど、複数あるときは、配列なのか、それともカンマ区切りなのか？項目がオプショナルの場合はどうするか？項目が存在しない、空文字や 0 や undefined や nu

Visit http://TED.com to get our entire library of TED Talks, transcripts, translations, personalized talk recommendations and more. Leaving a high-flying job in consulting, Angela Lee Duckworth took a job teaching math to seventh graders in a New York public school. She quickly realized that IQ wasn't the only thing separating the successful students from those who struggled. Here, she explains h

先日、個人開発していたzenncastというWebサービスをリリースしました。 Zennでトレンドになっている記事を、毎日AIが10分のラジオにして届けてくれるというサービスです。 ありがたいことに公開後はたくさんの方に試してもらえ、技術的な質問も多数いただきました。 このZennではzenncastの技術構成や仕組みを紹介します（プロンプトつき）。 作ったもの まずはエピソードを一つ選んで1分くらい聴いてみてください！ AIラジオの雰囲気が掴めると思います。 主な機能・特徴 毎朝10分のラジオを生成 Zennでトレンドになっている記事を要約して紹介 お便りを投稿すると、翌日のエピソードでAIパーソナリティが拾ってコメントしてくれる BGMをつけて爽やかな聴き心地 これらのステップは人の手を介さずすべて自動化されています。 Spotifyなどの各種プラットフォームへの配信はSpotify

はじめに 導入 Linuxで使うbash等のシェルには、様々な○○置換という機能がありますが、その中でも「プロセス置換」( <(コマンド) や >(コマンド) ) というのはなかなかイメージし辛いのではないかと思います。 ※特にコマンド置換 ( $(コマンド)や`コマンド` ) と名前が紛らわしいというのもあります。 これはパイプと機能的にも仕組み的にも近いものですので、この機会にパイプとの関連性も含め、仕組みを紹介したいと思います。 環境 bash,zsh共にプロセス置換の機能を持っていますが、以下ではbashを前提として仕組みを説明します。 なお、各動作確認は x86_64 WSL1(Win10)/Ubuntu18.04.2 LTS, bash4.4.19(1) で行っています。 プロセス置換の概要 利用目的 bash manページのプロセス置換の項にも説明はあるのですが、なかなかそれ

Zennのトレンド記事をまとめてAIがラジオをつくります。毎朝7時に更新。 お便りも募集中。送っていただいたお便りはAIパーソナリティが読み上げます。

ローカルLLMでGitHub Copilotのような開発ができるようにしました。 Continue と Ollama を用いましたが、タブ補完がβ版ということもあってか設定で躓いたので、記事にしました。 TL;DR Ollamaを起動し、API経由のアクセスが有効か確かめます config.jsonの設定後、VSCodeを再起動します（2024-05-02時点では必要） Continueのタブ補完実行時、VSCodeのOutputタブとOllamaのserver.logでデバッグを行います。 技術選定 GitHub Copilotに代わるアシスタントとしては、Cursor, Continue, Tabby を比較しました。 今回は完全ローカルで動作するContinueを選択しました。 Cursorは2024‐05‐02時点ではCursorのサーバーを経由してLLMにアクセスしているため、n

はじめに テキスト生成モデルをAPIサーバでホストする需要が増えてきている昨今ですが1サーバでできるだけ多くのリクエストをさばくためにはどうすればよいでしょうか？もちろん高速なツールを使うことも重要ですが、それだけでは限界があります。前回の記事ではいくつかのツールを比較しましたが、どのツールでもバッチサイズを上げることで単位時間あたりの処理能力を高めることができるということがわかりました。つまりAPIサーバ側でバッチサイズを大きくする工夫をすることでより多くのリクエストをさばくことが可能になります。 今回の記事ではText Generation InferenceやvLLMなどが採用して注目を集めているContinuous batchingと呼ばれる手法について紹介します。 名称や仕組みなどについてはこれらの解説を参考にしています。 予備知識 Continuous batchingの説明に

A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team

はじめに プロセッサの周波数は処理負荷や電源状態に応じて動的に変化します。 ここではプロセッサの周波数を固定にする方法を紹介します。 固定できる周波数はProcessor Base FrequencyとCore Speedです。 プロセッサとOSは次の通りです。 Intel Core i5-5200U Processor Processor Base Frequency = 2200 MHz Core Speed = 800 MHz Windows 10 Home 10.0.18362 "プロセッサの最大周波数"を表示する プロセッサの周波数を固定にするには"プロセッサの最大周波数"の設定が必要です。 しかし初期設定では表示されていない可能性があります。表示する手順を説明します。 コマンドプロンプトを起動します。以下を入力します。 powercfg -attributes SUB_PROC

はじめに この記事では，コサイン類似度の概要から，複数のベクトル群同士のコサイン類似度を一気に算出する方法をpythonコードを用いて解説します． コサイン類似度とは コサイン類似度を一言で表すと「2つのベクトルがどの程度似ているかを表す尺度」です．この尺度は，2つのベクトルの内積を2つのベクトルの大きさ（L2ノルム）で割ることによって計算できます． コサイン類似度は，-1～1の範囲に正規化され，その値によって以下のように解釈が異なります． 1なら「2つのベクトルの成す角度が0度 → 同じ向きのベクトル → 完全に似ている」 0なら「2つのベクトルの成す角度が90度 → 独立・直行したベクトル → 似ている/似ていないのどちらにも無関係」 -1なら「2つのベクトルの成す角度が180度 → 反対向きのベクトル → 完全に似ていない」 2つのベクトルの大きさにかかわらず，2つのベクトルの向きが

YouTubeでみれる日本と海外のライブカメラ映像をまとめました。動物の癒し映像から、宇宙の絶景まで盛りだくさん！【作業用BGMにも】 こんにちは、ライターの松岡です。 みなさんは自宅のリンビングでくつろいでいる時、どんな映像をテレビで見ていますか？ 僕はケーブルテレビ「イッツコムチャンネル」で放送している、二子玉川の河川敷などを映すライブカメラの映像をよく見ています。 自宅にいながらリアルタイムで様々な場所の景色や様子を見るのは、地味に楽しいですよね。 今回はYouTubeでみれる、オススメのライブカメラ映像を紹介します！ 鳥羽水族館 ラッコ水槽ライブカメラ 2頭のラッコが水槽で気持ちよさそうに泳いでいたり、のんびりしている様子が癒されます。 24時間配信をしているので、隙間時間にみて楽しむこともできますよ！ 同じチャンネルで定期的に「ラッコのお食事タイム」をライブ配信しているので、そち

はじめに この記事はHugging Face CourseのIntroduction~Transformers, what can they do?あたりの内容を自身の見解なども合わせてまとめたものになります。 Hugging Faceって？ Hugging Faceとは主に自然言語処理のモデル開発やそれらのオープンソース提供を行っているアメリカの会社で、機械が人間と同じようにテキストを理解する技術開発に貢献することを目標としているそうです。私もこういう理念には強く共感できます。 Transformerを軸においた技術開発がメインに行われているようです。 ロゴがなんかかわいい。 Transformerについて Transformerとは系列データを逐次処理で学習するのではなく、まとめて学習させられるように設計されたモデルで、それによってGPUによる並列処理の恩恵をより受けられるようになり、

Studio Ousiaと理化学研究所に所属している山田育矢です。 この記事では、大規模言語モデル（LLM）の性能を向上させる新しい方法であるLEIA（Lightweight Entity-based Inter-language Adaptation）を紹介します。 LLMは言語によって性能に顕著な差があり、訓練に使われるテキストが最も多い英語において特に性能が高い傾向があることが知られています。LEIAは、LLMが蓄えている英語の知識を他の言語から使えるようにする訓練を施すことで、英語以外の言語でのLLMの性能を向上させる新しい手法です。 この度、英語・日本語の2言語LLMであるSwallowの7Bと13Bのモデルに対してLEIAによる訓練を施して性能向上を行ったモデルを公開します。 ライセンスは、Swallowと同様のLlama 2 Community Licenseです。これらのモ

もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし

イノベーションセンター テクノロジー部門 Generative AI PJ の内部勉強会で発表した資料です。Retrieval-Augmented Generation (RAG) において重要な役割を果たす埋め込みモデル（特に日本語に特化したもの）について整理しました。