品川アジャイルでは呼ばれたら各スクラムフェスにお邪魔して配信のお手伝いをしているのですが、お手伝いさせていただけることはうれしいものの、どちらかというと、あらゆるカンファレンスの運営の方に「配信することをあきらめてほしくない」と思ってやっています。 カンファレンスの配信において注意しているのは、だいたいこんな感じです。 機材に詳しくない人でも運用できる 一日中放っておいても動く安定性 発表者が慣れているZoomと画面共有を使う 発表者PCからHDMI接続する際のトラブルを避ける そのままクラウドに録画録音して録画漏れを避ける (公開するかどうかは選択) 専任のカメラ担当を置かない (活人) 専用の機材を置く机を作らない (活スペース) 会場に映っていない、音が出ないことでオンラインの異常を検知する (ポカヨケ) 通常の配信では、「詳しい人しか使えない機材は使わない」ようにしています。普通に

🗒 今日の学び zenn.dev はてなブックマークを見ていると目についた。昨日🍣maguroさんがポストしていた内容を覚えていたので、そのまま見てた。 npmとの違いをざっくり言うとこういうことらしい。 TypeScript を直接パブリッシュ出来る モジュール解決は ESM だけ (CommonJS は無し) npm と互換性あり 複数ランタイムを意識した作り 各種 DX 改善 オープンソース zenn.dev これもTLでちょこちょこ見かけていて気になってたけど、調べるのを後回しにしていたやつ。 そもそもCloudflare自体クラウドの選択肢の一つくらいでしか認識していなかった。 これまでの主戦場がGCPで、今の職場に転職してからそれがAWSになりーので、Cloudflareまでキャッチアップする暇なかったんですよ。 というかこれから先も基本的にGCP以外のクラウドは必要が生じ

RAGの評価についてちょこちょこ調べたりしてましたが、今回はRAGの改善方法について調べたいと思います。 正直、今でもいたるところで手法が提案されているので追いかけきれませんが、包括的なレポートで言及されている考え方くらいは調べてみたいと思います。 Naive RAG 欠点 改善方針 Advanced RAG Modular RAG 参考文献 感想 Naive RAG 欠点 NaiveなRAGには明確な欠点がいくつか指摘されています。 検索段階ではprecisionとrecallを高める必要があり、検索されたチャンクが無関係だったり重要な情報が抜け落ちたりする 生成段階ではハルシネーションを起こすおそれがある。 augmentation時には、似たようなチャンクが検索されると、同じような内容が繰り返されたりする。また様々なパッセージの重要性や関連性を推測し、文体や調性の一貫性を確保すること

TypeScript + Bun な環境にて、SQLiteを操作したいことがありました。 Bunにはネイティブの SQLite driver があることから、そのまま bun:sqlite を使うこともできそうでした。 SQLite – API | Bun Docs ただ、日頃ORMでDBまわりを書いていることから、ORM的な何かを使いたくなりました。 BunのExamplesを見ていたところ、 Drizzle ORM が紹介されていました。 Use Drizzle ORM with Bun | Bun Examples Drizzle ORM - Overview また、Drizzleでは Drizzle Kit — is a CLI companion for automatic SQL migrations generation and rapid prototyping. Driz

Breaking the Wall between AI and DevOps with MLOps microsoftの公式GitHubアカウントにMLOpsというレポジトリがあります。 その中に、MLOps whitepaper.pdfというファイルがあり、各章の要点をまとめました。 MLOps/MLOps whitepaper.pdf at master · microsoft/MLOps · GitHub gitのcommit履歴を見るに、2019年10月に公開されたドキュメントです。 ※注意 GitHubからPDFファイルをダウンロードすると執筆時のレビューコメントがある状態なので、本ドキュメントを正式なホワイトペーパーと捉えて良いか不明です。 2024年現在、他にMLOpsに関するホワイトペーパーとしての位置付けのドキュメントがmicrosoftから出ていないので、暫定的に本ド

最近RAGをいじっています。 www.nogawanogawa.com www.nogawanogawa.com www.nogawanogawa.com 大体評価周りに関して何したら良いかはわかってきた気がするので、今度は精度に関するトラッキングをしていきたいと思います。 というわけで前回までのRagasやLlamaIndexに加えて、今回はLangfuseを使ってみたいと思います。 Langfuse LlamaIndexを使う際の他のObserbability系のツール お値段 使ってみる まずはただ使ってみる Ragasの出力を記録する 使ったnotebook 参考文献 感想 Langfuse Langfuseは、OSSとして開発されているLLMエンジニアリングプラットフォームです。 langfuse.com Langfuse is an open-source LLM engine

この前はPhoenixを使ってRAGの実験管理をしてみました。 とはいうものの、Phoenixに事前定義された機能で評価をしただけなので、今回改めてRAGアプリケーションの精度評価について考えてみようと思います。 RAGの評価周りでよく知られたツールとしてRagasがありますが、今回はこちらを使いながら評価について勉強してみようと思います。 Ragas Ragasで用いる評価指標 基本的な評価指標 Faithfulness Answer relevancy Context recall, Context precision Context Relevancy Context entities recall やってみる 評価 今回使用したnotebook 参考文献 感想 Ragas この記事の本題であるRAGの評価について入っていきたいと思います。 github.com docs.ragas

最近RAGアプリケーションの評価やその管理ツールについて調べることがありました。 今回はRAGアプリケーションでの実験管理に使用できるPhoenixを使ってみたのでそのメモです。 RAGアプリケーションと評価 RAGアプリケーションの評価 Arize Phoenix 類似ツール 使ってみる Tutorial ローカルでの管理 参考文献 感想 RAGアプリケーションと評価 Retrieval-Augmented Generation (RAG)は、LLMに外部の知識ソースからの追加情報を提供することで、LLM自体が知らない知識を補い、より正確で文脈に沿った答えを生成するアプリケーションです。 大まかには下記のような流れで動作します。 ユーザーからのクエリをもとに関連するドキュメントを検索 (retrieve) ユーザーのクエリ、関連するドキュメントを含めた形でプロンプトを動的に作成 (Aug

どうも、シオンです。気がつけば前回から１００日以上が経過していて、いつの間にやら春アニメが始まってしまいました。時の流れは早いですね。これからまたちょこちょこ記事を書いていけたらいいなと思っています。 今期のアニメで、オリジナル作品を３つ見ているんですが、そのどれもがなかなか面白い！ということで、それぞれを個別記事で書いていこうかなと思います。今回はタイトルにある通り、『夜のクラゲは泳げない』という作品について語ろうと思います。 あらすじ 面白いところ 推しキャラについて 曲について まとめ あらすじ あらすじはホームページとか見れば載ってるので細かくは書きませんが、４人の少女が覆面アーティスト「JELEE（ジェリー）」として活動していくという話ですね。メンバーはイラストレーターの「海月ヨル」こと光月まひる、元アイドルで作詞兼ボーカルの「JELEE/橘ののか」こと山ノ内花音、音大付属高校に

Spring Bootで初めてWebアプリを作ろうとすると最初につまづくのが「どういうライブラリ組み合わせればええんや…」というポイントなので、自分の中にある選定パターンをメモします。ここで説明するのはWeb層とDBアクセス層をどうするかという部分だけです。 あまり真面目な記事ではないので、ちゃんとした情報を知りたい人はSpring Academyとかを見るのが良いと思います。 マイ・パターン 灰色になっているのは仕事では使ったことのない組み合わせです。 Spring WebFlux + Spring Data R2DBC Spring初心者は無視して良いです。自分も使ったことがあるのはDBアクセスなしのWebFluxだけです。 Microservicesで言うところのAPI Gatewayだったりリバースプロキシだったり、特定のユースケースのときしか選択肢に上がりません。 Spring

前回、Chart.jsのPie chartをReactで表示してみました。 React + react-chartjs-2 + Chart.js を使って、Pie chart を表示してみた - メモ的な思考的な その続きとして、次はバックエンドからのレスポンスを React + Charts.js で描画したくなりました。 バックエンドは今までさわったことがないもので作ろうと考え、気になっていた Hono を使うことにしました。 Hono - Ultrafast web framework for the Edges https://github.com/honojs/hono では、HonoとReactをどう組み合わせればよいか調べたところ、以下の記事が参考になりました。 HonoでAPIだけ作って素のReact DOMでSPAを書くアーキテクチャ HonoでAPI付き雑React S

こんにちは、虎の穴ラボのA.M.です。 今回は書籍のご紹介です。 読んだきっかけ 直近のタスクで自身の生産性があまり良くなかったので、何か良い本がないか探していたところ、この本を見つけました。 試し読みをしてみたところ、以下のような内容があり、自分の課題に対して解決策が書かれているように感じたので、購入しました。 どうやったら不得意なことでも効率よく人並みのことができるのか 「思考法」（マインドセット）が高い生産性を形づくっている AI時代を生き延びる思考法 基本情報 タイトル 世界一流エンジニアの思考法 著作者名 牛尾 剛 ページ数 222ページ 発売日 2023/10/23 発行 文藝春秋 ISBN 978-4163917689 紹介ページ 『世界一流エンジニアの思考法』牛尾剛 | 単行本 - 文藝春秋BOOKS 書籍の目次 第１章　世界一流エンジニアは何が違うのだろう？―生産性の高さ

DIE WITH ZERO 人生が豊かになりすぎる究極のルール 作者:ビル・パーキンスダイヤモンド社Amazon 久々に生き方アップデートされる系の本に出会った。 人は老後のために過剰に資産を溜め込むが、その多くはほとんど使われることなく、なんなら老後も資産を増やし続けて死ぬ。 そんなことをしている暇はなく、今できる「経験」に金を使え！経験こそが人生で最も大切なことである！というのが本書の主張。 余分なお金を稼ぐということは、そのお金を稼ぐだけの時間も無駄にしている。そして、年齢を重ねるほどに体は衰えていき、やりたいこと（やれること）もどんどん減ってくる。 老後に必要な資金も含めてあり金を全部使えということではなく、必要な最小限だけ用意しておき、残りは経験に投資しようねという話。 経験は、「思い出の配当」として死ぬまでずっと人生を豊かにしてくれる。 また、お金・時間・健康のバランスが大事で

Googleが公開した、MLOps実践のためのホワイトペーパー GoogleがMLOps実践のためのホワイトペーパーを公開しています。 Practitioners Guide to Machine Learning Operations (MLOps) 2021年5月に公開されたものですが、2024年現在に読んでも色褪せない内容だったので、各章の要点をまとめました。 TL;DR Googleが2021年5月に公開したMLOpsの実践のためのホワイトペーパー MLOpsライフサイクルの全体像・コア機能を解説 コア機能: 実験、データ処理、モデル学習、モデル評価、モデルサービング、オンライン実験、モデル監視、MLパイプライン、モデルレジストリ、データセット・特徴量レポジトリ、MLメタデータ・アーティファクトトラッキング MLOpsのコアプロセスの詳細を解説 コアプロセス: ML開発、学習の運用

「エンジニアたるものブログ等でアウトプットせい！」みたいな風潮あったりしませんか？ ブログ書いている私が言うのもアレですが、けっこう辛いと感じる人も多いと思っています。 一方でどうやったらアウトプットできるようになるか、いい感じにまとまっている情報ってあんまりなくて、いろいろすっ飛ばして「学んだことをブログに書いてみよう」で終わってたりします。 0から0.5に進むための考え方を紹介します。 今北産業のまとめです。 インプットをうまくアウトプットに変換しよう アウトプットは型があるので、構成に迷わないように先に勉強しておこう まずは自分のためで良い 前提 そもそもアウトプットって何？ アウトプットへの考え方 インプット（=データ）を「解釈する」ためのテクニック ずらす 深ぼり 混ぜる アウトプットの型に沿う 体験をアウトプットする場合 学びをアウトプットする場合 エラーへの対応方法等をアウト

ブログの全エントリを読み込むコード作ったので、とりあえずこれで学習して極小規模言語モデルを作ったら面白かろう、とやってみました。 というとかっこいいけど、まあ形態素解析して続く単語の頻度を覚えておいて、頻度に応じた単語をつなげていうという、Twitter老人会の方ならご存じの圧縮新聞ですね。圧縮きしだのHatenaか。 まあ、ここではてなブログのアーカイブを読み込むコードを書いたので、これで何かしたら面白かろうなと。 GPTのEmbeddingを利用してブログの投稿に対する近いものを探し出す - きしだのHatena それで、以前 圧縮新聞ぽいものを作っていたので、これを改めてはてなブログをデータに作ってみた感じです。 Igoという形態素解析器をつかって圧縮新聞っぽいものを作ってみる - きしだのHatena 圧縮新聞のアカウントは凍結されていますが、雰囲気はこちらを。 圧縮新聞さん迷言集

こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採択されたことを受け、LLMの事前学習を実施しました。 以降、本LLMプロジェクトをGENIAC（Generative AI Accelerator Challenge）と表記します。 開発内容は表題の通り、Mistral社のMIxtral 8x7Bをベースにした日本語の語彙拡張版継続事前学習です。弊社が調べた限り、Megatron-LMでMixtralモデルを継続事前学習するソースコードは2024年4月12日時点（執筆時）では存在していません。 GENIACの計算資源提供の

forkwell.connpass.com こちらのイベントに参加してきたので、会の様子と感想を書いていこうと思います。(最初の部分は聞けず途中参加でした) 会の概要 会の概要 産休/育休はキャリアのブランクか？ 産休/育休を取得する際の心理的ハードルは？ 会社からあってほしい支援は？ 今より子育て支援に手厚い企業があった場合転職を検討するか？ 復職後にスキル面での不安はあったか？ 産休/育休の心理的ハードルを下げるために企業に求めることは？ 社外コミュニティ活動は継続していたのか？ タイムマネジメントの工夫 男性側の育休はどれくらい取るべきか？ 未就園児を見ながらどうキャッチアップ時間を確保しているのか？ パートナーはどれくらい子育てに参加してくれていたのか？ 在宅勤務時の子どもとの向き合い方 今後の展望 会全体を通した感想 会の概要 子育ては、人生の大きなイベントです。 これまでの生活

2024年は、「技術発信を頑張る」というのを目標にしている。 この目標は1月に設定して、既に3か月が経過しているが、今のところ上手くいっていない。 書いた記事はまだ二つだけで、この記事を書くにもかなり苦労した。 zenn.dev zenn.dev 目標を設定したときはモチベーションに満ち溢れていたが、記事を書こうとしたときには既にモチベーションの低下が始まっていて、一週間くらいかけて”頑張って”記事を書いた。 なんで「モチベーションが下がっているんだろう」というのを考えて、自分なりに理由が見つかったのでまとめておく。 モチベーションを低下させる要因 一つ目は、「記事を執筆して出すまでのリードタイムが長くなるとモチベが低下する」という点。 以下の記事に以下の記載があった。 私が記事を書くときはネタの賞味期限を意識しています。 これは読み手が考える賞味期限ではなく、書き手である執筆者のブログを