LLMをWebフレームワークにしたら、未来が見えた #2024
最近、LLMにWeb Backendを書かせて遊ぶ、Hanabiというサービスを作っています。その開発過程で、前に試したLLMをAPIとして振る舞わせるアプローチを再検討したので、記事としてまとめました。 一年ちょっと前、私はChatGPTをWebフレームワークにしようと試みました...が、残念ながら全く実用的ではありませんでした。しかし、あれから一年、LLMは目覚ましい進歩で進化を遂げました。価格は下がり、速度も上がり、記憶容量の増加やRAGの発展など、もはや別物レベルで進化しています。 いまならもうちょっと実用的なヤツが作れるんじゃねってことで、色々な手法を面白がった再検討したまとめです。 余談ですが、一年前はLLM=ChatGPTという状況でしたね...懐かしい。ちょうどvicuna13Bが出た頃ですかね? ↓去年の記事(できれば読んでほしい)↓ 出来たもの 全部プロンプトに入れちゃ
好きなポッドキャストについてまとめる
そもそもポッドキャストって何？映像のない YouTube のような存在が ポッドキャストです。 つまり、ラジオのようなものです。 YouTube のように、素人も投稿できる音声 メディアです。 どうやって聞けるの？iOSからであれば、Apple Podcast Androidからであれば、Googleポッドキャスト ※Googleポッドキャストは、YouTube musicに統合の話が出ている 他にSpotify、Amazon music、radikoからも聞けるらしい。 おすすめのポッドキャストヤング日経経済系の番組はおじさんがしゃべっていることが多いが、この番組は若い大学生～大学院生の女の子が最近の経済について 話しており、非常に聞きやすく、軽い気持ちで聞けるのが良い。ポッドキャスト的な流し聞きに向いてる。 日経トレンディ ＆ 日経クロストレンド日経トレンディ及び日経クロストレンドとい
中学生でもわかる深層学習
第1章 理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章 応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理 (p.151-) ・講演のまとめ (p.167-)
ロングコンテキストLLMに対応したRAGの新アーキテクチャ｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Towards Long Context RAG - LlamaIndex 1. はじめにGoogleは、1Mコンテキストウィンドウを持つ「Gemini 1.5 Pro」をリリースしました。初期ユーザーは、数十もの研究論文や財務報告書を一度に入力した結果を共有しており、膨大な情報を理解する能力という点で印象的な結果を報告しています。 当然のことながら、ここで疑問が生じます。「RAG」は死んだのでしょうか？そう考える人もいますが、そうではない人もいます。 幸運にも「Gemini 1.5 Pro」の機能をプレビューすることができ、それを試してみることで、ロングコンテキストLLMを適切に使用するには、RAGがどのように進化するのかについてのまとめました。 2. Gemini 1.5 Pro の 初期観察「Gemini」の結果は印象的で、テクニカ
マイクロソフト、Copilotに作業を依頼するとユーザーに代わって手順を考え、Windowsデスクトップ上でRPAにより自動操作してくれる新機能「Power Automate via Copilot in Windows」、Windows 11に搭載へ
マイクロソフト、Copilotに作業を依頼するとユーザーに代わって手順を考え、Windowsデスクトップ上でRPAにより自動操作してくれる新機能「Power Automate via Copilot in Windows」、Windows 11に搭載へ マイクロソフトは、Windowsに搭載している「Copilot in Windows」の新機能として、Copilotにプロンプトで作業を依頼することで、Windows上でさまざまな操作をユーザーに代わって自動的に実行してくれる「Power Automate via Copilot in Windows」を、開発中のWindows 11 Insider Preview Build 26058に搭載したことを明らかにしました。 2月14日付けの記事「Announcing Windows 11 Insider Preview Build 2605
GPT-4にWebサイトを“自律的に”ハッキングさせる方法 AI自身が脆弱性を検出、成功率70％以上【研究紹介】
米UIUC（イリノイ大学アーバナ・シャンペーン校）に所属する研究者らが発表した論文「LLM Agents can Autonomously Hack Websites」は、大規模言語モデル（LLM）を用いたAIエージェントに、自律的にWebサイトをハッキングさせる攻撃手法を提案した研究報告である。LLMエージェントがWebサイトに存在する脆弱性を事前に知らなくても、自動検知してのハッキングが可能となる。 ▲自律型LLMエージェントを使ったWebサイトのハッキングの模式図 keyboard_arrow_down 研究内容 keyboard_arrow_down 研究結果 Webサイトを自律的にハッキングするようLLMエージェントを活用するには、エージェントのセットアップと、目標に向けてのプロンプトによる指示という2つのステップが必要である。エージェントによるハッキングでは、関数呼び出し、文書
今日からはじめるDiscord。基礎の基礎からサーバー運用まで，Discordの基本的な使い方をこの記事で覚えよう
今日からはじめるDiscord。基礎の基礎からサーバー運用まで，Discordの基本的な使い方をこの記事で覚えよう ライター：ワニウエイブ インターネットを介して対戦／協力するゲームはすっかり当たり前のことになり，スポーツ観戦や映画鑑賞のような「趣味」の一つとして嗜まれている。音声通話を用いてゲーム中の意思疎通や雑談を行うような文化も広く一般的なものとなり，日々さまざまな場所で行われている。 主にPCでゲームを遊ぶプレイヤーにとって，今もっとも使われているボイスチャット（音声通話）用のツールはおそらく「Discord」であろう。元々ゲーマーのためのソフトウェアとして開発されていたDiscordだが，今ではゲーマーだけではなく，さまざまなユーザーに広く親しまれている。 というのも，Discordはボイスチャット以外にも便利な機能と扱いやすさを携えており，誰にとっても重宝するツールだからだ。筆
【AIアップスケーラー】 カクダイV1を公開 （Part 1/3）｜Mavericks, Inc
本記事では、私たちが作ったAIアップスケーラー「カクダイV1」の使い方を解説し、ワークフローも無料公開いたします。まずはカクダイV1のデモ動画をご覧ください！ AIアップスケーラーは，特に海外を中心に生成AIを用いた創作活動で広く使われる技術となりつつあり、今後さらに普及していくと予想されます。 しかし，その便利さに反して利用するハードルが高く，誰でも使用可能な高品質のAIアップスケーラーがあればと思い、今回作成・公開するに至りました。 カクダイV1は公開されたワークフローの中では最高品質に仕上がっていると考えています。ぜひこの記事を読んでお試しください！ この記事でわかること そもそもAIアップスケーラーって何？ 最強のAIアップスケーラー Magnific.ai とその使用例 使い方・ComfyUIの理解 本記事は、技術の中身の解説は行いません。 ComfyUIノードの中身に踏み込んだ
GitHub Copilotは開発者の生産性をどれだけ上げるのか？ZOZOでの全社導入とその効果 / How Much Does GitHub Copilot Improve Developer Productivity? The Company-wide Implementation and Its Effects at ZOZO
2024/2/16 Developers Summit 2024 登壇資料 https://event.shoeisha.jp/devsumi/20240215 ■ ZOZOエンジニア向け会社説明資料 https://speakerdeck.com/zozodevelopers/company-deck ■ GitHub Universe 2023 https://githubuniverse.com/ ■ Universe 2023: CopilotがGitHubをAIを駆使した開発者プラットフォームへと変貌させる https://github.blog/jp/2023-11-09-universe-2023-copilot-transforms-github-into-the-ai-powered-developer-platform/ ■ GitHub Universe 2023 o
【Day 3】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】 - Qiita
Transformer 深層学習モデル以前の言語モデルの課題 言語モデルでやりたいことは、「今まで生成した単語列を元に、次の単語を予測する」ことで、その単語は今まで生成した単語列を条件とし、次にある単語がくる条件付き確率を求め、その確率が最大のものを選ぶということだった。（LLM資料p.8参照） ただ、これだと単語列が長くなったときや、類義語の処理に課題が生じてしまっていた。 ニューラル言語モデル しかし、計算したい条件付き確率をNNで推定することにより、対処できた。 Encoder-Decoder型のRNN（Recurrent Neural Network)が最も基本的なモデルにはなるが、これでは長文に対応できなかった。（勾配消失＆単語間の長距離依存性の把握が困難） RNNが勾配消失するのは、活性化関数のtanhが1未満の値を取るため、BPTT時に掛け算されるとだんだん値が小さくなってし
VS Codeの新機能がすごく便利！ ツリービューのスティッキースクロール機能をオンにすると格段に使いやすくなります
先日アップデートされた、VS Code v1.86で、スティッキースクロールがツリービューでも使用できるようになったので、紹介します。 エディタのスティッキースクロール（紹介記事）ができるようになった時もその便利さに喜びましたが、ツリービューでもできるようになり、深い階層でもすべての親を常に表示しておくことができます。 ツリービューのスティッキースクロールを使用するには、デフォルトではオフになっているので、機能をオンにする必要があります。 ※オンになっている人もいるようですね。
OpenAIが自動応答するコールセンターを作ってみよう📲
概要 今回はAzure Communication ServiceとAzure OpenAI Serviceを使って、コールセンターを作ってみたいと思います。 全体アーキテクチャは以下のようになります。 全体の流れは以下の通りです。 ユーザーが Azure Communication Service に登録された電話番号に架電する。 Azure Communication Servicce の Incoming Call をトリガーとしてサーバーサイドアプリケーションの API に Webhook を実行する。 Webhook 要求にサーバーサイドアプリケーションが応答する。 ユーザー発話内容に基づいて Azure Cognitive Service が Speech-to-Text、Azure OpenAI Service からの応答内容に基づいて Text-to-Speech を実行す
RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO
はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい
街中でApple Vision Proを使用するひと足先に行ってしまったユーザーの目撃例が続々報告される
2024年2月2日にアメリカで発売されたApple初の空間コンピューター「Apple Vision Pro」を着用したまま街中をかっぽする一歩未来を進むユーザーの目撃例が複数報告されています。これに加えて、Apple Vision Proの使用例が多数ソーシャルメディア上で報告されており、Apple Vision Proでどんな体験ができるのかが、かなりイメージできるようになっていたのでまとめてみました。 街中での目撃例その1。横断歩道をわたりながら空中で指を動かして何かしらのアプリケーションを操作している様子が撮影されています。 I can see the future and it’s amazing. pic.twitter.com/q5yNvr3Itr— dalibali (@dalibali2) 商業施設のようなところでもApple Vision Proユーザーが目撃されています
とんでもないものが翻訳されて青天の霹靂。ハッシュタグ「#ガザ投稿翻訳」を、少なくとも私は、終わりにせざるを得ないことについて（次のハッシュタグもあるよ） - Hoarding Examples (英語例文等集積所)
このブログの管理画面にアクセスするのも久しぶりである。12月のうちに、時制の使い方がとても興味深い英文の実例に遭遇したので、それについて書くつもりだったが、なんだかんだと書かずに1月も終わろうとしている。 さて、今回は当ブログのテーマである英語・英文法は扱わない。久々の更新で、英文法目当てにフィード登録してくださっている方をがっかりさせてしまうかもしれないが、現実としては、英文法どころではない状況が2023年10月7日以降、苛烈さを増しながら続いている影響をもろに受けているので、何卒おゆるしいただきたい。 今回は、英語の話ではないが、「翻訳」に関連する話ではある。テクニカルな話ではなくて、実際にやっている翻訳に関連する話である。 【目次】 2023年10月7日 ハマスの凶行 巻きおこる二元論の中で 声を上げ行動を起こしたユダヤ人たち パレスチナからの声 パレスチナからの声を日本語にする人々
メルカリでジャンク品を返品しろと言ってきた転売ヤーを突っぱねたお話｜四葉三丁目
どうも、四葉三丁目です。 今回は出品していたジャンク品をメルカリで購入した転売ヤーが返品したいと言ってきたお話です。 転売ヤー、メルカリとどのように私がやり取りをして最終的に取引成立まで持っていったかについて説明していきたいと思います。 ■あらすじ年も明けて2024年となりましたが、2023年の年末に大掃除で出てきたどうにもならない高級コンパクトのジャンクを売ってレンズ資金にしようと考えました。 今回はいくつか出品しましたが、主にもう外装や一部の部品を取って使う部品取りでしか使用できないものを中心に出品していました。 ■そして出品から購入までジャンク品は正常品ではないのでジャンク品と書いて売らないといけません。「部品取り、ジャンク、修理できる方向け」、「状態も全体的に悪い」、「相場の5～6割の値段設定」という3点を意識して出品をしました。 カメラの汚れや傷、レンズの中のゴミやくもりが分かる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/alan_gakugineer/status/1759158998820090281?s=46&t=EJiBK-fvtmQgkr2B6zveLQ
https://twitter.com/masahirochaen/status/1759082578345435388?s=46&t=EJiBK-fvtmQgkr2B6zveLQ
話題の「ChatGPT」こんなに使えたら本当にすごい！ 目からウロコの使い方を解説｜GPTs活用事例も | 【レポート】Web担当者Forumミーティング 2023 秋
Asynchronous over Synchronous / 同期という思い込み�世界は非同期で構成されている
