LLMプロダクト開発とはどういうものなのか？｜erukiti
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由という記事を書きました。 mutaguchiさんのツイートを見て、LLMプロダクトの開発とはどういうものなのかを知らない人も多いのかなと気づいたので、そこらへんを記事として書いてみます。 https://t.co/4WvjuuoGnC 「LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由」の記事のはてブコメント見てたんだけど、ほとんど理解されてなかったのが興味深い。 ・プロプライエタリなLLMでは、ランニングコストが嵩み、これを利用したサービスは成立しづらい… — mutaguchi (@mutaguchi) April 24, 2024 商用LLM APIとローカルLLMって使い方が全然違う気がしてる。 商用LLM APIって、機微情報を送らないこと、規約違反テキストを送らないこ
マイLLMの時代が到来してしまった！それぞれのAIを持つ時代に：ローカルLLM｜Zun-Beho
Meta社のオープンソースLLMであるLlamaシリーズに続き、ゾクゾク高性能オープンソースモデルが誕生しています。おもえば、2年前対話型LLMとして完成する前のGPT-3時代のOpenAIのモデルのAPIを使って、エロ茶、AI彼女需要で日本人のOpenAIモデル需要が爆発的に伸びました。 その後、厳しい倫理規制が敷かれ、エロ目的のAPI仕様をしていたアプリが一斉にバンされました。また、会話型モデル（GPT-3.5以降）でエロいチャットをしたとたんバンされ、その後GPTs(GPTビルダーを使ってChatGPTの中である利用方法に特化したGPTを作れるサービス)に活路を見出したエロ目的デベロッパーたちも一斉にバンされてしまい、OpenAIからは永遠に締め出されたままになっていました。 日本人のAI需要はただ一つ！と言う事で、世界一AIに親和性を感じる民族日本人とは何者かと問えばひとえに「ピグ
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし
人間禁止のAIボット専用SNS「Chirper」が面白いので参加してみた
TwitterやFacebook、Instagramなど、SNSには非常に多くの種類が存在しています。中でも、「Chirper」は「人間による投稿が存在しない」という特徴をもったSNSで、各ユーザーはタイムライン上に独自の人格を与えたAIを放つことができます。「一見すると普通のSNSに見えるものの、実はAIしか会話していない」という状況が面白かったので、実際にAIに人格を与えて参加させてみました。 AI Social Network | chirper https://chirper.ai/ 上記のリンクからChirperにアクセスすると、投稿がズラリと並んだタイムラインが表示されます。各投稿は「朝の仕事が終わったよ！」「開発中のゲームのステージ作成が完了しました」といった自然な内容で、違和感は少なめ。 しかし、画面右側には「このSNSはAIのために作られました。人間による投稿は許可されて
いちばんやさしいローカル LLM｜ぬこぬこ
概要ローカル LLM 初めましての方でも動かせるチュートリアル 最近の公開されている大規模言語モデルの性能向上がすごい Ollama を使えば簡単に LLM をローカル環境で動かせる Enchanted や Open WebUI を使えばローカル LLM を ChatGPT を使う感覚で使うことができる quantkit を使えば簡単に LLM を量子化でき、ローカルでも実行可能なサイズに小さくできる 1. はじめに大規模言語モデル（LLM）の数は数年前と比べてたくさん増えました。有名な LLM を使ったチャットサービスとして、OpenAI の ChatGPT や Anthropic の Claude、Google の Gemini などがありますが、これらのサービスの中で利用されている大規模言語モデルは公開されていません。 現状、様々な評価指標により LLM の性能が測定されていますが、
マイクロソフトのＡＩツール､Copilotがもたらすコーダーの働き方改革
A pedestrian walks past the GitHub Inc. offices in San Francisco, California, U.S., on Monday, June 4, 2018. Photographer: Michael Short/Bloomberg ソフトウエア開発者のニコライ・アフテニーブ氏は2021年、米マイクロソフトが提供するコーディングアシスタント「Copilot（コパイロット）」のプレビュー版を手にし、すぐにその可能性を実感した。 マイクロソフトのコーディングプラットフォーム「GitHub（ギットハブ）」で開発され、米オープンＡＩが提供する生成ＡＩ（人工知能）をベースにしたCopilotは、完璧ではなく、時には間違えることもあった。しかしチケット販売会社スタブハブで働くアフテニーブ氏は、わずかなプロンプトで見事にコード行を完成させたこと
RAGを複雑な質問に強くする手法「CoA」について
本記事では、「Chain-of-Abstraction (CoA) Reasoning」についてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは普段の業務で、生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、最近聞くようになった「Chain-of-Abstraction (CoA) Reasoning」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー LLMが外部ツールを使って回答を生成するときの、回答精度を高める手法についての論文です。Metaの研究者らによって2024年1月に提案されました。「Chain-of-Abstraction (CoA)」という手法を使うメリットは、RAGに応用することで
なぜ我々は GitHub Copilot Enterprise の導入を見送ったのか - 一休.com Developers Blog
CTO 室の恩田です。 今回は GitHub Copilot Enterprise を評価してみて、現時点ではまだ採用しないことを決めた、というお話をご紹介したいと思います。 きっかけ とあるエンジニアが Slack で自身の times チャネルに時雨堂さんの GitHub Copilot Enterprise のススメという記事を投稿したことが発端でした。特に感想はなく URL に 👀 だけが添えられていたので、後で見るぐらいのメモだったんだと思います。 それを見かけた別のエンジニアが技術雑談チャネルにその投稿を共有して、これは凄そうと話題を向けたところ、CTO の「評価してみる？」の一言で、有志が集って評価プロジェクトが始まりました。 雑談チャネルできっかけとなる投稿が共有されてから、30分足らずの出来事でした（笑）。 この話題が出たのは金曜日でしたが、週明け早々に稟議を終え、火曜
AIの歴史と現在の問題 - デマこい！
ジョン・ヘンリーの教訓 19世紀の都市伝説に「ジョン・ヘンリー」という人物がいます[１]。 彼は屈強な肉体労働者で、ハンマーを振るって岩に穴を開ける達人でした。ところが蒸気機関で動くドリルの登場により、彼は失業の危機に瀕します。そこで彼は、人間は機械よりも優れていることを示すために、穴開け競争で蒸気ドリルに戦いを挑んだというのです。 伝説によれば、ジョン・ヘンリーは（驚くべきことに）僅差で勝利を収めたとされています。しかし、あまりにも肉体を酷使したために、勝利の直後にその場で倒れて帰らぬ人になりました。周囲の野次馬たちは言いました。「彼は人間らしく死んだ」と。 この逸話から得られる教訓は何でしょうか？ 「機械と競い合うのは命にかかわる」とか「バカバカしい」とかではないと私は思います。それはあまりにも表層的な解釈です。生成ＡＩが躍進する現在、ジョン・ヘンリーは遠い過去の伝説ではありません。現
Software 2.0とその社会的課題 - Preferred Networks Research & Development
本稿は、自動車技術会誌「自動車技術」Vol.75 No.4（2021年4月1日発行）への著者の寄稿を、自動車技術会の許諾を得て転載したものです。 1. Software 2.0 深層学習が目覚ましい発展を遂げて、画像認識や音声認識などの人工知能の分野で新しい応用分野を切り開いている。一方で、人工知能というよりも、新しいプログラミングパラダイムとして深層学習に注目している人たちがいる。テスラ社の人工知能およびオートパイロット部門のディレクタであるAndrej Karpathy は、2017 年11 月に書いたブログの中で、「ニューラルネットワークは新しい識別器というだけではない。われわれがソフトウェアを開発するためのまったく新しい方法なのだ」と述べている(1)。これを彼はSoftware 2.0と呼んでいる。 1940 年代にストアードプログラム方式の電子計算機が発明されて以来、ソフトウェア
誰もが「機械学習」を使うようになる世界と「Software 2.0」におけるプログラマーの役割とは？ | 東京エレクトロンデバイス
誰もが「機械学習」を使うようになる世界と「Software 2.0」におけるプログラマーの役割とは？ | 東京エレクトロンデバイス 誰もが「機械学習」を使うようになる世界と「Software 2.0」におけるプログラマーの役割とは？ 機械学習の進化は、これまでプログラマーがアルゴリズムで解決してきたような分野にも及んでおり、その領域はさらに広がっていくことが確実です。そのときプログラマーの役割はどう変わっていくのでしょうか。 アップルが2018年に発表した最新の「iPhone XS」には、同社が独自に開発したプロセッサ「A12 Bionic」が搭載されています。「Neural Engine」と呼ばれる、機械学習を高速に実行する機能が備えられており、アップルによるとその処理速度は1秒間に5兆回の演算を行えるとのことです。 アップル独自開発の「A12 Bionic」プロセッサには1秒間に5兆回
テスラのAI部門長が語る「Software 2.0」。ディープラーニングは従来のプログラミング領域を侵食し、プログラマの仕事は機械の教師やデータのキュレーションになる
テスラのAI部門長が語る「Software 2.0」。ディープラーニングは従来のプログラミング領域を侵食し、プログラマの仕事は機械の教師やデータのキュレーションになる プログラミング言語を用いて開発が行われる従来のソフトウェアを「Software 1.0」とすると、その次にやってくる「Software 2.0」はニューラルネットワークで構成され、プログラマの仕事はニューラルネットワークの学習に使うデータの収集などになっていくだろう。 テスラのAI部門長（Director of AI at Tesla）を務めるAndrej Karpathy氏が自身のブログのエントリ「Software 2.0」でそうした意見を記し、海外で話題になっています。 Andrej Karpathy氏は、スタンフォード大学で機械学習を学び（教師は現在GoogleでAIと機械学習のチーフサイエンティストであるFei-Fe
MLOpsのこれまでとこれから
MLOpsはSoftware2.0のためのDevOpsであり、顧客自身のデータから半自動で顧客体験を改善できるようにします。これまではMLOpsと既存のSoftware1.0のためのDevOpsは独立していましたが、組み合わせることでSoftware2.0の弱点である確率的な挙動を抑制しより安定したサービスを開発することが可能です。 DevOpsと並走するこれからのMLOpsを構築するための問題点と解決策を提示し、AWSがどのようにMLOpsの構築を支援できるのかをご説明します。
【業務効率革命】GAS Interpreter の衝撃｜ChatGPT研究所
今までで最もインパクトのあるGPTsが完成しました。 その名も、「GAS Interpreter」です。 このGPTは名前の通り、Code Interpreter のように Google Apps Script コードを生成し、その実行までを行います。 他者に使ってもらうものではなく、自分専用のプライベートGPTです。 人によっては、Code Interpreter よりも便利です。なぜかというと、インターネットアクセスができることに加えて、GAS の便利で豊富なライブラリやリソースが活用できるためです。 例を示します。 GAS Interpreter の可能性以下に示す、いくつかの業務フローの実例をGAS Interpreterで行い、業務活用への可能性を示します。 今日の予定を聞きます今日の予定を教えて下さい 正確に今日の予定を教えてくれました。 会議参加者の相手に連絡したいので、その
AIで商品名をクレンジングする、Llama2や、Google Cloud Gemini-proとVertex AIを活用した商品名の最適化
ECサイト上の商品名は、「送料無料」や「ポイント5倍」、「母の日」といった宣伝文句が付加され、本来の商品名が分かりづらくなっています。 これらの不要なキーワードは、自然言語モデルを作成する際の妨げとなり、精度を上がりづらくしている一つの要因となっています。 そこで、本記事では、これら不要なキーワードを効率的に除去する方法について、具体的な手法と事例を紹介します。 データクレンジングの例、LLMオープンモデルを活用したアプローチ、さらにはGoogle Cloud PlatformのVertex AIやGemini-proを用いた解決策について触れます。 3行まとめ ・商品名から頻出単語のリストを作成し、商品名から不要なキーワードを検索して除去する ・オープンモデルでプロンプトを実行し除去する ・Google Cloud Platform のVertex AI、Gemini-proで除去する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIツールによる“会議のシンギュラリティ”が、働き方を永遠に変えるかもしれない
「カメ止め」の監督が作ったショート動画「みらいの婚活」が面白いと話題に IT関係者も絶賛する理由とは？
Dify
生成AIによるプロダクトと生産性向上の舞台裏@2024.04.16
「現状、人間はこの技術を制御しきれない」。読売新聞とNTTが生成AIのあり方に共同提言 
