事前知識編 システム開発するプログラマも読んでおいたほうがいい資料とか。 今時のシステムならまず仕様や運用に反映される。されてなかったらむしろこっちから確認取りに行った方がいい。 JOGAガイドライン 昔ガチャとかが問題になったときに出てきた協会のガイドライン。 オンラインゲーム安心安全宣言 オンラインゲームにおけるビジネスモデルの企画設計および運用ガイドライン ランダム型アイテム提供方式を利用したアイテム販売における表示および運営ガイドライン オンラインゲームガイドライン 開発環境編 GitHubみたいなPullRequestを出せる環境 GitだけじゃなくてGitHub。必然的に規模が大きくなるのでプルリク出して進めることになります。 CIまで設定をする 最初のうちにCircleCIのようなテストの自動実行する仕組みまで揃えてしまっておいたほうが良いです。後からだとそもそも対応できなく
1. インストール 1pip install open-interpreter ターミナルで次のコマンドを実行して、Open Interpreter をインストールします。 2. 対話型チャットの開始 インストール後、次のコマンドを実行して、ターミナルで対話型チャットを開始できます。 1interpreter Python で対話型チャットを開始するには、次のコマンドを実行します。 1import interpreter 2interpreter.chat() 2. OpenAI APIキーの設定 OpenAIのAPIキーを利用する場合は設定が必要ですが、OpenAIのキーを使用しない場合は、Code-Llamaを利用することができます。 これで、Open Interpreterを利用する準備が整いました。 Open Interpreterの使い方 タスクの依頼・実行 Open Inter
Open Interpreterは、自然言語でプログラミングができるようになる、興味深いオープンソースツールです。機能呼び出し型の大規模言語モデルを利用して、Python、JavaScript、Bashなどのコードをローカルで実行できるのが大きな特徴です。インストールと利用は簡単で、コーディング作業の効率化を図れそうなツールです。 Open InterpreterとはOpen Interpreterは、GPT-3.5やGPT-4またはCode Llamaなどの大規模言語モデルを利用して、自然言語でのコード実行を可能にするオープンソースのツールです。 コマンドラインインターフェース上で言語モデルと対話することで、PythonやJavaScriptなどのコードをローカルマシン上で実行できます。複雑なロジックのコーディングもステップごとに指示できるので、開発効率の大幅な向上が期待できます。 公式
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。 LINEのNLP Foundation Devチームの清野舜と高瀬翔とoverlastです。 LINEでは2020年11月から日本語に特化した大規模言語モデル「HyperCLOVA」の構築と応用に関わる研究開発に取り組んできましたが、この「HyperCLOVA」と並行するかたちで複数の大規模言語モデルの研究開発プロジェクトが進行しています。 今回はそれらの研究開発プロジェクトのうち、我々を含むMassive LM開発ユニットから、日本語言語モデル「japanese-large-lm(ジャパニーズ ラージ エルエム)」をOSSとして公開できる状況になりましたので、本ブログを通じてお伝えすることにしました。 この記事
Research部門の近江崇宏です。 今回、ストックマークは最近の話題にも詳しいGPT-NeoXをベースとした14億パラメータの日本語のLLM(大規模言語モデル)をオープンソースとして公開します。モデルはHugging Face Hubからダウンロードいただけます。 https://huggingface.co/stockmark/gpt-neox-japanese-1.4b 当社はビジネスにおける情報収集・分析をサポートするサービスを運営しており、そのために最新のWebデータの収集を日々行なっております。今回の事前学習では、一般にLLMの事前学習によく使われるCommon Crawl由来のデータだけでなく、当社が所有している独自のWebデータ(2023年6月まで)も含めて事前学習を行うことで、最近の話題にも詳しいモデルを開発しました。具体的には、事前学習に用いたデータセットはCC100の
AWS 公式ドキュメントが 2023年8月時点で公開している「Best Practices for WordPress on AWS」にある設定例「CloudFront distribution creation」の内容が古かったので、自分なりに改良してみました。 主な改良点は レガシーキャッシュルールではなく、新しいのキャッシュポリシーを使う wp-json ディレクトリの通信を対応する Facebook や広告タグのクエリをオリジンサーバーに飛ばなくする です。 STEP.1 キャッシュポリシーを作成 絶対に CloudFront にキャッシュさせるように最小TTLを60に設定しています。アクセス頻度が少ないサイトであれば、最小TTLを増やすなどしてください。ただ、ページの更新の時間もかかるのでバランスを考えましょう。 名前: 0-default (適当に変えてください) 説明: 任意
ChatGPTとLLMシステム開発について纏めた187ページ資料です。 2024/04 名称を改め資料を大幅にアップデートしました! 今後も随時更新していきます。 データサイエンティスト協会での発表動画はこちら。 https://youtu.be/l9fpxtz22JU Build Japanでの発表はこちら。 https://youtu.be/UEZzx6a005g?si=Ot8EO2bv8yhQQEcy 2023/7/28 体裁修正、余計なページを削除 2023/12/12 RAG、API仕様、モデルのページを追加。また情報を最新化。 2024/04 名称を改め資料を大幅にアップデートしました! 1. LLM - GPTの全体像 LLM - GPT とは何なのか ~チャットAIを例にした動作イメージ~ 大規模言語モデル(LLM)が持つ基礎能力 デジタルツールとLLMの連携 GPTに関す
ChatGPT APIリリースの衝撃から(およそ)3ヶ月。 私が所属する旅行系スタートアップのAVA Intelligenceでは、APIリリース以降、ミッション"Discover the Best For You"を実現するための重要技術と位置付け、様々に活用してきました。 中でも、自然言語で旅行について聞くことができるLINEボットがご好評をいただいています。 ▼AVA Travelの公式LINE 3ヶ月間、ChatGPTのAPIを使って目的を達成する方法を模索する中で、重要だと考えることを整理しました。 指針1.分割して各個撃破する あなたはAIでどのような問題を解決しようとしていますか? 大抵の解くべき問題は、複雑で難しいです。 大きくて難しい問題を分割し、解けるサイズに分けて、扱いやすくすることは、ChatGPTを使う開発において大きな効果を発揮します。 課題を分割することで、A
はじめに 業務自動化といえばRPAとかPython等が良く使われるが、これらは基本的に判断が多い複雑な業務の自動化には向かず、やったとしても自動実行→手作業→自動実行→手作業…と言ったように人の判断が居るところで業務プロセスが分断されてしまうのが悩みどころ。 そこで「GUI上で自動実行前に手作業」+「バックグランドで自動実行」と両方の機能を持ち、業務を分断する事なく作業できるアプリを作ろうと考えた。 結論から言うと「Flet」を採用した。以下経緯説明。 お手軽なGUIライブラリを探す旅 Pythonはデスクトップアプリ開発には不向き? アプリを開発するにしろメインの処理は自動化なので、アプリ開発に特化したフレームワークではなく、Pythonを使用出来る柔軟性の高そうなGUIライブラリが無いか探すことにした。 巷でたまに耳にするが、デスクトップアプリ開発はC#やJavaが多くPythonは環
はじめに最近は、テクノロジー法を主に取り扱っています。その中でもAI、Web3、メタバースは、現時点では別系統の話題の感が強く、一緒くたにNOTEに書くのはためらわれ、それゆえにNOTEに何を書くか迷っていたのですが、タイトルに【AI】【Web3】【メタバース】と入れることで全部NOTEに書くことにしました。これで問題解決しました! ということで、今回はChatGPTの登場で、最近盛り上がっているAIがテーマです。 生成AIの法的リスク生成AIの利用にはどのような法的リスクがあるのでしょうか。 リスクとしては、①著作権侵害、②誤情報の利用、③秘密情報の漏えい、④個人情報の不適切な利用、⑤悪用などがあげられます。 たとえば、学習データやプロンプトに他人の著作物を利用する場合や、生成した物が他人の著作物に似ている場合には、著作権侵害の問題が生じます。 生成AIが誤った情報を生成し、人間がそれを
以下の記事を元に、「OpenAI API」のファインチューニングの学習データのガイドラインをまとめました。 1. 学習データの書式ファインチューニングするには、単一の入力「プロンプト」とそれに関連する出力 「コンプリーション」 のペアで構成される学習データが必要です。これは、1回のプロンプトで詳細な手順や複数の例を入力するような、ベースモデルの使用方法とは大きく異なります。 「学習データの書式」のガイドラインは、次のとおりです。 ・プロンプトが終了してコンプリーションが開始することをモデルに知らせるため、区切り記号 ("\n\n###\n\n"など) でプロンプトを終了する必要があります。区切り記号は、プロンプトの他の場所で使用されない文字列を指定します。 ・コンプリーションが終了することをモデルに知らせるため、停止記号 ("\n"、"###"など)でコンプリーションを終了する必要がありま
今のGPT4は実践投入レベルの使い方もあれば、そうでない使い方もあると思っている。今回のポストでは、私がやった執筆支援の実験を8つほど紹介し、物書き目線から3段階評価した。○は作品制作にすでに実戦投入している利用方法。△は自分が実作に活用はしていないものの、ユーザビリティが良くなれば使いたいと思えるもの。×は現状だと使い所がない、ありがたみがないなと思ったものである。 1)AI読者モニター:書いた小説を読んでもらって感想や質問をGPTに自動生成させる → △使って意味ある場面はありそうPython-docxを利用して該当の位置にGPTの感想や質問を自動挿入 できた〜!ボタン1つ押せばChatGPTにWordで小説を読ませて「ここまで読んだときにこういう感想を持ったよ」とか「こういう疑問を持ったよ」みたいなことをコメントさせられるようになった。仮想モニタ読者の反応をヒントに執筆支援ができんじ
あなたは、プロの【その分野の専門家】です。 以下の制約条件と入力文をもとに、【出力内容】を出力してください。 # 制約条件: 【前提条件や決まりごと】 # 入力文: 【期待する出力結果や大まかな指示】 あなたは、プロのエンジニアです。 以下の制約条件と入力文をもとに、ブログ記事の内容を出力してください。 # 制約条件: ・重要なキーワードを取り残さない。 ・文字数は30000文字程度 # 入力文: Swaggerについて技術ブログに投稿する文章を書いてください。 構成は、Swaggerとは?、Swaggerのユースケース、Swaggerのメリットとデメリット、Swaggerの書き方(YAMLファイル)、Swaggerの実行方法、まとめです。 構成間で重複した説明は省くようにしてください。 読者がブログを読みながらSwaggerを触れるようにハンズオン形式などを取り入れて文章を作ってください
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.)OpenAIChatGPTlangchainGPT-4LlamaIndex ChatGPT に代表される今日の AI ブームを牽引しているのは 大規模言語モデル(Large-scale Language Model, LLM) と言っても過言ではないでしょう。LLM とは大量のテキストデータを使ってトレーニングされた自然言語処理のモデルで、代表的なものに、GPT(OpenAI)、Llama(Meta)、PaLM(Google)があります。我々開発者は、事前学習されたこれらのモデルを使って簡単にアプリケーションを作ることができます。 LLM が遂行可能な言語的タスク LLM を使って行える言語的タスクには次のような種類があります: Classification: 感情やポジ
A full-stack toolkit for Cloudflare Workers. The best parts of D1, R2, Queues, and more—all in one place.
この記事は記事投稿キャンペーン_ChatGPTの記事です。 以下は、個人開発した最新のものになります. CreateToolAGI:ChatGPTとLangChainで何でもできるAI はじめに こんにちは、fuyu-quantです. 今回はLangChainという「大規模言語モデルを使いこなすためのライブラリ」の紹介とその機能を発展させるために作った新しいライブラリlangchain-toolsの説明およびその可能性について共有したいと思います. LangChainの機能であるtoolを使うことで,プログラムとして実装できるほぼ全てのことがChatGPTなどのモデルで自然言語により実行できるようになります.今回は自然言語での入力により機械学習モデル(LightGBM)の学習および推論を行う方法を紹介します. 記事に誤り等ありましたらご指摘いただけますと幸いです。 (※この記事の「Chat
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く