サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
GPT-4o
www.bioerrorlog.work
Citadel AIのLLM回答評価ツール"LangCheck"を使ってみます。 はじめに LangCheckとは 基本的な使い方 評価メトリクスには何があるか 補足: 評価メトリクス判定に使われるモデル LangCheckで回答自動評価をやってみる 補足: semantic_similarity()でEmbeddingモデルを指定する おわりに 参考 はじめに LLMアプリケーションの開発では、そのLLM出力を評価する仕組みが重要です。 出力評価の仕組みなくしてLLMアプリケーション開発をすれば、チューニングの方針に迷うことになるでしょう。 OpenAIも、LLM出力を自動評価するプラクティスを推奨しています。 最近、Citadel AIという日本のスタートアップが公開したLangCheckというツールを見つけました。 LLMアプリケーションの出力評価を行うツールのようです。 LangC
論文読みの手法を、Andrew Ngの講義動画から学びます。 はじめに Andrew Ngに学ぶ論文の読み方 論文を読む 理解を確かめる おわりに 参考 はじめに 最近AI関連を調べている中で、論文に目を通す機会も増えてきました。 そんな中、かのAndrew Ng先生がStanford CS230の講義のなかで論文の読み方について講義している動画を見つけました。 youtu.be 今回はこの講義から、論文の読み方のコツを備忘録にメモします。 なお上記動画では、 読む論文の選び方 一本の論文の読み方 AI領域におけるキャリアアドバイス など多岐にわたって講義されています。 本記事ではこの中から、"一本の論文の読み方"について整理します。 それ以外にも興味がある方は、ぜひ上記動画をご覧ください。 Andrew Ngに学ぶ論文の読み方 論文を読む 論文を読むときに、いきなり冒頭から末尾までを一字
Andrej KarpathyのNeural Networks: Zero to Hero動画シリーズがとても良かったので紹介します。 はじめに 前提 Neural Networks: Zero to Hero 1. ニューラルネットワークと誤差逆伝播法への入門: microgradの構築 2. 言語モデリングへの入門: makemoreの構築 3. makemoreの構築その2: MLP 4. makemoreの構築その3: 活性化と勾配、バッチ正規化 5. makemoreの構築その4: 誤差逆伝播の達人へ 6. makemoreの構築その5: WaveNetの構築 7. ゼロからGPTを構築しよう 追記: 8. GPT Tokenizerを構築しよう おわりに 参考 はじめに これまでGPT/LLMには利用者目線で接してきましたが、最近いよいよ中身の仕組みが知りたくなってきました。
GitHub Actionsでデフォルトの作業ディレクトリを絶対パスで取得する方法の備忘録です。 はじめに デフォルト作業ディレクトリの絶対パスを取得する ${{ env.GITHUB_WORKSPACE }} では取得できない $GITHUB_WORKSPACE で取得できる ${{ github.workspace }} でも取得できる おわりに 参考 はじめに こんにちは、@bioerrorlogです。 GitHub Actionsでスタート時点の作業ディレクトリの絶対パスを取得したいことがあります。 その取得方法で少し戸惑ったことがあったので、やり方の備忘録を残します。 ※ 動作検証に使ったソースコードはこちらに置いています: github.com デフォルト作業ディレクトリの絶対パスを取得する ${{ env.GITHUB_WORKSPACE }} では取得できない ドキュメント
Ubuntuに入っている綺麗な鶴の壁紙の詳細を追います。 はじめに Ubuntuの鶴の壁紙の詳細を調べる 画像ファイルを調べる この絵が作られた場所 この絵のタイトル 元データで遊ぶ おわりに 参考 はじめに Ubuntuの鶴の壁紙 このUbuntuの鶴の壁紙、綺麗で面白い、いい雰囲気ですね。 詳細が気になったので調べてまとめます。 ※ 以前調べたときの下記メモをもとに再整理したものです。 Ubuntuにデフォルトで入ってたこの鶴の壁紙、すごく好きだ. 誰がどうやって描いたものなんだろう..? ..で、発作的に探しまわった記録. 1/ pic.twitter.com/ZFVkycF1Tt— BioErrorLog (@bioerrorlog) June 2, 2022 Ubuntuの鶴の壁紙の詳細を調べる 画像ファイルを調べる Ubuntu上に保存されている壁紙画像ファイルを見てみます。
JSON形式ごとにjqコマンドでレコード件数をカウントする方法をまとめます。 はじめに 環境 JSONのレコード件数をカウントする 配列括りのJSON Document オブジェクト括りのJSON Document JSON Lines おわりに 参考 はじめに こんにちは、@bioerrorlogです。 先日、LinuxコマンドラインでJSONのレコード件数をカウントすることがありました。 csvファイルであれば行数をカウントすれば済みますが、JSONの場合は記述形式によってカウント方法を工夫する必要があります。 今回は、jqコマンドを用いたJSON形式ごとのレコード数カウント方法をまとめます。 環境 OS: Amazon Linux 2で動作を確認しています。 JSONのレコード件数をカウントする 3つのJSON形式のレコード件数カウント方法を見ていきます。 配列括りのJSON Doc
ゲーム開発記録その4。 GodotからEbitengineに乗り換えていたので、その理由と所感を整理します。 前回はこちら: www.bioerrorlog.work はじめに GodotからEbitengineに乗り換えた理由 ツールに詳しくなる vs 自分で実装する AIの恩恵を受けやすい 小さい歩幅で前進する おわりに はじめに ここしばらく、Ebitengineを触っていました。 Ebitengineは、Go製のシンプルな2Dゲームエンジンです。 過去のDevlogの通り、私はもともとGodot Engineを好んで使っていたのですが (一応UnityやUnreal Engine, pygameなども触っていたことはある)、今はEbitengineをメインに使っていこうかな、という気持ちになっています。 Ebitengineのどこが好きになれたのか、個人的な所感を残します。 Ebi
Terraformで出力ログレベルを変更するやり方の備忘録です。 はじめに TerraformでDEBUGレベルのログを出力する TerraformとProviderで個別にログの出力レベルを設定する おまけ: Terraformのソースコードを読む おわりに 参考 はじめに こんにちは、@bioerrorlogです。 不具合の切り分けをする際、ログは重要な情報源です。 そして十分な情報がログから得られない場合は、ログの出力レベルを上げてログ出力量を増やすのも有効です。 今回は、Terraformでログの出力レベルを変更する方法を備忘にまとめつつ、ついでにソースコードにも目を通してみます。 TerraformでDEBUGレベルのログを出力する Terraformでログの出力レベルを変更するには、環境変数TF_LOGを設定します。 ドキュメントはこちら: Debugging | Terraf
GitHub Actions内で別レポジトリをcloneする方法をまとめます。 はじめに GitHub Actionsで別レポジトリをcloneする やり方 やってみた おわりに 参考 はじめに こんにちは、@bioerrorlogです。 依存関係を持つレポジトリが別にある場合、GitHub Actions内でその別レポジトリもcloneして使いたくなることがあります。 今回は、そのようなGitHub Actions内で別レポジトリをcloneする方法をまとめます。 GitHub Actionsで別レポジトリをcloneする やり方 actions/checkoutのrepositoryオプションを指定することで、別レポジトリもcloneすることが出来ます: - name: Checkout uses: actions/checkout@v3 with: path: main - name
Boids Flockingの実装を通して、Go製のゲームエンジンEbitengineに入門します。 はじめに Ebitengineとは 今回作ったもの: Boids Flocking Boids Flockingを実装する 最小構成: Hello, World! ディレクトリ構成 ゲームロジックの実装 Boids Flockingロジックの実装 Vector処理の実装 CIの実装 おわりに 参考 はじめに Go製のゲームエンジンEbitengineというものを見つけて面白そうだったので、取り急ぎ何か作ってみようと思いました。 以前に他のゲームエンジンで実装したことのあるBoids Flockingを実装し、Ebitengineに入門していきたいと思います。 Go製ゲームエンジンの"Ebitengine"というものを見かけて面白そうだったので、入門にBoids Flockingを実装してみ
M2 MacにStable Diffusion web UIをインストールし、動かしてみます。 はじめに M2 MacでStable Diffusion web UIを動かす 1. 必要ライブラリのインストール 2. Stable Diffusion web UIのソースコードをcloneする 3. Stable Diffusionモデルを配置する 4. Stable Diffusion web UIを起動する おわりに 参考 はじめに 手元のM2 MacでStable Diffusionを動かしたくなりました。 Stable Diffusionで遊ぶときははもともとStabilityAIのHugging Face Spaceを使っていたのですが、最近停止されてしまいました。 ローカルでStable Diffusionを動かす方法を少し調べてみると、Stable Diffusion web
ChatGPTのCode interpreterの仕組みを、自分の理解で整理します。 ※ 追記:「Code interpreter」は、現在「Advanced Data Analysis」に改名されました。 中身の機能に変更はありません。 はじめに Code interpreterの仕組みを理解する Code interpreterの仕組み ケーススタディ:Code interpreter実行時の流れ 1. ユーザーからのファイルアップロードと指示 2. ChatGPTによる計画の立案 3. 処理の実行と実行結果のダウンロード Code interpreterサンドボックス環境の詳細 カレントディレクトリ Disk容量 Pythonバージョン OS情報 おわりに 参考 はじめに 先日、ChatGPTのCode interpreterがbetaリリースされました。 非常に有用な機能で、世間的
ChatGPTをはじめとするOpenAIサービスの障害情報を、OpenAI公式から確認する方法のちょっとした備忘録です。 はじめに OpenAIの障害情報を確認する おわりに 参考 はじめに ChatGPTを使っていると、ちょっとサービスの調子が悪いように感じられることがあります。 特に、APIを叩いていてレスポンスが思った以上に遅い時は、サービスの障害なのか自分のコードに非があるのかがパッと気になるところです。 今回は、OpenAIのサービス障害情報を確認できるOpenAI公式の場所を備忘録にメモします。 OpenAIの障害情報ってどこで確認するんだ?って思ったらちゃんと公式のStatusページがあった. OpenAI Statushttps://t.co/D41KLBWhdO pic.twitter.com/ZFrS7wc8F2— BioErrorLog (@bioerrorlog)
boto3とbotoの違いや、そもそもの"boto"の由来など、AWS SDK for Pythonの歴史を調べてまとめます。 はじめに AWS SDK for Pythonの歴史 boto3とbotoの違い boto2はどこに行ったのか "boto"の由来 おわりに 参考 はじめに AWS SDK for Pythonとしてboto3をいつも使っています。 ただ、私がAWSを触り始めたときには既に"boto3"になっていたので、"3"というからには無印botoやboto2もあるんだよね..?というモヤっとした疑問を抱えていました。 以前からAWSを知る人にとっては自明かもしれませんか、自分はまだ明確な答えを知りません。 そこで今回はboto3の歴史的背景を調べ、 boto3とbotoの違い boto2はどこに行ったのか そもそも"boto"の由来は? をまとめます。 AWS SDK fo
LLMによる開発パターンを容易に実装できると噂のLangChainに入門します。 はじめに LangChainに入門する 事前準備 Chat Model Prompt Templates Chains Agents Memory おわりに 参考 はじめに LangChainは、LLMを活用した開発を容易に実現するフレームワークです。 We believe that the most powerful and differentiated applications will not only call out to a language model via an API, but will also: - Be data-aware: connect a language model to other sources of data - Be agentic: allow a languag
GPTにて、テキストのToken数を確認する方法をまとめます。 はじめに GPTのToken数を確認する GUIで確認する | Tokenizer Pythonで確認する | tiktoken 終わりに 参考 はじめに ChatGPTでも使われているGPTシリーズは、その入力テキストを'Token'という単位で処理しています。 OpenAI APIの課金はこのToken単位で行われるので、いかに情報をToken効率良く記載するか、も重要な観点になります。 例:GPT-4の課金体系 今回は、このGPTシリーズの実際のToken分割を確認する方法をまとめます。 GPT、日本語は英語の倍近いTokenを消費している、というのがこうして見るとよくわかる. 一つの漢字が3つのTokenに分割されてたりするのも面白い. これほど細切れなToken分割でも上手くいくものなのが不思議に思えてくる.http
はてなブログのサイトマップをGoogle Search Consoleに登録した際、ステータスが "取得できませんでした" になる問題を、ついに解消することができました。 手順を紹介します。 はじめに サイトマップの"取得できませんでした"状態を解消する 1. サイトマップを送信する 2. "取得できませんでした"該当月の記事を更新する 3. 更新した記事のURLで"インデックス登録をリクエスト"する 4. 該当月のサイトマップを再送信する おわりに 参考 はじめに こんにちは、@bioerrorlogです。 はてなブログ上で本ブログを開設して2年が経とうとしていますが、Google Search Consoleにサイトマップを正しく送信できていない状態がずっと続いていました。 長らくサイトマップが正しく認識されていなかった はてなブログにこのようなサイトマップ送信の不具合があるのはよく知
RustツールをGitHubレポジトリから直接cargo installする方法の備忘録です。 はじめに GitHubレポジトリから直接cargo installする やり方 具体例 補足:アンインストール方法 おわりに 参考 はじめに こんにちは、@bioerrorlogです。 Rustで書いたCLIツールを、crates.ioに公開せずにさっとGitHubレポジトリから直接インストールしたいことがあります。 このやり方の備忘録を残します。 GitHubレポジトリから直接cargo installする やり方 cargo install --git <url> --gitオプションでレポジトリURLを指定すれば、gitレポジトリから直接インストールできます。 シンプルでわかりやすいですね。 参考:The Cargo Bookより --git url Git URL to install
ChatGPT Plusの解約方法のメモです。 はじめに ChatGPT Plusの解約方法 おわりに 参考 はじめに GPT-4の登場に合わせて、ChatGPT Plusに課金しました。 サブスクの登録前に、その解約方法を知っておきたい方も多いと思います (自分もその一人です)。 調べてもパッと出てこなかったので、ここにメモを残します。 [関連記事] www.bioerrorlog.work ChatGPT Plusの解約方法 以下の手順で簡単に解約できます。 左下から "My account" を選択 ポップアップから "Manage my subscription" を選択 "プランをキャンセル" を選択 1. 左下から "My account" を選択 2. ポップアップから "Manage my subscription" を選択 3. "プランをキャンセル" を選択 簡単ですね
面白いなと思った使い方、大事だなと思ったコツの個人的な備忘録です。 はじめに 前提 ChatGPTのTipsまとめ 基本編 鵜呑みにしない 途中で文章が途切れた時は "続けて" 汎用Tips 文脈を伝える 条件/制約や質問を明示する 相手の立場を指定する 回答の特性を指定する 英語で入力する 無茶振りする レビュアーや反論者を用意する おわりに はじめに ChatGPT、面白いですね。 難しく考えず素朴にChatGPTと会話するのも十分面白いですが、コミュニケーションを工夫することでより良い体験が得られたりします。 (対人コミュニケーションと同じですね) 今回は、個人的にChatGPTを使ってる中での好みのコツをまとめます。 ChatGPTのコツを書いているはずが、いつの間にか対人コミュニケーションの話みたいになってしまった ChatGPTの使い方のコツをまとめる - BioErrorLo
Ubuntuでデフォルトブラウザを設定する方法の備忘録です。 はじめに Ubuntuでデフォルトブラウザを変更する おわりに 参考 はじめに Ubuntuでデフォルトブラウザ設定を変更したくなりました。 パッとやり方が分からなかったので、備忘録を残します。 # 環境 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 20.04.4 LTS Release: 20.04 Codename: focal Ubuntuでデフォルトブラウザを変更する 以下の手順でデフォルトブラウザを変更できます。 1. "Activities"を開く。 "Activities" を開く 2. "Default Applications"を検索して開く。 "Default Applica
英語圏のサイトをGoogle検索する方法を整理します。 はじめに 英語圏でGoogle検索する 結論 URLパラメータの説明 おわりに 参考 はじめに こんにちは、@bioerrorlogです。 技術的な調べ物をするときは、なるべく英語で検索するようにしています。 日本語での検索結果は、しばしば低品質のページが表示されがちだからです。 stackoverflowの機械翻訳記事やプログラミングスクールの広告記事などが上位に表示されてしまい、なかなか欲しい情報が得られないことが多く感じます。 一方英語圏で検索してみると、上位に表示されるサイトは非常に優良であることが多い印象です。 ドキュメントはもちろん、GitHubやStack Overflowの優良なディスカッション、入念に書かれたブログ記事にすぐ辿り着くことが出来るので、自分の問題を早く解決することが出来ます。 そこで今回は、この英語圏で
Terraformの三項演算子の使い方と、その使用例をまとめます。 はじめに Terraformで三項演算子 使い方 具体例 シンプルな例 条件演算子を組み合わせ 型がcastされる例 エラー: 異なる型を指定 エラー: bool以外をconditionに指定 活用事例:resource count 活用事例:dynamic おわりに 参考 はじめに こんにちは、@bioerrorlogです。 三項演算子を活用すると、Terraformにおいても条件に応じた表現がシンプルに実現できます。 使用頻度も高く便利な機能なので、使い方を整理しておきます。 ※作業バージョン $ terraform --version Terraform v1.2.6 on linux_amd64 Terraformで三項演算子 使い方 基本的な使い方はドキュメントの通りです: condition ? true_va
gm = "good morning". gn = "good night". どちらも挨拶の言葉です。 はじめに "gm" / "gn" の意味 おわりに 参考 はじめに どうも、@bioerrorlogです。 Web3 / crypto界隈では、新参者には分かりにくいスラングが存在します。 私もcryptoに興味を持ち始めた頃は海外の方々が使っている用語が分からず、???状態でした。 NFTの海外Twitter界隈でよく見かけるスラング"gm"の意味がずっと分からなかったんだけど、そういう意味だったのか..! > gm means "good morning" https://t.co/KnwFJ7GmYz— BioErrorLog (@bioerrorlog) September 21, 2021 特に↑のgm/gnは頻出単語のわりに検索性が低く、なんだこれ?となっている方も少なくな
Terraformで現在のAWSアカウントIDを取得する方法の備忘録です。 はじめに TerraformでAWSアカウントIDを取得する やり方 おまけ: Terraformソースコードを読む おわりに 参考 はじめに Terraformを書いているとき、arnの指定等でAWSアカウントIDを取得&設定したくなることがあります。 今回はそのやり方の備忘録を残しつつ、ついでに関連部分のソースコードも読んでみます。 TerraformでAWSアカウントIDを取得する やり方 aws_caller_identityのdata sourceを使って、AWSアカウントIDを取得できます。 data "aws_caller_identity" "current" {} # data.aws_caller_identity.current.account_id # でアカウントIDを取得できる 使用例と
パイプ処理の終了ステータスを取得する方法をまとめます。 はじめに 環境 パイプ処理の終了ステータスを取得する PIPESTATUS を参照する方法 set -o pipefail を利用した方法 おわりに 参考 はじめに こんにちは、@bioerrorlogです。 パイプ処理の終了ステータスを取得($?)すると、デフォルトでは一番最後のコマンドの終了ステータスのみが取得されます。 #!/bin/bash exit 1 | exit 2 | exit 0 echo $? # 出力: 0 パイプ内コマンドの終了ステータスはマスクされてしまうので、パイプ内の異常終了を検知したいときなどに不都合です。 今回は、パイプ処理内の各コマンドの終了ステータスを取得する方法をまとめます。 環境 bashでの実行を前提としています。 パイプ処理の終了ステータスを取得する PIPESTATUS を参照する方法
Raspberry PiのGPIOピン配置位置を確認する方法を整理します。 はじめに 想定環境 Raspberry PiのGPIOピン配置を確認する pinoutコマンドで確認する ドキュメントから確認する おわりに 参考 はじめに Raspberry PiのGPIOピン配置は複雑です。 私は毎度ピン配置を調べてから作業しています。 ピン配置の調べ方をしばしば忘れてしまうので、備忘録を残します。 [関連記事] www.bioerrorlog.work 想定環境 Raspberry Pi 2/3/4 ではGPIOピン配置は同じ(40本)で、本記事ではこちらを想定します。 一方、Raspberry Pi 1 Model B+以前はピン配置が異なります(26本)。 Prior to the Pi 1 Model B+ (2014), boards comprised a shorter 26-p
AWS CDKでTagを付与する方法の備忘録です。 はじめに 環境 CDKでTagを付与する 具体例 Stack単位でTagを付与する Construct単位でTagを付与する 補足: 非推奨のTag付与方法 おわりに 参考 はじめに こんにちは、@bioerrorlogです。 CDKでリソースにTagを付与するとき、やり方を忘れてググり直すことがしばしばあります。 いちいち調べなくてもいいように、Tagの付与方法をメモします。 環境 今回は以下の環境で作業しました: CDK version: 1.92.0 OS: Amazon Linux 2 (Cloud9) CDKでTagを付与する CDKでTagを付与するには、Tagsクラスを用いたやり方が推奨されています。 Tagging - AWS Cloud Development Kit (AWS CDK) v2 ※他にはTagクラスを用い
コードレビューで使われる NIT / NITS の意味と、その語源を整理します。 はじめに NIT / NITSの意味 NIT / NITSの語源 おわりに 参考 はじめに コードレビューなどで、"NIT / NITS"という略語が使われることがあります。 意味は知っていてもその語源はよく知らなかったので、深堀してみました。 NIT / NITSの意味 まず NIT / NITS は、細かい話だけど、の意味です。 typoやコードスタイルの細かい指摘をするときに、nit: XXX...のように使われたりしますね。 NIT / NITSの語源 では NIT / NITS の語源は何でしょうか。 これは、nitpick が語源のようです。 私が資料を探したなかで最も明示的に整理していたのは、ChromiumOS Docsでした。 nit: short for “nitpick”; refers
次のページ
このページを最初にブックマークしてみませんか?
『BioErrorLog Tech Blog』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く