危機管理室の吉本です。 生成AI(GPT-3.5)が個人情報を出力することがある。という三井物産セキュアディレクション㈱さんの記事を読み、GPT-4ではどうなるか気になったので自分でも試してみました。 ChatGPT(GPT-3.5)での個人情報開示 記事の内容では、GPT-3.5である手法を用いると、公開されている情報から学習した個人情報を出力させることが可能であると示されています。実際に自分でもやってみたところ、下図のように確かに公開されている個人情報の抽出がでできました。 そこでGPT-4ではどのような結果になるか、またどのように安全性を高めているかをまとめます。 GPT-4の安全性 OpenAI社はGPT-4の安全性について、許可されていないコンテンツへのリクエストに対する回答率が82%減ったとしています。 We spent 6 months making GPT-4 safer
by Team PyTorch We’re pleased to announce the alpha release of torchtune, a PyTorch-native library for easily fine-tuning large language models. Staying true to PyTorch’s design principles, torchtune provides composable and modular building blocks along with easy-to-extend training recipes to fine-tune popular LLMs on a variety of consumer-grade and professional GPUs. torchtune supports the full f
Behind The Scenes: Cloud Native Storage System for AI
AI向けクラウドネイティブなストレージシステムの裏側 My talk at https://event.cloudnativedays.jp/cndt2023/talks/1996 .
PyTorchのFXグラフモードで量子化認識トレーニングを試す - TadaoYamaokaの開発日記
ディープラーニングのモデルを推論する際、通常GPUが必要である。しかし、GPUがない場合でも、モデルのパラメータを浮動小数点から整数へと変換する手法を使うことで、CPUだけでも推論処理を高速に行うことが可能である。この手法を量子化と呼ぶ。 PyTorchの量子化 PyTorchには、量子化の方法がいくつか用意されている。 実装は「Eager Mode Quantization」と「FX Graph Mode Quantization」に分かれており、「FX Graph Mode Quantization」の方が新しい実装で、「Eager Mode Quantization」ではモデルのレイヤー融合を手動で行う必要があったところが自動化されている。 また、一般的に量子化の手法として、 ダイナミック量子化 トレーニング後の量子化 量子化認識トレーニング がある。 ダイナミック量子化は、キャリブ
モデルの気持ちになって情報を与えよう
これは Kaggle Advent Calendar 2023 12/10 の記事です。 ディープラーニングでは何を考えたらいいのか？「モデルの気持ち」などと言いますが、もっと具体的にどういうことなのか？私も素人でわからないのですが、今年参加したコンペで読んだ solution を題材に「情報を与える」という観点からモデルの気持ちを推測してみます。 「それ、俺も書いたが？」みたいなのはたくさんあるかと思いますが advent calendar ゆえどうかご容赦を。記憶をたよりに雑に書いて調べ直していません。 Classification の根拠を segmentation で与えるG2Net 2 Detecting Continuous Gravitational Waves はノイズに埋もれたデータに重力波の信号が含まれているかを判定する二項分類のコンペでした。入力は spectrogr
Visual Blocks
Drag and drop off-the-shelf ML components with Visual Blocks. A fast, easy way to prototype ML pipelines – no expertise or coding required.
Announcing Optuna 3.4 - Preferred Networks Research & Development
ハイパーパラメータ自動最適化フレームワークOptunaの新しいバージョンであるv3.4がリリースされました。今回のリリースには、ユーザーの相対的な評価結果をもとに最適化を行う新機能 “Preferential Optimization” や、ファイル管理機構、Jupyter Lab拡張、VS Code拡張が含まれています。 ✨ハイライト機能 選好に基づく最適化 (Preferential Optimization) 今回のリリースでは、選好に基づく最適化 (Preferential Optimization)が導入されました。この機能は、画像生成や音声合成、自然言語生成タスクのように、生成物の定量的な評価が難しく、人間が主観的な評価をつける必要があるタスクにおいて特に有用です。 Optuna 3.2においてサポートされたHuman-in-the-Loop最適化では、絶対評価のみが可能となっ
Announcing Optuna 3.6 - Preferred Networks Research & Development
はじめに ブラックボックス最適化フレームワークOptunaの最新バージョンであるv3.6をリリースしました。今回のリリースには、様々な新機能やリファクタリング、バグ修正が含まれています。このブログではv3.6のハイライトと多くの機能改善についてお伝えします。 TL;DR Wilcoxon Pruner、軽量なガウス過程ベースのSampler、 PED-ANOVA重要度評価器等の様々な新しいアルゴリズムのサポート FrozenTrialの検証ロジックの厳密化、 Dashboardのリファクタリング、 Integrationの移行などOptunaの品質に関わる様々な改善を実施 Wilcoxon Pruner Optuna v3.5以前では、Prunerは典型的な機械学習のハイパーパラメータ最適化を想定して作られていました。そのような問題では、学習曲線を見て悪いパラメータを早期終了することができ
dlshogiのPyTorch Lightning対応 - TadaoYamaokaの開発日記
dlshogiの学習は、PyTorchを使用して、モデルの訓練処理を独自に実装していた。 マルチGPUによる分散学習に対応させようと考えているが、独自に実装するより、PyTorch lightningに対応させた方が実装が楽になるため、dlshogiをPyTorch Lightningに対応させたいと考えている。 まずは、訓練の基本部分の実装を行った。 PyTorch Lightning CLI ボイラープレートをできるだけ削除するため、PyTorch Lightning CLIを使用して実装する。 PyTorch Lightning CLIを使用すると、コマンド引数のパース処理など含めて自動で行ってくれる。 起動部分の処理は以下のように記述するだけでよい。 def main(): LightningCLI(Model, DataModule) if __name__ == "__main
機械学習におけるクラスの重み付け 機械学習において、データセットのクラス分布が不均衡な場合には、重み付けの考え方を導入することが多いです。これは特に、一部のクラスのデータ数が他のクラスと比べて非常に少ない場合（不均衡なデータセット）に有効です。この記事では、クラスの重み付けについて説明し、その実装方法をKerasとAdaBoostで解説します。 クラスの重み付けとは？ クラスの重み付け（Class weighting）は、不均衡なクラス分布を持つデータセットに対する学習において、少数派のクラスを適切に扱うためのテクニックです。具体的には、クラスの重み付けは分類器に対して、少数派のクラスのデータに対する学習により重要な重みを置くよう指示します。これにより、少数派のクラスのデータがモデル学習において大きな影響を持つようになり、全体のパフォーマンスが向上することが期待できます。 Kerasでの実
GitHub - Blealtan/efficient-kan: An efficient pure-PyTorch implementation of Kolmogorov-Arnold Network (KAN).
This repository contains an efficient implementation of Kolmogorov-Arnold Network (KAN). The original implementation of KAN is available here. The performance issue of the original implementation is mostly because it needs to expand all intermediate variables to perform the different activation functions. For a layer with in_features input and out_features output, the original implementation needs
講演概要ツール・環境 現在 (GP: General Purpose) GPUは、特にその高い演算性能から、AI分野における最も有力な実行プラットフォームとなっている。その高い演算性能は、AI分野で特徴的に現れるテンソル計算に強く適応した結果得られるものである。GPUが利用するテンソル計算の性質には、データ並列性・規則性の高さと計算精度に対する要求の低さ、演算強度の高さなどがある。本講演では、GPUの基礎として、GPUそれらの性質をどのように利用しているかを、CPUとの比較という観点から概説する。 講演映像
大規模言語モデルの「創発的」能力（Emergent Abilities of Large Language Models）とは？
大規模言語モデルの「創発的」能力（Emergent Abilities of Large Language Models）とは？：AI・機械学習の用語辞典 用語「創発」について説明。大規模言語モデルの計算量やパラメーター数が非常に大きくなると、“あるところ”を境に、突然、新しい能力を獲得して性能が大きく向上する現象を指す。 連載目次 用語解説 大規模言語モデルにおける創発的能力（Emergent Abilities of Large Language Models、あるいは単に「創発」）とは、大規模言語モデルの計算（Compute）量（もしくはパラメーター数＝モデルのサイズ）が非常に大きくなると、“あるところ”を境に、突然、（新しい能力を獲得して）性能が大きく向上する現象のことである（図1）。なお創発的能力は、元の論文で以下のように定義されている。 ある能力が、より小さなモデルには存在しな
Meet watsonx The AI and data platform that’s built for business Start your free trial Train, validate, tune and deploy models for generative AI Start building AI applications Bring all your business data together to scale analytics and AI in your applications Manage your data for AI
from kaskada.api.session import LocalBuilder session = LocalBuilder().build() %load_ext fenlmagic サンプルデータセットの構築 この例では、ゲームプレイヤーの行動に関するイベントを扱います。 イベントには、ユーザーが勝った、負けた、そして物の購入の３種類があります。 イベントは 2 つの CSV ファイルに保存されているものとします（ここではテストデータの作成をJupyterノートブック上で行います）。 game_play.csvには、プレイヤーが行ったゲームの勝敗に関するイベント情報が含まれています。 %%writefile game_play.csv event_at,entity_id,duration,won 2022-01-01 02:30:00+00:00,Alice,10,true
大規模言語モデルにおける人工ニューロンの挙動をテーマにした以下論文が面白かったので、ざっくり目についたキーワードを抜き出してみました。 理解不足など多分にあると思いますので、興味を持たれた方は、ぜひ原文をご確認ください。 概要LLMの内部構造を理解するため、パラメータの異なる125Mから66BまでのMeta社のOPTファミリーのモデル内部の人工ニューロンの挙動を分析した キーワード活性化しないニューロン（Dead Neurons）ネットワークの入力部付近の層では、多くの活性化しない「デッドニューロン」が存在しており、特に66B（660億）モデルでは、一部の層で70%以上のニューロンが活性化していない。 ネットワークの前半はデッドニューロンの割合が高く、後半はほとんどのニューロンが「活性化」している。 著者らは、この層間での疎さの違いは、初期層では「概念と対応するニューロン」の比率が後半の層
連載目次 本シリーズと本連載について Pythonは現在とてもよく使われるプログラミング言語の一つです。特に人工知能、機械学習、データ処理やデータ分析といった分野においてはPythonとそのライブラリはとてももてはやされています。ですが、Pythonの基礎を学んだだけで今述べたような分野に乗り出していくのは少し大変なことでもあります。 プログラミング言語だけを覚えても、その言語で何かを行うには十分ではないことはよくあります。特に複雑なことをやろうと思ったら。何かを行うためには、さまざまなライブラリやフレームワークの使い方も学ぶ必要があります。あるいは、自分でそうしたライブラリやフレームワークを構築する方法もありますが、そのためにはかなりの労力が必要となるでしょう。 何かを実現するためにその道具（ライブラリやフレームワーク）から作り始めるのは理想的です。が、例えば数値計算やデータの処理、可視
Large language models are commonly trained on a mixture of filtered web data and curated high-quality corpora, such as social media conversations, books, or technical papers. This curation process is believed to be necessary to produce performant models with broad zero-shot generalization abilities. However, as larger models requiring pretraining on trillions of tokens are considered, it is unclea
企業による生成AIアプリ構築はどう楽になる？ Google Cloudが開発基盤Vertex AIを強化
企業による生成AIアプリ構築はどう楽になる？ Google Cloudが開発基盤Vertex AIを強化：Google Cloud Next ’23 Google Cloudが年次イベント「Google Cloud Next '23」で、多数のモデルへの対応、社内の既存アプリやデータとの連携など、企業による生成AIアプリ構築を支援するさまざまな新機能を発表した。
国内最大規模のゲーム業界カンファレンス「CEDEC2023」が、2023年8月23日（水）から8月25日（金）までの日程で開催されました。2日目となる8月24日には、ユニティ・テクノロジーズ・ジャパンの代表取締役社長・大前広樹氏が登壇し、「推論ライブラリを実装する」と題した講演が行われました。 本講演ではUnityで機械学習の結果を利用するためのアプローチについて触れていますが、機械学習の基本の部分についても解説がありました。ゲームエンジンに関わらず機械学習の初学者にとっても非常に勉強になる内容となっている本講演をレポートします。 TEXT / rita EDIT / 田端 秀輝
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChatGPT(GPT-4)が個人情報を出力するか試してみた | DevelopersIO
torchtune: Easily fine-tune LLMs using PyTorch
機械学習におけるクラスの重み付けとその実装方法 - Qiita
GPUの基礎 - 五島 正裕 国立情報学研究所アーキテクチャ科学研究系 教授
IBM watsonx — An AI and data platform built for business
特徴量エンジンKaskada利用イメージ: 機械学習モデルのトレーニング - Qiita
【論文紹介】大規模言語モデルにおけるニューロンの挙動について｜はまち
［NumPy超入門］Pythonでのデータ処理をNumPyから始めよう！
The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only
AIは怖くない。機械学習のイロハから、ゲームで利用するためのアプローチまでを学ぶ【CEDEC2023】