この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
食べログ3.8問題に終止符を打つ
import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns import json import glob import math from pathlib import Path from collections import Counter from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score from sklearn.metrics import confusion_matrix from sklearn.metrics import roc_auc_score from sklearn.model_selection imp
どうもTAKUYAです。 今日は、英語で情報発信していて良かったと思う事があったので日記として書きたい。 今年はもっぱら英語アカウントの方でツイートしたりブログを書いたり動画を作ったりしている。 開発の泥臭いTipsからキャリア論など割と幅広く情報発信している。 そうこうしている内に、開発で躓いた事をツイートすると、使っているフレームワークやツールの関係者からリプが来るようになった。 いつのまにか自分の事をフォローしてくれていたようだ。 例えばReact NativeでJSI Native BindingsがRemote Debuggerで動かないような事を呟くと、facebookの中の人からHermesが要るよと教えてもらったり： You need to use Hermes and the chrome debugger via Hermes. The standard chrome
マスクについて
この話も、本当はネットに挙げたくはなかったのです。絶対怒られるから。何を言っても。 とはいえ、何も言わなければさらにデマが広がってしまうというジレンマが生じてしまいます。よって、ここでマスクについても説明します。これも長いですよ。 実は、マスクについての考え方について、新しく説明すべきことはあまりありません。どうしてかというと、その考え方は、 検査の考え方 と全く同じだからです。すなわち、 マスクの属性 だけで、マスクを論じてはならない。マスクがどのように飛沫の放出を防ぐかとか、防がないとか、富岳のシミュレーションでどうだとか、そういう「マスクの性能」は議論の一部をなすけれども、議論の全てではないってことです。 察しの良い読者はお気づきでしょう。そう、実はマスクの議論も、検査の議論同様、 状況の判断 が大事なのです。もう少し詳しく説明しますね。 マスクの効果についてはすでにメタ分析が出てい
主な確率分布の関連図 こんにちは、吉岡（@yoshiokatsuneo）です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんなとき、データの様子を表現するためによく使われているのが「確率分布」です。 学校の試験などで使われる偏差値も、得点を正規分布でモデル化して、点数を変換したものです。 今回は、Webサービスなどでよく使われる確率分布18種類を紹介します。 それぞれ、Webサービスでの利用例やPythonでグラフを書く方法も含めて説明していきます。コードは実際にオンライン実行環境paiza.IOで実行してみることができますので、ぜひ試してみてください。 【目次】 正規分布 対数正規分布 離散一様分布 連続
Contents Command Line Interface Guidelines An open-source guide to help you write better command-line programs, taking traditional UNIX principles and updating them for the modern day. Authors Aanand Prasad Engineer at Squarespace, co-creator of Docker Compose. @aanandprasad Ben Firshman Co-creator Replicate, co-creator of Docker Compose. @bfirsh Carl Tashian Offroad Engineer at Smallstep, first e
自称天才編集者・箕輪厚介氏のセクハラ・パワハラメッセージを解読 女性ライターは必死に抵抗していた｜能町みね子（2020年5月22日）｜BIGLOBEニュース
天才編集者が恋愛・性愛じみた関係を求めてきたとき箕輪厚介がついにボロを出したか。——幻冬舎の自称「天才編集者」・箕輪厚介のセクハラ・パワハラ報道を知ったときの率直な感想は、これだった。私は報道を読んで、箕輪氏本人に対して「やっぱりな!!」という気分になってしまったため、つい流出した彼のひどいFacebookメッセンジャーの文章を茶化すようなことをツイッターに書いてしまった。この点については反省している。茶化してネタにするような話ではなく、これは権力を利用した悪質なハラスメントであった。 決して有名ではないと思われるライター女性Aさんに対し、箕輪氏は原稿を生かすも殺すも可能な有名編集者という立場である。 彼はAさんに対し、敬語すら使っていない。箕輪氏とAさんは仕事を発注・受注する関係であるはずなのに、当たり前のように指導者的な立ち位置につこうとしており、意識的に主・従の関係を作っていたことが
先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価するために50人超の専門家らを含む"レッドチーム"を結成。2022年8月から8ヶ月に渡ってリスクの評価とその軽減に向けたチューニングを実施してきた リスク評価における実験の中には「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」と
ゼロから作る時系列データベースエンジン
軽量な時系列データベースエンジンをスクラッチで開発する機会があったので、どのように実装したのかを必要知識の解説を交えながらまとめていきます。 実装はGo言語によるものですが、本記事のほとんどは言語非依存な内容となっています。 モチベーション 筆者は時系列データを扱うツールをいくつか開発しています。その中の一つであるAliは負荷テスト用のcliツールで、メトリクスをクライアント側でリアルタイム描画できるのが特徴です。リクエスト毎にレイテンシーなどの計測結果が際限なく書き込まれてくる中、同時に一定のクエリパフォーマンスが求められます。 これは言ってしまえば、簡易クエリ機能付きのpush型モニタリングシステムを単一ホストで実現するようなものです。 以前までの実装ではヒープ上の可変長配列にデータポイントを追加していくだけだったので、当然ながら時間の経過とともにメモリ使用量が増加していく問題を抱えて
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT-3の衝撃 - ディープラーニングブログ
英語で情報発信してたら中の人が次々と助けてくれるようになった - 丁寧に手を抜く
WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza times
Command Line Interface Guidelines
GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか - Qiita