最近、「AIを理解したくて代数幾何の教科書を勉強しているんですよ」という人によく会う。 五年前くらい前に、note株式会社の加藤社長も「社内で代数幾何学の勉強会を開いてるんですよ」と言っていた。僕はその都度「それは全く遠回りどころか明後日の方向に向かってますよ」と言うのだがなかなか聞き入れてもらえない。 確かに、AI、特にディープラーニングに出てくる用語には、ベクトルやテンソルなど、代数幾何学で使う言葉が多い。が、敢えて言おう。 代数幾何学とAIはほとんど全く全然何も関係していないと。 なぜこのような不幸な誤解が生まれてしまうかの説明は後回しにして、意地悪をしても仕方ないので、AIを理解するために最低限知っておかなければならない用語を5つだけ紹介する。 テンソル(スカラー、ベクトル、行列など)おそらく、「テンソル」という言葉が人々を全ての混乱に向かわせている。 Wikipediaの説明は忘
個人開発で参考になるNext.jsリポジトリ10選
OpenStatus - ステータスページ App Router Turborepo Drizzle Clerk tRPC Tailwind shadcn/ui LLM Report - OpenAI モニタリング App Router Prisma NextAuth shadcn/ui Stripe Dub - URL 短縮 App Router Turborepo Prisma NextAuth Tailwind Stripe slug - URL 短縮 Prisma NextAuth tRPC Tailwind Cal.com - 日程調整 Turborepo Prisma NextAuth tRPC Tailwind Taxonomy - ブログ App Router Prisma NextAuth Tailwind Rowy - ローコード GUI Firebase Dorf -
ロジスティック回帰について調べている。 ロジスティック回帰モデルのパラメータの最尤推定量は、不偏推定量ではなく、バイアスがある。 例として、サンプルサイズ 、入力変数の数 のときを考える。 パラメータ 300個の真の値を、最初の 100個は 、次の 100個は 、残りの 100個は に設定して推定してみよう。 n <- 1500 p <- 300 # データの生成 set.seed(314) x <- rnorm(n * p, mean = 0, sd = sqrt(1/n)) X <- matrix(x, nrow = n, ncol = p) beta <- matrix(c(rep(10, p/3), rep(-10, p/3), rep(0, p/3))) logistic <- function(t) 1 / (1 + exp(-t)) prob <- logistic(X %*
Text2Landscape: Visualize a Text in Multiple Spaces with R — Force-directed networks, Biofabric, Word Embeddings, Principal Component Analysis and Self-Organizing Maps
First Visualizations: Frequencies Let us first visualize word frequencies. We can get these frequencies with the quanteda package, which implies transforming the column of lemmas (text.lemmas$lemma) into a quanteda tokens object, then to a document-feature matrix. Doing so, we only retain significant parts of phrases (nous, proper nouns, verbs and adjectives). This only partially spares us the tas
経時データが観測されたとき、各観測のデータを関数として扱いその特徴を定量化するための方法について紹介します。Rによる分析コードとその解説も入れています。 （p6の「こちらのページ」はp33を指しています）
2022年に書いたRで論文を書く実践的なテクニック集のテーブル編をtinytable版で書き直したものです. Quartoで書かれた英語版もありますので, そちらも参考にしてください. kableExtra, gt から tinytable の時代へ 近年, Rで表を作成するためのパッケージとして kableExtra と gt が人気を集めてきました. 私は kableExtra を使って論文（\LaTeX）で表を作成し, gt を使ってスライド (revealjs) で表を作成しており, 以前行ったRワークショップやZennでの解説記事でもkableExtraを念頭においておりました. しかし, 2024年4月現在, tinytableが従来のパッケージと比べ軽くて使いやすく, 今後のスタンダードになっていくと確信しており, 以前書いた記事を更新する必要があると考えました. この記事で
この記事はR言語 Advent Calendar 2023の8日目の記事です。 qiita.com 本当に9割が知らないかどうかは知らないです。 「R言語は遅い」と言われがちですよね。 個人的には困るほど遅いと感じたことは無いのですが、まあ速いに越したことはありません。 高速化のテクニックも色々あります。 予算がある場合はメモリとCPUを強化するのが手っ取り早いです。 qiita.com データの読み書きならreadrパッケージでも十分早いし、arrowパッケージという手もあります。 heavywatal.github.io qiita.com 追記：for文をlapply()やReduce()で高速化する方法もあります！ qiita.com 各種処理ではとにかくベクトル化することが高速化のコツになります。 ベクトル化してください。 ベクトル化しろっつってんだろ。 また、並列化が有効なケー
はじめに 先日以下の記事が話題となり、とてもワクワクしたので自分も実装して色々実験してみました。 実装するうちに理解が深まったので一度、 誤差拡散法の元ネタ紹介から 数式の解説、 ED法の弱点、 行列計算を使用した実装と簡単なテスト結果、 実装上の工夫 までまとめてみたいと思います。 誤差拡散（Error Diffusion）法 もともとは画像の2値化において失われる情報を周囲のピクセルで補うことで、遠目に元の画像の濃淡が残っているように見せる技術（ハーフトーン処理の一種）です。 Error diffusion -Wikipedia（英語版） 左の画像をちょうど半分の明るさをしきい値として2値化すると中央の画像のようになりますが、誤差拡散法を適用すると2値化後も右の画像のようにある程度濃淡を保存・表現できます。 誤差拡散法（画像処理）のサンプルコード コメントアウト箇所はFloyd, St
はじめに 事業会社で働いているデータサイエンティストです。普段の業務ではRを利用していますが、Pythonの言語仕様も理解しているつもりです。会社が作成していただいた記事はこちらです： 昨日会社のエンジニアの後輩社員にPython使いがキモいと感じるかもしれないRの文法をいっぱい見せたら、いい反応をいただいたので、Qiitaにまとめることにしました。 こんなことを紹介します： キモいポイントその1:恐ろしい関数 キモいポイントその2:スキーマ大破壊 キモいポイントその3:そのxはどのx？ キモいポイントその4:if文とfor文なんてないよ、if関数とfor関数だよ キモいポイントその5:あれ？足し算できなくなったけど まず強調しておきたいのは、Rは決していわゆる「統計ソフト」ではなく、しっかりとしたプログラミング言語で、正しく書けばプロダクトとしてリリースできるほどの堅牢性と保守性が担保さ
前提 設定 n 組の目的変数 y_i と p-1 個の説明変数 x_{1i}, x_{2i}, ..., x_{p-1,i} からなるデータセット(i=1, 2, ..., n)をもとに、線形回帰モデルを作成する： y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + ... \beta_{p-1} x_{p-1,i} + \varepsilon_i. ただし、\varepsilon_i は独立同時な分布に従う誤差項とし、その期待値は E[\varepsilon_i] = 0、分散は V[\varepsilon] = \sigma^2 とする。 この時上記のモデル式は、目的変数ベクトル \boldsymbol{Y} = (y_1, y_2, ..., y_n)^\top、計画行列 \boldsymbol{X}、回帰係数ベクトル \boldsym
はじめに
このドキュメントは『指標・特徴量の設計から始めるデータ可視化学入門』で提供されているPythonによる可視化コードをR言語で書き直したものです。 ただし、Pythonのコードの直訳・逐語訳ではなくRらしい書き方・表現へ意訳しています。 以下が各章ごとのドキュメントです。 2023年2月時点で第8章まで完成。 第1章 データ可視化の本質 第2章 数量を把握するデータ可視化 第3章 メカニズムをとらえるデータ可視化 第4章 多変数をとらえるデータ可視化 第5章 データの分布をとらえる指標化 第6章 関係性をとらえる指標化 第7章 パターンをとらえる指標化 第8章 データ指標化・可視化のプロセス MATLAB版も公開されています。 以下の方針を取っています。 書籍とPythonのコードで微妙に異なる箇所は、極力書籍に合わせる。 配色の再現は目指さない。 jetカラーのグラデーションはviridi
Rに出会って、早5年（2023年現在）。これまでに出会った、無料で、RやRを使った統計解析を学ぶことができるウェブサイトのメモです。ブックマークしているもの、Xでツイート、リツイートしてきたものを公開します。 随時更新して追加していきます。他にもあればコメント欄にお願いします。 （英語の記事多い！） Rで統計解析 UCLA Statistical Methods and Data Analytics 【英語】コーディング方法など細かい事例が豊富です。 An Introduction to Bayesian Data Analysis for Cognitive Science 【英語】ベイズに特化しています。 New statistics for design researchers A Bayesian workflow in tidy R 【英語】ベイズに関する分析法がまとめてあります
PythonとR言語のハーモニーな連携: データサイエンスの舞台裏 - Python転職初心者向けエンジニアリングブログ
プログラミングの舞台裏には、異なるプログラミング言語を組み合わせて使用することで、プロジェクトに深みをもたらす魔法が広がっています。今回の記事では、PythonとR言語の連携に焦点を当て、データサイエンスの分野でこれらの言語を連携させることで得られる恩恵について詳しく探ってみましょう。 PythonとR言語: データサイエンスのダイナミックデュオ Pythonは豊富なライブラリやシンプルな構文を持ち、データ処理や機械学習分野で強力な存在です。一方で、R言語は統計解析や可視化に特化しており、データサイエンスの分野で広く使用されています。これらの異なる強みを連携させることで、データサイエンスのダイナミックデュオが誕生します。 連携の鍵: PythonからRスクリプトを呼び出す PythonからRスクリプトを呼び出すためには、subprocessモジュールを使用します。以下は基本的な例です。 i
SpotifyのWebAPIから取得できるデータを使い、国ごとに流行っている曲の傾向やグループ分けを行ってみた。 #muana #R言語 #rstats
本記事は最近読んだ次の記事からインスピレーションを得ました。 RのdplyrやPythonのpolarsのようなパッケージでデータフレームの操作に慣れている人ならば、Rのdbplyrを使うことで、バグが少ない上に早くサブクエリを構築することができます。 何千回も実行するSQLならば時間をかけてチューニングされたSQLを構築したほうがよいと思いますが、分析の試行錯誤のサイクルを早く回したい場合など数十回ぐらいしか実行しないSQLならば、dbplyrから実行したほうがよいでしょう。 それではざっくり元記事に沿って例を説明します。 カラムのサブクエリ 大分類（major_category）で絞って、該当する作品を表示する例をお借りします。 まず素直にms_categoriesテーブルから該当するcategory_idを抜き出しておいて、%in%で求めると、 category_id_fiction
はじめに こちらの記事でSurrogate indexについて初めて知りました。 developers.cyberagent.co.jp Netflixでも活用されていて、一定の成果を上げているようです。 arxiv.org 業務で扱う課題を解決してくれる可能性があったため、理解しておきたいと思いました。 論文等を読みつつRで挙動などを確認していきます。 はじめに 概要 課題感 方針 仮定 仮定1 強く無視できる割り当て条件 仮定2 代理性 仮定3 互換性 定義 Surrogate index：代理指数 代理スコア：Surrogate Score Sampling Score 潜在的条件付き期待値 関係性 因果効果の推定 論文での適用事例 Rで確認 データの生成 推定 所感 概要 元の論文はこちらです。 www.nber.org よりわかりやすい説明は冒頭のブログ記事を参照してください。
Gaussian Splattingは、SIGGRAPH 2023で発表されたプロジェクトです。 複数枚の写真からその空間のあらゆるところから見たビューを補間します。 同じ技術にNeRFがありますが、これの欠点を補った理論のようです（アルゴリズムはまだ未調査）。 NeRFの問題は、かなり大雑把な書き方ですが大きく以下の2点があります。 トレーニング時間がかかる 最終的な空間の復元で解像度不足 (なんだか眠い) GitHubのリポジトリはこちらになります。 https://github.com/graphdeco-inria/gaussian-splatting 今回はGaussian Splattingを試す流れをまとめることにしました。 CUDA11.8とAnaconda3を使います。 GoProで撮影した動画を使ってウォークスルーするまでを行います。 検証環境 OS : Windows
HCI研究者の心理統計ノート
「HCI研究者の心理統計ノート」は、私が Human Computer Interaction (HCI) 研究に取り組む中で調べた・使った心理統計手法をまとめた備忘録です。主に R のサンプルコードを掲載しています。みなさんの研究生活がより良いものになりますように。
Rではじめるデータサイエンス 第2版
Hadley Wickham、Mine Çetinkaya-Rundel、Garrett Grolemund 著、大橋 真也 訳 TOPICS Data Science , R 発行年月日 2024年06月 PRINT LENGTH 576 ISBN 978-4-8144-0077-5 原書 R for Data Science, 2nd Edition FORMAT Print PDF
ブラウザで動くR、WebRが熱い！
個人的に2023年のR言語界隈でホットだったWebR[1]について、日本語での紹介を見かけなかったので、私の知る範囲で簡単にまとめます。 WebRとは WebR公式ドキュメントには以下のように書かれています。 WebR is a version of the statistical language R compiled for the browser and Node.js using WebAssembly, via Emscripten. 要するにブラウザ上などでRが動くということですね（技術的なことをよく理解していないため説明できない）。 現在はPosit社のメンバーがメインとなってr-wasmというGitHub組織で開発されています。 元々はGeorge Staggさん（恐らくWebR開発のために現在はPosit社に所属されている）の個人プロジェクトだったのだと思われます。 Gi
はじめに Lambda Web Adapterという、HTTPで動くコンテナに対して仲介してLambdaで動くようにしてくれるツールがあります。 これを使って、Rのplumberをコンテナにして動かしてみました。 以前Lambdaで、plumberのようなRのREST APIを作りましたが、Lambda Web Adapterを使えば、plumberを使えるのでかなり楽です。 概要 Lambda非サポートのRを、Lambda Web Adapterを用いて実行 Webアプリを対象としているので、plumberを使用 参考 やってみた 環境はCloud9のm5.largeを使いました。t3.smallでもできますが、docker buildの時間が(m5.largeであれば)6分程度ですが、(t3.smallだと)10分以上かかります。 ECRへのPUSHまで 過去の記事を参考に、ECRへの
SkyWay（スカイウェイ） - NTT Communicationsが提供するWebRTCアプリ開発者向けマルチプラットフォームSDK&API
SkyWayは、ビデオ・音声・データ通信機能をアプリケーションに簡単に実装できる SDK&APIです。ビデオ会議や、オンライン診療、遠隔ロボットなど、リアルタイムな コミュニケーションを実現します。
R の統計解析結果を AI に解説させる - Qiita
R の統計解析結果を AI に解説させる統計ソフト (ウェブアプリ) を作って無料公開しました プロンプトや実際のコード、AI のモデルによる違いなどの情報を載せてあります。 自己紹介 エミュイン合同会社 で開発に関わっています。 ふだんは臨床医です。この記事が、Qiitaへの初投稿になります。 最近、弊社より ブラウザだけで使える無料統計ソフト Reactive stat をリリースしました。 信頼性の高い R で統計解析し、その結果を AI が解説します！ その背景には、統計に苦労している医療者の助けになりたい、という気持ちがあります。 医療における統計の環境 学会発表や学術論文では統計を避けて通れない 医師は、臨床以外に、学術活動として、学会発表や学術論文の記述をすることも求められます。専門医などの資格取得には、論文発表の業績を要求されることが一般的です。看護師も、学会などで看護研究
R言語のコミュニティ https://r-wakalang.slack.com で回答したのでメモ。 質問はこんな感じ（意訳しています）。 次のようなデータを以下のルールで処理したい。 データを上から下に見ていき、 (1) before に TRUE が出たら、それ以降は after を TRUE にする。 (2) ただし、condition が FALSE になったら after を FALSE にして状態をリセットする。 これを、for を使わないやり方で書きたい。（データにすでにある after は答えあわせ用） before condition after 1 FALSE FALSE FALSE 2 FALSE TRUE FALSE 3 TRUE TRUE TRUE 4 FALSE TRUE TRUE 5 FALSE TRUE TRUE 6 FALSE FALSE FALSE 7
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIを学ぶのに必要な最低限の数学の知識は5つだけ!｜shi3z
日本初ドラレコ付き自転車ヘルメット「FOXWEAR V6」。高解像度でくっきり録画
Meta、新音声生成AIモデル「Voicebox」 短い音声から自在に声を生成
ロジスティック回帰の最尤推定量にはバイアスがある - ほくそ笑む
関数データに対する主成分分析 ～方法論の紹介とRによる実装～
メタバースで「別世界を作る」日本と「現実世界を拡張する」アメリカ、メタバース観の違いを検討したMITの論文が公開／バーチャル美少女ねむ氏による日本語訳もnoteで公開中
Rで論文を書く実践的なテクニック集 (tinytable編)
Rユーザーの9割が知らない高速化の禁断の裏技！！！ - bob3’s blog
金子勇さんのED法の解説と弱点、行列積を使用した効率的な実装 - Qiita
Python使いの皆さん、Rのキモいところをいっぱいお見せします - Qiita
R/Python の線形回帰では完全な多重共線性のある入力データにどう対処しているか？
無料で学ぶRと統計解析：おすすめのウェブサイト - Qiita
「国と音楽」 ～spotifyrを用いて～ #muana
Rのdbplyrでサブクエリを構築すると分かりやすい
Surrogate indexについて調べて簡単にまとめる - 名前はまだない
Gaussian Splattingを試す (Windows) – ft-lab
Lambda Web Adapterでplumberを動かす - Qiita
https://developer.apple.com/jp/design/human-interface-guidelines/designing-for-visionos
状態を持つループ処理を accumulate() でシンプルに書く - ほくそ笑む