Quartoで技術書を写経すると楽しい｜igjit
ソースコードはこちら。 コードの写経に今回はじめてQuartoを使ったのですが、これが快適だったので紹介します。 Quartoとは公式ページには、QuartoはPandocを基にした技術文書の出版システムです、とあります。 Markdownでコード混じりの文書を書いたら、コードブロックの中身を自動で実行してくれて、結果をHTMLとかPDFとかプレゼンスライドとかに書き出してくれるやつです。 https://quarto.org/Rユーザーにとっては次世代のR Markdownとのことです。 はじめかたhttps://quarto.org/docs/get-started/ のとおり、Quarto CLIツールをインストールします。 DockerでR、RStudioを動かす場合、最近のイメージならQuartoはインストール済みです。(rocker/tidyverse:4.2.1 で確認) Q
【R】Apache Arrowとduckdbを試してみる - Qiita
これはR Advent Calendar 2021の24日目の記事です（ということにさっきしました）（遅刻）。 https://qiita.com/advent-calendar/2021/rlang Apache ArrowとDuckDB arrowパッケージ Rのarrowパッケージ（バージョン6.0.0）に遂にjoin系の機能やdplyr::group_by()への対応が入りいよいよ日常的に使っていきたいと思ったのでどのくらい早いのか計ってみようと思います。 私はApache Arrowを最近知り、凄いプロジェクトがあるものだと衝撃を受けたクチです。 https://github.com/apache/arrow Apache Arrowについてはクリアコード社のサイトにて積極的に日本語の情報発信されているのでまずそちらをご覧いただくのも良いと思います。 Apache Arrowのご
Rのdbplyrでサブクエリを構築すると分かりやすい
本記事は最近読んだ次の記事からインスピレーションを得ました。 RのdplyrやPythonのpolarsのようなパッケージでデータフレームの操作に慣れている人ならば、Rのdbplyrを使うことで、バグが少ない上に早くサブクエリを構築することができます。 何千回も実行するSQLならば時間をかけてチューニングされたSQLを構築したほうがよいと思いますが、分析の試行錯誤のサイクルを早く回したい場合など数十回ぐらいしか実行しないSQLならば、dbplyrから実行したほうがよいでしょう。 それではざっくり元記事に沿って例を説明します。 カラムのサブクエリ 大分類（major_category）で絞って、該当する作品を表示する例をお借りします。 まず素直にms_categoriesテーブルから該当するcategory_idを抜き出しておいて、%in%で求めると、 category_id_fiction
パッケージを使わないで、一般化線形混合モデルのMCMCアルゴリズムを1から作る． - Data Science by R and Python
こんにちは． 金曜日の夜になり、激しめの睡魔に襲われております． 先日のこちらの記事で公開したスライドの後半にあるシミュレーションで、地域差を考慮したPoisson - Normalモデルを構築しているのですが、そのコードを載せておきます。tomoshige-n.hatenablog.com MCMCを自分で設計 最近だと、MCMCはStanだったり、BUGSだったり、色々と便利なツールもできてきていて、パッケージを用いて推定している人も多いみたいです。が、僕は、なんというか、中で何してるのかが気になって、提案分布の設計とか実際のところ、どうしてるのかとか、ステップ幅をどうやって決めてるのかとか、自動的にやられてしまうのはどうも気持ち悪いので、自分で書いてみましょうということになってしまいがちなんですよね。 ということで、ポアソン分布で、個体差を考慮できるようなMCMCのアルゴリズムを書い
データ分析のためのデータ可視化入門を読んだので感想です。 - niszetの日記
遅くなりました… www.kspub.co.jp @niszetが人生色々とgdgd進行しているため、読み終えるまでに時間かかってしまいましたが、最後まで読み終えたので読後の感想を書こうと思います。 なお、本書は id:u_ribo さんより GitHub Sponsorsのお礼という事で頂きました。ありがとうございました。なんかすみません…。 ちょっと雑多な文章になりますが、ご容赦ください。 感想 読後感としては、本文の文章が思ったより多く（付録をあわせて300ページを超えているので相応の分量ということですが）、基本は通して読むタイプなのでそれなりに腰を据えて読むのが良いと思いました。洋書にありがち？な、脇道に逸れたような話はないので純粋に説明の文章量が多いということでしょうから、悪い意味ではないです。 5章がデータの整形の話で、その前までが比較的基本的な可視化の話、6章がモデルデータ、
Extending ggplot2（和訳） - Qiita
この記事は、Rのggplot2パッケージの「Extending ggplot2」というVignetteを訳したものです。原文はGPL-2ライセンスで公開されているggplot2パッケージに含まれ、著作権はHadley Wickhamに帰属します。この翻訳文にもGPL-2ライセンスが適用されます。 Note that the original document is provided under the license of GPL-2 and the copyright belongs to Hadley Wickham, one of the authors of ggplot2. このvignetteには、ggplot2 2.0.0で公式に提供される拡張メカニズムについて書きます。 このvignetteは、?Statや?Geomや?themeで読むことができる低レベルな詳細をまとめたも
Rで論文を書く実践的なテクニック集 (tinytable編)
2022年に書いたRで論文を書く実践的なテクニック集のテーブル編をtinytable版で書き直したものです. Quartoで書かれた英語版もありますので, そちらも参考にしてください. kableExtra, gt から tinytable の時代へ 近年, Rで表を作成するためのパッケージとして kableExtra と gt が人気を集めてきました. 私は kableExtra を使って論文（\LaTeX）で表を作成し, gt を使ってスライド (revealjs) で表を作成しており, 以前行ったRワークショップやZennでの解説記事でもkableExtraを念頭においておりました. しかし, 2024年4月現在, tinytableが従来のパッケージと比べ軽くて使いやすく, 今後のスタンダードになっていくと確信しており, 以前書いた記事を更新する必要があると考えました. この記事で
[R] 予測モデルを作るには formula を活用せよ - ill-identified diary
概要 formula オブジェクトは変数変換や交互作用項など, 多彩な表現ができる. xgboost や glmnet では model.matrix() を併用することで formula を利用できる. 統計モデリング/機械学習で予測モデルを構築するとき, 予測性能の向上のため, しばしば変数を入れ替えたり, 変換したりといった推敲が必要となる. R ではこういうときに formula オブジェクトを使うと, いちいちデータフレームに変換後の数値を追加したり書き換えたりする必要がなくなる. glmnet や xgboost など, formula が直接使えないものでも model.matrix() 等を併用すれば可能である*1. formula オブジェクトを解説した記事を探すと, かなり前から存在する. 例えば以下の記事. m884.hateblo.jp なお, 上記はタイトルが「f
![[R] 予測モデルを作るには formula を活用せよ - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/06a15c64ba0ceec233d86d71001ebb29a9dcbf5d/height=288;version=1;width=512/https%3A%2F%2Fcdn.blog.st-hatena.com%2Fimages%2Ftheme%2Fog-image-1500.png)
R の線形回帰 lm 関数の実装を辿る
この記事は？ この記事では、R にデフォルトで入っている stats パッケージの線形回帰関数 lm を題材に、R のパッケージ・関数がどのように実装されているかを辿っていく。 はじめに R のパッケージ・関数の使い方は、? コマンドや Web 上でドキュメントを読めば一通り知ることができる。 しかし、時としてどうしてもドキュメントには書かれていないような詳細を知りたくなるケースに遭遇することがある。 このような時には、実装コードを読みにいくことで疑問が解決することが多い。 また、定評のあるパッケージの実装を知ることで、それまで知らなかった書き方や言語仕様に触れることができ、コードを書く際の参考にもなる。 そこで、この記事では線形回帰の lm 関数に着目して、実装の辿り方を紹介するとともに、R パッケージの実装がどのように行われているかを見ていく。 実装を辿るうえでの着目ポイント 実装を辿
トポロジカルデータアナリシス：TDAパッケージを使ってみる - データサイエンティスト(仮)
導入 とあることがきっかけで、とっても久しぶりにRでTDA（トポロジカルデータアナリシス）をしてみました。だいぶいろんなことを忘れていたので、単純な例を使ったメモを残しておきます。 トポロジカルデータアナリシスとは とてもざっくりいうと、位相幾何学という数学の知見をつかって、データから「形」の情報を抽出するような手法になっています。 導入は、過去の記事にも載っていますので、こちらも参照していただけるとうれしいです。 tekenuko.hatenablog.com 「形」の情報の抽出のしかたですが、データ点のまわりにある半径の球をとり、その球たちの重なりによって点の間に線を引く、といった方法でデータ点から図形を見立てます。ただし、データに付随するノイズなどにロバストな形で図形的な情報を抜き出すために、半径を連続的に変化させた場合の構造の変化を見るといったテクニックを用います。 これらの簡単な
Rで主成分分析するときに使いたいggbiplotパッケージ
本当は来月のAdvent Calenderのネタにしようかと思っていたのだが、DeepLearningのネタを書くというようにDicisionMakingしたので、自分の退路を断つという意味でも先にこれを公開しておこう。 最近、改めて多変量解析をじっくりと行うことが多いのだが、今までplotがあんまりいけてないという理由で主成分分析や因子分析などを活用することがなかった。 ggplotが広く使われるようになって、Rでのビジュアライゼーションに革命が起こったのは周知の事実だが、多変量解析のプロットについてもこの革命の手が及んでいたことが判明して、僕のQOLが向上したので、それを共有したい。 なお、主成分分析とはなんぞやという話は、下記のさのっちの資料によくまとめられているので、そちらを参照されたい。 ちなみに、Rで主成分分析を行う際はstatsパッケージというデフォルトで実装されているパッケ
tidymodelsを使った機械学習 - Qiita
cv_data ## # 10-fold cross-validation using stratification ## # A tibble: 10 × 2 ## splits id ## <list> <chr> ## 1 <split [135/15]> Fold01 ## 2 <split [135/15]> Fold02 ## 3 <split [135/15]> Fold03 ## 4 <split [135/15]> Fold04 ## 5 <split [135/15]> Fold05 ## 6 <split [135/15]> Fold06 ## 7 <split [135/15]> Fold07 ## 8 <split [135/15]> Fold08 ## 9 <split [135/15]> Fold09 ## 10 <split [135/15]> Fold10
easystats(+ ggeffects)でglmやglmerの結果を簡単に抽出＆検証＆描画！ - Qiita
Rで統計解析を行う際には、しばしばモデルからのデータの抜き出しや結果の描画が面倒です。それはパッケージ間で出力結果の形式が異なったり、出力された結果自体が複雑な構造を持つオブジェクトに格納されるためです。 それを解決するのがeasystatsパッケージ群であり、Qiitaでこの一年その便利さをたびたびご紹介してきました。 せっかくのAdvent Calendarなので、ここではそれらの記事の振り返りもかねて自分なりにeasystatsパッケージ群の便利さをご紹介したいと思います。 他の方による紹介記事であるeasystatsについて①: パッケージ群の紹介もご覧いただくと、より理解が深まるかと思います。 easystatsとは？ easystatsはRのパッケージ群です。このパッケージ群は、おっかないRの統計とそのやっかいなモデルたちを、手懐け、しつけて、うまく利用するための統合的で一貫し
Rは本当に遅いのか？Juliaとの比較例 - Qiita
このコードについて、twitter上で「Juliaなら数十秒で終わるのにRだとめっちゃ時間かかったんだろうな…」的な発言が流れてきたのを見かけて、本当にそうなのか気になったので少し調べました。 そもそもRのループは遅いのか？ たしかに、Rのforループが非常に遅いとされていた時代はありました。繰返し処理はなるべくベクトル化して書くべきものであって、forを書くというのは可能であれば避けるべき作法でした。 しかし、R 3.4.0からJITコンパイラが同梱されており、これがデフォルトでONになっている恩恵で、現代のRのforループの速度は相当に改善されています。場合によってはforを書いたほうが速度的に有利なことすらあります。 やってみる まあともかくやってみましょう。 実測とプロファイリング まず「そもそも元のコードがどれだけ時間がかかるのか」を確認しておくと、私の手元のちょっと古くなってき
[R] トピックモデル(LDA)を用いた大量文書の教師なし分類 - Qiita
はじめに テキストマイニングの手法、トピックモデルを用いて文書の自動分類に挑戦します。 理論的な部分はこちらの本。 先人の拵えた偉大なパッケージ群を活用させてもらい、Rでの実装部分を中心に書いてみたいと思います。 自分の振り返りためにも、困ったポイント、未解決ポイント含めて書いてるので、かなり回りくどいかもしれませんがご了承ください。 トピックモデルとは テキストマイニングではネット上のブログやニュースなど、多量の文書を取り扱うことが多いですが、トピックモデルを用いることによって、そういった文書を教師なし学習で分類することができます。 ざっくりとしたイメージですが、「文書中に出現する単語の出現確率を推定するモデル」ということ。スポーツなら「サッカー」「野球」「バレーボール」のような単語が出現しやすく、料理なら「レシピ」「献立」「まな板」みたいな単語がきっと多く出てくるのはイメージがわきやす
![[R] トピックモデル(LDA)を用いた大量文書の教師なし分類 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/302f837278c0c58a97d9eb3429214d01b8d69555/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCUiU1RCUyMCVFMyU4MyU4OCVFMyU4MyU5NCVFMyU4MyU4MyVFMyU4MiVBRiVFMyU4MyVBMiVFMyU4MyU4NyVFMyU4MyVBQiUyOExEQSUyOSVFMyU4MiU5MiVFNyU5NCVBOCVFMyU4MSU4NCVFMyU4MSU5RiVFNSVBNCVBNyVFOSU4NyU4RiVFNiU5NiU4NyVFNiU5QiVCOCVFMyU4MSVBRSVFNiU5NSU5OSVFNSVCOCVBQiVFMyU4MSVBQSVFMyU4MSU5NyVFNSU4OCU4NiVFOSVBMSU5RSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZjM4ZTljNWI4MzcwYzg3YjNlMjg2N2ZmMjMyMThkMjg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwWU1fRFNLUiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MTNkNDI3OTBiNDZhODk1ODAzNWY2NjE3N2ZiZjkzZmY%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D30089168bfe7024125b3f9aa448619de)
「RとRustの現状確認 2023」というタイトルでTokyo.R#103で発表してきました。 - Technically, technophobic.
少し前ですが、第103回R勉強会@東京で発表してきました。スライドはQuarto Pub（便利）で公開しています。 これは、1月中旬くらいにR core teamの人から「お前のCRANにあるパッケージどうなっとんねん」という問い合わせがあり、Rustのこと何も知らなそうだったので「私に答えれることだったらなんでも聞いてくださいね」と優しく返したところ、それが命取り、「そもそもRustってどういう仕組みなの？」みたいなマニアックな質問に回答するために東奔西走（具体的にはググる）する羽目になりめっちゃ疲れた、ので、その愚痴でも語りに行くか...、というモチベーションの発表でした。が、私の知識不足のために、話したいことの2割くらいしか話せませんでした。いずれリベンジしたい。 個人的には、Rの未来もRustの未来も明るいと思っていますが、これが「RとRust」の未来となると、明るくないわけじゃな
Surrogate indexについて調べて簡単にまとめる - 名前はまだない
はじめに こちらの記事でSurrogate indexについて初めて知りました。 developers.cyberagent.co.jp Netflixでも活用されていて、一定の成果を上げているようです。 arxiv.org 業務で扱う課題を解決してくれる可能性があったため、理解しておきたいと思いました。 論文等を読みつつRで挙動などを確認していきます。 はじめに 概要 課題感 方針 仮定 仮定1 強く無視できる割り当て条件 仮定2 代理性 仮定3 互換性 定義 Surrogate index：代理指数 代理スコア：Surrogate Score Sampling Score 潜在的条件付き期待値 関係性 因果効果の推定 論文での適用事例 Rで確認 データの生成 推定 所感 概要 元の論文はこちらです。 www.nber.org よりわかりやすい説明は冒頭のブログ記事を参照してください。
[R] fb Prophet の解剖で学ぶベイズ時系列モデリング - ill-identified diary
初めに prophet のモデルの説明 ハリボテの R言語 なぜベイズ推定する必要があるのか 結論 補足: バージョン 0.3 で追加された機能について 参考文献 初めに昨年, KFAS, bsts と, いくつか R の時系列モデリングパッケージを紹介記事を書いた. FaceBook によって開発されたという prophet パッケージも紹介したかったところだが, 日本語での説明は既に公開されている hoxo_m 氏のものが網羅的であり, 使い方の解説としてはこれ以上やることがほぼないと言っていい. Prophet入門【R編】Facebookの時系列予測ツール from hoxo_m Prophet入門【理論編】Facebookの時系列予測ツール from hoxo_m あとはあるとすれば紹介論文やヘルプの全訳くらいだが, そんな面倒 (かつ退屈) なことはしたくない. そこで, pro
![[R] fb Prophet の解剖で学ぶベイズ時系列モデリング - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/fe0a5c71803770baafc2c2d4408c73afde1bc5d2/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fi%2Fill-identified%2F20180528%2F20180528013747.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
しなやかな項目反応モデル
Rによるネットワークデータのプロット