この記事は確率的プログラミング言語 Advent Calendar 202317日目の記事です。 ゼミで勉強したStanとRでベイズ統計モデリング（通称：アヒル本）著者である @hankagosa 氏の開催するアドベントカレンダーに参加でき嬉しく思います。このような機会を用意していただきありがとうございます。 それでは本題に入ります。 はじめに 2023/4/6にPyMC-Marketingが発表されました。PyMCの派生ライブラリでマーケティング領域に特化しています。 PyMC Labs is excited to announce the initial release of PyMC-Marketing. Unlock the power of marketing analytics with PyMC-Marketing – the open source solution for

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Metaに所属する研究者らが発表した論文「balance - a Python package for balancing biased data samples」は、参加者グループの範囲指定により発生する、アンケート調査の偏ったデータをバランス調整するオープンソースのPyPythonパッケージを提案した研究報告である。 アンケートは重要な研究ツールであり、他の手段では測定できない感情や意見などの主観的な経験に関するユニークな測定値を提供する。しかし、調査データは自ら選択した参加者グループから収集されるため、そこから対象集団への洞察を直接

はじめに 最近、機械学習ネタを書いていなかったので、久々に、機械学習で記事を書こうとPyCaretを触っていたら色々新機能が増えており、中でも意外と便利な 「ゲインチャート」 が加わっていたので、使い方をご紹介してみたいと思います。 やること ツールの使い方だけでは面白みが無いので、「ダイレクトマーケティングの効率化」 をお題（想定）としてゲインチャートがどう使えるか？を見て行きます。 設定 販促でお客様にカタログを送付するシナリオを考えます。 特に何も考えなければ、すべてのお客様にカタログを郵送すると思うのですが、やはり コストがかかります。 本当は、 買う！、買うかも。なお客様にはカタログを郵送。 買わない。なお客様にはカタログは郵送しない。 がうまくコントロール出来ると、コストも下げられますし、エコですし、これを実現したい。 （ユーザ視点でも、不要なカタログは送付不要ですので、CS的

1. パワーポイントを生成するPythonライブラリの導入 世の中便利なもので大体のものはすでに存在している。 python-pptx そして先駆者が使っている。 https://qiita.com/daiki7nohe/items/11019e90cd43c82095fa https://qiita.com/pocket8137/items/3d8fda2c47664bf9130b 以下のコマンドでインストール。 pip install python-pptx 2. サンプル：基本的なスライド まずはGetting Startedから基本的なスライドの生成プログラムを見る。 このスタートアップガイドで図や表の挿入方法について触れられている。 プログラムの流れは 1. レイアウトの読み込み 2. スライドの追加 3. タイトルや本文の挿入 4. 保存 となっている。 from pptx i

この記事は移転しました。約2秒後に新記事へ移動します。移動しない場合はココをクリックしてください。 こんなことをしてみたい ↑これがしたい pythonによる機械学習の勉強をしたので、実践ということで、人気アイドル「乃木坂46」の個人的に好きな5人のメンバーを区別して見ました。大きな流れはこんな感じです。 web上から五人の画像を100枚ずつ取ってくる 画像から顔部分を取り出して保存、テストデータの取り出し 画像の水増し モデルを定義して、学習 テスト(顔を四角く囲って、その人の名前を出力) 説明はこんなもんにして、彼女らの可愛さについて語りたいところですが、そういうブログではないので、少し技術的なことを書きます。 今回はjupyterを使って作業を進めました。notebook形式なので結果が見やすく初心者にはいい環境でした。環境は以下。 macOS:10.13.1 python:3.6.

この記事は、遥か昔のこちらの記事の続きのようなものです。また何度も何度も恐縮ですが、今回の記事内容も付け焼き刃で書いているので色々間違っている可能性があります。お気付きの方は是非ご指摘くださいm(_ _)m 各方面のエコノメトリシャンの方々と上記記事を書いた際に議論*1したことがあるのですが、その時は基本的に統計モデリングを行う際は以下のような判別表に従ってモデルを使い分けるべきだという話になったのでした。 確率分布 特徴 ポアソン分布 データが正の離散値、平均値30ぐらいまで、標本平均＝標本分散 負の二項分布 データが正の離散値、平均値30ぐらいまで、標本平均＜標本分散 二項分布 データが離散値、ゼロ以上でしかも有限 (0, 1, 2, ... N) 正規分布 データが連続値もしくは離散値でも平均値が十分大*2 (-∞～∞) 対数正規分布 同上、ただし正の値、範囲 (0～∞) ガンマ分布

バッチなどで日々のKPIを自動で集計した内容をすぐ確認できるようにしてみる。今回はLINEへ通知する方法。とても簡単 １．まずは下記にアクセスし、ログインした上で通知を行いたいチャットに対してアクセストークンの発行を行う。 ２．発行されたアクセストークンをメモして（1回しか表示されないらしいので注意。コピーし忘れたら一旦提携を解除してもう一度発行しなおせばＯＫ） ３．以下のコードを追加 import requests line_notify_token = 'アクセストークン' line_notify_api = 'https://notify-api.line.me/api/notify' message = '通知したい内容' payload = {'message': message} headers = {'Authorization': 'Bearer ' + line_noti

Transcript Deep Learning以外の⼿法で ユニクロコンに参戦してみた @mamas16k Kaggle Tokyo Meetup #3 Outline 0.はじめに 1.ユニクロコンペとは？ 2.結果 3.⼿法 4.上位の⼈の⼿法まとめ 0.はじめに • Twitter ID: mamas16k • 物理系の学部2年⽣ • 機械学習暦・プログラミング暦共に1年ぐらいの初⼼者 • データ分析系の企業でインターンしてました • ユニクロコンは初の機械学習コンペ 今回のKaggle Meetupの初⼼者枠なので、あまり真に受けずにた くさんマサカリを投げてくれると有り難いです＞＜ 1.ユニクロコンペとは？ • Kaggleではなく、オプトDSLで2017年4⽉ ~ 7⽉に開催 • スポンサー：Fast Retailing (ユニクロの親会社) • 服、靴下、ベルト等の画像を2

はじめに 目標の設定と指標の決定 目標の設定 指標の決定 評価指標に対する最低限の知識 機械学習における知識（補足） ニューラルネットワークの学習 最初に使うニューラルネットワーク 時間的にも空間的にも独立である複数の特徴量を持つデータ 空間の局所的な構造に意味のある多次元配列データ（例えば画像） 時間的な変動に意味のあるデータ（例えば音声、自然言語） ニューラルネットワークの細かい設定 ユニットの数と層の数 正則化 活性化関数 ドロップアウト バッチ正規化 学習の早期終了 性能が出ない場合 データの追加収集 ニューラルネットの設定をいじる 用いるニューラルネット自体を変更する 新たなニューラルネットワークの考案 コードを書くにあたって データ成形 結果を記録するコード フレームワークの利用 フレームワークの選択 ChainerとPyTorch TensorFlow Keras 最後に は

自分で小さいツールを作る時に心に留めているtipsです． 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います． メインルーチンを関数にする 関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています． #!/usr/bin/env python def main(): print('hello, hello, hello!') if __name__ == '__main__': main() pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後

Neural Network Console Not just train and evaluate. You can design neural networks with fast and intuitive GUI. Not just train and evaluate. You can design neural networks with fast and intuitive GUI.

HoloViewsとは HoloViews は砕けた表現をすると、matplotlibやBokehなどの可視化ツールを使いやすくしたラッパです。 どのバックエンド(matplotlib, Bokehなど)を用いても統一されたコードかつ簡素な記述で可視化を実装することができます。 可視化にかかる学習コストは結構ばかにならないので、HoloViewsを使うことで「可視化のコードを書くことに時間を浪費するのではなく、本来のデータ分析などの業務に集中しましょう」といった感じのコンセプトのようです。 特にmatplotlibのシンタックスは難解なものが多いので、「もう少しシンプルにならないの？」と思っている方は多いのではないでしょうか。 バックエンド 下記の可視化ツールがバックエンドとして使えます。 matplotlib Bokeh Plotly(experimental) インストール conda

タイトルの本を頂きました。ありがとうございます。僕は原著を少し読んだことがあり、こちらで非常に評判が高い本です。翻訳にもかかわらず原著とほぼ同じ値段で購入できます。 先にJAGSになじみのない方へ説明しておきますと、JAGSはRコアメンバーの一人でもあるMartyn Plummer氏によってC++で開発されたMCMCソフトウェアです。Rから使うのが多数派ですが、PythonからもPyJAGSによって使うことができます。 複雑なモデルでなければStanより収束が早く、離散値をとるパラメータも使えるため、プログラミングがそんなに得意でない人がベイズ統計モデリングをはじめるには一番向いていると思います。最近、再び活発に開発され始めたようで、先日JAGS 4.3.0がリリースされました。 JAGS 4.3.0 is released https://t.co/3jExabWcPI— Martyn

先日、以下のイベントで話しました。 『StanとRでベイズ統計モデリング』読書会(Osaka.Stan#5) : ATND 発表資料は以下です。 MCMCサンプルの使い方 ～見る・決める・探す・発生させる～ from Kentaro Matsuura 理論的には事後分布や予測分布の使い方というのが正しいですが、プログラミング言語との相性を考えてMCMCサンプルの使い方というタイトルにしました。自著ではモデリングのやり方の体得にフォーカスしていますが、事後分布や予測分布が得られるメリットについては分野や人によって異なるので詳細は省きました。いつか補おうと思っていたので良い機会でした。 読書会では、小杉先生の発表やLTもめちゃ面白く、東京のStan勉強会では見たことがない盛り上がりを見ました。ネット上でしか知らなかったベイジアンにたくさん会って話すことができてよかったです。調子に乗って3次会ま

Python の標準ライブラリにある pickle モジュールは Python のオブジェクトを直列化・非直列化するための機能を提供している。 直列化 (Serialize) というのはプログラミング言語においてオブジェクトをバイト列などの表現に変換することを指す。 非直列化 (Deserialize) はその逆で、バイト列を元にオブジェクトを復元することだ。 バイト列などに変換されたデータはファイルなどの形で永続化できる。 最近の典型的な用途でいえば、機械学習で学習済みのモデルを保存して取り回すためなんかに使われる。 ところで、モジュール名でもある pickle という単語は、複数形にすると pickles つまりハンバーガーなどにはさまっているピクルスになる。 きっとメモリ上にある揮発性で賞味期限の短いオブジェクトを、バイト列などの形でファイルなどに長期保存できる状態にすることをピクル

特長 Pythonユーザが待ちに待ったPythonによるMCMC本ではないでしょうか。原著タイトルが『Bayesian Methods for Hackers』だけあって、プログラマ・エンジニア向きだと思います。数式はびっくりするほど出てこない代わりに、Pythonコードは非常にたくさんでてきます。そしてPyMCの使い方が基礎から説明してあって丁寧です。自分でコーディングする際は原著のGitHubリポジトリを活用しましょう（なんとStarが10000個を超えてる！）。 Pythonで体験するベイズ推論 PyMCによるMCMC入門 作者: キャメロン・デビッドソン=ピロン,玉木徹出版社/メーカー: 森北出版発売日: 2017/04/06メディア: 単行本（ソフトカバー）この商品を含むブログを見る 購入を迷っている人の一番の心配は、本書のPyMCのバージョンが1つ前のPyMC2であることだと思

総務省のデータを Elasticsearch にぶち込んで、緯度経度から市区町村の何丁目までを取り出すgeoElasticsearch （この記事は２０１３年に書かれたもので、内容については古くなっています。ご注意ください。） いわゆる「逆ジオコーディング」と呼ばれる機能ですが、きっかけはこれら２つの記事です。 PHP - 総務省のデータを使って、緯度経度から市区町村の何丁目までを取り出す PostgreSQL - 国土交通省のデータを使って、緯度経度から市区町村までを取り出す Solr や Elasticsearch でも同じことができるのでは、という事で Elasticsearch でやってみました。 Elasticsearch の導入 は、 Elasticsearch で位置情報を検索する手順 - Experiments Never Fail をご覧ください。 1. 総務省のデータを

fakerモジュールを使うとダミーデータをいっぱい作れる。 インストール pip install fake-factory ダミーデータファイル作る 今回は id, 10桁の数字, 単語10個 のような形式のcsvファイルを作る。 from faker import Factory import csv with open("dummy_data.csv", "w+") as f: csv_writer = csv.writer(f) fake = Factory.create() for i in range(10000): l = [fake.md5(), fake.random_number(10)] l.extend(fake.words(10)) csv_writer.writerow(l) 2109993cebbf9e68b5a74344798c19a3,0,sit,corru