『Pythonでスラスラわかる ベイズ推論「超」入門』を読んでみた。 - いものやま。
『Pythonでスラスラわかる ベイズ推論「超」入門』を読んでみたので、軽く感想とか。 Pythonでスラスラわかる ベイズ推論「超」入門 (KS情報科学専門書) 作者:赤石 雅典講談社Amazon 概要と感想 ベイズ推論の本はいろいろあるけど、この本は理論というよりツールとして活用することに重きをおいた感じの本。 サンプリングをどう計算するのかとかはライブラリ（PyMC）に任せてしまって本では解説せず、統計モデルの作り方と得られたサンプリングの結果の使い方の解説が中心になってる。 数理最適化でたとえると、単体法とかの解説はしないでPuLP使ったモデリングの解説をしている感じ。 そういうこともあってすごく読みやすかったし、実用としてはこういう本の方が助かるよね。 別に研究者として新しいアルゴリズムを作りたいとかでもないし。 数理最適化もそうだけど、理論とか勉強しても実際に使うときはライブラ
huggingface/transformers の日本語BERTで文書分類器を作成する - Qiita
概要 先日、huggingfeceのtransformersで日本語学習済BERTが公式に使えるようになりました。 https://github.com/huggingface/transformers おはようござえます、日本の友達 Hello, Friends from Japan 🇯🇵! Thanks to @NlpTohoku, we now have a state-of-the-art Japanese language model in Transformers, bert-base-japanese. Can you guess what the model outputs in the masked LM task below? pic.twitter.com/XIBUu7wrex — Hugging Face (@huggingface) December 13,
Hypothesisとpytestを使ってDjangoのユニットテストを書く - 何かを書き留める何か
Hypothesisとは何か、プロパティベーステストとは何か Hypothesisは、Python向けのプロパティベーステストのライブラリである。 プロパティベーステストは、生成された多数の入力データに対してプロパティ(性質)が満たされるかどうかをテストする手法である。 HaskellのQuickCheckライブラリが初出で、現在は各プログラミング言語に移植されている。 従来のユニットテストは、ある程度固定したテストデータを指定してテストを行っていた。 その際、境界値分析などで妥当なパラメータを決定していた。 しかし、境界値分析が必ず通用するとは限らないし、人間が行う以上、ミスも発生する。 プロパティベーステストはデータを固定する代わりにそのデータが満たすプロパティを指定してテストを行う。 実際のテストケースはHypothesisがプロパティを満たすパラメータを決めて生成してくれる。 人力
第２章「正直に回答しづらい違法行為の経験率の推定」のベイズモデリングをPyMC Ver.5 で｜ネイピア DS
この記事は、テキスト「たのしいベイズモデリング２」の第２章「正直に回答しづらい違法行為の経験率の推定」のベイズモデルを用いて、PyMC Ver.5で「実験的」に実装する様子を描いた統計ドキュメンタリーです。 テキストは第２章から第４章まで「間接質問法」の各種手法で「違法行為等の経験」の調査データを用いたベイズモデリングに取り組んでいます。 この章では、「アイテムカウント法」を用いて違法行為の経験率を推論します。 カウンター・数取器のイラスト：「いらすとや」さんよりテキストのモデル数式の解読は難しかったですが、なんとかPyMCモデルを構築できました。 そして「２」初の「無事の収束」と「結果の一致」を迎えることができました！ さあ、PyMCのベイズモデリングを楽しみましょう。 サマリーテキストの概要執筆者 ： 久保沙織 先生、豊田秀樹 先生、岡律子 先生、秋山隆 先生 モデル難易度： ★★
『Pythonではじめるオープンエンドな進化的アルゴリズム』の査読を担当しました - 何かを書き留める何か
果て無きゴールへ 2023年10月18日にオライリージャパンから『Pythonではじめるオープンエンドな進化的アルゴリズム』が発売される。 www.oreilly.co.jp この度、邦訳の査読者として、主にPython面で少しお手伝いさせていただいた。 『作って動かすALife』と主著者は同じであり、精神的続編である。 『ALIFE | 人工生命 ―より生命的なAIへ』の実践編かもしれない。 従来のアルゴリズムとは違うオープンエンドなアルゴリズム、つまり何らかのハッキリとした目標があるわけではなく、進化発展することを目的としたアルゴリズムが主題である。 実際にロボットを歩かせる、迷路を解かせるというテーマでアルゴリズムをPython製のライブラリを使って実装をする。 実際に歩いている様子（静止画だが）を見るだけでも、人によってはワクワクすると思う。 新しいテーマであり、変化が激しい可能性
オノマトペ（擬音語）から環境音を合成するニューラルネットワーク（Onoma-to-Wave）をPyTorchで実装した - 備忘録
はじめに 事前準備 ソースコード 実装の概要と動かし方 補助的に作成したモジュールの概要 おまけ：訓練済みモデルのリリース 環境音合成実験 音響イベントによる条件付けなし 音響イベントによる条件付けあり 実装の舞台裏とかTIPS おわりに 参考文献 はじめに 下記の雑誌論文が最近出版された。 Yuki Okamoto, Keisuke Imoto, Shinnosuke Takamichi, Ryosuke Yamanishi, Takahiro Fukumori and Yoichi Yamashita, "Onoma-to-wave: Environmental Sound Synthesis from Onomatopoeic Words", APSIPA Transactions on Signal and Information Processing: Vol. 11: No.
WEB+DB PRESS 総集編を有効活用するためのPythonスクレイピング - Qiita
WEB+DB PRESS という雑誌はご存知かと思います。 WEB+DB PRESSは2021年7月にvol.120を記念し、それまでの全号をダウンロードできる特典がついた総集編が刊行されました。 WEB+DB PRESS総集編[Vol.1~120] (WEB+DB PRESSプラスシリーズ) これまでの全ての記事が3000円で読めるならばと思い、私も先日Amazonでポチってしまいましたが、有効な使い方いまいち分からず放置してしまっています。 そこで最近勉強し始めたSeleniumを使って記事タイトルを取得してExcelで表にしちゃおう！というのが今回の記事内容です。 環境 Python 3.9 selenium 4.2.0 openpyxl 3.0.9 コード to_excel 関数内のExcel の出力先ディレクトリと、CHROMEDRIVERを変えれば動くと思います。 import
遺伝的アルゴリズム(GA)で勉強計画立ててみた - Qiita
スケジュールがめんどくさい 1440分の使い方という本は知っているだろうか？ 一日の時間の使い方を説いた名著であり，僕はとても感銘を受けた． 本の内容については読んでくれ，Amazon Prime会員であれば無料で読めるのでぜひ． この本に感銘を受け，僕は1日のスケジュールを毎日30分単位で作成していた． 一か月これを続け，その間はとても効率よく課題や勉強が進んだ． 効果については僕の１サンプルしかないが，少なくとも僕はとても充実した一か月を過ごすことができた． 問題点は一つだけある． スケジュールを立てるのがめんどくさいのである ただひたすらめんどくさい． 毎日これを立てるのに結構な時間がかかり，その上修正するのにも時間がかかる． てめー時間が大事って言いながら時間かかる作業勧めてるんじゃねぇよと思いました． 機械にやらせよう 1440分の使い方ではブルジョアは秘書を雇ってスケジュールの
『ゲームセンターあらしと学ぶPython』を読んだ | Colorful Pieces of Game
実はPythonのとても古いユーザーだった。 僕が2000年ごろからしばらくPoser（というソフトがあるのだ）にハマりにハマっていたとき、Poserが実装していた拡張ツール用の言語がPythonで、またモデラーのメタセコイアにもPythonが採用されていたので、ずっとPythonを使っていたのだ。 そのあとしばらくして使う機会がなくなっていたのだけどオライリーから出版された『退屈なことはPythonにやらせよう』という本を読んで、最近のPythonのライブラリの充実ぶりと使い方を知って、Anacondaをインストールして使うようになった。 これがまたVS codeと組み合わせると、実にイロイロ書きやすくて、ちょっとしたツールを書くのにやたらとPythonを使うようになっていた。 excelからナニからともかくpytyonでイロイロできるのである。あまりに便利なもので、ともかくチョコチョコ
「データ指向のソフトウェア品質マネジメント」の「テスト工程での不具合検出数の予測」をPythonで行う - wonderful cool something
「データ指向のソフトウェア品質マネジメント」（野中・小池・小室）の4.2節「テスト工程での不具合検出数の予測」をPythonで追ってみることにする。 今年のソフトウェア品質シンポジウムで著者の一人によるチュートリアルを受講したのだが、それがとても面白かったので購入した。 In [1]: import math import pandas as pd from pandas import DataFrame, Series import matplotlib.pyplot as plt %matplotlib inline まずは対象データを読み込む。これは書籍のサポートページからダウンロードできる。 ダウンロードに書籍記載のパスワードが必要なので生データをここには載せないが、 データ自体はFenton (2008)のものである。 ソースコード行数KLOCと不具合検出数Failures以外は
【CSP】Python で制約充足問題 (レイアウト問題) を解く |
今回は, 『Python計算機科学新教本』3章 制約充足問題 の 3.6 回路レイアウト を書いてみたので備忘録として残しておきます。本書の原著は『Classic Computer Science Problems in Python』です。 環境は Python 3.7 です。 3章 制約充足問題 制約充足問題 (Constraint Satisfaction Problem; CSP) は変数の集合 (variables)、変数の取り得る値の集合である領域 (domains)、変数間の制約 (constraints) の3つの要素で構成される。全ての制約を満たすように変数に領域に属する値を割り当てることを, 制約充足問題を解くという。また, 解を探索するプログラムを制約ソルバー (Constraint Solver) という。制約充足問題の例として, 地図の塗り分け問題, N クイーン
関係データ学習の実装 ツイッターデータのスペクトルクラスタリングとSBM - やったことの説明
概要 関係データ学習の学習のために，自分で実装して理解する． ツイッターのフォローフォロワー関係を使って，グラフラプラシアンを求めスペクトルクラスタリングを行った． その結果，なんとなくクラスタリングできた． また，確率的ブロックモデルによる非対称データクラスタリングをStanによって実装しようとした． これはうまくいっていない． はじめに 関係データ学習という本を買って読んでいる． www.kspub.co.jp 本の内容は前半と後半に分かれていて，前半は関係データをスペクトルクラスタリングしたり，確率的ブロックモデルでクラスタリングしたりする話．後半は行列分解やテンソル分解の話になっている． まだ前半の途中までしか読めていないが，予想していたよりも数式が簡単だったこともあり，実際のデータに適用してみたくなった． 数年前に書いたツイッターのフォローフォロワー関係をダウンロードするスクリプ
データを「飼いならしたい」人のための「Pythonではじめるデータラングリング」（書評） - Lean Baseball
久しぶりのブログになってしまった...こんにちは,野球データサイエンティストです.*1 最近はちゃんとワールドシリーズや日本シリーズを観る余裕ができて野球好きらしい生活できてます.*2 今日は野球の話...ではなく,最近読んだPython本で感動した書籍があるので紹介&簡単な書評を記したいと思います. 今年（2017）の4月に発行された「Pythonではじめるデータラングリング」という書籍です. www.oreilly.co.jp Pythonではじめるデータラングリング ―データの入手、準備、分析、プレゼンテーション 作者: Jacqueline Kazil,Katharine Jarmul,嶋田健志,長尾高弘出版社/メーカー: オライリージャパン発売日: 2017/04/26メディア: 単行本（ソフトカバー）この商品を含むブログを見る 誕生日プレゼントとして友人*3から頂きました,誠に
Pythonによるクローラー＆スクレイピングの入門本を書きました - チラウラヤーン3号
株式会社Gunosy の同僚でアプリ開発エンジニアの加藤 勝也さんからお誘いを受け、共同執筆した 「Pythonによるクローラー＆スクレイピング入門 設計・開発から収集データの解析まで」 が 翔泳社さんから2017年10月23日に発売することになりました。 Pythonによるクローラー&スクレイピング入門 設計・開発から収集データの解析・運用まで 作者: 加藤勝也,横山裕季出版社/メーカー: 翔泳社発売日: 2017/10/23メディア: 単行本（ソフトカバー）この商品を含むブログを見る もともとマーケティング情報や口コミ、競合サイト分析のためにクローラーの開発ニーズというのはあったと思うのですが、近年はデータ分析、自然言語処理、機械学習やディープラーニングの注目により、ソースデータの収集技術としても要望が高まってきているのではないかと思います。 データ分析や機械学習にはPandas, s
Python pandas 欠損値/外れ値/離散化の処理 - StatsFragments
データの前処理にはいくつかの工程がある。書籍「データ分析プロセス」には 欠損など 前処理に必要なデータ特性の考慮とその対処方法が詳しく記載されている。 が、書籍のサンプルは R なので、Python でどうやればよいかよく分からない。同じことを pandas でやりたい。 データ分析プロセス (シリーズ Useful R 2) 作者: 福島真太朗,金明哲出版社/メーカー: 共立出版発売日: 2015/06/25メディア: 単行本この商品を含むブログ (2件) を見る とはいえ、pandas 自身は統計的 / 機械学習的な前処理手法は持っていない。また Python には R と比べると統計的な前処理手法のパッケージは少なく、自分で実装しないと使えない方法も多い。ここではそういった方法は省略し、pandas でできる前処理 / 可視化を中心に書く。 また、方法自体の説明は記載しないので、詳細
声優の声を分類してみた - Qiita
まだ終わらない。 ここから手作業でコーナーの切り替わりシーンの部分とか、音楽流すコーナーとか、他の人の声が入ってる部分とかを手作業で削除していった。 ただ、バックで小さな音楽が常に流れているのはもうどうしようもないので無視。 このバックの音の影響を最小限、もしくは無くすにはどうすればいいんだろうか・・。 とりあえず、これでデータ収集は完了！ 2.データから特徴量を抽出する 周波数強度を特徴量にしたらいいんじゃない？高速フーリエ変換だ！となるが、 オライリーから出てる実践機械学習システムにはそれよりメル周波数ケプストラム係数(MFCC)ってやつを使った方がいいよ！と書いてたので今回はそっちを使うことにする。 色々見てみたところ、現在の音声認識ではMFCCが代表的な特徴量として用いられていて、人間の音声知覚の特徴を考慮してるらしい。 しかし、MFCCにはピッチの情報が含まれないようだ。 ケプス
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「TensorFlowはじめました2」を読んだ - すぎゃーんメモ