プログラミングとプロダクト作りは楽しいよ, っていう「個人開発ネタ」の話です. スポーツ観戦, 具体的には野球のデータ分析DX（Digital transformation）*1を実現しました. 記事の前半はプロダクト企画とアーキテクチャ, 後半はDash（Python）を使ったマルチページ・データ・アプリケーション開発の話となります. TL;DR SpreadsheetとPythonのアプリケーションでいつでもメジャーリーガー（全選手）のパフォーマンスを好きな条件で可視化できるようにしたら野球が面白くなりました. https://example.com/batter/ohtani-shohei/2024-03-20/2024-04-28?cache=false みたいなURLを開くと, オオタニサンのパフォーマンス（現地時間2024/4/28までの数字） 以下の成績をいい感じにグラフ・可

野球と春のG1🏇で浮かれている者です, どっちも結果は微妙ですが楽しくて最高ですね.*1 野球（メジャーリーグ）という球技でも, グラウンドの外*2でも話題を振りまいている大谷翔平（オオタニサン）という（現時点で）世界一有名な現役選手（私の私見です*3）がいます. 既報の通り, 昨年痛めた右肘とその治療の影響で本年は打者専念つまり「二刀流は封印」している訳ですが, ワイ「打者専念したら三冠王だのトリプルスリー（3割30本30盗塁）だの周りは勝手に言ってるけどそんな単純な話でしたっけ??? という一つの疑問が生まれました. 確かに打者でしかプレーはしないものの, 投手としてのリハビリなりトレーニングだってあるはずなので単純な話じゃないぞ*4と. 私個人はいつの日かオオタニサンがトリプルスリーをやってもおかしくないし, 三冠王*5だって可能性はあると思っていますが, 取り急ぎ「今（2024年

WBC2023侍JAPAN優勝で興奮している皆さんこんにちは*1. 野球知識と野球愛, エンジニアとしての技術力そして私の週末となけなしのお小遣いを犠牲にして野球ネタをお届けするブログ「Lean Baseball」のお時間がやってまいりました*2. 皆さんに伺いたい. 今年1月にこのブログで「ラーズ・ヌートバー」改め「たっちゃん」の特集記事を公開したことを覚えているだろうか? shinyorke.hatenablog.com きっと覚えている人は少ないであろう. この記事, 書いた私の自己評価および, このブログを愛読してくださっている一部のデータ好き・野球好き（&デブサミの発表を見て検索した?同僚に偶然ブログを発見された）からの評判は大変良かった*3ものの...大して読まれなかった. 理由は明確でGoogle先生曰く... 今日（2023/3/25）から過去90日間の「ヌートバー」トレン

Developers Summit 2023登壇資料 https://event.shoeisha.jp/devsumi/20230209/session/4196/

現職のコンサルっぽい仕事・インフラアーキなエンジニアな仕事も大好きですが, やっぱデータを見ると興奮するぐらいにデータ好きな人です. startpython.connpass.com 本日（2023/1/19）, ありがたいご縁がありまして, 「機械学習エンジニアが目指すキャリアパスとその実話」というお話をさせていただきました. 参加者の方々, ご清聴ありがとうございました&参加されていない方も気になるポイントあればぜひ御覧ください. 1/19の #stapy で「機械学習エンジニアが目指すキャリアパスとその実話」なるトークをすることになりました, 自画自賛ですが思ったよりいい内容に仕上がった気がします, 機械学習とかデータサイエンティストとかのキャリアでお悩みの方に届くと嬉しいです, 来てねhttps://t.co/KHxAXYY5mr pic.twitter.com/eguUyEnfb

機械学習エンジニアが目指すキャリアパスとその実話 / My Journey to Become a ML Engineer

現役選手ドラフトのルールと, 最近のトレード多すぎなアレで現役選手ドラフトの分析を諦めたマンです.*1 それはさておき, 私はつい先日, 「メジャーリーグのデータ分析・可視化をカジュアルにいい感じにやるためのデータ基盤が欲しい」と思い, 以下のような野球データ基盤を作りました. 野球データ基盤 ダッシュボード（このブログのメインテーマ） 基盤そのもののアーキテクチャやデータ関連の話題はこちらのブログおよび, PyConJP 2022の発表資料をご覧頂ければと思いますが, このダッシュボードを開発するにあたり, Dash（分析ダッシュボード本体, 言語はPython） Cloud Run（フルマネージド・サーバレスなコンテナ実行環境） GitHub Actions（アプリケーションの自動テストとデプロイ, 所謂CI/CDの実行環境） を使って「作ったものをサクッとデプロイして公開」するような

PyCon JP 2022 10/15 Talk Session Material # Reference https://shinyorke.hatenablog.com/entry/baseball-data-visualization-app https://shinyorke.hatenablog.com/entry/ohtani-san-pitch-2022

日本で言えば同じ学年のレジェンド, アルバート・プホルスが通算700号本塁打を打って驚いている人です. ここ最近, （休んでいる間のリハビリがてら*1）PyCon JP 2022の準備および, 来年以降のMLBを楽しく見るために野球データ基盤（ちなみにメジャーリーグです）を作っていたのですが, それがいい感じに完成しました. アプリとデータ基盤をどのように作ったのか どのような処理, どのようなユースケースで動かしているのか これらをどのようなアーキテクチャで実現したのか 以上の内容をこのエントリーに書き残したいと思います. なおこのエントリーは, PyCon JP 2022のトーク「Python使いのためのスポーツデータ解析のきほん - PySparkとメジャーリーグデータを添えて（2022/10/15 16:00-16:30）」の予告編でもあります. なので, 後日のトークをお楽しみに

【2022/8/13更新】打球位置のプロット例を追加しました（解説ブログのリンクを含む） プライベートの時間はウイニングポスト9*1で自家生産の馬を育てるか, 野球データと戦っている人です. 野球のデータは見れば見るほど面白いです, どれぐらい面白いかと言うと「10年見ても飽きない*2」それぐらい面白いです（個人の感想です）. それはさておき, 私はメジャーリーグのデータを使って調べ物をしたりなにかのテーマに取り組む時, 以下のデータセットを用いています.*3 Lahman’s Baseball Database. 年度別のチーム・選手成績など, ある程度まとまった単位のデータ. GitHubから取得可能（https://github.com/chadwickbureau/baseballdatabank）. Retrosheet. 試合・打席ごとの成績データ. GitHubから取得可能（

なんやかんやで, ITコンサルタント（復帰）生活から半年経ったマンです. マネジメントからアーキテクチャ, はたまた技術的なLTまでやらせてもらえて楽しく過ごしております*1. 昨年の話になりますが, コミュニティーやその他の活動で色々とお世話になってる @yuzutas0さん達が執筆しました, 「実践的データ基盤への処方箋」を頂戴いたしました. 実践的データ基盤への処方箋〜 ビジネス価値創出のためのデータ・システム・ヒトのノウハウ 作者:ゆずたそ,渡部 徹太郎,伊藤 徹郎技術評論社Amazon ひと言で言うと, データ活用のためにこういう本が欲しかったんや！！！ というくらい良著で, データ活用に必要な「人・組織・アーキテクチャ」をいい感じに網羅的に扱っていて良きでした（と, 読み終えた時の感想ツイートがそう言ってました）. データを扱う人すべてにおすすめしたい一冊です 読み終えた後も,

最近の野球界隈の出来事が斜め上すぎて驚いてるマンです.*1 本業の仕事および, 本業じゃない個人開発や趣味プログラミングにおいて, データの量が多くて 単位やフォーマットが不揃いで それでも仕事（もしくは趣味の分析）をこなすため, いい感じの使いやすいデータセットにしないと（使命感） という機会は非常に多いです. いや, 機会が多いというより多かれ少なかれ毎日戦っている気がします. 今回は, ちょっとした分析とお遊びのため, メジャーリーグの公式データサイト「Baseball Savant」のデータを使ったBigQueryデータベースを作りたくなったので, クローラーでBaseball Savantのデータを取ってCSVにして CSVからデータを集計したり整えたりしていい感じの単位にして BigQueryから使えるようにしてみたよ！ というタスクをGoogle Cloud Platform

お仕事や, （個人的には）趣味のデータ分析・開発などでpandasをよく使う人です. pandasはPythonでデータサイエンスやデータ分析（解析）をやってると必ずと言っていいほどよく使うライブラリだと思います. お仕事で同僚やインターンが書いたnotebookをよく読む（レビューする）のですが, 煩雑なことやってるけどこれ一行で書けるやで 最初からデータを整理するとそんな面倒くさいことしなくても大丈夫やで ...といったコメントを返す機会が増えてきました. これらは当人たちにフィードバックしているのですが, このフィードバックの内容が案外重要な気がしてきたのでブログに書いてみることにしました. 読んだ方の理解・生産性の向上および, 「つまらない仕事が334倍楽になる」ような感じにつながると嬉しいです🙏 TL;DR pandasのread関数にはとりあえずURLを渡しておけ &使うカラ

※【注意】あくまでもお遊びです, 冗談半分で読んでください！ 「野生の野球データサイエンティスト」です. 本日ついにTOKYO2020侍ジャパン, 24名の内定選手が発表となりました. www.japan-baseball.jp 24名の選出って難しいですよね...中の方は色々ご苦労とかあったのではないでしょうか. 一番いい色のメダル, 期待しています！ さて, 私は野球好きでもありますが, プロの（野球）データサイエンティストであり, 機械学習エンジニアでもあります. ワイ「プロ野球選手2021年の成績を予測してそこから24名の侍を選んだらいい感じになるのでは🤔 と 昨年末に思いついたので, 野球AIが選出する, TOKYO 2020侍ジャパン24名 を実際にやって選んでみました. 実際の侍ジャパンと比較して楽しんでいただけると幸いです. 要約すると 打てる人は正義 奪三振能力も正義

久々に個人開発のはなしです. 昨年（2020）の話になりますが, 自分が気になる世の中のニュース（野球とかグルメとかいろいろ）だけをいい感じに集めてまとめて読みたい その中でも特に⚾, 速報とかいい感じに通知させたい ...という目的でデータ収集と通知の仕組みを自分用のプロダクトとして構築・運用をスタートしました. shinyorke.hatenablog.com 今年も上記のプロダクトをいい感じに運用しているのですが, 毎日見るのにGUIが欲しくなってきた 複数のデータソース（BigQuery, 生のCSV/JSON, Spreadsheet, etc...）を一つにまとめて見たい 毎日Slackなどに通知するようなモノもほしい という要望が出てきたので, これらの要望に応えるためRedashを使うことにしました. redash.io このエントリーでは, 個人開発に使える無料データ可視

プロ野球とメジャーリーグの開幕が待ち遠しい人です⚾ 日米ともにオープン戦もはじまり, 球春が盛り上がってまいりました. 個人的には贔屓球団の動向*1がすごく気になるのですが, full-count.jp 昨年34歳にして初の最多勝, サイ・ヤング賞を惜しくも逃した*2ダルビッシュ有選手がどれだけ成績を残すのか気になります. このエントリーのテーマです（答えは後半にて） というわけでこのエントリーでは今シーズンからサンディエゴ・パドレスに移籍したダルビッシュ有選手の, 今年も含めた向こう5年間の成績を占う 5年後（39歳）までに何勝積み上げるのか? 今シーズンのダルビッシュ有さんを考える というテーマでお送りいたします. なお, あくまでもお遊びの実験・検証なので本気にしないようにしてください🙏 対象読者について 基本的には野球ファン, 特にセイバーメトリクスやデータサイエンスが好きな方向

新年あけましておめでとうございます🎍 年末年始は色々と手を動かしつつ*1, 積ん読を消化していたのですが, 昨年最後の読書🍺 特にこの本にオッってなりまして読み終わる寸前には, これもうすぐ読み終わるのですが、なぜ積ん読にしてたワイは🤔 ってぐらい名著でした📖 https://t.co/RgTILDGc7r— Shinichi Nakagawa (@shinyorke) 2021年1月3日 ...という感想が出る程度にこちらの書籍に興奮しました. データ分析人材になる。　目指すは「ビジネストランスレーター」 作者:木田 浩理,伊藤 豪,高階 勇人,山田 紘史発売日: 2020/10/15メディア: Kindle版 データを使って仕事をする人は（データサイエンティストに限らず）サラッと読んだほうがええやぞ！ というぐらい良い本だったという話を2021年最初のブログとして書きたいと思い

2020年も多くの素晴らしい技術書がたくさん出ました. その中でも（昨今のトレンド・流行りも手伝ってか）Python本の多さ・充実度合いは目立つものがあります. （このエントリーを執筆した12/19時点で）Amazonの本カテゴリで「Python」と検索すると1,000件以上出てきます*1. これだと目的の本にたどり着くだけで疲れそうです. このエントリーでは, 主にPythonを学びたい・現在使っている方 手元の業務を効率化したり, RPAっぽいことをやりたい方 エンジニア・データサイエンティストとして業務や趣味・個人開発をされている方 を対象に, 今そして来年2021年に読んでおきたいPython関連書籍（と抑えておきたいサービス） をエンジニアでありデータサイエンティストである私独自の視点で紹介します*2. なおこのエントリーはこのブログで例年執筆している「Python本まとめ」の2

サムネイルで出してる内容がそのままこのエントリーのテーマです. Pythonアドベントカレンダー2020の9日目です. JX通信社のシニアエンジニアで, 趣味で野球*1とヘルスケア*2なデータを分析してるマンの@shinyorkeと申します. ちょっとしたデータサイエンスでもガチのR&Dでも何でもいいのですが, プレゼンするためのスライド作るとか, デモのアプリを作るのって相当ダルくないっすか? いやまあ大事な仕事なので不可避かつちゃんとやろうぜっていうのは事実*3なのですが, 手を抜くところは手を抜くべきだなというのが持論としてありますし, 「怠惰・傲慢・短気」というプログラマーの三大美徳からするとプレゼンの準備は最も「怠惰」であるべきとまで僕は思っています. そんな中, 今年はStreamlitという, 「データを見せるアプリを雑に作ろうぜ」っていうライブラリがめっちゃ流行りました（っ