Pythonで仕事をする人のための書籍まとめ2021 - 学習, 業務効率化, アプリ開発からデータサイエンスまで - Lean Baseball
2020年も多くの素晴らしい技術書がたくさん出ました. その中でも（昨今のトレンド・流行りも手伝ってか）Python本の多さ・充実度合いは目立つものがあります. （このエントリーを執筆した12/19時点で）Amazonの本カテゴリで「Python」と検索すると1,000件以上出てきます*1. これだと目的の本にたどり着くだけで疲れそうです. このエントリーでは, 主にPythonを学びたい・現在使っている方 手元の業務を効率化したり, RPAっぽいことをやりたい方 エンジニア・データサイエンティストとして業務や趣味・個人開発をされている方 を対象に, 今そして来年2021年に読んでおきたいPython関連書籍（と抑えておきたいサービス） をエンジニアでありデータサイエンティストである私独自の視点で紹介します*2. なおこのエントリーはこのブログで例年執筆している「Python本まとめ」の2
Day-107 Pythonの高速画像処理ライブラリLyconが速い - CC56
何ヶ月か前にTwitterのタイムラインに流れてきたのですが、それっきり話題を聞かないので検証してみることにしました。 ちなみに、個人的に普段使って慣れているのは、癖が少なくて扱いやすい scikit-image です。 (OpenCVはBGRがデフォルトなので基本的に避けたいですし、PILは癖が強めなのであまり好きではないです) 高速の画像処理ライブラリを使うモチベは、もちろん Kaggle です。 特に画像の読み込みが速いと、時間短縮に直結するので個人的に嬉しいです。 Lyconとは C++で書かれたPython用の軽量画像処理ライブラリらしいです。 PyPI にあるので pip install ですぐに使えます。(一応依存関係も気にしなきゃいけないかも) github.com 性能の割にスターが控えめな気がする。 試しに使ってみる 多少の実戦を仮定して、Kaggle の Notebo
時系列予測で使えるpythonライブラリ一覧 - ざこぷろのメモ
本記事では、時系列予測に利用できるpythonのライブラリの使い方について説明をします。 パッとライブラリを使うことを目指すため具体的なアルゴリズムの説明は省きます。 ※説明が間違えている場合があればご指摘いただけると助かります。 目次 利用データ ライブラリ Prophet PyFlux Pyro Pytorch Lightgbm 補足:Darts まとめ ソースコード このブログで記載されているソースコードはGitHubに上げておいたのでもしよろしければ参考にしてください。 github.com 利用データ 今回用いるデータはkaggleのM5 Forecasting - Accuracyと呼ばれるコンペティションで利用されたデータを用います。 作成したランダムなデータよりも実データのほうが予測をしている感があるからです。 予測に使うデータはwalmartの売上データです。 下図はその
pandas.DataFrame, Seriesを連結するconcat | note.nkmk.me
複数のpandas.DataFrame, pandas.Seriesを連結（結合）するpandas.concat()関数の使い方について説明する。 pandas.concat — pandas 2.0.3 documentation 新たな行や列を追加するにはconcat()よりもその他の方法のほうが簡単な場合がある。詳細は以下の記事を参照。 関連記事: pandas.DataFrameに列や行を追加（assign, appendなど） 共通のデータ列を持つ複数のpandas.DataFrameをその列の値に従って結合するにはpandas.merge()関数またはpandas.DataFrameのmerge()メソッドを使う。 関連記事: pandas.DataFrameを結合するmerge, join（列・インデックス基準） 本記事のサンプルコードのpandasはバージョン2.0.3。バ
Python でデータサイエンス
このサイトについて このサイトでは、データ加工や集計、統計分析などインタラクティブに実行されるスクリプトやバッチプログラム、本格的な Web アプリケーションの実装まで、多彩な機能を持ちながらも初心者にも扱いやすいプログラミング言語 Python (パイソン) を使ったデータの統計分析の手順や使い方について紹介します。 初めてプログラムに触れる人や、R や SAS, Ruby のような言語のプログラミング経験はあっても、Python をあまり扱った経験のない初心者向けに理解できるような内容としてまとめています。 また、本格的な統計分析（基本統計量や多変量解析、データマイニング、機械学習）を学んだことがない人でも理解できるよう、統計（アナリティクス）の解説も必要に応じて述べています。 このサイトで提供できる情報を通して、皆さんが Python を使ったビッグデータ解析を思いのままに使いこなせ
【もう迷わない】Pythonでスプレッドシートに読み書きする初期設定まとめ
Google Cloud Platformの設定 Google Cloud Platform プロジェクトを新規作成する まずAPIを取得するプロジェクトを作成しないと何も始まらないので、プロジェクトを作成します。 STEP1：プロジェクトを選択 STEP2：新しいプロジェクトを選択 STEP3：プロジェクト名を入力 プロジェクトの名前を入力します。 今回はわかりやすく『spreadsheet-test』としました。 これでプロジェクトの作成が終了しましたので、次にGoogle DriveとGoogle SheetsのAPIを有効にします。 Google Drive APIを有効にする 外部（※今回はPython）からスプレッドシートを操作する場合は、Google DriveのAPIも有効にしなければいけません。 STEP1：サイドバーのライブラリを選択 STEP2：検索フォームでdriv
PythonとBeautiful Soupでスクレイピング - Qiita
Pythonでスクレイピングというネタはすでに世の中にもQiitaにもたくさん溢れていますが、なんとなくpyqueryが使いやすいという情報が多い気がします。個人的にはBeautiful Soupの良さも知ってもらいたいと思うのでここではBeautiful Soupを使っていきたいと思います。 ちなみにこのエントリーはほとんどの部分がBeautiful Soup4のドキュメントの要約です。もっと詳しい情報が知りたい場合はドキュメントをご覧ください。 英語 http://www.crummy.com/software/BeautifulSoup/bs4/doc/ 日本語 http://kondou.com/BS4/ よくある勘違い pyqueryはjQueryのようにcssセレクタを使ってHTMLを扱うことができる点がBeautiful Soupよりも使い易いという意見がありますが、それBe
【保存版・初心者向け】Python 目的別チュートリアル - Qiita
はじめに AI Academyを開発・運営しています、株式会社エーアイアカデミー代表の谷です。 近年機械学習等で人気のPythonですが、Pythonで出来ることは機械学習以外にも多くあります。 そこで、初学者の方は機械学習以外でPythonで何が出来るのか？また、何から手をつけて行けば目的を達成できるのか？など疑問を持つかと思います。 この記事が多くの方々のお役に立てれば幸いです。 AI Academy Bootcamp ６ヶ月35,000円にてチャットで質問し放題の環境で、機械学習やデータ分析が学べるサービスを提供しております。 数十名在籍しているデータサイエンティストや機械学習エンジニアに質問し放題の環境でデータ分析、統計、機械学習、SQL等が学べます。AI人材に必要なスキルを効率よく体系的に身に付けたい方は是非ご検討ください！ https://aiacademy.jp/bootca
【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ - Qiita
【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～Pythonスクレイピングpandasデータ分析 やりたいこと はてなブックマークで、Python記事を検索しトレンドを分析 はてなブックマークにSeleniumでログイン ブックマーク数をスクレイピング 時系列比較を行う バズるタイトルを分析 実装方法 詳しくは下記記事を参考にしてください。Pandasを利用したデータ分析まで載せています。 【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ 実装 from selenium import webdri
「仕事ではじめる機械学習」をざっくり読んだので感想やメモなど - razokulover publog
仕事ではじめる機械学習を購入したので早速読んでみた。 知ってる箇所とか結構流したとこもあるので雑なメモです。 第Ⅱ部に関しては特に読んでないとこ多いのだが、手を動かさないと意味ないしまた休日にでもやってみます。 第Ⅰ部 1章 機械学習プロジェクトのはじめ方 まずは機械学習を使わないで解決できないか考える 序盤でこの１文が出てきて信用できる本だとわかった すぐに結果がでないことが多いのでそれに投資できる/させる調整が必要そう 解くべき問題の仮設設定とMVP検証を必ずやる 成功させるには以下のメンバーが必要 ドメイン知識のあるメンバー・機械学習する人・データエンジニア・失敗を恐れない理解有る責任者 テストがしずらいので継続的にモニタリングして性能の評価をするべし 2章 機械学習で何ができる？ p22のどのアルゴリズムを選ぶべきかのフローチャート図が便利 これの簡略版 分類・回帰・クラスタリング
pythonで小さなツールを作る時のtips - Qiita
自分で小さいツールを作る時に心に留めているtipsです． 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います． メインルーチンを関数にする 関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています． #!/usr/bin/env python def main(): print('hello, hello, hello!') if __name__ == '__main__': main() pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後
文字列の操作 - ひきメモ
文字列のメソッドは正規表現を使うより速いので、文字列の操作をする場合は、まず文字列のメソッドでできないかを調べた方がよいです。 文字列の一部を取り出す >>> s = "python" >>> s[2] # 2番目の要素を取り出す 't' >>> s[1:4] # 1番目から3番目までの文字を取り出す 'yth' >>> print s[2:] # 2番目から末尾までの文字を取り出す そん >>> s[0] = "P" # 文字列は不変なので、要素への代入は不可 Traceback (most recent call last): File "<stdin>", line 1, in <module> TypeError: 'str' object does not support item assignment 文字列が○○だけであるかを調べる >>> "abcABC123".isaln
[Webサービス] Pythonプログラミングを2時間で学べる43個のチュートリアル動画。 | Last Day. jp
[Webサービス] Pythonプログラミングを2時間で学べる43個のチュートリアル動画。 最終更新日： 2012/03/19 Python はじめにプログラミングが楽しくなってきました。([Programming] 猫とRubyを始めました 基礎文法まとめ | Last Day. jp) Youtubeには沢山の動画がアップロードされているのは皆さんご存知だと思いますが、今の時代プログラミングもYoutubeで学べてしまうんです。 今日紹介するのはPythonというプログラミング言語のYoutubeチュートリアル動画です。 初心者向けです。動画は英語ですが、スクリーンキャストを見ながらなのでわかりやすいです。 Python チュートリアルPython Programming Tutorial – 1 – Installing Python Pythonをインストールする所から教えてくれま
非エンジニア女子による、15分間でできるfacebookアプリデビュー：GAE（Python編） : ゼロスタートの広報ブログ
2011年05月20日21:33 [GAE][Python][facebook] 非エンジニア女子による、15分間できるfacebookアプリデビュー：GAE（Python編） カテゴリやってみたfacebook Tweet みなさん、お元気ですかこんにちは！ ゼロスタートの広報もりのです。 今回は、週末にチャレンジしてみるのに丁度いい塩梅の記事をお届けしようかと思います。 まず前提ですが、今回は非エンジニアのためのエントリです。 「非エンジニアなんだけど、 facebookアプリとか登録したい！ Pythonで、いじってみたい！！ でも全部英語だし、 コードとかもよく分かんない！！」 という、そこのあなた！ 食わず嫌いなあなたにこそ読んでいただきたい。 だいたい15分くらいで、facebookアプリ動かせます。 キャプチャ付きでご紹介しますので、この通りやれば出来
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonを使って『IFTTT（Webhook）』を呼び出す方法
Pythonに関する情報 | note.nkmk.me
【完全版】PythonとSeleniumでブラウザを自動操作(クローリング／スクレイピング)するチートシート