Python文字列操作マスター - Qiita
Pythonにおける基本的な文字列操作をまとめました。経験豊富な人には物足りない内容かもしれませんが... (追記2018.12.23: print の文法をPython3対応にしました。Python2でコピペしたコードが動かない場合は from __future__ import print_function をコード辺の先頭に入れてください。) Pythonの文字列 = immutable(変更不能) Pythonの文字列はimmutableなので、部分的に書き換えたいというような場合でも、 新しい文字列オブジェクトとして組み立てることになります。 たとえば、文字列置換をおこなうreplaceというメソッドは置換したあとの内容をもつ別の文字列オブジェクトを返します。 連結 連結には+演算子を使います。
実践/現場のPythonスクレイピング - Qiita
!! ======================== !! ※この記事は2019年の記事です。この記事で紹介している内容は2019年当時の内容である事を理解した上で、実際に設定する際は最新の情報を確認しながら行ってください。 !! ======================== !! SeleniumはE2Eテストの自動化などで大きな力を出してくれます。 今回の記事では、下記の内容をまとめてみます。 色々なユースケース 抜け漏れ対策のwait.until()関数 => 実務ではとても重要 IDやClassが無くても、AltやPlaceholderなどから力技で抽出する技 パスワード系 無限スクロール系 必要なツールをまずは揃える Python3.7 ChromeDriver https://sites.google.com/a/chromium.org/chromedriver/dow
まだExcelで消耗してるの？Pythonによる自動集計ガイド 基礎編 - Qiita
ちょっとしたデータの加工や集計に、ExcelやGoogle Spreadsheetは便利ですが、それが日常的な作業になってしまったら自動化したいですよね？ そこでお勧めなのがpandasです。 Pandasは Python 用のデータ処理パッケージであり、ExcelファイルやCSVなどの表形式データを読みこみ、加工や集計した上で、出力するといったことがプログラムで記述できます。また開発環境を用意しなくとも、Googleが提供する無料の開発環境であるColaboratory上で、すぐに試すことができます。 そしてPythonは、Office 98以降20年以降更新されていないVBAに代わる新たなスクリプト言語として、Microsoftが採用を検討しているという話もあります。 ExcelにPython搭載、マイクロソフトが検討。アンケートを実施中 まずPandasの全体像を掴んでみる Pand
Red Hat Enterprise Linux 8 のPython事情 - 赤帽エンジニアブログ
Red Hatの森若です。 今回はRHEL8でのPythonがどのようにパッケージされているかを見ていきます。 Red Hat Enterprise Linux 8には"python"コマンドがない!? Red Hat Enterprise Linux 8 はインストール直後のデフォルト状態では "python" コマンドが存在しません。(ほとんどの場合"python3"コマンドはあります。) pythonコマンドがない……!? RHELは各種のシステムツールがPythonで実装されており、RHELであれば "python"コマンドが利用できるという状況が続いてきました。RHEL 8では少し様子が違うようです。詳しくみていきましょう。 3つのPython処理系 RHEL 8 Betaでは、Pythonの処理系は3種類存在します。 platform-python: RHELに同梱の各種システ
pythonでのデータ分析時、死ぬほど調べるTipsをまとめておく。 - プロクラシスト
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
Pythonのパッケージ周りのベストプラクティスを理解する - エムスリーテックブログ
砲撃する自走砲（PzH2000自走榴弾砲）。自走砲は戦車によく似ていますが、戦車ではありません。＊本編とは関係ありません。 こんにちは、エムスリー基盤開発チーム小本です。 Pythonのパッケージ管理周りでは、 「setup.pyでrequirements.txtを読み込むのが普通なんですよね？」 「pipenv があれば venv はオワコンなんですね？」 「pyenvは要らないんですよね！？」 「Pythonは歴史が古い分、Rubyなどに比べてカオス」 みたいな混乱をよく目にします。 実際、複数のツールがあって（一見）複雑です。また「なぜこうした状況にあるのか」がドキュメント化されているわけでもありません。 なので、私なりに整理してみることにしました。 ※「追伸」を追加しました。この記事では汎用プログラミング言語としてPythonを使うケース（Webアプリとか、CLIツールとか、ライブ
この処理Pythonでどう書く？ - エムスリーテックブログ
EF15形は高性能な電気機関車であったが、引き出し性能が蒸気機関車に劣ると誤解されていた。 誤った運転方法により本来の性能を引き出せていなかったのである。 （spaceaero2 [CC BY 3.0], ウィキメディア・コモンズより） こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 WEBサイトは RailsやSpringなどの「本体部分」だけでは完結しません。レポート作成・データ更新などの細かい処理も必要です。 過去にはこうした用途にはBashがよく使われました。しかし、Bashは落とし穴が多かったり、クラスなどの抽象化機能がなかったりして、規模が大きくなると辛くなります。 そこで、Bashの代替候補に挙がるのがPythonです。エムスリーでもかつてはBashを使っていましたが、現在は新規案件にはPythonを推奨しています。 しかし、実際にPythonで書き直そ
5ch(旧2ch)をスクレイピングして、過去流行ったネットスラングの今を知る - にほんごのれんしゅう
5ch(旧2ch)ではここ数年はTwitterを使用するようになってしまいましたが、ネットのミームの発信地点であって、様々なスラングを生み、様々な文化を作ってきたと思います。 学生時代、2chまとめとか見ていたので、影響を受けてきたネット文化で、感覚値からすると、どうにも流行り廃りがあるようです。 5chの過去ログを過去18年ほどさかのぼって取得する方法と、懐かしいネットスラングのドキュメントに占める出現具合を時系列でカウントすることで、時代の変遷でどのように使用の方法が変化したのか観測することができます。 文末に「orz」って付けたら若い人から「orzってなんですか？」と聞かれて心身共にorzみたいになってる— ばんくし (@vaaaaanquish) October 19, 2018 図1. 今回集計したorzの結果 例えば、今回集計した5chの書き込み500GByte程度のログからで
2018年のPythonプロジェクトのはじめかた - Qiita
4/30 公開 5/1 増補改訂: 大幅加筆しました。 この記事では、2018年以降に実現可能になったモダンなPythonプロジェクトのはじめかたを整理して紹介します。 PythonにもPipenvという公式推奨の高機能なパッケージマネージャーが登場し、さらに2018年に入ってからの機能向上で、npmやyarnのような開発体験が得られるようになってきました。 私はここしばらくはフロントエンドやNode.jsに携わっていて、npmやyarnに慣れきっていたせいか、pipenv導入以前はvirtualenvやpipを組み合わせた開発が面倒で仕方なかったですが、Pipenv導入によって一変しました。 これからはPythonのプロジェクトがよりクリーンかつ簡単にはじめられるようになり、開発体験も向上するでしょう。 それでは、まずはPythonのインストールからです。 Pythonのインストール P
python3系でのPython Image Libraryの使用方法 - Qiita
O'Reillyの「ゼロから作るDeep Learning」の3章。 MNIST画像（手書き数字認識のサンプル画像）を表示するのにPILを使うよって。 PIL（Python Image Library）についてはこちらなどご参照ください http://www.lifewithpython.com/2013/09/pil.html サンプルコードを写経して実行。したらエラーがでましたね。 Traceback (most recent call last): File "/Users/ukwksk/Training/orreilly-deep-learning/chapter03/section3_6_number_recognition.py", line 7, in <module> from PIL import Image ImportError: No module named 'P
データサイエンティストによる統計入門 ― k平均法でデータをクラスタリングしてみよう！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
データサイエンティストによる統計入門 ― k平均法でデータをクラスタリングしてみよう！ ビッグデータ、データサイエンス、人工知能など、統計学を主軸においた分野が隆盛ですが、統計学には高いハードルを感じる方も少なくないでしょう。k平均法を実際に手を動かしながら理解することで、データ分析を身近に感じることができます。 はじめまして、藤井健人（@studies）と申します。イタンジ株式会社でデータ基盤周りの運用を担当しています。 「ビッグデータ」「データサイエンス」「人工知能」といったバズワードに代表されるように、統計学を主軸においた分野の隆盛が日常となって久しいです。 しかし「統計学は学問的な要素があり難しい」という印象を持たれやすく、「実務に活かすのはハードルが高い、怖い」と感じる方も少なくないのではないでしょうか。 そういった方を対象に、今回は統計学の手法の一つであるk平均法を学んでいただ
python の yield。サクッと理解するには return と比較 | コード７区
return との比較 return と yeild を比較してみます。 まず return ですが、戻り値のある return の動作は 関数の処理を 終了 し 値を返す です。 一方、yeild は 関数の処理を 一旦停止 し 値を返す という動きをします。 一旦停止なので、yeild の処理は再開されます。 図にすると yeild の場所で一旦停止し、再開時は次の行からスタートします（再開のきっかけは後述）。 なんのために ? でわ、yield があると何が便利なのでしょうか。 単純な例ですが、たとえば 1GB の巨大なテキストファイルがあるとします。そして、この巨大なファイルを読み込み、データを渡してくれる関数を作るとします。 これを普通にやろうとすると、受け渡し用のメモリが 1GB という巨大なサイズになってしまいます。 ところが yield を使えば、少量、たとえば 1 行づつ
Pythonを書き始める前に見るべきTips - Qiita
Pythonを使ってこの方さまざまな点につまずいたが、ここではそんなトラップを回避して快適なPython Lifeを送っていただくべく、書き始める前に知っておけばよかったというTipsをまとめておく。 Python2系と3系について Pythonには2系と3系があり、3系では後方互換性に影響のある変更が入れられている。つまり、Python3のコードはPython2では動かないことがある(逆もしかり)。 Python3ではPython2における様々な点が改善されており、今から使うなら最新版のPython3で行うのが基本だ(下記でも、Python3で改善されるものは明記するようにした)。何より、Python2は2020年1月1日をもってサポートが終了した。よって今からPython2を使う理由はない。未だにPython2を使う者は、小学生にもディスられる。 しかし、世の中にはまだPython3に
pythonで小さなツールを作る時のtips - Qiita
自分で小さいツールを作る時に心に留めているtipsです． 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います． メインルーチンを関数にする 関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています． #!/usr/bin/env python def main(): print('hello, hello, hello!') if __name__ == '__main__': main() pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後
CentOS7 に pip と awscli をインストール - set setting reset
vagrant 上の CentOS7 です。 # cat /etc/centos-release CentOS Linux release 7.1.1503 (Core) 普通に yum だとインストールできませんでした。 結論を先に記載すると 4 コマンド実行で pip と awscli のインストールができました。 # yum install epel-release # yum install python-pip # pip install pip --upgrade $ pip install awscli --user 以下は経緯というかログです。 # yum clean all Loaded plugins: fastestmirror Cleaning repos: base extras updates Cleaning up everything Cleaning up
VIRTUALENV について
Python中心に、日々発生する疑問点や解決策を記録していきます。 内容が間違っていたらゴメンね。 （ このブログは目次を用意しています。記事をお探しの際は、ご利用ください。 ） 今回、virtualenv について簡単に触れてみようと思います。 virtualenv については、既にサイトやブログで紹介しているところが多い。私も幾つかの記事を読んでみたが、「どうもイマイチわからない」 という状態だった。 しかし実際に使ってみると、かなり便利だということがわかってきた。このため、『メモ書き＋α』 レベルで virtualenv について書いてみる。 virtualenv の機能 virtualenv は Python の仮想環境を提供する。こう書くと、 「あれ、Python の環境自体が仮想ではないの？」 と思う人がいるかもしれない。実は私もそう思いました・・・。 もう少し付け足して書くと
PHPのround関数とは一体なんだったのか - hnwの日記
（7/3 14:05追記）Javaに関する記述について誤認があったので盛大に書き換えました。Java 6、Java 7、Java 8それぞれで実装が変わっていたようです。 （7/13 23:55追記）本記事中ではroundを四捨五入と言い切ってしまっています。これは筆者がC99のroundを基準に考えているためですが、言語によっては偶数丸めになっているround関数も珍しくありません。ご注意ください。 PHPのround関数について、ネット上で次のような記述を見つけました。 PHP 四捨五入の計算を間違える唯一の言語として畏れられていましたが、そのバグは治っているかもしれません（治ってないかもしれません） 主要なプログラミング言語8種をぐったり解説 - 鍋あり谷あり 各言語を面白おかしく紹介する内容とはいえ、ずいぶん雑な理解だなーという印象です。ゆるふわな話だけでPHPがdisられ続けるの
prompt_toolkit がアツい - methaneのブログ
とりあえず mycli と aws-shell のスクリーンキャストを見てください。 prompt_toolkit はこのようなリッチコンソールアプリを作るためのライブラリです。 Windows でも動きます。 Jupyter (ipython notebook) を切り離した、コンソール版の ipython も次のメジャーバージョンでは readline ベースから prompt_toolkit ベースに作りなおされています。 ipython 以外にも ptpython というシェルもあり、 ipython の各種 magic が不要な場合はこちらで十分でしょう。 https://github.com/jonathanslenders/python-prompt-toolkit#projects-using-prompt-toolkit には、他にも prompt_toolkit を採用
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CentOS6にpipをインストール - kubotti’s memo
長文日記