Pythonで数十万件の住所データを緯度経度に変換する（pydams） - shobylogy
不動産の分析に取り掛かる際、重要な前処理の一つがgeocodingと呼ばれる住所データの緯度経度変換です。 文字列情報である住所を数値情報である緯度経度に変換することで、分析を行いやすくすることができます。 このgeocodingを数十万件単位で行いたい場合、問題となってくるのが実行時間です。 多くの場合、HTTPでgeocoding APIを叩いて結果を取得することになるため、1件1秒としても50万件では6日近くの時間がかかってしまいます。 そこで今回はローカルで大量のgeocodingが可能なpydamsというライブラリをご紹介します。 pydamsとは pydamsとは、dams（Distributed Address Matching System）というアドレスマッチングライブラリのpythonラッパーです。 github.com まずdamsの方から紹介します。 damsは東京
Twitter APIで取得したデータをCSV形式で保存するときは、改行コードに気を付けよう - Qiita
の３種類が含まれるのです。 さて本題。 Twitter APIで取得したデータをpandasのDataFrame型にした後、CSV形式でファイルとして保存したのですが、保存したファイルを読み込むと、データの行数が増えていたり、カラムにズレが生じていて、保存時の形を全く保っていなかったのです。 どういうことかというと、例えば以下のようなコードを実行すると、 # 改行コードが\rのとき import pandas as pd from IPython.display import display df = pd.DataFrame([{ 'created_at': '12:00', 'text': 'メッセージ\rメッセージ\rメッセージ', 'tweet_id': 12345, 'user_id': 67890, }]) display(df) # DataFrameを出力 df.to_cs
5.3. CSV - ゼロから学ぶ Python
ホーム 1. Python を始める 2. 基本仕様 3. クラス 4. モジュールとパッケージ 5. ファイル操作 6. 例外 7. ジェネレータ 8. テスト CSV¶ Python で CSV の読み書きを行いたい場合は csv モジュールを使います。 読み込み¶ reader¶ CSV ファイルを読み込む場合は open() でファイルを開いた後、ファイルオブジェクトを csv.reader() に渡します。 #!/usr/bin/env python import csv def main(): with open('example.csv', newline='') as f: reader = csv.reader(f) for row in reader: print(row) # row は CSV の各行になる if __name__ == '__main__': ma
【Windows】PythonでCP932(Shift-JIS)エンコード以外のファイルを開くとエラーになる問題がとりあえずの解決に至った件 - Qiita
参考にさせていただいた、こちらの記事でプログラムにエンコードを追加することでエラーを回避する方法をご教授して頂きました。 ただ、Pythonのopen()関数を使用する箇所全てにエンコードを追加するのは辛い。 パッケージをインストールするたびにopen()関数を使用する箇所全てにエンコードを追加するのは辛い。 ということで、Pythonのopen()関数にまとめてUTF-8エンコードを指定できないか調査をしました。 結果、Windows10の以下のバージョンから対応できることが分かったので手順を記載します。 バージョン 以下OSバージョンで動作することを確認しました。 バージョン：1709以前だと対象の機能が実装されていないので以下の手順は行えません。 バージョン：1709～1809の間のバージョンは検証できていません。 手順 コントロールパネルを開き、地域リンクを押下する。 管理タブのシ
【Python】pyenv: pipenv: command not found エラー
発生した問題今までPythonの3.7を利用していたが、 pyenvにより利用するバージョンを3.8に変更した。 その後、pipenvによりプロジェクトの初期設定を行おうと思ったら 以下のエラーが出た。 $ pipenv install pyenv: pipenv: command not found The `pipenv' command exists in these Python versions: 3.7.3 Note: See 'pyenv help global' for tips on allowing both python2 and python3 to be found. $ python --version Python 3.8.5解決策再度pipenvのインストールを行うことで解決した。 $ pip install pipenv Collecting pipenv
【Python】logging フォーマットの出力例（１０種類以上）
ログ出力のフォーマッター logging.Formatter(fmt) で指定可能な、１０種類以上のフォーマットの出力例です。 『どのようなログ表示が出来るのか？』を確認したくて、コードを書いて試しました。 フォーマットの種類は、Python マニュアルの『LogRecord 属性』に載っていたものを試しました。 (Python) LogRecord 属性（ログレコード属性） 日付、時刻、関数名などのほかに、行番号やプロセス ID まで、自動でログに付加することができました。 それらの出力例（実行結果）を紹介します。 （2024年4月14日追記）logging.basicConfig() でロギング設定をするコード例は、以下のページに書きました（普通のシングルプロセス処理とマルチスレッド処理とマルチプロセス処理でログを記録するコード例です）。 ⇒ logging.basicConfig()
指定した軸の方向にDataFrameを結合するPandasのconcat関数の使い方
concat関数 APIドキュメント params: returns: シンプルに結合する 結合の方向を指定する 結合したあとにインデックスを振り直す 元のデータの判別にラベルをつける 含まれるラベルの範囲を指定する まとめ 参考 PandasでDataFrameを結合する関数はいくつかあり、DataFrameを横方向に結合する関数として merge関数とjoin関数とがありました。 merge関数は列データをキーとする join関数はインデックスラベルをキーとする という点に違いがあります。またjoin関数では複数のDataFrame(またはSeries)を結合することが可能です。 詳しい解説は以下の記事を参考にしてください。 Pandasで2つのデータを横方向に結合するmerge関数の使い方 /features/pandas-merge.html Pandas複数のデータをまとめて横方
Pythonの変数スコープの話 - Qiita
Pythonは変数のスコープが曖昧な事を忘れない たまに忘れてハマるので、覚書ついでに共有です。 グローバル変数とローカル変数 Pythonは関数内で変数を呼び出した時、グローバルですでに定義されていた場合はグローバル変数が使用されます。 global_var = "Global Varibale" def get_global(): local_var = global_var return local_var print(get_global()) >>> Global Variable この時、呼び出し後に関数内で代入処理を行った場合、ローカルのスコープとして扱われ例外が発生します。 （Pythonは関数内で代入が行われると、初めてローカルスコープとしてその変数を取り扱います） global_var = "Global Varibale" def get_global(): loca
pipとpipenvとpoetryの技術的・歴史的背景とその展望 - Stimulator
- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。 特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。 本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれのツールに対してフラットな背景、技術的な説明を示しながら、所属企業内にてpoetry移行大臣として1年活動した上での経験、移行の意図について綴り、今後のPythonパッケージ管理の展望について妄想するものである。 注意：本記事はPythonパッケージ管理のベストプラクティスを主張する記事ではありません。背景を理解し自らの開発環境や状態に応じて適切に技術選定できるソフトウェアエンジニアこそ良いソフトウェアエンジニアであると筆者は考えています。 重要なポイントのみ把握したい場合は、各章の最後のまとめを読んで頂
Pandasでデータを操る。ある列に特定の文字(文字列)を含んだ行を削除編 - Qiita
タイトルの通り、「ある列に特定の文字(文字列)が含まれている場合、それを行ごと削除したい」という願いを叶えるPythonスクリプトをご紹介します。 Pythonスクリプト ''' nonG.py purpose: delete G row in ALT column ''' import os import pandas as pd import argparse import sys def main(): # make parser parser = argparse.ArgumentParser() # add argument parser.add_argument('input') parser.add_argument('output') # analize arguments args = parser.parse_args() # set input filename an
pandasでcsvファイルをデータフレームとして読み込む【Python3】 | AVILEN AI Trend
当記事ではPython3でデータ解析をするために、pandasというPythonのライブラリを用いて、csv形式のファイルをデータフレーム型 として読み込む方法を紹介いたします。当ページのプログラムは、自作のデータを使っています。同じことをしたい方は是非ダウンロードして一緒に手を動かして見てください！（通常のクリックでダウンロードが始まらない場合は、右クリックでリンク先のファイルをダウンロードを選択してください。）→サンプルcsvファイル データフレーム型ってそもそも何？ データフレームは、データを操作する上で非常に便利な性質を持っています。下図のような形で、見た目は行列と同じく、2次元配列のようになっていますが、データフレームの方は列名や行名を持ち、それによってデータを操作することも可能です。また、データフレームは複数のベクトルによって構成され、それぞれのベクトルは互いに同じ型である必要
逆引き DataFrameのデータ抽出(選択)処理 - Qiita
DataFrameのデータ抽出処理のまとめ。こういうのでいいんだよ的なものなので、細かい内容は他の方の記事を参考にしてください。データ入出力処理はこちら。 逆引き用の分類 何(インデックスor列名or値)を対象にどうやって(抽出条件)データを抽出したいのかにマッチする方法が何かを整理しています。おすすめの選択方法をリンク付きにしました。 抽出条件 インデックス(ラベル) 列名 dfの値
pandasで条件にあった値を持つ行を削除する場合 - 強弱と高低
列Aにあるnという値を持つ行を削除したい df A B C 0 k n n 1 n n n 2 n k k ... ... ... ... 1000 n m m ... ... ... ... この１行目２行目に該当する行を削除したい時にどうするか。 もちろんこの簡単な例ではdf.drop([1,2,1000])でいける? まさかそんな話ではない。 方針 Aにnという値を持つ行を削除する Aにn以外の値を持つ行を抽出する 方針１ 正直わからんかった。df.drop()はindexの値をリストとして与えればうまく削除できる。 ただ, df[df.A == n]で得られたDataFrameからindexのリストを取得することはどこを見ても書いてなかったしそもそもできないのかもしれない。 過去にindexの値を取得するスクリプトを書いた気がするがそれはまた別の機会に。 方針2 df[df.A !
Python エラー'cp932' codec can't encode character
pythonでスクレイピングをしようとしています。 元ネタ http://qiita.com/shizuma/items/9dbcfd9ebe6b988572f6 どうしても cp932 codec can't encode character '\u014d'in position6: ilegal multibyte sequence というエラーが帰ってきてしまいます。 別の記事も参考にして修正しようとしましたが、 http://qiita.com/narupo/items/663dafee9c2d20311083 i/o operation on closed file という別のエラーが出てきてしまいます。 以下コードです。 import requests from bs4 import BeautifulSoup import csv import time base_url
Python と SQL のデータ型を変換する - SQL Server Machine Learning Services
適用対象: SQL Server 2017 (14.x) 以降 Azure SQL Managed Instance この記事では、SQL Server Machine Learning Services の Python 統合機能を使用する場合にサポートされるデータ型および実行されるデータ型変換の一覧を示します。 Python は、SQL Server と比較して、限られた数のデータ型をサポートしています。 その結果、SQL Server のデータを Python スクリプトで使用すると、SQL データが互換性のある Python データ型に暗黙的に変換される可能性があります。 ただし、多くの場合、正確な変換を自動的に実行することができず、エラーが返されます。 Python と SQL のデータ型 この表に、提供されている暗黙的な変換の一覧を示します。 他のデータ型はサポートされていませ
python3でSQL文"SELECT count (*)" 実行時に数字のみの結果を受け取りたい
Python3のコードの中で、データベースのテーブルの要素数を取得する際に、数字のみの結果を受け取りたいです。 例えば、 "SELECT count (*) FROM sampleDB;" のSQLを使用した場合、結果は、 [(10,)] のように、リストとタプルの形での値の取得となりますが、 "[ ]"、"( )"、"," が付かず、 10 のように、数字のみの結果を取得する方法はありますでしょうか？ それとも、結果取得後に自分で、必要のない記号等をなくすしか方法はないでしょうか？ ご教授のほどよろしくお願いします。 環境： ・PostgreSQL ・Psycopg2 【追記】実行コード conText = "host={} port={} dbname={} user={} password={}" conText = conText.format(PATH, PORT, DBNAME
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonでジオコーディング(Geocoder/Googlemaps) - Qiita
Python標準csvで改行ありエスケープありCSVを読み込む
CSVに出力すると余分な改行が入る
pandasでread_csv時にUnicodeDecodeErrorが起きた時の対処 (pd.read_table()) - Qiita
