Pythonで不統一なExcelファイル繋ぐワザの神髄
ここでは「読み込み設定.xlsx」のデータを列ごとに分割し、それに対して繰り返し処理をしています。そのため、列の順番は「読み込み設定.xlsx」にそろうことになります。 ただし、支店のデータの中に「読み込み設定.xlsx」の列に相当するデータがない場合もありえます。具体的には、「横浜支店.xlsx」にはパスワード列がありません。そのため、該当する列があるかどうかを18行目のif文とin演算子でチェックし、ある場合は2重リストに追加し、ない場合は空文字列（""）を追加しています。 2重リストにデータを追加する19行目の部分も要注目です。変数colには「読み込み設定.xlsx」から取り出した列名、変数rowには各支店のExcelファイルから取り出した1行分のデータ（Seriesオブジェクト）が入っています。 そこで「row[col]」と書くと、支店データの中から特定の列名のデータを取り出すこと
Python言語による実務で使える100+の最適化問題 | opt100
はじめに 本書は，筆者が長年書き溜めた様々な実務的な最適化問題についてまとめたものである． 本書は，Jupyter Laboで記述されたものを自動的に変換したものであり，以下のサポートページで公開している． コードも一部公開しているが，ソースコードを保管した Github 自体はプライベートである． 本を購入した人は，サポートページで公開していないプログラムを 圧縮ファイル でダウンロードすることができる． ダウンロードしたファイルの解凍パスワードは<本に記述>である． 作者のページ My HP 本書のサポートページ Support Page 出版社のページ Pythonによる実務で役立つ最適化問題100+ (1) ―グラフ理論と組合せ最適化への招待― Pythonによる実務で役立つ最適化問題100+ (2) ―割当・施設配置・在庫最適化・巡回セールスマン― Pythonによる実務で役立つ
Pythonの異常検知パッケージPyODのフォーマットに従って、カーネル密度推定に基づく異常検知を実装した - 備忘録
はじめに 異常検知（外れ値検知）のための便利なPythonパッケージとしてPyODが存在する。 pyod.readthedocs.io github.com クラシックな手法から比較的最先端の手法まで実装されており、インタフェースも使いやすいのでオススメできる。 2021年8月9日現在、PyODにカーネル密度推定（Kernel Density Estimation; KDE）ベースの異常検知が実装されていなかったので、それを実装したということである。 PyODのインストール pipでインストール可能である。 pip3 install pyod 異常検知について 以下の記事を読むのが良いだろう。 qiita.com カーネル密度推定について ばんくし氏の記事が参考になるだろう。 vaaaaaanquish.hatenablog.com 作成したクラス：KDE すでに実装済のPyODの各種アル
形態素解析の精度向上を頑張った話 - Leverages データ戦略ブログ
はじめに こんにちは。データ戦略室データエンジニアリンググループの森下です。 普段はデータエンジニアとして、主にデータ活用基盤の保守運用や機能追加、ツール開発やデータ抽出・可視化といった業務を行っています。もともと機械学習への興味はありましたが、本記事の内容以前では、業務で使用したことはありませんでした。今回、初めて機械学習の業務を経験する事ができ、非常に多くのことを学ぶことができました。本記事は未経験者の奮闘記となりますので、これから機械学習を学ぶ方・業務に活かす方にとって参考になれば幸いです。 経緯について データエンジニアとしてデータ活用基盤の構築や保守運用をしていく中で、機械学習へのデータ活用は自然と考える部分です。しかし、書籍やチームの勉強会で機械学習について少しずつ学んではいるものの、業務で機械学習を使用したことはありませんでした。 そのような状況の中で、機械学習の業務に携わり
pytest fixtureの地味だけど重要な部分について - 株式会社ホクソエムのブログ
こんにちは。ホクソエム支援部サポーターのPython担当、藤岡です。 最近はデータエンジニア見習いとしてBI周りを触っています。 今回はpytestのfixtureについての記事です。 pytest自体が有名で記事もたくさんあるので、今回は地味だけど重要だと個人的に思っている usefixturesとスコープについて取り上げます。 地味とはいえ、pytestの初心者がfixtureを使いこなすためのステップアップに必要な内容だと思います。 ぜひマスターしていただければ幸いです。 1. 前書き 基礎的なことに関してはこの記事にとても簡潔にまとまっているので、こちらをまず読むのがオススメです。とても良い記事です。 pytestは独自の書き方を持ち込んでいるライブラリです。その機能を使いこなすと「綺麗」なコードにはなりますが、反面それは使われている機能を知らない人にとってはこの上なく読みにくいも
Pythonで美しい動画を作ろう - Qiita
DeNAのAIシステム部、音声チームの豆谷と申します。前回の記事では音声変換を解説しました。本記事では、ManimというPythonのモジュールを使って美しい動画を作る方法を紹介します。 本記事のターゲット 教育系の動画制作でかなりの実績（YouTubeでの評価など）あるアニメーションエンジンを紹介します。日本語に対応する方法を解説することで、より多くの日本語話者（特にエンジニア）が自らの知識や経験を簡単に動画にできると知ってもらえると嬉しいです。今まであまり世に伝えられなかった学識や表現が、世界中の人々にシェアされるキッカケになると最高です（具体例を挙げてみました1）。 Python好きに向けて美しい動画の作り方を説明します。Pythonの楽しさ2と動画制作3というクリエイティブな組み合わせにより多くの人が関心を持ってもらえると嬉しいです。 Manim 3Blue1Brown（以下、3b
Pythonでいい感じにバッチを作ってみる - prefectをはじめよう - JX通信社エンジニアブログ
JX通信社シニア・エンジニアで, プロダクトチームのデータ活用とデータサイエンスのあれこれ頑張ってるマン, @shinyorke（しんよーく）です. 最近ハマってるかつ毎朝の日課は「リングフィットアドベンチャー*1で汗を流してからの朝食」です. 35日連続続いています. 話は遡ること今年の7月末になりますが, JX通信社のデータ基盤の紹介&「ETLとかバッチってどのFW/ライブラリ使えばいいのさ🤔」というクエスチョンに応えるため, このようなエントリーを公開しました. tech.jxpress.net このエントリー, 多くの方から反響をいただき執筆してよかったです, 読んでくださった方ありがとうございます！ まだお読みでない方はこのエントリーを読み進める前に流して読んでもらえると良いかも知れません. 上記のエントリーの最後で, 次はprefect編で会いましょう. という挨拶で締めさせ
Pythonのオブジェクト指向プログラミングを完全理解 - Qiita
1. オブジェクト指向の起源 2003年チューリング賞の受賞者アラン・ケイさんはよくオブジェクト指向プログラミングの父と称されます。ご本人も憚ることなく、幾度、公の場で発明権を宣言しています。しかし、ケイさんは「C++」や「Java」などの現代のオブジェクト指向言語を蔑ろにしています。これらの言語は「Simula 67」という言語を受け継いだもので、私が作った「Smalltalk」と関係ないのだとケイさんは考えています。 オブジェクト指向という名称は確かにアラン・ケイさんに由来するものです。しかし、C++とJavaで使われている現代のオブジェクト指向は当初のと結構違います。ケイさん自身もこれらの言語を後継者として認めないです。では、ケイさん曰くC++とJavaの親であるSimula 67という言語はどんな言語でしょうか。ここで、簡単なサンプルコードを見てみましょう。 Class Recta
古くて新しい2値化画像処理を動かしてみる(ECCV 2020論文) - OPTiM TECH BLOG
R&D チームの徳田（@dakuton）です。 今年の8月に開催されたECCV 2020のacceptされた論文のなかに、使い古された2値化画像処理をもとにした論文(+実装)があり気になったので、今回はそちらを少し調べて動かしてみた結果をご紹介します。 対象論文 A Generalization of Otsu’s Method and Minimum Error Thresholding 要点 簡単にいうと「既存手法をまとめて、ちょっとだけ融通の効く2値化画像処理にしたもの」の提案です。 ヒストグラムベースでの2値化しきい値を自動決定する手法 下記の既存手法を特殊ケースとして内包できるよう、一般化した式にまとめた Kittlerの2値化(MET: Minimum Error Thresholding): 2クラスの正規分布が存在すると仮定し、分布の重なる範囲にて別クラスに該当する画素が最
Python の型システムの上で Immutable な Python プログラムを作る - 病みつきエンジニアブログ
まえがき 今年の PyCon JP 2020 にて「Python 3.9 時代の型安全な Python の極め方」というタイトルで登壇させていただきます。本稿は、発表の補足となる「型ヒントを使って Immutable な Python を実現する方法」について紹介したものです。 Python の型ヒント Python には「型ヒント」という機能があり、型をプログラム内に宣言することができます。 age: int = 28 name: str = 'Bruce Wayne' Python は動的型付き言語であるため、この情報はランタイム(実行時)にはあまり意味がないのですが、 mypy などの型チェックツールをつかうと、型の誤りをチェックすることができます。 def check_batman(name: str) -> bool: return name == 'Bruce Wayne' a
PythonのウェブフレームワークDashで手持ちのお小遣いファイルを可視化する - Qiita
前置き 手持ちのファイルをサッと可視化したいなんてニーズはよくあります。そういう時にサッとできる環境だと、ノンプログラマーの人もデータが活用でき、根拠のない勘と根性の世界がデータに基づいた勘と根性の世界に変えられます。 今回は身近な事例として、次のような提携のお小遣いのファイルをアップロードできる（pic1）Dashアプリケーションを作成しました。date列には日付、variable列には支出項目、value列は金額が入っています。残念ながら私はお小遣い帳をつけていないので、今回は日本の家計調査のデータを使っています。 最終的に作成したアプリケーションは次のようなものです。ファイルアップロードツールをクリックするとファイルが選択でき、上のような3つの項目を持つお小遣いデータであれば、グラフが作成され項目を選択して描画することもできます。 こんなもの作るの大量のコードを書かないとダメなんでし
PythonのORMライブラリsqlalchemyで利用可能なコネクションプーリングの実装について調べてみた | DevelopersIO
CX事業本部@大阪の岩田です。Python向けのORMライブラリsqlalchemyは標準でコネクションプーリングの実装が組み込まれており、create_engine()を呼出す際の名前付き引数poolclassの指定によってコネクションプーリングの実装を切り替えることができます。先日コネクションプーリングの実装について調べる機会があったので、内容をご紹介します。 環境 今回利用した環境です。 OS X 10.14.6 Python 3.8.2 sqlalchemy 1.3.16 pymysql 0.9.3 利用できるコネクションプーリングの実装 sqlalchemyは標準で以下のコネクションプーリングの実装を提供しています。 QueuePool NullPool SingletonThreadPool StaticPool AssertionPool 例としてNullPoolを使う場合は
AIエンジニアが気をつけたいPython実装のノウハウ・コツまとめ - Qiita
本記事では、データサイエンティスト、AIエンジニアの方がPythonでプログラムを実装する際に気をつけたいポイント、コツ、ノウハウを私なりにまとめています。 AIエンジニア向け記事シリーズの一覧 その1. AIエンジニアが気をつけたいPython実装のノウハウ・コツまとめ（本記事） その2. AIエンジニアが知っておきたいAI新ビジネス立案のノウハウ・コツまとめ 2020年4月に書籍を、出版しました。 【書籍】 AIエンジニアを目指す人のための機械学習入門 実装しながらアルゴリズムの流れを学ぶ（電通国際情報サービス 清水琢也、小川雄太郎 、技術評論社） https://www.amazon.co.jp/dp/4297112094/ 本投稿は、上記の書籍に書ききれなかった 「AIエンジニアが、Pythonでプログラムを実装する際に気をつけたいことのまとめ」 です。 本記事の内容は、あくまで筆
PythonのウェブフレームワークDashで京都の新型コロナアプリを作成した - Qiita
PythonのウェブフレームワークDashを使って、京都の新型コロナアプリを作成しました。DashはFlask、React、Plotlyを使って作られたフレームワークで、ダッシュボードのようなアプリケーションを短時間で作成できます。またコールバックを使ってアプリケーションをインタラクティブに動作させられます。私のようにデータをこねるのは好きだけど、ReactもVueもいまいちよくわからないという人には、容易にダッシュボードを作れるフレームワークです。 作成したアプリケーションは以下のURLにあります。 PC向け スマホ向け コードはgithubを参照ください。 開発環境は以下の通りです。 Windows10 Pro Python3.7.5 dash 1.9.1 pandas 1.0.0 アプリの機能 アプリは京都府のサイトから取得したデータ（取得方法などは後述）をCSVファイルとして読み込
あとで後悔しないPythonのディレクトリ構成をつくってみる - Qiita
Pythonを触った当初は、とりあえず hoge.py にたくさんメソッドを書き、そのうちファイルが複数になり、ディレクトリが増えていきました。 しかしこのようにすると自作プログラムの中の依存関係の解決に失敗したり、どんどん訳の分からない構成になってしまい、あとで正すことも難しく感じました。 そのためよっぽど緊急なプログラミングでないかぎりは、最初に**「ライブラリ化しやすいようにディレクトリ、ファイルを準備する」**ことが重要かと思っています。 そのテンプレートを、本記事でつくってみます。 まずはsetup.pyから書いてみる まずプロジェクトのフォルダとして python_package ディレクトリをつくって、setup.py を新規作成します。 プロジェクト直下は当然ながら下のようになります。
ビジネスで使えるPythonを使った統計的データ分析手法まとめ - Qiita
概要 WEB系のサービスで色々な試作を実施した後に効果を検証するのは非常に重要だと思いますが、 そのやり方として基本的な統計学が十分に使えると思っています。 今回は基本的な統計学からビジネスで使える試作の効果検証、データ分析を目的にPython+JupyterLab(Docker)を使った統計的データ分析のやり方をまとめました。 また今回使ったnotebookは以下にもありますのでご参考ください。 https://github.com/hikarut/Data-Science/tree/master/notebooks/statisticsSample 環境 以下を参考にDockerでJupyterLabが使える状態を前提とします。 Dockerで起動したJupyterLabでvimキーバインドを使う
Python開発を円滑に進めるためのツール設定 Part.2
2019年9月16、17日、日本最大のPythonの祭典である「PyCon JP 2019」が開催されました。「Python New Era」をキャッチコピーに、日本だけでなく世界各地からPythonエンジニアたちが一堂に会し、さまざまな知見を共有します。プレゼンテーション「Python開発を円滑に進めるためのツール設定」に登壇したのは、Atsushi Odagiri氏。講演資料はこちら ユニットテストツール「pytest」 Atsushi Odagiri氏（以下、Odagiri）：では次にpytestです。pytestもけっこう有名になってきたツールです。flake8とかmypyは静的チェックのツールなので、あいつらは実行させない、つまりコードの内容として「何か危ないぞ」とか「型違うよ」というのをチェックしてくれるツールです。pytestは結局のところユニットテストツールなので、テストで
「Python自然言語処理入門」が自然言語処理の基礎にとても良かった - karaage. [からあげ]
Python自然言語処理入門を読みました 以前レビューを書いた「ディープラーニングの数学」の作者、IBMの赤石さんから、出版社様経由で「Python自然言語処理入門」を献本いただきました。 現場で使える! Python自然言語処理入門 (AI & TECHNOLOGY) 作者:赤石 雅典,江澤 美保出版社/メーカー: 翔泳社発売日: 2020/01/20メディア: 単行本（ソフトカバー） 「ディープラーニングの数学」は、「ゼロから作るDeep Learning」に並ぶ良書と書かせていただきましたが、今回の本も自然言語処理を扱ったゼロから作るシリーズの「ゼロから作るDeep Learning ❷ ―自然言語処理編」と対になるような位置付けの良い本と思いました。 じっくり読んでいたので、読了に時間がかかってしまい、本の発売から時間が経った今更のレビューになってしまいましたが、簡単に紹介をしたい
![「Python自然言語処理入門」が自然言語処理の基礎にとても良かった - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c4815e772b700227360cc4bcb53c62fcb2271132/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20200112%2F20200112201529.jpg)
テストを５倍速にする - BASEプロダクトチームブログ
この記事はBASE Advent Calendar 2019の20日目の記事です。 devblog.thebase.in PAY株式会社でテックリードを務める東と申します。 主にバックエンド全般に広く携わっています。最近はサーバーアプリばかり書いていますがインフラもわりとやります。 当ブログの読者の方には弊社のことをご存じない方もたくさんいらっしゃるかと思いますので、簡単に社の紹介をさせていただきます。 PAY株式会社はBASE株式会社の100%子会社で、オンライン決済サービス「PAY.JP」とID決済サービス「PAY ID」などの決済サービスを開発・運営している会社です。 「支払いのすべてをシンプルに」をミッションに掲げ、お金を扱うすべての事業者・個人がもっと豊かな生活ができることを目指しています。 さて、決済というミッションクリティカルなテーマを扱うにあたって、品質保証は最も重要な課題
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PyCon JP 2020 カンファレンス - 資料一覧 - connpass
