この記事のモチベーション 昨年、生産技術職からデータ分析業に転職し、Pythonを書く機会が多くなりました。今は機械学習用の前処理ツールを開発する案件に携わっています。そんな中、生産技術者として働いていた時のことを顧みると自動化できた作業が色々あったなーと思いました。転職後に得たPythonの知識と生産技術者時代の知見を踏まえて、再び製造現場で働く際に使えそうなネタを記載します。同じようなニーズに直面している方の参考にもなれば幸いです。 本記事は既存技術を組み合わせてこうしたら良さそう！ということを記載したものであり、技術的に目新しいことがない点を初めに断っておきます。 自動化する内容 生産技術者として働いていた時に工程から出てくるデータを1日の終わりに集約するという作業がありました。製造装置のログや検査結果を製品ごとにcsvファイルで保存し、1日の終わりに集約してその日の進捗率や不良率を

現代の主なOSと言ったら、Mac OS，UNIX，Linux，Windowsなどがあります。これらのOSは「マルチタスク」機能をサポートしています。 マルチタスクとは？と思うかもしれませんが、例えばブラウザーを立ち上げて、音楽聴きながら、Wordでレポートを書くというシチュエーションでは、少なくとも3つのタスクが同時進行しています。そして、表のタスク以外に、裏ではOS関連の様々なタスクがこっそり動いています。 マルチコアのCPUで、マルチタスクが処理できるのは理解しやすいですが、シングルコアのCPUでもマルチタスクが可能です。OSはそれぞれのタスクを交替に実行しています。例えば、タスク1を0.01秒、タスク2を0.01秒、タスク3を0.01秒、タスク1を0.01秒......繰り返して実行していきます。CPUは速いので、ほぼ同時進行のように感じます。この交替実行のことをしばしば「並行処理（

PyCon mini Shizuoka で発表する内容のスライドです。 PythonのGUIライブラリPySimpleGUIを使用してデスクトップアプリを作成する方法を紹介します https://shizuoka.pycon.jp/session/dario_okazaki/ code: https://github.com/okajun35/for_pycon_shizu

はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最低限必要なやつだけなんや…！、という人のためのPandasマニュアルです。 また、単に機能を説明するだけでは実際の処理動作がわかりにくいため、ここではSIGNATE(旧DeepAnalytics)のお弁当の需要予想を行うコンペのデータを拝借し、このデータに対

Jupyter Notebook(以降 Notebook) は実行可能なプログラムコードや分析結果、グラフなどを含んだドキュメントを作成するための OSSです。 画像：https://jupyter.org/ Pythonによるデータ分析でよく利用されます。 特徴として 「Markdown セル」と「Code セル」 を Notebook内へ配置できます。 データ分析のプロセスの文脈を Markdownセルに書くことで、 プログラムのコメント以上の表現力で、プロセスを記述できることできます。 データの可視化についても、Notebookは優秀です。 Matplotlib のグラフや、Pandas のテーブルなどを Notebook内にインライン表示してくれます。 さて、Markdownセルによるドキュメンテーション、 pandas によるテーブル表記でふと思いました。 「Jupyter No

Python“らしさ”を支える技術。pandasコアコミッターが大事にするマージの方針 数多いPythonライブラリの中でも、データ解析の用途で大きな存在感を示すのが「pandas」です。そしてこのpandasのコミッターを務めるのが、sinhrksこと堀越真映さん。コミッターが感じるOSSのありよう、そしてPythonらしさを教えてもらいました。 データサイエンスや機械学習の流行に伴い、業務でPythonが使用されるケースが増えてきました。Pythonが選ばれる理由はさまざまですが、「データサイエンスや機械学習に適したライブラリが数多くある」という特性は、この言語が重宝される理由のひとつでしょう。 たとえば、データ分析のための高速で使いやすいデータ構造を提供するpandas。NumPyやpandasのAPIを利用して並列計算・分散処理を行えるDask。こうした海外で開発が主導されたライブ

Pythonでプログラミングすれば、Excelを起動することなく、任意のセルのデータを抜き出したり、加工したりできます。「売上伝票（Excelデータ）の値をWeb販売管理システムに入力するため、CSVファイルに転記する」作業の自動化を通じて、具体的な方法を見ていきましょう。 前回、この作業を自動化するPythonのソースコード（sales_slip2csv.py）を紹介しました。 1　import pathlib # 標準ライブラリ 2　import openpyxl # 外部ライブラリ 3　import csv # 標準ライブラリ 4 5 6　lwb = openpyxl.Workbook() # 売上一覧のワークブックをlwbとして作成 7　lsh = lwb.active 　　　　# デフォルトで作成されるワークシートを選択 8　list_row = 1 9　path = pathl

「Excelデータをプログラムで扱うのなら、VBA（Visual Basic for Applications）を使うべし」。多くの人はそう思っているでしょう。もちろんVBAはMicrosoft Officeのソフトを操るのにとても便利なプログラミング言語ですが、弱点もあります。 その1つが、Officeにしばられてしまうこと。業務に必要なデータ量がExcelや「Access」のカバーする範囲で収まらなくなったら、もう扱えません。 また互換性の問題から、Windows上で書かれたVBAのソースコードは基本的に、macOSやLinuxでは動かせません。VBAはプログラミング初心者にとって理解しやすい一方で、コードが冗長になりがちという側面もあります。 今からプログラミングを学んで業務を自動化したいなら、筆者はPythonをお薦めします。Pythonはシンプルで勉強しやすく、ライブラリーが豊富

プログラミング言語のトレンドは時代とともに移り変わっても、その考え方や利用されるアルゴリズムは変わりません。ソフトウェア開発においてアルゴリズムは効率化や高速化といった恩恵をもたらすため、できれば基本から押さえておきたいところ。今回は、ユーザーの多いPythonでアルゴリズムを学べる『Pythonではじめるアルゴリズム入門』（翔泳社）から、線形探索と選択ソートの手法を紹介します。 リストから目的の値を見つけられるようになる。 データ量が多い場合の問題点を体験する。 多くのデータの中から欲しいデータを見つけることを「探索」といいます。私たちの生活の中でも、欲しいものを見つけるために探す場面はよくあります。そして、その探し方は探すものや量によって変わってきます。 実際にどのような探索方法があるのか知っておきましょう。 日常生活における探索を知る 探索を行なうのはプログラミングに限った話ではあり

2019年9月16日/17日に開催されたPyCon JP 2019で自分が直接/YouTubeで聴講したセッションについてのまとめです。主に下記の内容を書いています。 スピーカーURL 配信動画 スライド 発表内で出てきたライブラリなどのURL 自分の感想 「あのセッションで話していたライブラリなんだっけ」と思い出したい方やざっくり内容が知りたい方に読んでいただければ幸いです。PyCon JPに自分も発表者としても参加し、スタッフとして参加し、Webサイトの開発もしたので、それについては改めて書きたいと思います。 pycon.jp PythonとAutoML / 芝田 将 スピーカー: https://twitter.com/c_bata_ 動画: https://www.youtube.com/watch?v=Whkwu46DgBs スライド: https://www.slideshar

毎年恒例、Pythonの本と学び方のまとめ・2019年バージョンとなります. ※2021/1/11更新：2021年版あります ※2020/1/9更新：2020年版もあります, こちらもよろしくおねがいします！ ※ちなみに昨年版はこちら 改めましてこんにちは、Pythonと野球を仕事にしています、@shinyorke（Python歴おおよそ8年）ともうします. なお、Python その2 Advent Calendar 2018 12/24記事でもあります. このエントリーはそこそこ長いので、「最初の方をサクッと読んで、残りはつまみ読み」してもらえると良いかもです！*1 ※もちろん全部読んでも構いません！（それはそれで嬉しい） サクッとまとめると 入り口としての「独学プログラマー」は万人が読んだほうが良い名著 データ分析・解析やりたい人も、Webからやっておくと良いかも（特に前処理） Web

(更新日：2019/8/17  コメントをいただいての追記、表記ゆれ等修正をしました。） Pythonエンジニア認定基礎試験を受けて合格しました 勉強のきっかけ 試験勉強前の私の知識 勉強の期間 勉強のステップ その１ ネットの先達の意見を参考にする その２ 『独学プログラマー』を読む その３ PyQをやる その４ 公式テキストを読みながらColaboratoryでコードを動かす その５ DIVE INTO CODEで模擬試験を受ける 試験当日と感想 Pythonエンジニア認定基礎試験を受けて合格しました これから試験を受ける方の参考になればと思い、合格までのことを書きます。久しぶりに試験を受けたのでなかなか大変でした。 勉強のきっかけ Pythonを使ったデータ分析と業務の自動化に興味があるので。VBAでエクセル作業を自動化するのは仕事でやっていたのですが、場当たり的な勉強ですませていま

ソフトウェアエンジニアにとって、不具合に対抗する最も一般的な方法は自動化されたテストを書くこと。 テストでは、書いたプログラムが誤った振る舞いをしないか確認する。 一口に自動テストといっても、扱うレイヤーによって色々なものがある。 今回は、その中でも最もプリミティブなテストであるユニットテストについて扱う。 ユニットテストでは、関数やクラス、メソッドといった単位の振る舞いについてテストを書いていく。 Python には標準ライブラリとして unittest というパッケージが用意されている。 これは、文字通り Python でユニットテストを書くためのパッケージとなっている。 このエントリでは、最初に unittest パッケージを使ってユニットテストを書く方法について紹介する。 その上で、さらに効率的にテストを記述するためにサードパーティ製のライブラリである pytest を使っていく。

Pythonの代表的な用途には、データ分析／機械学習のシステム開発が挙げられる。このようなシステムは、素早くプロトタイプを作成して試行錯誤を繰り返す効率的なPoC（概念実証）が欠かせない。Pythonの開発ツールやライブラリーには、PoCの生産性向上をサポートする機能が充実している。 以下では、Pythonで効率的なPoCを実現するのに役立つツール群を紹介しよう。また、Pythonでのチーム開発や全社展開に欠かせないコーディング規約や、Pythonの弱点の1つといえる性能問題への対処法についても解説する。 Pythonによるシステム開発で利用される主な開発環境を以下に示す。 このうち、効率的なPoCを支援するツールの代表格は、Pythonプログラムの開発環境である「Jupyter Notebook（ジュピター・ノートブック）」だ。このツールの特徴は、対話形式で開発できることである。例えば、

Windows 10／11にPython環境をインストールする Windows 10／11では、Windowsターミナル（コマンドプロンプトやPowerShell）で「python」コマンドを実行することで、Python環境のインストールが可能だ。ただし、通常のインストールパッケージを使ってインストールする方法とは異なる点もあるので注意が必要だ。 人工知能（AI）開発で広く使われていることからプログラミング言語の「Python（パイソン）」の人気が高まっている。Pythonがどのようなプログラミング言語なのかについては、Python入門「Pythonってどんな言語なの？」を参照してほしい。 Microsoft EdgeやWindows 11でAIチャット機能をサポートするなど、AIに力を入れているMicrosoftも、その人気にあやかってか、Windows 10／11でPythonを簡単に

Pythonはコードが書きやすい？ご冗談でしょう ・とにかくコロンを忘れまくる ・Pythonでは、関数が返す値には明示的に「return」を付ける必要がある ・リストに対してmapやfilterといった関数を適用した結果が、リストではなくイテレーターのオブジェクトになっている こんなのを槍玉にあげてるの？ご冗談でしょう。 今こそあの記事を復活させなきゃいけない気がしたので、自分の昔のブログからサルベージ1しました。またせっかくなので、新しく加筆しました。Python の本当の落とし穴、ご査収ください。 自作の test.py を import しようとしてもできない 多くの初心者がハマることですが、自分で test.py というファイルを作って実行しようとしても、うまくいかないことがあります。 bash$ vi test.py # test.py というファイルを作った bash$ ca