Lambda関数が突然動かなくなった話 - サーバーワークスエンジニアブログ
はじめに 前提 ある日のこと ググってみる botocore、boto3 のバージョンを確認してみる 徐々に核心に なぜバージョン競合が発生するのか 原因まとめ 対応 おわりに はじめに サーバーワークスの宮本です。今回は本番運用していた AWS Lambda 関数が何も変更していないのに突然動かなくなった話を共有します。一見すると信じられない話ですが、最後までお読みいただけると幸いです。 前提 対象の Lambda 関数に関する基本情報（今回の話に関係ある部分のみ）は以下の通りです。 2023/01 に初回デプロイし、運用を続けていた ランタイムは Python3.9 依存ライブラリは Lambda Layer にまとめている 月に数回動かすようなバッチ処理 ある日のこと 4月某日のことです。当該 Lambda の実行でエラーが発生したことが通知されました。以下はエラー内容の抜粋です。
Pythonベースの負荷テストについて知っておくべきこと
アプリケーションに多くのユーザーが同時にアクセスすることで、障害が発生する危険性がある。そうした需要に対応する準備が整っていることを確認することは重要だ。本稿では、負荷テストのベストプラクティスにPythonを利用できる箇所と、アプリケーションを適切に準備する方法を解説する。 アプリケーション開発チームは負荷テストを実施することで、少なくとも所定の負荷値まではアプリケーションが想定通りに機能することを保証できる。だが、負荷テストを重視しない開発チームがあまりにも多い。 開発者がスポットチェックを行ったり、パフォーマンスを高めるコーディング手法を採用したりすることは可能だ。だが、予期しないユーザー負荷が原因でサーバがロックすると、企業もユーザーも不意を突かれることが多い。負荷が高過ぎてアプリケーションが機能しなくなるのは恥ずべきことだ。 そこで、本稿では、負荷テストのベストプラクティスにPy
Pythonのデコレータを理解するまで
@xxxという書き方をみると何か変わった機能なのかと思うかもしれませんが、ただの関数を受け取り関数を返す関数というのを頭に入れておくと、デコレータの理解が進むと思います。 関数デコレータの作成 関数の開始時間・終了時間・処理結果をプリントするmy_loggerデコレータを作ってみます。 import datetime def my_logger(f): def _wrapper(*args, **keywords): # 前処理 print(f'{f.__name__}の実行') print(f'開始: {datetime.datetime.now()}') # デコレート対象の関数の実行 v = f(*args, **keywords) # 後処理 print(f'終了: {datetime.datetime.now()}') print(f'実行結果: {v}') return v r
開発品質とDeveloper eXperienceを高めるコンテナ開発環境のご紹介 (Python) - ABEJA Tech Blog
はじめに こんにちは 2023年1月に入社し、システム開発グループでエンジニアをしてる春名です。 私の所属しているシステム開発グループでは、開発初期の環境構築をより効率的に行うための活動に取り組んでいます。 今回はそのうちの一つである、Pythonでコンテナ開発をする環境を構築した内容をご紹介します。 なぜコンテナ開発環境かと言いますと、単にAWSのECSやGoogle CloudのCloud Runを使ってデリバリーする案件が多いからです。 より使用頻度の高い開発環境を整備し、テンプレート化しておくことで開発の効率化に活用しています。 目次 はじめに 目次 今回作成する環境 Poetryによるプロジェクトの作成 Poetryのインストール プロジェクトの作成 poetryの設定 .gitignoreの作成 依存関係の追加 FastAPI Ruff / Black / mypy / pyt
2023年 研究開発部 新卒技術研修 ~ テストコード編 ~ - Sansan Tech Blog
こんにちは、研究開発部 Data Analysisグループの笛木です。 4/26（水）〜 4/28（金）で研究開発部内の技術研修を行いました。 こちらのブログの続きでテストコードについての研修資料を一部公開します。研修では新卒2年目の私が1年間で部内のコードなどから学んだ情報を共有しました。至らない部分もあるかもしれませんが、ご参考になれば幸いです。 こちらの研修で使用したGitHubのコードリンクは以下です。適宜、ご参照ください。 github.com 目次 目次 はじめに この研修の目的 研修スコープ外 テストコードについて テストコードの便利な点 テストコードの悪い例 テストコードに関するFAQ pytestによるテストコードの書き方 ファイル名 ディレクトリ 基本編 Parametrize Fixture 異常系 Mock indirect conftest 知っておくと活用する場
シェルスクリプトとの対比で理解するPythonのsubprocess - 朝日ネット 技術者ブログ
はじめに 開発部の ikasat です。 皆さんは git, ssh, rsync のような外部コマンドを呼び出すスクリプトを書きたくなったことはありますか？ 個人的にこの類のスクリプトは最初はシェルスクリプトとして書くのですが、改修を重ねるうちに肥大化して処理も複雑になり、 後から Python のような汎用プログラミング言語で書き直すことがよくあります。 外部コマンド呼び出しを書き直す際に、Git 操作のために pygit2、 SSH 接続のために paramiko のようなライブラリをわざわざ使うのは大がかりだったり、 rsync に相当するようなこなれたライブラリが存在しなかったりする場合があります。 そのような時は標準ライブラリの subprocess モジュールを利用し、Python から外部コマンドを呼び出すことになるでしょう。 しかしながら、Python のチュートリアルペ
Pythonのloggingをイメージで理解する【Python Logging徹底解説】
記事を書いた背景 最近業務で業務効率化のオンプレwebアプリケーションや自動化プログラムを作成する機会増えているが、特に自動化プログラムにおいてlogという存在の重要性をより強く感じている。 作成したアプリケーションやシステムの数が増えるほど、個々の動作確認に割くことができる工数が限られてくるため、より分かりやすいフォーマットで効率よくログ収集する必要がある。 この記事では、Pythonにおけるloggingを"イメージ重視"でわかりやすく解説していく。 この記事の想定読者 Python "Logging HOWTO"の基本loggingチュートリアルを読んだことがある人 Pythonのシステムにしっかりとカスタマイズしたlogを組み込みたい人 Pythonのloggingを用いてターミナル等に簡単なlogを出力できる人 loggingを触ったことが無い人 Python Loggingをイ
WSL2+asdf+venvでのpython環境構築メモ - Qiita
はじめに メモ兼共有用 実行環境 windows11 + WSL2で実行 VSCode + Remote WSLが入っていることを前提 ubuntu20.04でも基本は同じ(WSL2インストールパートを飛ばしてください） 実際の使用方法 先に使い方を書いときます # 作業するディレクトリの作成 mkdir myproject cd myproject # pythonのバージョンの設定 # asdf install python <使用するバージョン> asdf local python <使用するバージョン> # 仮想環境の作成 python -m venv .venv source .venv/bin/activate # パッケージのインストール pip install <packagename> # 実行 python <実行するファイル名> WSL2のインストール WSL2とは
pipとpipenvとpoetryの技術的・歴史的背景とその展望 - Stimulator
- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。 特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。 本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれのツールに対してフラットな背景、技術的な説明を示しながら、所属企業内にてpoetry移行大臣として1年活動した上での経験、移行の意図について綴り、今後のPythonパッケージ管理の展望について妄想するものである。 注意：本記事はPythonパッケージ管理のベストプラクティスを主張する記事ではありません。背景を理解し自らの開発環境や状態に応じて適切に技術選定できるソフトウェアエンジニアこそ良いソフトウェアエンジニアであると筆者は考えています。 重要なポイントのみ把握したい場合は、各章の最後のまとめを読んで頂
Poetry はじめました - チーム開発における Python の開発環境 - 電通総研 テックブログ
こんにちは。 XI 本部 AI トランスフォーメンションセンター所属の山田です。 今回は、Python の Web アプリケーション開発環境において Poetry を利用し始めたことについて紹介します。 背景 私たちのチームではデータ分析、システム開発ともに Python を使用しています。 これまで、Python を業務で使う際にはパッケージ管理ツールにpipを利用してきました。 しかしながら、継続的に開発・更新を繰り返すことを見越したシステム開発ではたびたび問題を引き起こすことがあり、見直しを図ることにしました。 pip で感じていた課題 まずpipを利用時に感じていた課題を整理します。 pip install パッケージ名で導入した際にrequirements.txtへの記載漏れというヒューマンエラーが発生する。 requirements.txtにおいてパッケージバージョンの記載漏れ
PythonやR対応の統合開発環境「JupyterLab 4.0」正式リリース。 より効率的なレンダリング、リアルタイムコラボレーション機能が分離など
PythonやR対応の統合開発環境「JupyterLab 4.0」正式リリース。 より効率的なレンダリング、リアルタイムコラボレーション機能が分離など Project Jupyterは、オープンソースで開発されているWebIDE「JupyterLab 4.0」の正式リリースを発表しました。 JupyterLabは、Webブラウザから使えるPythonやR、Scala言語などに対応した統合開発環境です。 Project Jupyter傘下のプロジェクトには「JupyterLab」以外に「Jupyter Notebook」「Jupyter Desktop」もリリースしています。 JupyterLabは、PythonやScala、Rなどのコードを打ち込んですぐに実行できるインタラクティブなデータ解析環境であった「Jupyter Notebook」をベースとし、そこにターミナル画面の機能、ファイル
Pipfile.lockで固定された依存関係を再現するならpipenv syncコマンドを使おう | DevelopersIO
こんにちは、CX事業本部の若槻です。 今回は、Pipenvで仮想環境を再現するコマンドを色々と触ってみたところ、「誰かが作成したPipfile.lockをもとに、別のメンバーが同じ依存関係（パッケージバージョン）の環境を再現するならpipenv syncコマンドを使えば良さそう！」という結論に至ったのでご紹介します。 Pipenvとは Pipenv: Python Dev Workflow for Humans Pipenv is a tool that aims to bring the best of all packaging worlds (bundler, composer, npm, cargo, yarn, etc.) to the Python world. Windows is a first-class citizen, in our world. It automat
pyenvとpipenvで、快適Python生活（Windows向け）
概要 Windowsで、複数バージョンのPython扱う「pyenv」と フォルダごとに仮想環境を立ててライブラリ等を管理する「pipenv」を導入し 快適なPython生活を手に入れることが目標です。 背景 これまで、Pythonのインストールといえば「Anaconda」をインストールすることが定石でした。 Anacondaには、numpyやpandasといった主要なライブラリや Jupyter Notebook（今はJupyter Labですね）といったツールがデフォルトで入っており さらには、フォルダごとに環境を作ったりということもやってくれて便利でした。 しかし、Anacondaは執筆時点で、商用利用では有償となっています。 本来はAnacondaの有償プランも検討すべきですが、事情により出来ない方に向けて、本記事を共有します。 ※参考記事 事前作業（pythonエイリアスオフ）
pyenvとpyenv-virtualenvの自分流使い方 - Qiita
はじめに 同僚に「Pythonの開発環境って pipenv 一択ですよね」と言われて「いや、自分は pyenv + pyenv-virtualenvで不自由していないんだよな」と思いながらも「こう使えば良いよ」と渡せるものが無かったので書くことにしました。 2022.08.11 追記 200LGTMありがとうございます。もうすぐLGTMじゃなくなるみたいですがww、キリ番でTwitterに投稿していただいたみたいです。なお、私自身はここで紹介させてもらった pyenv + virtualenv から Poetry に移行していて、それに関しても「Poetryをサクッと使い始めてみる」で簡単にまとめているので合わせてどうぞ。 pyenv / virtualenv とは pyenvおよびpyenv-virtualenvに馴染みのない方に向けて説明しておきます。 まず、pyenvは「一つのマシン
Poetryをサクッと使い始めてみる - Qiita
はじめに 以前、pyenvとpyenv-virtualenvの自分流使い方という記事を書きました。その終わりの部分で「pyenv-virtualenv+pipをpoetryで置き換えられるんじゃないかな」と書いていたのですが、実際に試してみた結果をご紹介したいと思います。結論から言うと、pyenv-virtualenvとpipは使わなくなりました（笑） Poetryとは PoetryはPythonのパッケージマネージャの一つです。v1.0になったのが2019年末なのでまだまだ新しいツールです。pipと同じようにパッケージをpypiなどからダウンロードしてきてインストールすることができますが、それに加えて次のようなこともできます。 パッケージ管理ファイルの生成・変更 インストールされているパッケージのアップデート プロジェクトごとの仮想環境のセットアップ などなど... 他の言語だと、npm
Dev Containerを使ってステップバイステップで作るPythonアプリケーション開発環境 - 電通総研 テックブログ
みなさんこんにちは、電通国際情報サービス（ISID）Xイノベーション本部ソフトウェアデザインセンターの佐藤太一です。 この記事では、VS CodeのDev Containerを使ってOSに依存しないPythonの開発環境を構築する方法をステップバイステップで丁寧に説明します。 VS Codeの利用経験があり、またPythonによるアプリケーション開発に興味のある方を想定読者として記述しています。Pythonの初心者から中級者向けを意識して書いていますので、意図して冗長な説明をしています。 すでにPythonによるアプリケーション開発に十分に詳しい方は、まずはまとめだけ読んでみてください。私自身それほどPythonのエコシステムに詳しいわけではありませんので、知識の抜け漏れは恐らくあるでしょう。そういった事に気が付いたら、XなどのSNSでこの記事のURLを付けてコメントをしていただけると幸い
【プログラミング】anaconda の有償回避方法と代替案 - 日々ブログ
久しぶりの投稿です。 連続投稿を辞めてからの体たらくっぷりは自分でも驚きます。 とはいえ何もしていなかったわけでもないのですが。 そのあたりは時期を改めていつか記事にできればな～と。 今回は、anaconda が有償化されてから久しいので、自分の理解を整理するためにもライセンス周りについての記事をまとめたいと思います。 Anacondaとは 有償版Anacondaの特徴 本当にAnacondaが必要か Anacondaを無償で使える条件 Anacondaが有償していることを知らずに使用している場合 Anacondaのライセンス回避方法 個人での営利目的の使用は法人化する Anacondaの代替案 方法１：minicondaでインストールする 方法２：単なる科学計算ならjupyter labを使用する 方法３：仮想マシンを用いる 方法４：開発者権限管理が欲しいならgithubがgitlab
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はじめに — Python早見帳
無料で会員登録も不要なWeb上の「Python」実行・学習環境「PyWeb」が正式公開／初学者向けでチュートリアルやサンプルコードも利用できる
Pythonプログラミング入門