Go、Rust、Pythonで実装したAPIサーバーの負荷試験比較 - Qiita
はじめに みなさん様々な言語でAPIサーバーを立てて負荷試験を実施したことはありますか。 私自身、業務でPythonのアプリケーションに対して負荷試験を実施した経験があります。 その際にPythonの速度観点の不安定さを目の当たりにしたと同時に、別の言語ではどのような違いが生まれるのだろうか、という疑問を持ちました。 そこで今回は、簡単ではありますがGoとRustとPythonでそれぞれAPIサーバーを立てて負荷試験をしてみます。 負荷試験対象のAPIサーバー 今回は(1) Hello, World!を返すAPI(2) ファイル読み込みAPI(3)1秒待ってから応答するAPIの3つを実装します。 (1)はAPIサーバー自体の応答速度の計測、(2)はメモリを消費する処理が生じた場合のAPIの応答速度の計測、(3)は待ち時間発生している時のAPIの応答速度の計測することが目的です。 (2)につ
PythonとGoogle Cloud, Spreadsheetで「自分のためのスポーツ観戦DX」をプロダクト化して実現した話. - Lean Baseball
プログラミングとプロダクト作りは楽しいよ, っていう「個人開発ネタ」の話です. スポーツ観戦, 具体的には野球のデータ分析DX（Digital transformation）*1を実現しました. 記事の前半はプロダクト企画とアーキテクチャ, 後半はDash（Python）を使ったマルチページ・データ・アプリケーション開発の話となります. TL;DR SpreadsheetとPythonのアプリケーションでいつでもメジャーリーガー（全選手）のパフォーマンスを好きな条件で可視化できるようにしたら野球が面白くなりました. https://example.com/batter/ohtani-shohei/2024-03-20/2024-04-28?cache=false みたいなURLを開くと, オオタニサンのパフォーマンス（現地時間2024/4/28までの数字） 以下の成績をいい感じにグラフ・可
今さら聞けない自然言語処理(NLP) - Qiita
こちらのイベントで説明した内容の抜粋です。 自然言語処理(Natural Language Processing: NLP)とは 我々が日常的に使っている自然言語をコンピューターで処理する技術です。 そもそも、なぜ自然言語を処理する必要があるのでしょうか？ 世界は自然言語で溢れていますが分析が困難です 2015年、HIMSS(医療情報管理システム協会)は、アメリカのヘルスケア業界において12億の医療ドキュメントが作成されたと推定しました。これ以降、毎年生成される医療テキストデータは増える一方です。電子フォーム、オンラインポータル、PDFレポート、メール、テキストメッセージ、チャットボット、これら全てが現在のヘルスケアコミュニケーションの中心となっていますが、あまりに量が多くて人間による解釈、計測は不可能となっています。 しかし、重要な洞察は自然言語のデータからもたらされます 患者の安全のモ
東京発・AIドリームチーム「Sakana.ai」が45億円調達 元Googleトップ研究者らが設立 AI業界の著名人や日本の大手IT企業も出資
元米Googleの著名な研究者、リオン・ジョーンズ氏とデビッド・ハー氏が東京で立ち上げたAI企業Sakana.ai（東京都港区）は1月16日、シリコンバレーのベンチャーキャピタルやNTTグループ、KDDI、ソニーグループなどから45億円の資金を調達したと発表した。 調達元はシリコンバレーのベンチャーキャピタル米Lux Capitalや米Khosla Venturesに加え、日本ではNTTグループ、KDDI、ソニーグループ、ベンチャーキャピタルのみやこキャピタルやジャフコグループなども出資した。Googleで最高AI責任者を務めるジェフ・ディーン氏や、米Hugging Face創業者CEOのクレム・デラング氏、米Scale AI創業者CEOのアレックス・ワン氏といった個人からも出資を受けた。 調達した資金は人材採用に充てる。国内外から優秀なITエンジニア人材を集め、日本に招致するという。さら
開発者のWindows、macOS、Linux環境を狙ったDangerousPasswordによる攻撃 - JPCERT/CC Eyes
JPCERT/CCは、2019年6月から継続して攻撃を行っている標的型攻撃グループDangerousPassword [1][2]（CryptoMimicまたは、SnatchCryptoとも呼ばれる）に関連すると思われる、暗号資産交換事業者の開発者を狙った攻撃を5月末に確認しています。この攻撃は、マシン上にPythonやNode.jsがインストールされたWindows、macOS、Linux環境をターゲットとしたものです。 今回は、JPCERT/CCが確認した攻撃および使用されたマルウェアについて解説します。 Pythonマルウェアを起点としたWindows環境における攻撃 攻撃者は、QRコードを扱うためのPythonモジュール(https://github.com/mnooner256/pyqrcode)のbuilder.pyというファイルに不正なコードを挿入したものをあらかじめ用意し、
Python 初心者が始める AI 時代の Docker を使ったアプリ開発
最近の AI 技術の進歩は目覚ましく、OpenAI による ChatGPT などの API の提供は沢山のアプリケーション開発者にとって Python を使った開発を始めるきっかけになったのではないでしょうか。筆者もそのうちの 1 人です。 効率的かつ再現性の高い開発環境は必要不可欠であり、それを実現するためのツールの一つが Docker です。Docker はアプリケーションを容易に再現可能なコンテナ内で動作させることができ、開発から本番環境まで一貫した環境を提供します。これで「僕の環境では動いているんですけどねぇ...」といった問題[1]を避けることができます。 本記事では、AI 時代に立ち向かうべく筆者が Python 初心者なりに取り組んだアプリケーション開発の方法の一つを解説します。 ディレクトリ構成 このような形を目指していきました。 . ├── .devcontainer │
さらばAPI、Twitter専用ガジェット「TW BOY」を作って遊ぶ｜fabcross
2023年2月、Twitter APIの有料化が発表された。私も個人制作者としてTwitter APIを使ったサービスを作っていたことがあるので、一時代の終わりを感じて、しみじみとした気分になってしまった。 有料化されるまでは、まだ少し時間があるようだ。最後にTwitter APIを使った何かを作ってみたい。せっかくなので、個人でしか作れないようなものがいい。専用ガジェットなんてどうだろうか？ Twitter専用ガジェットを作る Twitter APIみたいなWeb APIは、いきなり仕様が変わることがあるのでガジェットとの相性が悪い（ファームウェア更新が必要になる）。かつてタカラトミーから「ついまる」という、ツイートを音声で読み上げるおもちゃが発売されていたけれど、これも現在では使用不可能になっている。 だがここで、あえて専用ガジェットである。単に私の趣味の問題でもあるのだけど、「それし
ゼロからはじめるPython(78) Pythonの正規表現を使って200個のファイルをフォルダ分けしよう
正規表現を使ったパターンマッチはとても便利なのだが、なんだか難しそうというイメージを持っていないだろうか。正規表現はワイルドカードを拡張したものと考えて基本だけを覚えるだけでも、いろいろな場面で活用できる。今回は、正規表現を使って大量ファイルの自動分類に挑戦してみよう。 正規表現でファイルをフォルダに分類したところ 正規表現とは？ 正規表現とは文字列を特殊なパターンを使って表現するものだ。ファイル操作に使うワイルドカードを拡張したものと言えば分かりやすいだろうか。今や、正規表現は大抵のテキストエディタに実装されていることもあり、正規表現を覚えるなら、Pythonのプログラミングだけでなく、日々のあらゆる場面で役立つとも言える。 なお、以前本連載の33回目でも正規表現について紹介したが、今回はPythonでファイルを分類する目的のため、基本の基本に絞って紹介しよう。 Pythonで正規表現を
Jenkinsでツールを定期実行しよう｜TECH BLOG｜モノリスソフト
はじめに こんにちは。モノリスソフト 開発環境エンジニアの柴原です。 今回は私がJenkinsでよく使っている実装について紹介をしたいと思います。この記事のエッセンスは以下の通りです。 Pipelineスタイルのジョブ作成の例に触れる ジョブの運用をツール担当者と分担するためのスクリプトの書き方を知る ツールの実行前後の処理はジョブ間でよく似ているものが多いので、ユーティリティを集めたライブラリを作って活用する Jenkinsってなに？ ゲーム開発の現場では、チームメンバーが日々サーバーに製作したデータをアップロードしてくれるわけですが、新しいデータをゲーム上で確認するには、データのコンバートやゲーム実行ファイルの更新が必要です。 このデータのコンバートや実行ファイルの更新を、決められた順序で実行し、完成した最新バージョンのゲームを配布用サーバーに配置するまでを定期的に自動で行う仕組みをC
大切なのは外の世界とつながること。一人の少年がPythonスペシャリストになるまでの軌跡 - Findy Engineer Lab
はじめまして、岡野真也(@tokibito)です。私は現在、ソフトウェアエンジニアとして働いており、株式会社ObotAIの取締役CTOと株式会社オープンコレクターの取締役として2社に所属しています。 エンジニアとして私はDjangoフレームワークを長く使っており、これと併せてPythonも15年以上利用しています。今回、私自身のキャリアについて振り返る機会をいただきました。私がどのように今の立場に至ったのか、技術への取り組み方、キャリアについての考えなどを語りたいと思います。 アウトプットをしながら勉強することでスキルを磨く プログラミングとの出会い ソフトウェアを公開するということ ライブラリ開発、そしてその反応 ウェブアプリケーション開発の世界へ 便利さを求めて始めたサーバー運用 ウェブ開発の必要性を知る Djangoフレームワークとの出会い 就職、そしてコミュニティへの参加 最初の就
Twitter (tweepy)
[追記] API 1.1の終了により、現在ではこの方法は使えません。 tweepy（GitHub: tweepy）は Python で Twitter API を呼び出すツールの一つ。 インストール： pip install tweepy まずは Twitter の Developer Portal の Dashboard でアプリケーション登録をする。 ここでは API 1.1 の Consumer Key，Consumer Secret，Access Token，Access Token Secret を使う方式について説明する。 ソースコードにこれらを直書きするのは危険なので、別の場所に保存する。例えば ~/.twitter.json に次のように書いて、他人には読めないようにしておく： { "consumer_key": ".....", "consumer_secret": ".
Twitter (python-twitter)
[追記] API 1.1の終了により、現在ではこの方法は使えません。 こちらもどうぞ→ Twitter (tweepy) 本稿を書き始めた時点で Twitter libraries の Python の項の一番上にあった python-twitter を試してみた。現在は Twitter libraries のページは Tools and libraries にリダイレクトされる。PYPI の python-twitter のページは2018年で更新が止まっている。 インストールは pip install python-twitter でできる（パッケージ名は twitter になるので pip install twitter で入る twitter パッケージとバッティングする）。 まずは Twitter のアプリケーション登録をする。方法は python-twitter's docum
CPythonのソースコードを読んでみた - estie inside blog
estieでソフトウェアエンジニアをしている安東です。普段の業務で関わっているのはPython製のシステムが中心ですが、過去データを分析するのにちょっとRustを使ってみたりもしています。 こうやって普段からお世話になっているPythonですが、中身がわからないまま使い続けることに対してやや不安を感じることがあります。たしかに書き方だけ知っていれば大抵の場面でなんとかなってしまうのでしょうが、それだけではカバーしきれないところがどんなプロジェクトでも突然やってきます。カバーできる範囲を増やすためにも、突然の出来事の予兆を事前に嗅ぎつけるためにも、プログラムが動いている感覚が地に足ついた形でほしいのです。 ということで、今回はPythonの処理系でおそらく一番メジャーなCPythonのソースコードを読んでみようと思います。ただ、ソースコード全体を読むには時間も記事のスペースも足りないので、今
母が丸一日かけてやっていた手作業をPythonで自動化した息子 エンジニア流「親孝行」に称賛の声 | キャリコネニュース
「母親が丸一日かけて作っていた30人分のシフト表を、プログラムで自動化した」という、とある人物のツイートが大反響を呼んだ。 母親が毎月ヒーヒー言いながらから丸一日かけて作成してた（意味わからないくらい条件が複雑な）シフト表（30人分）を、Pythonで自動作成するプログラム書いてあげた 日曜の3時間生贄になったけど、ITリテラシー皆無な母親は魔法みたいと言って5千円くれたし、PythonでExcel操作する勉強になったから○ このツイートは3.6万いいね、3000回以上の RTを記録。「技術者として最高の親孝行」「うちの息子になってほしい」「日本の未来は明るい」などといった、好意的な反応が寄せられた。 ツイートした24歳のシステムエンジニアmorioさんは、キャリコネニュースの取材にこう語る。 「驚きましたね。Twitterは“見る専”で、たまに気持ちをつぶやくくらい。自分のツイートがバズ
Python互換の静的型付け言語「Erg」
承前 Ergは私が数年前から開発を始め、つい一昨日公開したばかりのプログラミング言語です。 のはずですが、 早速、qnighyさんに捕捉していただきました。ありがとうございます。 この記事ではそのErgがどのような言語なのかざっくりと解説していきたいと思います。なお、紹介した機能の一部は未実装です。実装途中の機能を含むコードには*を、完全に未実装の機能を含むコードには**をつけておきます。 はじめに Pythonは概ね素晴らしい言語です。 オフサイドルールを世に知らしめた(?)、その可読性の高い文法。Numpy, SciPyを始めとする機械学習、科学技術計算用の膨大なライブラリ。 しかしPythonにもいくつかの弱点が存在します。 まず、動的型付け であること。それ自体は弱点というより良し悪しなのですが、明らかに動的型付けでは手に余るPythonプロジェクトが世に溢れています。 次に、一貫
Python初心者からステップアップするために読んでいる本 - karaage. [からあげ]
Python初心者を脱したい 自分が一番使うプログラミング言語がPythonで、量こそそれほど書いてないですが、それなりに長いこと触れています。自分としては、永遠に初心者のつもりで初心者本を読み漁っていました。過去読んで良かった初心者向けの本は以下記事にまとめています。 ただ、初心者向け本だけ延々と読み続けるのもいかがなものと思いなおし、少し（自分としては）骨太な本に触れてみることにしました。 というわけで最近読んでいるPython本を3つ紹介したいと思います。 エキスパートPythonプログラミング 改訂3版 (アスキードワンゴ) 作者:Michaｌ Jaworski,Ｔａｒｅｋ Ｚｉａｄｅ,稲田 直哉,芝田 将,渋川 よしき,清水川 貴之,森本 哲也ドワンゴAmazon きれいなPythonプログラミング (Compass Booksシリーズ) 作者:Al Sweigartマイナビ出版
![Python初心者からステップアップするために読んでいる本 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/8ae26b8b290d6390041891dd8ef9dbce121c3a43/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20220521%2F20220521192148.jpg)
Flaskで個人開発したツール系Webサービスの技術スタック
はじめに 個人開発で日記のWebサービスをリリースしました。ツール系のサービスとしてOAuth認証からStripe課金までひととおり実装したので、個人的には多くの技術的知見を得られました。ここでは一つの技術を深追いせず、利用したライブラリ等についてざっと紹介したいと思います。PythonでWeb開発を行う方やこれからの方も含めて、他の開発者がどのようなライブラリ等を選定してるのか参考になれば幸いです。 サービスの概要 日記をカテゴリごとに登録し、グラフで可視化することで振り返りを促すサービスとなります。 サービスに含まれる機能とその目的を大まかにリストアップします。 OAuthでSNS認証することでユーザーに煩わしいパスワードの管理をさせないこと PC・スマホを問わずどの端末からでも参照・登録できるよう、ブラウザのサイズを問わないレスポンシブ対応とすること 日記をグラフで可視化することで、
Java力をあげるための指針 - きしだのHatena
また「プロになるJava」の宣伝か、と思われるので、今回は「プロになるJava」の宣伝は自粛します。 Java力をあげるためには最適な「プロになるJava」がオススメなんですが、そうするとこのエントリもこのあたりで終わってしまうので、今回は自重します。 ということで、よく「Java力をあげるにはどうしたらいいか」という質問をみかけます。どうしましょうね、という話。 ここで、「Java力をあげたい」と言ってるときの大半はプログラミング力をあげたいという話です。 もちろん「プロになるJava」もプログラミング力をあげるのにとても役に立つのですが、今回は「プロになるJava」以外で攻めてみましょう。 そうすると実のところJavaにこだわる必要がなくて、そして最近はPythonで無償のテキストがたくさん手に入るので、そういうのを見るといいんではないかと思います。 たとえば「Think Python
PyCon JP 2021 で「絵を読む技術 Pythonによるイラスト解析」を発表しました - Hirosaji Tech Blog 🍙
オンライン／オンサイトのハイブリッド会場で開催されたPyCon JP 2021に、Hirosaji（エンジニア名義）とひろさじ（絵師名義）のハイブリッド名義で登壇してきました。 PyCon JP 2019 で登壇して以来、PyConには二回目の登壇です。これまでの登壇史上、最高の登壇体験でした。 今回は、登壇内容のまとめや印象に残ったセッションを、雑感を含めてまとめました。 イベント概要 概要：日本最大級のPythonユーザカンファレンス 日時：2021年10月15日（土）～ 2021年10月16日（日） 会場：オンライン（ZOOM + Discord）／オンサイト（ベルサール神田） 公式 HP：https://2021.pycon.jp/ 登壇内容 絵を読む技術 Pythonによるイラスト解析（Hirosaji / ひろさじ, 30min） 一言で言うと、「イラストで絵師が伝えたいことを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python だけで作る Web アプリケーション(フロントエンド編)
