StartupStockPhotosによるPixabayからの画像 こんにちは。倉内です。 プログラミングの学び方はさまざまですが、最近は学習サイトを利用する方も増えています。 PC（もしくはスマホやタブレット）とインターネット環境があれば始められることから、書籍を購入したりスクールに通ったりするより手軽に学習をスタートできます。 特に機械学習やデータ分析の分野で人気の高いPythonは、学べるサイトもたくさんあり「どれを利用しようか迷う……」「違いはなんなんだろう……」と思う方もいるかもしれません。 そこで今回はPythonの基本を学びたい方向けに、おすすめの6つのサイトを学習内容、学習形式、料金などの項目で比較してみたいと思います。 なお、各学習サイトの情報は2020年7月31日時点のものです。 学習サイト6つの基本情報 学習形式・料金比較 サービス名 形式 料金 Progate スラ
なぜ僕が「SPAはコストが高い」と考えているのか を読みました。 「反論お待ちしています」とのことなので、書いてみます。 結論としては、 コストが低いのは慣れているほうだよ。 どっちも使えるならSPAのほうが低いよ。 です。 前提 元記事で挙げられている前提をまとめます。 用語 SPAとは、クライアント側でビューを構築する方式を指す MPAとは、サーバ側でビューを構築する方式を指す 背景 エンジニアのスキルはあまり高くない 開発期間は1.5年未満 PMFを意識したフェーズであり、チャレンジを繰り返す ログイン機能が存在するサービスを作る コストの定義 エンジニアの採用のしやすさ サービス開発の 初速 サービス開発の 継続性 分業のしやすさ、手伝ってもらいやすさ web標準の挙動の実現のしやすさ セキュアなデータを流出する可能性の高低 バグがあった時の気づきやすさ / 対応のしやすさ ドキュ
この記事では、 Python で作成したアプリケーションを動かすのにオススメのVPSサーバーをランキング形式で紹介します。 ・DjangoやFlaskで作成したWebアプリを公開したい ・仕事や研究で作成したPythonプログラムを24時間稼働させたい こういったニーズを持つ方はぜひ最後まで読んでみてください。 1位 ConoHa VPS メリット 初期費用無料かつ月額料金が安い 利用者数の多いのでネット上に情報が豊富で、何かでハマっても対応しやすい クレジットカードを持っていなくても支払いが行える デメリット 最安プランだと制限が多い ConoHa VPSは東証一部上場企業のGMOグループが運営するサービスで、国内のVPSサーバーの定番といった位置づけです。 まず第一に料金的にオススメなサービスです。 月額料金は最も安いものだと600円代ですし、初期費用も発生しません。 （ただし、最安プ
PythonのWeb frameworkで、Flaskのようなマイクロフレームワークにあたります。 パフォーマンスの高さ、書きやすさ、本番運用を強く意識した設計、モダンな機能などが強みです。 FastAPIはStarletteの肩に乗る形で書かれており、非同期処理が扱いやすいです。 特に、以下の様な特徴があります。 ASGI websocketのサポート GraphQLのサポート バックグラウンドプロセスが扱いやすい python type hintによる自動ドキュメント生成 (Swagger UI) pydanticをベースとしたdata validation 率直に言って、responderに非常に似ています。(でた時期も近いですし、responderもStarletteがベースなので) ですが、下の2つはFastAPIの方がよっぽど使いやすく設計されています。 以下の観点から総合的に
![[FastAPI] Python製のASGI Web フレームワーク FastAPIに入門する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d013e1977441113d06dd0aef1cf98cfbecd57336/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCRmFzdEFQSSU1RCUyMFB5dGhvbiVFOCVBMyVCRCVFMyU4MSVBRUFTR0klMjBXZWIlMjAlRTMlODMlOTUlRTMlODMlQUMlRTMlODMlQkMlRTMlODMlQTAlRTMlODMlQUYlRTMlODMlQkMlRTMlODIlQUYlMjBGYXN0QVBJJUUzJTgxJUFCJUU1JTg1JUE1JUU5JTk2JTgwJUUzJTgxJTk5JUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz0wYmM4MmFjM2VlNmE2NDMzZGU1ODlmOGE4NTA5OWZmNw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBiZWUyJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1lMjMzMGZlMmI0YWE0NGQyZDQ5YjRlZGQzNTFkMmU1Mw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D9efbb9f717aa9ad6aad0e5ba4894ec3c)
AWS による docker コンテナのオーケストレーションサービスである Amazon ECS / Fargate のヘルスチェックの挙動について調査する機会がありましたのでアウトプットしておきたいと思います。 前提として Fargate で ECS のサービスとして、ロードバランサーは Application Load Balancer（ALB）を利用して実行するケースで調査しました。網羅的ではない点、ご了承ください。 ECS におけるヘルスチェック さて、ECS でサービスを実行する上で、いわゆる「ヘルスチェック」は2種類あります。 Elastic Load Balancer（今回は ALB）に関連付けられる Target Group によるヘルスチェック タスク定義のコンテナに対して実行する docker によるヘルスチェック（参考 : docker ドキュメント, AWS ドキュ
初めに 株式会社デジサク がお送りするプログラミング記事、 今回はPythonでサービス開発できるまでのロードマップを扱っていこうと思います。 この記事は 『プログラミング未経験からPythonでサービス開発できる』 ことを目標に、習得すべきスキルを学習ロードマップとして整理しました。 毎日２～３時間（土日は+２時間） 続ければ最短３ヵ月で完了できる内容に絞りました。 すでに習得済みのスキルは飛ばしつつ進めて大丈夫です。 Rubyなど他の言語でも大筋は同じ流れなので、 Pythonと書いてある部分を、そのままRubyと読み替えれば大丈夫です。 ※なお、Twitter でもプログラミングに関する情報を発信しています。 もし良ければ Twitterアカウント「Saku731」 もフォロー頂けると嬉しいです。 学習ロードマップの全体像 まず、サービス開発に必要なスキルは大きく分けて１０種類ありま
Githubの新しいセキュリティ機能 CodeQLを使ってみる - Security Index
CodeQLは、Semmleが提供しているコードセマンティック解析に使用するツールで、脆弱性やコードの品質の可視化を行うことができます。 2019年9月18日にGithubがCodeQLを開発しているSemmleを買収し、現在「GitHub Code Scanning」(リミテッドベータ)として利用することができるようになりました。 Welcoming Semmle to GitHub - The GitHub Blog GitHub、コードの脆弱性を発見してくれる「GitHub Code Scanning」発表、修正方法のアドバイスも。GitHub Satellite 2020 － Publickey 現在でもSemmleのLGTMからCodeQLを利用することができます。 CodeQLを少し使ってみたので紹介したいと思います。 CodeQLを使ってみる Github連携 Alert :
機械学習エンジニアの吉田です。 夏ですね。7月はLayerXエンジニアブログを活発にしよう月間 です。 昨年バクラクOCRの機械学習モデルの検証から本番投入までの取り組みについて記事を書きました。 tech.layerx.co.jp その後、運用する中で新たな課題が生まれたり、負債を解消するために当初の開発環境を見直しアップデートしてきました。 今回は機械学習周辺の技術スタックに焦点を当ててその変遷について紹介したいと思います。 MLチームでは各サービスからのリクエストを処理するAPIやデータ基盤、社内のアノテーションツールなどの開発も行っており、これらは主にGo, TypeScriptで開発されていますが今回は対象外としています。 技術スタックの変遷 本番リリース時と現在の主な技術スタックの比較です。 リリース時 現在 言語 Python Python パッケージ管理 pip Poetr
*印が付いているものは初めてさわった技術です。はい、お恥ずかしながらすべて初物です。（普段はJavaとかJavaとかJavaとかさわってます） Vue.jsを使用したSPAで作成しています。当初はRuby on Railsで作り始めたのですが、作るWebサービスを考えるとバックエンドはフルスタックなものはいらない・むしろデータ加工したAPIを返すだけで良いんじゃ？と思い、一気に方針転換してSPAで作るように変更しました。 バックエンドフレームワークも、Flaskに変更しました。 Flaskは一般にマイクロフレームワークと呼ばれていて、1ファイルで成り立つようなくらいなモノで小さく始められます。 が、Flaskの機能自体は少ないわけではなく、ディレクトリ構成なども特に規定があるわけでもなく、自由なので初心者には結構難しいFWなのかなという感じでした。 （RailsやDjangoのように規約に
MeCabをPythonで形態素解析 + FlaskでAPI | Tech Blog | CRESCO Tech Blog
MeCabは 京都大学情報学研究科−日本電信電話株式会社コミュニケーション科学基礎研究所 共同研究ユニットプロジェクトを通じて開発されたオープンソース 形態素解析エンジンです。 言語, 辞書,コーパスに依存しない汎用的な設計を 基本方針としています。 パラメータの推定に Conditional Random Fields (CRF) を用 いており, ChaSenが採用している 隠れマルコフモデルに比べ性能が向上しています。また、平均的に ChaSen, Juman, KAKASIより高速に動作します。 ちなみに和布蕪(めかぶ)は, 作者の好物です。
Pythonライブラリとは Pythonのライブラリとは、複数のパッケージをまとめたものです。パッケージは複数のモジュールをまとめたもので、モジュールは複数の関数をまとめたものです。 つまり、 のような関係性があります。 ライブラリには、標準ライブラリと外部ライブラリがあります。標準ライブラリは、Pythonをインストールした際に標準でインストールされているライブラリです。そのため、自分でインストールをする必要はありません。 対して外部ライブラリは、標準ではインストールされておらず自分でインストールが必要なライブラリです。 ではここからは、各ライブラリの紹介しましょう。 まずはこれから！標準ライブラリ3選 標準ライブラリでおさえておきたいライブラリは3つです。 pip Pythonで書かれたライブラリをインストールや管理をするためのライブラリがpip。ライブラリをインストールする場合、pi
ゲセガーガーガーガーガーガーガーガーガー！！ ｵｳ、ｵｳ！（ﾄﾞｭﾝ、ﾄﾞｭﾝ、ﾄﾞｭﾝﾝ）ｵｳ、ｵｳ！ どうもー @fujitako03 です！よろしくおねがいしますー これはBrainpad AdventCalendarの記事です。 今年のM-1、最高に面白かった！今年のM−1グランプリは皆さんご存知の通り、ミルクボーイが歴代最高得点を出しての優勝となりました。私も、コーンフレークのネタは自宅の机を叩きながら今年一番の大笑いをしました。 今年は歌ネタのニューヨークを皮切りに、鼓や扇子を使った漫才のすゑひろがりず、ツッコまないツッコミのぺこぱなど、とにかく漫才の幅が広かったように思います。「面白さ」だけでなく「新しさ」を求められるM-1グランプリは多様な漫才が見られて視聴者としてはとても楽しいのですが、その具体的な違いが何かと問われると、意外と難しいのではないでしょうか。そんなときはデー
TL; DR 東京のふ頭でヒアリの女王アリ50匹以上確認され、広範囲に分散すると国内に定着するおそれがあると環境省が言っているらしい[1]が、アリを見て、ヒアリかそうでないかなど一般人にわかるはずもない そこで、一般人でもアリを見てヒアリか判断できるように、AutoMLなるナウい機械学習技術を使い、写真からヒアリかどうか判別できるサービス（外部）を作った。 本記事ではAutoMLの技術的詳細ではなく、ビジネスで大切とされる、AutoMLを使ったサービスの作り方を説明することを目的とする。また、 実際にサービスの作成や運用にかかったコストを説明 することも目的とする。 想定している読者層 サービス企画職、サービス開発職、それらの卵である学生の人たち はじめに 断り書きとして、ヒアリのようなアリをみつけた場合は、下記にある環境省のサイトを御覧ください。 特定外来生物ヒアリに関する情報（外部）
AI ラボの nagomiso です。最近趣味という趣味が「飲酒」と「VTuber*1 の配信を見ること」だけになっていて危機感を覚えています。 唐突ですが freee 会計の「自動で経理*2」には登録された明細の内容から勘定科目などを推測する機能が備わっていることをご存知でしょうか？ 例えば以下の画像のように「freee 独自の基準により推測」と表示されたら何らかの推測処理が裏側で走っています。 「自動で経理」で推測された勘定科目の例 皆さんご想像の通りこの推測の一部には機械学習を用いた推論エンジンが使用されています。推論エンジン自体は数年前から導入されているので話題としての新鮮味は薄いですが freee の機械学習に関する話題は割と門外不出状態だったので今回はこの推論エンジンについてざっくりとご紹介しようと思います。 推論エンジンの Ops 周り 「自動で経理」で使われている推論エンジ
PythonのWeb frameworkのパフォーマンス比較 (Django, Flask, responder, FastAPI, japronto) - Qiita
PythonのWeb frameworkのパフォーマンス比較 (Django, Flask, responder, FastAPI, japronto)PythonFlaskwrk2responderFastAPI 以下のPython Web frameworkを使って単純なAPIを立てて、負荷試験をしてみました。 Django (2.X) Flask FastAPI responder japronto 結果的に、ざっくりと以下が分かりました！ performanceは「japronto >>> FastAPI > responder >>> Flask ~ Django」だと言えそう FastAPIとresponderはsingle workerだと秒間100~1000程度のrequestであればpython界で圧倒的なperformanceを誇るjaprontoとほとんど同水準 （検
GitHub Actions と AWS CodeBuild テストを使用して Amazon ECS の CI/CD パイプラインを作成する | Amazon Web Services
Amazon Web Services ブログ GitHub Actions と AWS CodeBuild テストを使用して Amazon ECS の CI/CD パイプラインを作成する Amazon Elastic Container Service (Amazon ECS) は、フルマネージド型のコンテナオーケストレーションサービスであり、コンテナ化されたワークロードを大規模かつ簡単に運用できます。 また、Amazon Route 53、AWS Identity and Access Management (IAM)、Amazon CloudWatch などの他の主要な AWS のサービスと統合します。 コンテナの管理に使用しているプラットフォームに関係なく、コンテナ化されたアプリケーションにとって効果的かつ効率的な CI/CD パイプラインを確立することは重要です。 この投
Should you use PyTorch vs TensorFlow in 2023? This guide walks through the major pros and cons of PyTorch vs TensorFlow, and how you can pick the right framework. PyTorch and TensorFlow are far and away the two most popular Deep Learning frameworks today. The debate over which framework is superior is a longstanding point of contentious debate, with each camp having its share of fervent supporters
機械学習エンジニア1年目の自分へのおすすめ書籍
はじめに 本記事はBrainPadアドベントカレンダー2021に寄稿しています。 私は現在、株式会社BrainPadで新卒3年目の機械学習エンジニアとして働いています。BrainPadでは福利厚生の一環として、外部の研修や書籍の購入、各種資格の取得に利用できるスキルアップエイドという制度が用意されています。 私はこの制度を主に技術書やビジネス書の購入のために利用しており、機械学習エンジニアとしての能力向上を図っています。本記事では私がこれまでに購入した書籍の中から、機械学習エンジニアとして働く上で参考になったと感じた書籍を振り返っていきます。 機械学習エンジニアの能力とは 現在は多くの企業で、データサイエンティスト、機械学習エンジニア、MLOpsエンジニアといったポジションが作られていると感じます。これらの職種に必要とされる能力は、データの性質や業務への関わり方によって変わると考えられ、一
ラズパイやディープラーニングを用いてハムスターの行動を監視するシステムを作ってみた【概要】 - Qiita
動機 ペットのハムスターの活動の様子を知りたい。 具体的には.. 外出時、ハムスターがちゃんと動いていることを知って安心したい。 夜行性のため、飼い主が寝ている時間帯にどれだけ動いていたかを知りたい。 → 手持ちのラズパイに物体検出ディープラーニングモデルを埋め込み、監視システムを作成。 ラズパイカメラをスマホアームで固定して飼育ケージをストリーミング撮影しています。 できたもの 3つの機能により、ハムスターの活動の様子を見守れるようにしています🐹 Githubにコード一式をまとめています（実装の詳細は作り方の記事にて解説）。 1. 飼育ケージをラズパイカメラで撮影しストリーミング 🐹が巣穴から出てきてカメラに映ったら物体検出モデルが働いてくれます(↓Gif) 使ったもの: Python(Flask), OpenCV, PyTorch, YOLOv5 ※ 夜行性なので、暗がりでも撮影で
ゼロからはじめるPython(117) ブラウザとPythonが合体したデスクトップ開発ライブラリ「pywebview」を使ってみよう
今回紹介するのは、PythonとWebブラウザコンポーネントを利用してデスクトップアプリを開発できる「pywebview」だ。Webブラウザの持つ高い表現力にPythonの豊富な機能を組み合わせることができる点が便利だ。 pywebviewを使うとPythonからブラウザコンポーネントを操作できる ブラウザの表現力をPythonに組み合わせたアプリを作ろう Pythonでちょっとしたデスクトップアプリを作りたい場面というのは、意外と多いものだ。ファイルを選択したり、オプションを選んだり、エディタにメッセージを入力してもらうなど、簡単なUIが必要なだけであれば、先日紹介したTkEasyGUIでも十分だろう。 しかし、もっと画面表示を凝ったものにしたい場合には、Webアプリにして、画面入出力にブラウザを利用することも多い。この場合、FlaskなどのWebフレームワークを利用する。この方法であれ
Webアプリとデータ基盤をサクッと立ち上げるためのプラクティス - Google Cloudとサーバレスなサービスで良しなにやってみた - Lean Baseball
個人開発（趣味プロジェクト）でプロダクトを作りながら, 本職の仕事でソリューションアーキテクトっぽいことをしているマンです*1. 最近は個人開発のネタとして, プロ野球選手の成績予測プロジェクト ヘルスケア周りの自分専用プロダクト開発 この2本軸で週末エンジニアリングをしているのですが, これらの事をしているうちに, Webアプリケーション + 分析用のデータ基盤の最小セット, みたいなパターンが見えてきた クラウドにおけるサービスの選び方・スケール（=拡張）するときに気をつけるべき勘所 みたいなのがまとまってきました. せっかくなので, 言語化した上で再現性をもたせよう！という主旨でこのエントリーを書きたいと思います. なお, これだけは強く言っておきます. 参考にするのは自由です&真似ができるようなプラクティスではありますが, ベストプラクティスかどうかは（この記事を読んだ皆様の）状況
はじめに AIが将棋のプロ棋士より強くなってから久しい。 一方で羽生善治先生は、 「接待将棋のようなことはAIには難しい」と喝破している。 では実際に接待AIを作ろうとすると、どのような点が難しく、 どこまでのレベルの「接待」なら出来るのだろうか？ 本稿は、「接待将棋」という難問に挑んだ開発日誌的な記録として、 得られた接待AIの考え方にいたるまでの物語である。 参考： 人工知能に「接待将棋」はできない──羽生善治と石山洸が語る将棋とAIの進化 先に完成品を記載（実際に遊べるURL） 結論から述べると、あるシンプルな実装方針で、 自身ではある程度納得出来る実装を得ることが出来た。 以下がその結果（接待AI）と実際に遊べるアプリだ。 PC/スマホどちらでも対応。 「将棋」は難しすぎるため「どうぶつしょうぎ」で作った。 「どうぶつしょうぎ」は、そのユーザを考えると、 実は地球上で最も「接待」が
はじめに 2020年も始まりましたね！ タイトル通りですが、2020年現在スタートアップや大手のWeb系IT企業で採用されている、トレンドとなっている技術についてそれぞれのジャンル毎に求人や採用ページ、ブログを元にまとめてみました。 いくつかピックアップしている形になるので、記述できてないものもありますが、ご了承くださいm(＿ ＿)m (適宜アップデートしていきたいと思います。) (自分のメイン領域がバックエンドなので、そちらに偏っていると思います) 言語編 Ruby サーバーサイドのスクリプト言語、動的型付け言語です。 まつもとゆきひろさん（Matzさん）により開発されたオブジェクト指向スクリプト言語。 日本生まれの言語です。 整数や文字列なども含めデータ型はすべてがオブジェクトであり、純粋なオブジェクト指向言語です。 有名なフレームワークである Ruby on Rails を使うと開発
【React/Python】２年がかりで完成した個人開発サービスの話【ChatGPT】 - Qiita
個人開発でサービスを作り始めて、気がついたら２年も経っていました。 気軽な気持ちで作り始めたのですが、思いの外色々なことに手を出してしまったので、 利用した技術などをまとめてみます。 作ったもの YouTubeのライブ配信風の画面に向かって話しかけると、 音声を認識してAIがスーパーチャットを送ってくれる、 その名も「AIスパチャ」です。 良かったら遊んでみてください。 作るきっかけ YouTubeでひろゆき氏の配信を見ていた時に、 「私もひろゆきさんみたいに質問回答の配信をやってみたいです。 けれどいざ配信をしてみても視聴者が少なく、質問なんて全くきません」 といった質問がありました。 確かに、ひろゆき氏のように、何千人も視聴者がいて、ガンガンとスパチャが送られてきたらそりゃ楽しいですが、 普通の人はまずスパチャなんて送られません。 そもそも実際にYouTubeライブをやることのハードル
サイエンティストとエンジニアでつくるML ワークフロー - スタディサプリ Product Team Blog
こんにちは、データエンジニアの@masaki925 です。 この記事はMLOps Advent Calendar 2020 の19 日目の記事です。 MLOps には、その成熟度に応じて3つのレベルがあると言われています。 MLOps レベル 0: 手動プロセス MLOps レベル 1: ML パイプラインの自動化 MLOps レベル 2: CI / CD パイプラインの自動化 私の所属するチームでは現在ここのレベルを上げるべく取り組んでいますが、その中でデータサイエンティスト(以下、DS) とデータエンジニア(以下、Dev) の協業って難しいよな〜と思う事例があったので紹介したいと思います。 想定読者は以下のような方です。 これからMLOps を始めようとしている方 既存プロジェクトがあり、ML 等を使ってエンハンスしていきたいと考えている方 異文化協業に興味がある方 ML ワークフロー
「とほほのWWW入門」管理人の杜甫々氏が、これまでの経歴と、「とほほのWWW入門」執筆時に気を付けていること、自身の趣味について話しました。全2回。前回はこちらから。 今まで勉強してきた言語 杜甫々：今日はYAPC、Perl（のイベント）なので、プログラミングに関してのことをちょっとしゃべります。 （スライドを示して）今までこんな言語の勉強だけしてきました。よく使う言語はC言語が最初で、C++、そこから掲示板を作っていた頃はPerl。そこからPHPに移って、今はPython、JavaScriptが多いですかね。あとはたまにAWKをまだ使っています。 Perlの好きなところ、今後サポートしてほしいところ （スライドを切り替えて）えっとー…。謝ります（笑）。 （会場拍手） ずいぶん昔にPerl入門を書いたんですが、ほったらかしになっていて。今回このお話をいただきまして「それじゃあ、やはりいかん
機械学習モデルを組み込んだ Web アプリを Python 初心者が作ってみた - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。開発エンジニアの amdaba_sk（ペンネーム未定）です。 前回は「機械学習をコモディティ化する AutoML ツールの評価」、だいぶ間が空きましたが前々回は「機械学習のライブラリ・プラットフォームをいくつか試した所感まとめ」と、続けて機械学習をテーマとした記事を書きました。 これらの記事では機械学習モデルを作るまでのことしか言及していませんが、機械学習モデルは作ってそれで終わりのものでもありません。使ってなんぼのものなんです。かみせんプロジェクトとしての調査範囲からは外れますが、せっかくモデルを作ったならそれを使ったアプリも簡単なものでいいので作ってみたい。そう思うのは開発者として自然な感情ではないでしょうか。 というわけで今回は、「機械学習モデルを組み込んだ Web アプリを Python 初心者が作ってみた」という個人的な興味からやってみた系記事でございます。 なお後に
PyPIにおける潜在的な任意コード実行
はじめに(English version is also available.) PyPIは、セキュリティページ自体は公開しているものの、脆弱性診断行為に対する明確なポリシーを設けていません。1 本記事は、公開されている情報を元に脆弱性の存在を推測し、実際に検証することなく潜在的な脆弱性として報告した問題に関して説明したものであり、無許可の脆弱性診断行為を推奨することを意図したものではありません。 PyPIに脆弱性を発見した場合は、Reporting a security issueページを参考に、[email protected]へ報告してください。 要約PyPIのソースコードを管理しているリポジトリのGitHub Actions上において、悪意あるプルリクエストが任意のコマンドを実行する事が可能な脆弱性が存在した。 これにより、当該のリポジトリに対して書き込み権限を得ることができ、結果
本記事の目的 機械学習の推論web APIの典型的な構成を紹介します。必ずしもWEBの知識や機械学習の知識はなくても読める内容だと思います。（実装例は除く） 紹介する構成は、業務でいくつかの機械学習モデルの推論web APIをたてた経験からきていますが、あくまでも個人的見解なので、こっちのほうがいいよーってのがあればコメントで教えていただけると幸いです。 実装例ではweb frameworkは非同期処理の扱いやすさ、実装のシンプルさの観点からFastAPIを使います。 目次 機械学習の推論web APIの構成 実装例 1. 機械学習の推論web APIの構成 本記事では、2つのパターンを紹介します。 注) まず、共通部分の説明をします。機械学習の知見が必要なのは基本的に共通部分だけです。もし、機械学習に詳しくない or webに詳しくない場合は、共通部分と後述の部分で役割を分担できるので、
![機械学習モデルの推論web APIサーバーの構成 [FastAPIの実装例あり] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/82973470365428fd74bc508a50933ed484388cc0/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU2JUE5JTlGJUU2JUEyJUIwJUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgzJUEyJUUzJTgzJTg3JUUzJTgzJUFCJUUzJTgxJUFFJUU2JThFJUE4JUU4JUFCJTk2d2ViJTIwQVBJJUUzJTgyJUI1JUUzJTgzJUJDJUUzJTgzJTkwJUUzJTgzJUJDJUUzJTgxJUFFJUU2JUE3JThCJUU2JTg4JTkwJTIwJTVCRmFzdEFQSSVFMyU4MSVBRSVFNSVBRSU5RiVFOCVBMyU4NSVFNCVCRSU4QiVFMyU4MSU4MiVFMyU4MiU4QSU1RCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9YWZjNjNkZTJhN2NiYzQ1MWRjZDBlNTMzZjhiZTNjYWI%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBiZWUyJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1lMjMzMGZlMmI0YWE0NGQyZDQ5YjRlZGQzNTFkMmU1Mw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D994622aea7b15f40cb643427ab13c8b6)
リアルワールドバグハンティング
セキュリティの脆弱性を発見し、アプリケーションの所有者に報告するエシカルハッキング（倫理的ハッキング）の事例から、ソフトウェアのバグを見つける方法と手順を解説します。 Twitter、Facebook、Google、Uber などのアプリケーションで発生した報奨金がかかった脆弱性の実例を紹介し、攻撃者がどのようにユーザーを騙し機密情報を抜き取るか、レース条件を利用する方法、サイトがユーザーに自らの脆弱性を公開してしまう過程などを解説します。 基本的なウェブハッキングの概要、攻撃者がウェブサイトを侵害する仕組み、脆弱性に共通する要素の見分け方を解説し、さらにクロスサイトスクリプティング、安全でないダイレクトオブジェクト参照、サーバーサイドリクエストフォージェリなど様々なバグについて説明します。 ウェブセキュリティの脆弱性について、報告された実例から学ぶ本書は、バグハンターはもちろん、セキュア
###前提・実現したいこと Flaskで作ったWeb APIにDigest認証をかけた際、curlで正しいユーザー名とパスワードを指定したら認証できるようにしたい 発生している問題・エラーメッセージ Flaskで作ったWeb APIにDigest認証をかけた際、curlで正しいユーザー名とパスワードを指定しても認証されません。何故なのでしょうか？ ブラウザでユーザー名とパスワードを入力した際はうまく認証され、正しいページが表示されます。 $ curl --digest -u a:a http://127.0.0.1:80 Unauthorized Access 1from flask import Flask, jsonify, abort, make_response, request 2from flask_httpauth import HTTPDigestAuth 3 4api =
Introducing Amazon MemoryDB for Redis – A Redis-Compatible, Durable, In-Memory Database Service | Amazon Web Services
AWS News Blog Introducing Amazon MemoryDB for Redis – A Redis-Compatible, Durable, In-Memory Database Service Interactive applications need to process requests and respond very quickly, and this requirement extends to all the components of their architecture. That is even more important when you adopt microservices and your architecture is composed of many small independent services that communica
DATAFLUCT Tech Blog
2022-08-27 データ抽出に特化したAirbyteによるEL(T) 環境構築の実践 データ基盤 Airbyte ELT こんにちは。今回は、データ基盤の構築の一部を実際に体験してみたいと思います。 データ基盤を作成するにあたり、まずは、社内に眠る様々なデータを集めてくる必要があります。前回の記事では、その機能を「収集」と紹介していました。 データ基盤とは何か… データ基盤 データ分析基盤 実践 2022-08-18 Metaflowでモデルの学習をpipeline化するまで MLOps Metaflow Pipeline 皆さんは「MLOps」について取り組んでいらっしゃるでしょうか。私は2018年頃からデータクレンジングや機械学習モデルの構築や運用をしてきましたが、当時の日本で私の耳にはMLOpsという言葉が入ってくることはありませんでした。 ただMLOpsの元となった「Dev…
概要 開発PJやシステム運用PJにおいて、チームメンバ間のやりとりは、基本的にはチャットツールを利用しているのではないかと思います。また、タスク管理ツールを用意して、チャットの中で出た課題はチケットとして起票するという体制としているPJも多いと思います。 このとき、起票するメンバは以下の課題(課題とまではいかないものの面倒くささ)を抱えているかもしれません。 チャットに記載されている文章をあらためて全部追うのが面倒くさい その文章を要約(＝必要なものをとりだし、不要なものを削除する)するのが面倒くさい 要約にプラスして、やるべきことを別途整理するのが面倒くさい チケットの起票作業は、チャットに記載された内容をそのままコピペというわけにもいかないので、自動化することはできずにいました。しかし、ChatGPTの登場により、この課題を解消できるかもしれないので、使用感の確認も兼ねて、今回はCha
Async Python is not faster
50th and 99th percentile response times are in milliseconds, throughput is in requests per second. The table is ordered by P99, which I think is perhaps the most important real world statistic. Note that: The best performers are sync frameworks but Flask has lower throughput than others The worst performers are all async frameworks Async frameworks have far worse latency variation Uvloop-based opt
【Python】Webアプリ開発、AI・機械学習、データ分析が学べるコンテンツ＆書籍23選 - paiza times
こんにちは。倉内です。 Pythonは文法がシンプルで初めてプログラミングを学ぶ方も取り組みやすく、また、近年はビッグデータ分析やAI・機械学習の分野で利用され人気の高いプログラミング言語です。 2020年1月に公開された『AI崩壊』という映画の中でもAIのプログラムはPythonで書かれていました。（画面にコードがよく映るので学習したことがある方はすぐ分かると思います。見る機会があれば注目してみてください） 人気があるので学習コンテンツや書籍も充実していますが、たくさんありすぎて逆に「どれで勉強するといいだろうか…？」と悩むこともあるかもしれませんね。 そこで今回は目的別にPythonを学べるオンラインコンテンツと書籍をご紹介したいと思います。 Pythonの基本を学ぶ オンライン実行環境がある学習サービス 【 Progate 】 【 paizaラーニング 】 【 PyQ 】 ローカル環
野球AIチャットが作りたくなったのでひとまず, バックエンドから作ってみた - FastAPIからOpenAIをいい感じに使う何か - Lean Baseball
※このエントリーは「OpenAIをいい感じに使うバックエンドをFastAPIで実装したぜ！」というエントリーです（サンプルコードはこちら）, 「OpenAIで何かを作った・人工知能を産んだ」訳では無いのでそっち方面を期待している方はそっ閉じしたほうが良いかもしれません（Web API開発に興味ある人はそのまま読んで）. 趣味は野球観戦と見せかけて, 「休日にダラダラ野球見ながら趣味のコードを書く」のが最も好きな人です. 100敗待ったなしの贔屓チームがいきなり7連勝したり*1, 昨年まで扇風機状態だった贔屓チームのフィジカルモンスターが突然覚醒して4番ライトに定着*2したりと理解が追いつかない野球を見るのはこれぐらい（コード書きながらみる）ぐらいがちょうどいいと思ってます, だってプレーオフ行けるか怪しいですもの*3. 時は遡り2020年, 私はセイバーメトリクスといくつかの機械学習の知見
はじめに Webシステムの開発に携わりたくて転職して9か月，知らない事ばかりで日々勉強しております。 自分の勉強用メモとして知っておくべき技術をまとめようと思いました。 (こちらの記事にインスパイアされたものです) 技術用語について，なるべく2～3行で概要を説明できる事を目指しています。 情報が多過ぎるので，主流な技術は見出しを赤字にしています。(主観強め) また，今後需要が増えそうな技術は青字にしています。(かなり主観強め) とはいえ，新しい技術が登場すれば，数年でトレンドが変わってしまう事も多々あると思います。 ほとんどはあくまでも初心者がネットで情報をかき集めた程度のものです。 誤りがあればご指摘，ご意見など頂きたいです。 ※2023/2/6追記 不正確・不十分だと思った記載はひっそりと随時修正しています。 また，「そういえばこんなんあったな」という項目も追記しています。 あと，自分
Amazon Web Services ブログ AWS Fargate for Amazon ECS のアップデート 先日、AWS Fargate for Amazon ECS 経由でデプロイされたタスクの設定とメトリクスの収集体験を向上させる機能を発表しました。お客様からのフィードバックに基づき、以下の機能を追加しました。 環境ファイルのサポート シークレットバージョンと JSON キーを使用した、AWS Secrets Manager とのより深い統合 より詳細なネットワークメトリクスと、タスクメタデータエンドポイントを介して利用可能な追加データ この記事を通して、これらのアップデートについて深く掘り下げ、Amazon ECS for AWS Fargate にコンテナをデプロイすると、どこに価値をもたらすことができるかを説明します。まず、簡単なデモアプリケーションのデプロイから始めて
docker-compose ライセンスは、Apache License 2.0 1.29.2 (2021/05/10) docker-composeをインストールなしで使う Docker Compose UI ライセンスは、MIT License v1.13.0 (2018/05/21) docker-composeのWeb UI Composeファイルのフォーマットバージョンは、3.6まで対応 Dockerイメージ Docker Compose UIのリポジトリをフォークしてComposeファイルのフォーマットバージョン3.7対応版(Python 3.8、Flask 1.1.2、docker-compose 1.25.5、gitpython 2.1.15にバージョンアップ)を以下のリポジトリに置きました。 まだ動作確認が十分にできていませんが、Logs、Restart、yamlのedi
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プログラミング初心者向け・Python学習サイト6つを比較してみた - paiza times
SPAはコストが高いのか | foo-x
Pythonプログラムを稼働させるのにおすすめのVPSサーバーランキング - Qiita
[FastAPI] Python製のASGI Web フレームワーク FastAPIに入門する - Qiita
ALB と docker ヘルスチェックによる ECS の挙動について
Pythonでゼロからでもサービス開発・公開できる学習ロードマップ - Qiita
バクラクMLチームの技術スタックの変遷 - LayerX エンジニアブログ
【個人開発】Qiitaの人気の記事・ユーザー・書籍を見つけられるWebサービスを作りました - Qiita
プログラミングする時に知っておきたいPythonライブラリ13選
M-1の漫才をデータで可視化すると、ミルクボーイ優勝の要因が見えてきた｜Kosuke Fujita
ヒアリ判定サービスをAutoMLで作ってみた - Qiita
「自動で経理」の推論エンジンってどんなやつ？ - freee Developers Hub
PyTorch vs TensorFlow in 2023
「接待どうぶつ将棋AI」が爆誕！おもてなし接待AIを作る物語。 - Qiita
2020年現在 Web系企業で採用されてる技術についてまとめてみた - Qiita
「説明サイトとリファレンスサイトの両立を目指したい」 「とほほのWWW入門」管理者・杜甫々氏が執筆時に気をつけていること
機械学習モデルの推論web APIサーバーの構成 [FastAPIの実装例あり] - Qiita
FlaskでDigest認証をするとcurlでユーザーとパスワードを入れても認証されない
ChatGPTにRedmineの起票を任せてみた - Qiita
Webシステム開発で関わる技術のまとめ(2022年に知った物) - Qiita
AWS Fargate for Amazon ECS のアップデート | Amazon Web Services
Docker/Kubernetes便利ツール調査 - Qiita