タグ

pythonとdevopsに関するsh19910711のブックマーク (6)

  • 本当に小さく機械学習プロダクトを始めるには - Qiita

    TL;DR マイクロサービス基盤がない、潤沢にエンジニアリソースがない、そんな現場にも機械学習プロジェクトをいい感じにプロダクトに乗せていく今風のやり方について考えたい。そのために現状世の中にある機械学習ツールを俯瞰したい。 プロダクトに乗せるとすると、デプロイで終わりではなくて、モデル再学習やモニタリングなども含めて考えたい。 はじめに 機械学習のサービスは内部のアルゴリズムが複雑であっても、そのサービス自体に求められることが多くなかったり、学習と推論時で必要なリソースが異なったりというところからマイクロサービスアーキテクチャと相性が良いと言われています。実際に機械学習をプロダクトで使うことについて意欲的に取り組んでいる企業、特にWeb系企業では既にマイクロサービスアーキテクチャを採用した基盤があり、その上で効率的に機械学習モデルをデプロイするための方法を検討しています。一方で、そうでな

    本当に小さく機械学習プロダクトを始めるには - Qiita
    sh19910711
    sh19910711 2024/04/22
    "kubeflow pipelines: 特徴的なのは、TFXのいちコンポーネントであるTensorflow Transform(TFT)を使えるところ + 設定項目に"preprocess-mode"というものがあり、Kubernetes上ではなくDataflow上で動作させることもできます" 2018
  • fabric2いいかも • masu-mi's blog(dirty pages)

    最近になって「fabricで作業の自動化を増やしたい」と思うことがありました。 調べてみたらPython3対応されたfabricはfabric2として独立していました。そしてfabric2を待ちきれずにフォークされたfabric3はメンテされている様子はありません。 正解はfabric2です。 fabric2はfabricと違いinvokeのssh拡張がついたラッパーなようです。 使うにあたりConfig, Connection, Groupの違いを確認したりしました。 また気楽なタスクランナーとして使うためにヘルパーやパターンが出てきたのでメモします。 実験した残骸はここに残してます。 pkg version

    sh19910711
    sh19910711 2023/02/13
    2021 / "調べてみたらPython3対応されたfabricはfabric2として独立していました / fabric2を待ちきれずにフォークされたfabric3はメンテされている様子はありません。 正解はfabric2です"
  • Streamlit on Cloud Run with Identity-Aware Proxy (IAP) - public note

    タイトルのとおり、Cloud Run で Streamlit を動かしてみました。また、特定の人のみがアクセスできるように、Identity-Aware Proxy(IAP) での保護を試しましたので、その設定やコードを紹介します。 Cloud Run で動かすのはすぐにできたのですが、複数の Streamlit コードを認証付きでいい感じにホストする手段を探すのにかなり苦戦しました... Streamlit 構成図 ソースコード リクエストから Streamlit が起動するまで よいところ 設定のポイント ユーザ認証方法 Cloud Run の Ingress 設定 IAP で必要な権限 パスルール設定 リクエストURL に Streamlit の起動URLを合わせる サーバーレス NEG と Cloud Run の設置リージョン 参考にしたページ Streamlit Streamli

    Streamlit on Cloud Run with Identity-Aware Proxy (IAP) - public note
    sh19910711
    sh19910711 2021/08/08
    "Matplotlib や Plotly のグラフをそのままアプリケーションに表示 / キャッシュ機構を備えておりその対象やクリアのタイミングを制御できる / cloud_run のあたりで 個別のサービスを指定せず url_mask を設定するのがポイント"
  • ガントチャート上でドラッグ&ドロップでタスクの並び替えられるようにしてほしい – Customer Feedback for Backlog

    ベトナムにおけるBacklog活用のリアル ベトナムにおけるBacklog活用のリアル backlog BacklogAmazon EKS クラスターを Blue-Green アップデートするためにやっていること BacklogAmazon EKS クラスターを Blue-Green アップデートするためにやっていること backlog 2023年最も素晴らしいプロジェクトを表彰!Good Project Awardを開催しました 2023年最も素晴らしいプロジェクトを表彰!Good Project Awardを開催しました backlog Backlog開発者が夫婦の不和をなくす家庭管理アプリを作ってみた話 Backlog開発者が夫婦の不和をなくす家庭管理アプリを作ってみた話 backlog 創業からもうすぐ80年の老舗企業!ミートボールでおなじみの石井品様で、プロジェクト

    ガントチャート上でドラッグ&ドロップでタスクの並び替えられるようにしてほしい – Customer Feedback for Backlog
  • 構成管理ツール Ansible を使ってみる - akishin999の日記

    最近は話題のサーバ構成管理ツール Ansible を試したりしています。 Ansible 自体は Python 製ですが、使うに当たっては特に Python の知識は必要とされる事もなく、定義ファイル(Playbook)も YAML ファイルなので気軽に始める事ができました。 また、Capistrano などと同じく SSH で対象サーバに接続さえ出来ればいい、という仕様なので、サーバに余計なパッケージを入れずに済むのも嬉しいです。 その点も Chef や Puppet などより個人的には好みですね。 検証環境は CentOS 6.4 x86_64 になります。 インストール インストールには Python 2.6 以上が必要です。 CentOS 6 系であれば yum で普通に入れれば 2.6 系が入るはずなので問題ないかと思います。 # python -V Python 2.6.6 E

    構成管理ツール Ansible を使ってみる - akishin999の日記
  • ohaiを使ってサーバの情報をプログラムで扱おう

    斎藤です。こんにちは。 今日は、Chefをインストールすると共に入るohaiを用いて、サーバの情報をプログラムで扱ってみます。 ※ohaiは6.16(github版)を用いています ohaiとは もともと、Chef Client/Chef Soloが実行環境の情報を取得するためのライブラリです。ただ、単独でもライブラリを使用したり、コマンドを実行する事で、Chefと同様に情報を利用する事ができます。ポイントは、外部コマンドの結果を内部でパースしてプログラムで扱いやすい形にできます。まさに、パーサーライブラリですね。 ohaiがなければ、コマンドでサーバの環境(例えば"df")の情報を取得しようとする時、コマンドの結果を取得した後に「お手製」のパーサーでプログラム内で活用できるようにしなければなりません。これが、"df"のほうに簡単なものならまだしも、"ip addr show"のような設定

    ohaiを使ってサーバの情報をプログラムで扱おう
  • 1