VSCode + Docker + Rstudio + DVC でポータブルな研究環境を作る
はじめに 研究環境を全部Dockerにしたい みなさん, Dockerって便利ですよね. プロジェクトを複数持っている時に, 環境を簡単に切り替えることができて最高ですよね. また複数人のプロジェクトも同一の環境で実行できるって, 魅力的ですよね. なんなら, 全部 VSCodeのDev Containerにしたい VSCodeのRemote Container Extension機能のおかげで, Docker環境がますます便利になったと思います. コンテナ内をまるでローカルのようにGUIで扱えるのでDockerに関する学習コストがとりわけ少なくなったように感じます. 個人的には共同のプロジェクトでもDockerを使ってもらいやすくなったと感じています (環境はこちらで構築すれば良いので.) 今回の目標はRstudio + LaTeXの研究環境をまるごとDocker + VSCodeで構築
VSCode + Dockerでよりミニマルでポータブルな研究環境を
はじめに もっとミニマルで簡単なポータブルな環境を! 自分自身の研究のための環境構築についてこれまで二本の記事を書いてきました. これらの記事から二年ほどたち, いくつかの点において不満点が出てきました. 特に, GCPや自宅のサーバー上でリモートで作業することが多くなってきたので, よりミニマルでポータブルな環境が必要になりました. 以下では, 現時点で最小限の努力で環境を再現ができることを目標にしたDockerベースのGitHubレポジトリのテンプレートとその使い方を紹介します. このテンプレートを用いて作られた環境は, 新たなコンピュータ上で最短4ステップで環境を再現できるようになります. git clone VSCodeの"Open in Remote Containers" renv::restore() dvc pull この環境とセットアップはこのレポジトリにテンプレートとし
【図解】Rancher（ランチャー）とは？をわかりやすく解説 - カゴヤのサーバー研究室
Rancher（ランチャー）とは、コンテナ管理の利便性や効率を上げることが可能なプラットフォームのことです。 コンテナやDocker、Kubernetesなど難しい用語と共に使われるRancher（ランチャー）ですが、ここでは図を用いてわかりやすく解説します。 Rancher（ランチャー）とは – いま注目されている理由 – Rancher（ランチャー）とは、あたかも広大な牧場（rancher）を営むかのように、数多くのサーバーを手際良く管理する方法です。より多くの担当者が、無理なく使い続けることができる新しいソフトウェアではないでしょうか。 1台のサーバー上に複数のサーバーとして利用できる仕組み（仮想化）の実現方法の一つに、コンテナと呼ばれる技術があります。一般的にはコンテナは物理的な入れ物ですね。その代表がDocker （ドッカー）で、人気が続いています。 さらに、Dockerを複数組
Cloud Run に ko と skaffold を使ってデプロイまでやってみる | フューチャー技術ブログ
はじめにこんにちは！ TIG コアテクチームの川口です。本記事は、CNCF連載 の5回目の記事になります。 本記事では、CNCF の Knative を基盤として利用している Cloud Run と CNCF の各種ビルドツール ko, skaffold、Cloud Deploy を用いたうえで、アプリケーションのビルドからデプロイまでを行います。 扱う技術要素今回は、合計5つの技術要素を扱います。 全体感を掴むため、それぞれの技術とそれらの関連について図示します。 Cloud Run （Knative）Cloud Run は、Google Cloud におけるコンテナベースのサーバーレスコンピューティングサービスとしてよく知られているものかと思います。こちらは、基盤として Knative を採用しています。 この Knative は 2022年の3月に CNCF の Incupating
PCが変わっても使い慣れたNeovimですぐに開発を始める仕組み
はじめに 私はエンジニアのキャリアをスタートしたときから、当時の上司の影響もあり、Neovim を使用して開発してきました。 当時は dotfiles を GitHub で管理していて、そのリポジトリをローカル環境に git clone して Neovim を使用していました。 その運用をしていたため、新しく PC を購入した時にすぐに環境を整えることができませんでした。なぜなら、dotfiles を機能させるためにどういったライブラリ（例: npm, node, ...）をダウンロードしていたか覚えていなかったからです。 そういった背景があり、転職や故障などを理由に PC が変わったとしても、すぐに開発環境を整えられるように Docker を利用した運用方法に変えました。 具体的にどういった運用をしているのか？ 私は以下のような方法で開発環境を整えています。実際にプライベートの PC と
Rancher Desktop で Docker を使ってみよう
日常的に Docker Desktop を使って快適にお仕事しているホシイです。 しかし Docker をそう頻繁には使わない方や、エンジニアでない方に実行環境を渡したいだけなので単に実行するだけでよいとかいった用途に、Docker Desktop 以外の (ライセンスの縛りが無い・ゆるい) 選択肢もほしいという声を時折聞くようになりました。 そこで… Rancher Desktop? 折しも Docker Desktop の値上げニュースが話題になってもおり、Rancher Desktop でもおなじようなことができると聞いたので、今回はその使用感を試してみたいと思います。 ただし業務で使っている環境はこわしたくなく、今回使ったのは私物 PC の Ubuntu Desktop 環境、先日 upgrade した version 22.10 です。いくつかのことを検証しましたが、機能的には
Streamlit with Google Cloud: Hello, world!
Streamlit、とても便利ですよね！小さなアプリとしても、データ可視化にしても。 連載を通して、Google Cloud 上で Streamlit を上手に動かす方法をご紹介します。 Cloud Run での Hello, world! （本記事） Firebase 認証との連携 BigQuery へのクエリ GitHub、GitLab、Cloud Build での CI/CD Streamlit？なぜ Google Cloud で？ Streamlit は「データ分析スクリプトを、数分で "共有できる Web アプリ" に変える」というキャッチコピー通り、Python で書かれたロジックをそのまま、直感的に、フロントエンドの経験がない人でも数分で Web アプリケーションにしてしまえるようなとても優れたフレームワークです。 まずはぜひ、公式サイトのギャラリー の一例を見てみてください
マイクロサービスのローカル開発をTiltでちょっと楽にする - HRBrain Blog
こんにちは、バックエンドエンジニアの鈴木(善)です。 昨年に引き続き、今年もHRBrainではアドベントカレンダーをやっていきます！ qiita.com この記事はその第一日目となります。 みなさん、マイクロサービスの開発ってどうされてますか？ HRBrainでは現在マイクロサービス構成をとっており、日々の開発では個人のマシン上で各サービスを立ち上げて動作確認やデバッグができるようになっています(以下、ローカル開発環境と呼びます)。サービスが成長するとともにこの環境にも課題が出てきました。 これを改善するため「Tilt」というソフトウェアを試したところよかったので、今はTiltベースのローカル開発環境に乗り換えています。 Tiltに関する日本語の情報もまだ少なそうなので、今回は一つの導入事例として紹介してみようと思います。 本記事ではまず弊社の抱えていた課題に触れ、次にTiltの概要を説明
100秒でMySQLのローカル環境をDockerで作って、データも自動で入れる。最強のSQL練習環境構築法
【2022/2/26 追記】 主にはてブコメントで様々なご指摘を頂いたので、タイトルの修正＆内容を一部追記しました。分かりにくいタイトルを付けてしまい申し訳ございません。ご指摘ありがとうございます。 もともと本記事は自分用のメモを兼ねて駆け出しエンジニアの人が数人参考にしてくれたらいいかな、程度の気持ちで書いたものでした。 現在はてなブックマークのテクノロジーカテゴリーで 1 位になっており、予想の 1000 倍以上の人に見ていただける記事になってしまいました。 今後も精進します、ありがとうございます！ 特に理由もなくローカルに MySQL を入れて遊びたくなる気持ちって定期的に湧きますよね。 私は湧きます、半年に 1 回ぐらい。 業務ではフロントを触ることが多く、DB はそれほど触りません。 そのため久々に MySQL をローカルで立ち上げようとするといつも手順を忘れてしまっていて、なん
pytest＆Docker outside of Docker(DooD)を利用してDBアクセスのテストを副作用なく軽量に実現する
前書き アプリケーション開発において大変重要となるのがテストです。既存のアプリケーションに様々な変更が入る度に、既存の機能に新たなバグを潜めてないか確認するために、多くのエンジニアが苦汁を舐めた経験があることでしょう・・・。（そこでバグが見つかればいいが、忘れたころに発見すると・・・） そんな面倒なテストを自動化するために、最近はテストコード、あるいはテスト自動化が流行ってきていると思います。 ただし、オンプレミスでテストを行っていると、すぐにテスト用のDBなんて用意出来ないです。そのため、開発用で利用しているDBをそのまま使うパターンがままあると思います。 しかし、そうなると次に問題になるのがDBの状態です。様々な開発及びテストによってぐちゃぐちゃになったDB内部のデータを利用すると、その状態に応じて、結果は変わってきます。このような状態になってしまうと、本来確認したい観点を確認すること
Dockerfileのベストプラクティス Top 20
本文の内容は、2021年3月9日にÁlvaro Iradierが投稿したブログ(https://sysdig.com/blog/dockerfile-best-practices/)を元に日本語に翻訳・再構成した内容となっております。 Dockerfileのベストプラクティスのクイックセットをイメージビルドに適用することで、セキュリティ問題を防ぎ、コンテナ化されたアプリケーションを最適化する方法を学びます。 コンテナ化されたアプリケーションやマイクロサービスに精通している人なら、自分のサービスがマイクロサービスであることに気づいているかもしれません。しかし、脆弱性の検出、セキュリティ問題の調査、デプロイ後の報告や修正など、管理のオーバーヘッドがマクロな問題になっています。 このオーバーヘッドの多くは、セキュリティをシフトレフトし、開発ワークフローの中で可能な限り早く潜在的な問題に取り組むこ
本気で自然言語処理やらないエンジニアでもできる、イベントアンケートの意見抽出 - OPTiM TECH BLOG
まえがき R&Dチームの徳田(@dakuton)です。 私の開発業務としては自然言語処理をメインとした業務ではありませんが、必要に応じてテキスト解析に携わることもあります。 今回は、がっつり自然言語処理やらないエンジニアからみたときのテキスト解析の使いどころを簡単にご紹介します。 業務での使いどころ 簡単に申し上げると、分類問題として解けそうなデータか？当たりをつけるためにテキスト解析を利用します。 私の業務では時系列データや定量データのような数値データなどをメインに取り扱っていますが、テキスト解析をあわせて行う必要が出てくる場合があります。 これは解析依頼をいただくデータが、数値情報に加えてテキスト情報が付随されているようなデータであることが多いためです。 例えば故障検知の場合、単に正常稼働時の数値データをもとに異常を定義するのではなく 過去レポート(故障時の部品や原因をまとめたテキスト
Beyond the Twelve-Factor App
Note: This is the preface from Beyond the Twelve-Factor App: Exploring the DNA of Highly Scalable, Resilient Cloud Applications, published by O’Reilly. Buzzwords are the result of our need to build a shared language that allows us to communicate about complex topics without having to stop and do a review. Shared terminology isn’t just convenient, it’s essential for decision making, architecture de
Dockerfileのベストプラクティスとセキュリティについて - エニグモ開発者ブログ
こんにちは、主に検索周りを担当しているエンジニアの伊藤です。 この記事は Enigmo Advent Calendar 2020 の 17 日目の記事です。 みなさんは適切なDockerfileを書けていますか？とりあえずイメージのビルドが出来ればいいやとなっていませんか？ 今回は自戒の意味も込めて、改めてDockefileのベストプラクティスについて触れつつ、 そもそもDockerfileを書かずにコンテナイメージをビルドする方法とコンテナセキュリティに関する内容についてまとめてみました。 Dockerfileのベストプラクティス イメージサイズは極力小さくしよう ビルドキャッシュを活用しよう Dockerfileに関する悩みどころ Dockerfileを書かないという選択肢 Buildpack Cloud Native Buildpacks CNBの仕組み デモ CNBのメリット セキ
コンテナ化のメソッドの比較: Buildpacks、Jib、Dockerfile | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 10 月 29 日に、Google Cloud blog に投稿されたものの抄訳です。 デベロッパーとしてはソースコードを使用しますが、本番環境システムではソースを実行せず、実行可能なものが必要となります。かなり以前から、ほとんどの企業は Java EE（別名 J2EE）を使用しており、本番環境にデプロイする実行可能な「もの」は「.jar」、「.war」、「.ear」ファイルでした。これらのファイルはコンパイルされた Java クラスから構成されており、JVM 上で実行される「コンテナ」の内部で実行されていました。使用しているクラスファイルが JVM およびコンテナと互換性がある限りアプリは機能し、管理は不要です。 JVM ではない Ruby、Python、NodeJS、Go などが構築で使用され始めるまで、これらはすべてまったく問題なく機能していました
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - jonra1993/fastapi-alembic-sqlmodel-async: This is a project template which uses FastAPI, Pydantic 2.0, Alembic and async SQLModel as ORM. It shows a complete async CRUD using authentication and role base access control.
【GCP】Cloud RunでPython FastAPI・Streamlitをデプロイ | Yukkuri Machine Learning
GitHub - logan-markewich/llama_index_starter_pack: This repository provides very basic flask, streamlit, and docker examples for the llama_index (fka gpt_index) package
GitHub - bcicen/ctop: Top-like interface for container metrics
What's the best way to run a service that uses SQLite in a serverless / containe... | Hacker News