Open Interpreterのライセンス、バージョンアップのタイミングでMITからAGPL-3.0に変更されていますので注意ください。 Open Interpreterが凄い 凄いの出ちゃいましたね。Open Interpreterの凄さとか、可能性とかは、以下のshi3zさんのブログ記事で感じていただければと思います。こういうエモい文章はshi3zさん最高に上手ですね。 自分としては、Advanced Data Analysis（旧ChatGPT Code Interpreter）を触っていて「こりゃ凄いな」と思っていたものの、少し制約に窮屈さを感じていたところだったのでバッチリのタイミングでした。 Open InterpreterをDocker環境を動かす Open Interpreter凄いのですが、問題は凄すぎる点ですね。ガンガンコマンドを実行するので、ローカルで動かしたら凄い
なぜDockerへ移行しようと思ったのか 以下3点の理由により開発環境をすべてDockerへ移行することにしました。 これまでpuppetのメンテナンスをしていた開発メンバーがいなくなってしまった これまでは、Vagrantで立ち上げたイメージに対してpuppetでプロビジョニングを行い環境構築を行ってきましたが、これまでpuppetをメンテナンスしていた開発メンバーが全員人事異動や転職などでチームから外れてしまいました。 残ったメンバーでpuppetを覚えていくか別に新しく開発環境を作るかといったときに、puppetに比べ開発環境を構築するレベルでは学習コストの低いDockerへ切り替えることにしたというのが1点目です。 バージョンを維持するのが難しくなってきた 1つのVagrantイメージ上に複数のPHPのロールが動作しており、すべて同じバージョン・設定が使われていました。これまでは、
Visual Studio Code で Nuxt.js を使った Docker コンテナ内での開発 - Qiita
はじめに 以前、環境を汚さず（選ばず）Nuxtプロジェクトを作成しGitHub Pagesで公開するまでの一部始終 という記事を書きました。 その後、より簡単にNuxtの開発環境を作れないかと何回かやっているうちに、 Visual Studio Code をうまく使えばよりシンプルにできることがわかってきたので、再度まとめました。 Nuxtのバージョンが上がってプロジェクト作成時の設定が若干変わっています。 事前準備 Docker, Visual Studio Codeをインストールしておきます。 これからインストールする方は以下を参考にしてください。 Windows 10 Home に Docker for Desktop をインストールする手順 Visual Studio Code のインストール手順(Windows) ※今回は Windows 10 Home 環境で作業していますが、
本記事は、2022年5月に開催されたTechFeed Conference 2022のセッション書き起こし記事「コンテナビルド最新事情 2022版（inductor） — TechFeed Conference 2022講演より」を転載したものです。オリジナルはTechFeedをご覧ください。 それではこれから、私@_inductor_が「コンテナビルド最新事情」ということでお話をしていきます。 今日は主に4つの話をしていきます。ちょっと駆け足になってしまいますが、コンテナビルド高速化に向けた4つの機能およびポイントについてお話しします。 今回お話すること Dockerfileの新しい記法 まず最初に、Dockerfileに新しい記法がいくつか増えています。それを実装しているのは BuildKitと呼ばれるDocker発のオープンソースのソフトウェアがベースになっていて、Dockerf
Amazon LinuxのEOLに伴いバッチをサーバレス化しFargateに移行した話 - クラウドワークス エンジニアブログ
はじめまして、2020年3月に中途入社したSREチームの @bayashiok です。 今回は入社後、Fargateでサーバレスバッチ基盤を構築した話を書いていきます。 目次 目次 経緯 Fargateを選んだ理由 1. リソースの見積もりがCPU/Memoryだけですむ 2.スケーリングを考えなくて良くなる 3. セキュリティレベルの向上につながり管理負荷が減る 現行システムで発生している問題点の解消 構成 FargateのトリガーとしてRundeckを採用 理由1： バッチ実行が行われる場所でログを見たかった 理由2： ジョブ失敗やSlack通知の仕組み、リトライ方法やジョブ連携などの作り込みを簡単にしたかった ecs-taskとの連携について デプロイ 1. wrapperコンテナのデプロイ 2. バッチのデプロイ Fargateタスク実行について 移行後の総括 よかった点 悪かった
技術書を書く技術 - Qiita
Intro こちらの技術書を執筆しました。15Stepで踏破 自然言語処理アプリケーション開発入門 本稿は書籍そのものの紹介ではなく、私が技術書を執筆するために利用した技術・用意した環境についての解説です。 私が執筆を始めた当時（2017年下旬）はWebを漁ってもあまり技術書執筆のノウハウがなく、本稿の内容も割と手探りでした。今ググってみると技術書展のおかげで大量に情報が出てきますね。それらと被る部分もありそうですが、自分が１冊書いてみて得たノウハウみたいなものをここに吐き出してみたいと思います。 執筆フォーマットの決定 まずは執筆に使うツールを決めます。 商業誌の場合、出版社（編集者）がそのフォーマットでの入稿を受け付けてくれるかどうかにも依るため、執筆者の一存で決められないこともあるようです。 私の場合は幸運にも、こちらの希望に合わせてくれる編集者が入ってくれました。 色々調べて↓あた
Rustを写経する環境を作る
What's? 詳解Rustプログラミングを写経しています。 最初はIntelliJ IDEAで書いていたのですが、補完があまり効かないのでVS Codeに乗り換えました。 (IntelliJ IDEAで何がうまくいっていないのか調べられてないのですが...) ついでにとアレコレくっつけていったらゴツゴツしてきたのですが、なかなか快適なので紹介。 写経中のリポジトリはこちら。 https://github.com/watarukura/rust_in_action_study Required VS Code Docker devcontainer VS Codeのdevcontainerを使います。 moldを使ってみたかったのでFaster Rust Incremental Builds in Dockerを参考にしつつ、最新のv1.1を使えるように書き換えています。 (あんまりmol
どうも GitHub Actions 上で Docker ビルドを行うと時間がかかるなぁと感じていました。 かなり軽量の Go の Web アプリケーションを Docker イメージにしてプッシュするプロセスなのですが、全体で 3 分ほどかかっています。 今回はその速度改善を行ったので、得た知見を記事にしたいと思います。 最終的に、ケース次第では以下のような結果を出すことができました。 ※ケース = go のソースコードのほんの一部を変更してワークフローを実行する。 go.mod など依存関係に変化はない。 go build: 60秒 → 1秒 docker/build-push-action ステップ: 2分30秒 → 30秒 ワークフロー: 3分 → 1分 前提 go build は Dockerfile のステップで行っており、イメージとして以下のような内容になっています。 FROM
VSCodeとDockerで作ったGolangの開発環境にLocalStackを追加して、AWSのテスト環境を整える | DevelopersIO
VSCodeとDockerで作ったGolangの開発環境にLocalStackを追加して、AWSのテスト環境を整える こんにちは、CX事業本部の夏目です。 先日、VSCodeのExtension Remote-Containersを使ってGolangの開発環境をDocker上に作りました。(リンク) 個人的な話ですが、AWSで使用するCLIツールをGolangで書いています。 そのため、AWS環境のMockとしてLocalStackを使い、テストを書きたいと思いました。 Remote-Containers ではdocker-composeを使って環境を作ることができるので、今回はLocalStackもGolangの開発用Containerと同時に立ち上げるようにしていきたいと思います。 環境構築 事前準備 Golangの環境は前回のブログで作ったものを流用したいと思います。 (compos
はじめに こんにちは。SRE部MLOpsチームの田島（@tap1ma）です。 現在、ZOZOTOWNの「おすすめアイテム」に使われていたアイテム推薦ロジックを刷新するプロジェクトを進めています。既に一部のユーザに向けて新しいアイテム推薦ロジックを使った「おすすめアイテム」の配信を開始しています。その刷新に伴い推薦システムのインフラ基盤から新しく構築したので、本記事ではその基盤について解説したいと思います。 目次 はじめに 目次 「おすすめアイテム」とは 新しい推薦ロジック Recommendations AIを用いた推薦ロジック ZOZO研究所によって独自で開発された推薦ロジック 新しい推薦システム 推薦システムの処理の流れ システム構成 新しい推薦システムで工夫したポイント Bigtableのパフォーマンス改善 アイテム推薦APIのPodの安全停止 ZOZO研究所APIのキャッシュ戦略
こんにちは。Tably よういちろう（@yoichiro）です。 皆さんは普段GitHubをお使いでしょうか？お使いの方は、GitHub Actionsを使ってCI/CDしていますでしょうか？ GitHub Actionsを使うことで、Pull Requestの作成や更新、あるブランチへのマージといったタイミングで、コードのフォーマットを整えたり、テストを走らせたり、本番環境にデプロイしたり、一連の作業が終わったことをチャットに通知したり・・・といったことを自動的に行うことができます。GitHubにはGitHub Marketplaceというアクションが公開されているマーケットプレースがあります。やりたいことがあった時に、一般的なものであればそこで見つけることができるでしょう。 ものすごい数のアクションがMarketplaceにて公開されていますが、たまたま僕が行いたかった動作をしてくれる
2024 年 4 月 4 日に発表された「Command R+」が GPT-4 とほぼ同じ回答精度で、レスポンスがめちゃくちゃ速く、かつ API の利用が商用利用じゃなければ無料だったので、絶対に LibreChat に組み込みたいと思った。 LibreChat はいわゆる ChatGPT クローンと呼ばれる OSS で、UI は ChatGPT とほぼ同じで、回答に利用する API を GPT4 や Gemini、Claude3 など、自分の好きなものを指定できる。ローカル上で動くのはもちろん、デプロイするのも簡単で、数ある GPT クローンの中では一番使い勝手が良いと思う。UI を忠実に ChatGPT に寄せているのが良い。 LibreChat の UI。ChatGPT とほぼ同じ 今回はこの LibreChat で、Cohere が発表した「Command R+」を動かせるようにす
Linux Kernel Teaching — The Linux Kernel documentation
Linux Kernel Teaching¶ This is a collection of lectures and labs Linux kernel topics. The lectures focus on theoretical and Linux kernel exploration. The labs focus on device drivers topics and they resemble "howto" style documentation. Each topic has two parts: a walk-through the topic which contains an overview, the main abstractions, simple examples and pointers to APIs a hands-on part which co
ひょんとしたことから PHP をやることになったのですが、Laravel を コンテナでホスティングするのが難しすぎて困っています。とりあえず今できていることをメモです。こうした方が良いよ的なアドバイスがあったら教えて欲しいです。 ちなみに本当は昨日公開予定のブログでしたが、Xが急遽OGPに対する仕様を変えたのでそれを踏まえた新しいOGイメージでお送りします。 注意 ↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓ この文章は PHP + Laravel歴 1週間ちょっとのペーペーによって書かれたものです。apache も fastcgi も初見です。書かれている内容を間に受けないでください。 ↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑ tl;dr Docker で動かす最小構成がわからないのですが、とりあえずこう書けば動きはします。 FROM php:8.2-f
RHEL/CentOSから標準より新しいパッケージをインストールするためのレポジトリ4選(AppStream /RHECL/EPEL/IUS) | DevelopersIO
RHEL/CentOSから標準より新しいパッケージをインストールするためのレポジトリ4選(AppStream /RHECL/EPEL/IUS) RedHatは同じバージョンのパッケージが10年間保証されるため、安定運用に向いています。ただし、システムによっては、より新しいバージョンを利用したいことがあります。 そのようなパッケージを提供するレポジトリとして、Red Hat Software Collections(RHSCL)/EPEL/IUSを紹介します。 Red Hat Enterprise Linux (以下RHEL)/CentOS のパッケージは基本的に10年メンテナンスされるため、枯れて安定している一方で、より新しいバージョン・ソフトウェアを利用したいために、レポジトリを追加することがあります。 そのような目的に使えるレポジトリとして、以下の4つを紹介します。 AppStream
Node.jsアプリケーションのDockerイメージのサイズを削減する方法について調べた - The Third Law
Next.jsアプリケーションのDockerイメージのサイズが大きくて困っていたので調べていたところ、Next.jsの公式ドキュメントにDocker Imageというセクションがあり、おすすめ設定が記載されているのを見つけました。以前はここまで詳細な記述はなかったのですが、つい10日ほど前に追加されたようです。 ドキュメントには一番おすすめの方法だけ書かれているのですが、もともと「What is the best way to use NextJS with docker? · Discussion #16995 · vercel/next.js · GitHub」というdiscussionがあり、ドキュメントの記述はここでの議論が元になっているようです。Discussionではいくつか例が示されているのですが、それぞれさまざまな最適化テクニックが利用されており、どれくらいの容量になるか気
“Too Many Requests.” でビルドが失敗する…。AWS CodeBuild で IP ガチャを回避するために Docker Hub ログインしよう！という話 | DevelopersIO
buildspec.yml 内で docker login -u *** -p *** といった処理をしていなければ、それは匿名ユーザーで利用していることになります。 （ちなみに aws ecr get-login のログイン処理は ECR へのログインであり、Docker Hub のログインではありませんのでお間違えないように） 「匿名ユーザーで使ってるけど 6 時間あたり 100 pull も出来るならウチの環境では十分やなー」 と思ってスルーされた方も少なくないと思いますが、ちょっと待ってください。リンク先のブログで言及されているとおり、匿名ユーザーは IP アドレスに基づいて制限されます。 For anonymous (unauthenticated) users, pull rates are limited based on the individual IP address.
RubyのDockerイメージでよく使う環境変数
Ruby向けのDockerイメージで使いがちな環境変数について整理する。 GEM_HOME RubyGemsに対して、どのディレクトリにGemをインストールするかを指定する環境変数。例えば gem install foo を実行すると、この環境変数で指定したディレクトリにfoo gemがインストールされる。 Dockerでありがちな作戦として、/gem のような適当なパスにデータボリュームをマウントしておいて、そこにGemを永続化させておくというのがある。このときGEM_HOMEを /gem に指定しておくと、gem install bundler を実行したときそこにBundlerがインストールされ、更に /gem/bin/bundle も用意される。 BUNDLE_PATH Bundlerに対して、どのディレクトリにGemをインストールするかを指定する環境変数。例えば bundle i
【連載】世界一わかりみが深いコンテナ & Docker入門 〜 その2:Dockerってなに？ 〜 | SIOS Tech. Lab
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【5/21開催】Azure OpenAI ServiceによるRAG実装ガイドを公開しました 生成AIを活用したユースケースで最も一番熱いと言われているRAGの実装ガイドを公開しました。そのガイドの紹介をおこなうイベントです!! https://tech-lab.connpass.com/event/315703/ こんにちは、サイオステクノロジー技術部 武井(Twitter:@noriyukitakei)です。今回は前回に引き続き、Dockerについて、世界一わかりみが深い説明をしていこうと思っております。 7回シリーズでお届
【連載】WSL2、Visual Studio Code、DockerでグッとよくなるWindows開発環境 〜 その4：Visual Studio Code、Dockerで改善！！ 〜 | SIOS Tech. Lab
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【5/21開催】Azure OpenAI ServiceによるRAG実装ガイドを公開しました 生成AIを活用したユースケースで最も一番熱いと言われているRAGの実装ガイドを公開しました。そのガイドの紹介をおこなうイベントです!! https://tech-lab.connpass.com/event/315703/ こんにちは、サイオステクノロジー武井(Twitter:@noriyukitakei)です。今回は、第4回シリーズで、WSL2、Visual Studio Code、Docker、Windows Terminalなどの
1. 始めに こんにちは、morioka12 です。 本稿では、バグハントの入門として、主に Web アプリケーションの OSS に焦点をおき、脆弱性の発見・報告・CVE ID の取得について紹介します。 1. 始めに 免責事項 想定読者 筆者のバックグラウンド 2. CVE とは 3. 探す対象の選び方 OSS Topic (Type) 特定の条件で絞る バグバウンティの OSS 4. 脆弱性の検証方法 アプローチ方法 5. 脆弱性の報告先 6. 報告書の書き方 CVSS CWE 7. 脆弱性発見から CVE ID の取得までの流れ 注意点 8. バグハント前のスキル準備 過去の CVE ID やレポート Web Security の場合 9. その他 その後のチャレンジ バグバウンティ入門 セキュリティエンジニアを目指す就活生の方へ OSS の開発者の方へ 10. 終わりに 免責事項
ダークウェブをChromeから覗く闇のワンライナー Welcome to Underground - Qiita
ダークウェブ（.onionドメイン）にアクセスする場合、ブラウザはTorを使う必要がありますが、docker内でTorを建ててプロキシとして使えば、どのブラウザ、またはCURL、pythonスクリプト等でもアクセスできちゃいます。 ワンライナーはこちらです。 networksetup -setsocksfirewallproxy Wi-fi localhost 9150 && networksetup -setsocksfirewallproxystate Wi-fi on && cd $(mktemp -d) && echo -e "FROM alpine:3.12\nRUN apk add tor" > Dockerfile && docker build . -t torproxy && docker run -p 9150:9150 torproxy sh -c "chown -R
Dockerfile に HEALTHCHECK を設定すると「ヘルスチェック機能」が使えるようになる - kakakakakku blog
今回は Docker で使える「ヘルスチェック機能」を試す．Release Note を読むと，機能としては Docker 1.12 から使えるらしく，3年前からあったなんて...！仕組みとしては，Docker デーモンからコンテナに指定したコマンドを定期的に実行する． Dockerfile 構文 「ヘルスチェック機能」を使う場合，まず Dockerfile に HEALTHCHECK を設定する．実行するコマンド以外に以下のオプションも設定できる．注意点として，--retries 以外は秒数を指定するため，表記は 5s のように単位も付ける． --interval=DURATION (default: 30s) --timeout=DURATION (default: 30s) --start-period=DURATION (default: 0s) --retries=N (defa
【Unit4 ブログリレー8日目】 こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 今日の記事は、タイトルのとおりgoのLambdaはコンテナイメージで管理するのがオススメって話です。 城島高原パーク（きじまこうげんパーク）は、大分県別府市の城島高原にある遊園地。本文には関係ありません。 go1.xランタイムのサポート終了 コンテナイメージにする利点 起動時間は遅くならないの？ 構成 処理本体 main.go Dockerfile 本番実行用イメージ ローカル実行用イメージ ローカルで実行 Lambdaの設定 まとめ We are hiring! go1.xランタイムのサポート終了 先日、AWS Lambdaの go1.x ランタイムのサポート2023/12/31で終了することが話題になっていました。 「なっていました」と伝聞なのは、Unit4ではすで
Dockerとは Dockerは、インフラ関係やDevOps界隈で注目されている技術の一つ. Docker社が開発している, コンテナ仮想化（仮想環境）を用いてアプリケーションを開発・配置・実行するための オープンプラットフォーム。 会社では当たり前に使っているものだけど、 説明できるかっていったらできなかった！ので、簡単に、まとめました（＾＾） ■ 仮想化...?? "VM（virtual machine）" 仮想化とは。英語では、virtual machine(バーチャルマシン). 実態のないものであり、実在しているかのように作るもの。 １台のサーバーの上に、複数台のサーバーがあるように見える状態を作ること。 （コンピュータの中に、あたかも他のコンピュータがあるように 擬似的なコンピューターを再現したもの。とも言える。） 例えば... Macの中にcentOSサーバーを設置 windo
Amazon Elasticsearch ServiceによるECSアプリケーションのログ解析基盤の構築 - BASEプロダクトチームブログ
こんにちは、BASE BANK 株式会社 Dev Division でエンジニアとしてインターンをしている前川です。 今回、Amazon Elasticsearch Service(以下、Amazon ES)による、ECS/Fargate で稼働するアプリケーションのログデータの解析基盤を新規で構築することになったので、構築するにあたって調査した内容や関連する内容、実際におこなった構築方法についていくつか紹介します。 今回の構築の簡単な全体構成図は次のようになります。 今回は、 ECS/Fargate のログを S3 にルーティングする Amazon ES にログをルーティングする VPC アクセスの Amazon ES を構築し、Kibana を外部からアクセスできるようにする の３つの手順にわけて、構築方法や関連する内容について紹介していきたいと思います。 なお、この記事で取り扱ってい
AWS Copilot CLI
Your toolkit for containerized applications on AWS オープンソースの AWS Copilot CLI で、AWS App Runner、Amazon ECS、AWS Fargate を活用したプロダクションレディなコンテナアプリケーションのビルド、 リリース、運用をかんたんに実現しよう。 さっそく始めてみよう アーキテクチャから始めよう Dockerfile からコマンド１つでクイックに AWS のベストプラクティスを適用したコンテナアプリケーションを展開してみましょう。 Copilot は AWS リソース群のモデリング手段ではなく、クラウド上のアーキテクチャとして良く知られた Request-Driven Web Service、 Load Balanced Web Service、Backend Service、 Worker Ser
われわれは、短い人生を授かったのではない。われわれが、人生を短くしているのだ。われわれは、人生に不足などしていない。われわれが、人生を浪費しているのだ。 セネカ. 人生の短さについて — 中澤務 訳 今年の4月にプログラマに転職して他の仕事と兼務しつつ見習いとして修行をしているのだが、ここ最近あまり成長実感がない。もう31歳なのにこんな状況でいいのかなと思いながら毎日を過ごしている。 そんなある日、会社から指示された課題の一環として、私も使っている OSS （オープンソースソフトウェア）に機能を追加することになった。 これに取り組む中で「自分が使うソフトウェア」を構成するコードを読んで修正していくことで、それぞれのコードが何をしているかの仮説とその検証が行いやすくなり高い学習効果が見込めるのではないか、という実感があったので書き留めておきたい。 この記事の想定読者自分プログラマになったばか
発見した0dayについての技術的解説 - EC-Cube, SoyCMS, BaserCMS - Flatt Security Blog
※このブログは、セキュリティエンジニアのstyprが英語で書いた文章を翻訳し、社内で監修したものになります。 こんにちは。株式会社Flatt Securityのstypr (@stereotype32)です。 以前公開した記事「Flatt Securityは“自分のやりたいことが実現できる”場所／セキュリティエンジニア stypr」でお話した通り、私は現在Flatt Securityで0day huntingとセキュリティの診断をしています。 私は 5月に入社してから 0day hunting の業務に取り組んでいます。他の面白い業務と並行して取り組んでいるので、一つの製品にかけている時間は、最低1日からせいぜい1週間程度です。 結果、これまでの間、私はかなり多くのOSS脆弱性を見つけてきました。そこで今回の記事では、現在までに修正された脆弱性のうち、技術的に面白い選りすぐりのものを解説し
AWSで使うRust
κeenです。この記事では IdeinでのAWSの利用例の開示の一環として、どのようにRustをAWS上で動かしているかをご紹介します。 Ideinの提供しているサービスActcastではサーバの主たる部分をRustで書いています。 はじめの頃は本当にRustだけだったのですが、各方面に秀でたメンバーが集まった結果、今ではHaskellやTypeScript、一部ですがGoも動いています。 そもそもRustの採用事例が少ないことからRustをAWSで扱う知見はそこまで多くなさそうです。 そこで今回はIdeinでどのようにAWS上でRustを動かしているか、動かすにあたって必要だった知見などを紹介していきます。 全体像全体の中で、Rustが動いている環境はECSとLambdaです。 ECSで動いているのはActcastのバックエンドAPIで、Actcastのサーバ本体とも言える部分です。 L
#技育祭 ではじめてでもわかる！コンテナ入門 という講義をしたのですがコンテナ技術以前に何が必要か？ - じゃあ、おうちで学べる
概要 空腹状態から回復する為に飯を食っても腹が出る人類の不思議について考えていたら夜でした。2021年03月13日 の15:50 から16:50 までの一時間で技育祭というイベントでコンテナの入門講義を行った。以前から事前に情報が共有できない入門講義は罪深いとは思っている。事前知識のある有無や特定のコンテキストへの理解など参加者のスタートラインを確認できないからで講義時間の関係上それらに一線を引いてここからあそこまでの入門講義だと思い込んで講義を行わなければならない。これは地味にシンドイ。講義する側になると予習復習は大事というのが身に染みます。 講義の感想にたまにこんな声が聞こえる。 コンテナ技術以前の前提知識が必要だと思う こういうことを聞くとオジサンなので彼らの為になるようにXXといういい本があるよ!!! インフラの勉強をするにはこういう名著がある。もちろん、基本的な知識としてネットワ
※本記事は2020年6月に公開された内容です。 青山真也（@amsy810）と申します。サイバーエージェントで社内のプライベートクラウド構築に携わるほか、Kubernetesのマネージドサービスもオンプレミス上で実装して提供しています。外部でもKubernetesの仕事を複数行っているほか、コミュニティ活動、DockerやKubernetesに関する本を2冊執筆するなど積極的に布教活動を行っています。 本記事ではDockerとKubernetesの基本からさらに次のステップに進めるような内容をお伝えします。 Kubernetes関連の求人検索はこちらから ユーザーの追加・表示をするGo製アプリケーションを作ってみる 今回題材にするのは、簡易的なGoのアプリケーションです。中身はシンプルなもので、メイン関数で8080番ポートにリクエストが来たときのハンドラを用意しています。それぞれのパスに関
GitHub Actionsに「強い」AWSの権限を渡したい ~作戦3 - AssumeRole with Google ID Token ~ - KAYAC engineers' blog
こんにちは。技術部の池田です。 この記事では、Github Actions上に「強い」AWSの権限を渡すために以下のことを行います。 App Runnerでお手軽にGoogle ID Token 取得するためのWeb Applicationを動かす。 Web Applicationから取得できるGoogle ID Tokenを信頼するIAM RoleにAssumeRoleする。 AssumeRoleによって得られた一時的な強い権限で、強い権限を要求する作業(Deploy, Terraform Apply)をGithub Actionsで行う。 これにより、Github Actions上にAWSのアクセスキーを置かずに、ある程度安全な方法でAWS上での強い権限を要求する操作を実行できます。 そのため、例えばGithub Repositoryに不正アクセスされてしまったとしても、AWSの本番環
Renovateを使ってフロントエンドのバージョンアップを改善した話 | PR TIMES 開発者ブログ
こんにちは、フロントエンドエンジニアの小張です。Renovateを使ってフロントエンドのパッケージやライブラリのバージョンアップを改善したことについて紹介します。 PR TIMESではReactに関するコードを、monorepoとしてprtimes-frontendという1つのリポジトリで管理しています。 このリポジトリは作成されてから2年ほどしか経っておらず、使っているライブラリも比較的新しいため、今までバージョンアップの仕組みを特に整備していませんでした。 ただフロントエンドのライブラリはバージョンアップの頻度が多く、異なるライブラリ間でバージョンの依存関係があることもあり、将来のことを考えればライブラリのバージョンを更新する仕組みを作ることはほぼ必須でした。 また、monorepoであるためライブラリのバージョンを大きくあげようとした際の対応コストも大きく、最新との差が小さいうちに細
docker-compose で複数サービスを起動する際に時間を要するのが、Docker イメージのダウンロードと展開です。この時間を削減するために、ベースイメージを共通化する方法を試してみました。 本エントリでは、開発環境や CI 環境に docker-compose を利用することを想定しています。 改善前 ここでは、dokcer-compose up(pull) の時間を削減できるかを確認するだけなので、下記のように dynamodb, elasticmq, elasticsearch のみを docker-compose.yml に含めています。 version: "2.0" services: dynamodb: image: amazon/dynamodb-local:1.12.0 ports: - 8000:8000 elasticmq: image: softwaremil
はじめに Herokuの無料枠が終了することにあわせて、個人で動かしているRailsアプリケーションを他の場所へ移行する。 いままで無料で使わせていただいたこと感謝しつつも、月千円ほど払うほどのアプリケーションでもないので、ほぼ無料で移行できそうな場所を探すことにした。1 コンテナをホスティングできるGoogle Cloud Runは従量課金制だが、個人で使う分にはほぼ無料なので、これを選ぶことにする。 Cloud Runで使うRDBは一般にはGoogle Cloud SQLが推奨されていそうだが、ここでは安さのためにSQLite3 + Litestream + Google Cloud Storage(以下GCS)を使うこととしたい。 実装の方向性 Litestreamは、SQLite3のデータベースを、オブジェクトストレージやNFS、SFTPのストレージにレプリケーションできるOSSの
Docker Composeでコンテナのビルドが爆速に！？最新のDocker Composeを試してみよう - Qiita
Docker Composeでコンテナのビルドが爆速に！？最新のDocker Composeを試してみようDockerdocker-composeBuildKit はじめに この前至高のDockerイメージ生成を求めて -2019年版-を書いて多くの反響をいただきました。 この記事の中で「BuildKitを使うと軽量なコンテナのビルドが高速にできるようになる」と書いたのですが、実際のところ2019年現在において、Docker Composeの正式リリースではまだこちらの機能が使えません。 Docker for MacのEdgeチャンネルで2.1.5.0(40323)が降ってきて、BuildKitのComposeが使えるようになってました！！！！やったぜ！ これは、Docker ComposeではDockerのAPIと通信するのにPythonのライブラリであるdocker-pyを使っていて、
Lambda + DynamoDB + LangChainで外部情報に対応したサーバレスチャットボットを作ってみる - NRIネットコムBlog
Lambda + DynamoDB + LangChainを組み合わせて外部情報に対応したチャットボットを作ってみました。 構成 Lambda Dockerfile requirements.txt lambda_function.py OpenAI Functions Agent 会話履歴の保持 外部情報の参照 DynamoDB 動作確認 まとめ 構成 Lambda LangChainのパッケージが250MBを超えてしまうので、コンテナイメージからLambda関数を作成するようにします。 docs.aws.amazon.com Dockerfile FROM public.ecr.aws/lambda/python:3.10 # Copy requirements.txt COPY requirements.txt ${LAMBDA_TASK_ROOT} # Copy function
コンテナイメージビルドが遅いなら、Kaniko使うと幸せになれる（全部入りRails Dockerfileを参考に） - Qiita
コンテナイメージビルドが遅いなら、Kaniko使うと幸せになれる（全部入りRails Dockerfileを参考に） 結論 BuildKit対応してないCI/CD（サービス）使ってるならKaniko使えば早くなるよ Google Cloud Build使ってるなら迷わず使っておくべき Amazon Elastic Container Registry（ECR）でも問題なく使用できる この記事の例でいうと未キャッシュからフルキャッシュなら 288秒→132秒に短縮（約2倍） 御託はいいのでどう書くか教えて ここに書いてますので、自分の使ってるCI/CDサービスに当てはまるのを選んで参考にどうぞ https://github.com/chimame/kaniko-example 本題 長いうんちくや説明を知りたい人向けです。 この記事で記載するのはAmazon Elastic Containe
作りたい機能 PCやスマホから特定のデータベースにデータを蓄積する機能 ※データの例としては収支や勉強時間 設計上の要望 AWSを使用してAPIとして使用したい コマンドから手軽に使用したい Docker上で動作させたい 手軽にコードを更新できる仕組みとしたい これが現在のファイル構成 設計上の要望を叶えようと作成したプロジェクトのファイル構成は以下の通りです 一部のファイル(折りたたみがあるファイル)に関しては記載例を載せています github workflows deploy.yaml：Lambdaへのデプロイを自動化する name: AWS Lambda Deploy on: push: branches: - [ここに指定したブランチにコードがプッシュされると、このワークフローが発火する] jobs: deploy: runs-on: ubuntu-latest permissio
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Open InterpreterをDockerで動かす
カラーミーショップの開発環境をすべてDockerに移行しました - Pepabo Tech Portal
コンテナビルド最新事情 2022版 ～TechFeed Conference 2022講演より | gihyo.jp
GitHub Actions 上での Go の Docker ビルドを高速化する
ZOZOTOWN「おすすめアイテム」を支える推薦システム基盤 - ZOZO TECH BLOG
GitHub Actions向け自作アクションの作り方｜Tably
LibreChat で Command R+ を使えるようにする - ハイパーマッスルエンジニア
Laravel を Docker で動かしてホスティングするまで
バグハント入門 (OSS編) - blog of morioka12
goのLambdaはコンテナイメージでよくない? - エムスリーテックブログ
VMとDockerの基礎 -コンテナって何なの？？言葉と仕組みを理解する
自分の使う OSS に GitHub で少し貢献した話
Kubernetes入門｜yamlとコマンドの基本的な使い方と運用効率化術 - FLEXY（フレキシー）
ベースイメージを共通化して docker-compose up を速くする - Shin x Blog
HerokuからCloud Run + Litestreamへ移行した - memo.yammer.jp
個人的にお気に入りのPythonプロジェクトのファイル構成 - Qiita