How to Set Up a Python Project For Automation and Collaboration
How to Set Up a Python Project For Automation and Collaboration [ engineering production python productivity 🔥 ] · 20 min read As your Python project gets larger in scope, it can become difficult to manage. How can we automate checks (e.g., unit testing, type-checking, linting)? How can we minimise collaboration overhead (e.g., code reviews, consistency)? How can we maximise developer experience
Oracle Cloudの無料枠だけでKubernetes(k3s)クラスタを構築する - blog.potproject.net
Oracle Cloudの無料枠だけでKubernetes(k3s)クラスタを構築する(したい) タダでkubenatesを運用してみたいんじゃオラ という気持ちの元に、ギリギリ無料でkubenatesを運用できそうな物が出てきたので、構想を現実にするという記事です。 Oracle Cloud Infastructure と Kubernetes Kubernetes、Docker(厳密には違うけど)のオーケストレーションツールとして、事実上の標準として居座っているオープンソースソフトウェア。 コンテナの運用技術としてこれから試してみたい人も結構多いと思いますが、やるのであれば実際にクラスタ組んでサービスをデプロイしてインターネットからアクセスできる、そんなレベルまでやってみたいものです。 やるとすれば、実際Kubernetesを採用しているクラウドサービスは多く、GCPはマネージドKub
私は、OpenJDKのCommitter業や仕事でミドルウェアのSolution Architectとして活動している関係上、最近はコンテナ上でJavaアプリケーションを動かすことが非常に多いです。 KubernetesでJavaアプリを監視する場合には、Elasticsearch+KibanaやPrometheus+GrafanaなどでログやMBeanを監視する方法が一般的に行われています。 Java 11では有償JDKに含まれていた機能がOpenJDKへ寄贈され、JDK Flight Recorder (JFR)として生まれ変わりました。JFRはJVMの内部の情報やその上で動くJavaアプリケーションの様々な情報をほとんど負荷無く記録し、ファイルとして取得できます。このファイルをJDK Mission Controlなどのツールを使って確認し、これまでより詳細に分析できます。 これまで
機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip
Tailscale(SSH)ことはじめ
はじめに Tailscale、気にはなっていたのだけれど、この辺りのツイートを見て興味が出たので、自分でも手を動かしたのでメモ。 Sign Up 費用感はこの辺りを読むとわかりやすい。個人利用なら20台は無料で使えるので検証には十分ですね。 Personalプランのリンクから登録すればよい。 と言っても、細かいサインアップの手続きはなく、MS/Google/GitHubいずれかのアカウントで連携するのみ。※私はGitHubで連携した。 Usage デバイス登録(一台目、Amazon Linux2) 早速１台目を登録してくれということなので、近場にあったAmazonLinux2 on EC2(というかCloud9)へ導入する。 基本的に言われるがままにコマンド実行するだけで、VPNの知識は特に何も調べてないままエージェントが導入される。 デバイス登録(二台目、Windows Server)
外部ユーザが安全かつ直接的に Amazon S3 へファイルをアップロードできるようにする方法 | Amazon Web Services
Amazon Web Services ブログ 外部ユーザが安全かつ直接的に Amazon S3 へファイルをアップロードできるようにする方法 このブログは 2022 年 3 月 24 日に Anderson Hiraoka (Solutions Architect) と、Rafael Koike (Principal Solutions Architect) によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。 企業では、ファイルや画像などのデジタル資産をリポジトリに保存することが求められることが多くあります。多くの場合、これらのファイルのソースは、社内システムに接続されていないパートナーまたは個人であり、ファイルをアップロードするためには、企業の認証が必要となります。お客様は従来、ファイルのアップロードを処理するためにサーバーを使用していましたが、大量のネットワー
追記(2023/3/11) 約半年ほどDeta.shで簡単なサービスを運用していたが、先日Deta.shに大幅なアップデートがあり、仕様が大きく変わった。 これによりREST APIを公開して運用することができなくなった。（できなくはないが必ずヘッダにAPIキーを指定する必要がある。そのため例えばLINE Messaging APIのバックエンドとしては使用不可） Detaは”Personal Cloud”を思想に掲げているらしく、何らかのサービスのバックエンドとして使うにはちょっと使い勝手が悪くなってしまった。 というわけで、自分の使い方には合わなくなったため現在はAWSへ移行している。 HerokuのFree Planが終了するらしい(泣) Starting November 28, 2022, we plan to stop offering free product plans a
Serverless Framework+mangum+FastAPIで、より快適なPython API開発環境を作る - JX通信社エンジニアブログ
はじめに 最近ハイボールにハマっているSREのたっち(@TatchNicolas)です。 昨日オンライン開催されたJAWS DAYS 2020にて、JX通信社もサーバレスをテーマとして発表をしました。（by 植本さん） 発表でもありましたように、上記プロジェクトにおいて開発当時はスピードを優先してプロジェクトメンバーの手に馴染んでいて分担もしやすいフレームワークとしてFlaskを採用しました。 一方で、JX通信社としてはFlaskよりもFastAPIを使うプロジェクトが増えてきており、今後もその傾向は続く見込みです。 そこで、特設ページ作成やAPI提供など初動としての開発が一段落したのを機に、JAWS DAYSで発表した仕組みを今後のために発展させる検証をしたので紹介します。 TL; DR; JAWSでは Serverless Framework+awsgi+Flaskな構成でスピーディに
前に紹介したCoderがPivotしエンタープライズ開発に注力するようで、個人開発者向けVSCodeブラウザ版はオープンソースで提供するようになりました。 VSCodeのブラウザ版はDockerでも提供されていて、Dockerさえインストールされていれば下記のコマンドを起動したあと`http://localhost:8080`をブラウザで開くだけでVSCodeと同じ環境で開発ができるようになります。 docker run -it -p 127.0.0.1:8080:8080 -v "${HOME}/.local/share/code-server:/home/coder/.local/share/code-server" -v "$PWD:/home/coder/project" codercom/code-server:v2しかし、ローカルで動かすなら普通のVSCodeと同じなので、どこ
はじめに こんにちは。株式会社Flatt Securityセキュリティエンジニアの村上 @0x003f です。 本稿では、Webアプリケーション上で実装される「認可制御」で気をつけなければいけない「仕様の中で起きうる脆弱性」とその対策について解説していきます。 どういったアプリケーションであれ認可制御は何らかの形で行われているでしょう。今回は認可制御について不適切な設計・実装を行うとどういった脆弱性が起こりうるのかということを解説できればと思っています。 昨今は特に機密性の高いデータを扱うWebサービスも増えており、その対策の重要性は増しています。Flatt Securityは専門家の視点でセキュリティリスクを洗い出す診断サービスを提供しておりますので、興味のある方は是非あわせて事例インタビューもご覧ください。 はじめに 想定アプリケーション セキュリティ観点と対策 観点1: 権限を持たな
MOCO - Kubernetes 用 MySQL クラスタ運用ソフトウェア - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズの Kubernetes 基盤を開発している Neco プロジェクトの ymmt です。 サイボウズ製品のほとんどはデータベースとして MySQL を採用しています。 現在 400 を越える MySQL のインスタンスを運用しており、これら全てを新しい Kubernetes 基盤に移行していく予定です。 Kubernetes 上でアプリケーションやミドルウェアの運用を自動化するソフトウェアのことをオペレーターと言います。 大量の MySQL インスタンスを Kubernetes 基盤に移行するにはオペレーターが必須であると考え、技術顧問の @yoku0825 さんの監修の下で MOCO というソフトウェアを開発しオープンソースライセンスで公開しました。 本記事では Kubernetes 上の MySQL オペレーターの状況と、開発した MOCO の機能を詳細に解説いたします。 M
書籍『インフフラ/ネットワークエンジニアのためのネットワーク「動作試験」入門』がもはや「先輩」だった - てくなべ (tekunabe)
はじめに 『インフフラ/ネットワークエンジニアのためのネットワーク「動作試験」入門』を読みました。とても良い本でした。 www.sbcr.jp Amazon.co.jp はこちら （電子版が試し読みできます） なかなか扱われることの少ない動作試験に絞った書籍であることと、「インフラ／ネットワークエンジニアのためのネットワーク技術＆設計入門 第2版」や「インフラ/ネットワークエンジニアのためのネットワーク・デザインパターン」など素晴らしい書籍の著者である、みやたひろしさんの書籍であるという点で、とてもたのしみにしていました。 ポートの状態などを確認する単体試験、機器を接続してルーティングなどを確認する結合試験、冗長機能が正常か確認する障害試験、ほか性能試験や長期安定試験について、考え方や手順などが書かれています。 初学者の頃に、現場の先輩に試験の方法を教えてもらい「こういうのありがたいなぁ。
この記事に記載されている内容を、実際に試して発生した損害に対していかなる責任も負いません（補償しません）。 すべて自己責任のもとで行ってください。 リリースされているアプリやゲーム、ソフトウェア利用許諾契約（EULA）やアプリケーション利用規約などでリバースエンジニアリングは禁止されています。 実際に試す場合は、自分で開発しているアプリやゲームや脆弱性確認用でリリースされているアプリやゲームを使いましょう。 はじめに ハック（攻撃）と対策（防御）は表裏一体です。どのようなハックが行われるのかを知らないと対策は行えません。 ハックする側の方が、時間や対応者の人数など基本有利です。 日々新たな問題が発生しています。最新の情報を常に確認する必要があります。 リンクは、すべて目は通していますが、すべてを試しているわけではありません。 上手くいかない、よくわからないなどはキーワードをピックアップして
はじめに Mackerel というと、皆さんこんなイメージをお持ちかもしれません。 エージェントを入れないといけない サービス側で色々設定しないといけない 今ある値をグラフにして欲しいだけなのに こんな風に思っておられるかもしれません。ですが Mackerel は独自のグラフを作るのであれば、大した設定もいらないし、エージェントをインストールする必要もないのです。 本記事では、今ある値を最速でグラフにする手順を示したいと思います。なお Mackerel のアカウントは既にある前提で説明します。今回は Twitter フォロワ数の増加をグラフにしてみたいと思います。 筆者は普段 Twitter でフォロワ数などを全く気にしない人なのですが、先日以降 Twitter の通知欄に「フォローされた」通知が沢山くるのを確認していました。 昨日は自分がプログラミングを始めた頃からずっと尊敬しているプロ
Prompt Flowが使えるようになったから、もうLangChainとか自分でホストしなくていい世界になったのかもしれない。 | DevelopersIO
Prompt Flowが使えるようになったから、もうLangChainとか自分でホストしなくていい世界になったのかもしれない。 Buildで発表され、注目されていた Model Catalogと Prompt Flowが2023年7月6日(JST)から使えるようになっていました。 ※ まだ、Previewなので、今後仕様などが変更する可能性があります。 この記事ではPrompt Flowの紹介です。 Model Catalogはこちら Azure Machine LearningでModel Catalogが使えるようになりました。 どちらの機能も、Azure Machine Learning Studioから使うことができます。 Prompt Flowとは Prompt flow is a powerful feature within Azure Machine Learning (A
こんにちは。SRE の近藤（@chaspy）です。 先日、より高い信頼性でサービスを提供するために、スタディサプリ小中高大のサービスの最後の砦であるデータベース、MongoDB のインスタンスクラスのスケールアップを行いました。また、スケールアップをするにあたり、負荷試験を行いました。 本記事では、データベースインスタンスのスケールアップの際に行なった負荷試験に対する考え方と、得た学びを紹介します。 なぜスケールアップするのか サービスの急成長に伴い、アクセス数もデータ量も増加しています。数年前に「しばらくは大丈夫」と判断できるインスタンスクラスにスケールアップをしたデータベースも、高負荷時には性能が劣化してしまう問題に遭遇しました。 私たちの MongoDB は AWS 上に EC2 インスタンスとしてセルフホストしており、MongoDB Cloud Manager を使って運用の一部を
トップレベルドメインの中に.devと.appがある．これらはHTTPS接続を強制するドメインとして知られている．この仕組みが気になっていたので調べてみた． 参考: グーグル、完全HTTPS接続で安全なアプリ用ドメイン「.app」--早期登録を受付開始 - CNET Japan 結論: HSTSのPreload Listという技術を使っている． HSTS HSTS(HTTP Strict Transport Security)はHTTPでアクセスしてきたユーザ(HTTPクライアント)にHTTPSでのアクセスを強制するための技術である．対応しているWebサイトでは，HTTPレスポンスのヘッダに Strict-Transport-Security: xxx が付与されている．Qiitaの場合はstrict-transport-security: max-age=2592000が設定されている．R
Rustを写経する環境を作る
What's? 詳解Rustプログラミングを写経しています。 最初はIntelliJ IDEAで書いていたのですが、補完があまり効かないのでVS Codeに乗り換えました。 (IntelliJ IDEAで何がうまくいっていないのか調べられてないのですが...) ついでにとアレコレくっつけていったらゴツゴツしてきたのですが、なかなか快適なので紹介。 写経中のリポジトリはこちら。 https://github.com/watarukura/rust_in_action_study Required VS Code Docker devcontainer VS Codeのdevcontainerを使います。 moldを使ってみたかったのでFaster Rust Incremental Builds in Dockerを参考にしつつ、最新のv1.1を使えるように書き換えています。 (あんまりmol
ウィンドウサイズに合わせて表示される情報も変わるオープンソースのネットワーク監視ツール「bandwhich」を使ってみた
PCのネットワーク使用状況を確認するツールはWindowsのリソースモニターやLinuxのiftopコマンドなどが有名です。そんなネットワーク監視ツールの一つである「bandwhich」は、CLI上でプロセスごとにネットワークを監視できるコマンドで、ウィンドウサイズに合わせて表示される情報が変化していくツールです。GitHubにソースコードが公開されているので、実際に使ってみました。 GitHub - imsnif/bandwhich: Terminal bandwidth utilization tool (formerly known as "what") https://github.com/imsnif/bandwhich 今回はUbuntuにbandwhichをインストールしてみます。まずはパッケージマネージャーのCargoをインストールするため、下記コマンドを実行します。 cu
DenoにはWebAssemblyがある
このDenoスタータプロジェクトテンプレートをGitHubからクローンあるいはフォークしてください。インストラクションに従えば、Denoで動作する最初のWebAssembly関数(Rustで記述されている)が5分以内に完成するはずです。 ちょっとした背景説明 Node.jsが大きな成功を収めたのは、開発者に２つの世界で最高のものを提供できたからです。すなわち、JavaScriptによる、特にイベントベースの非同期アプリケーション開発における簡便さと、C/C++のハイパフォーマンスです。Node.jsアプリケーションはJavaScriptで記述されますが、実行は、Google V8 JavaSciptエンジンと多数のネイティブライブラリモジュールを含んだ、C/C++ベースのネイティブランタイムによって行われます。Denoはこの勝利の方程式を再現する一方で、そのプロセスを、TypeScript
ISUCON10の予選を4位で通過しました
こんにちは、Finatextでエンジニアをしている @s_tajima です。 先日行われたISUCON10の予選に、Finatextのエンジニア陣 @s_tajima / 石橋 @atsushi-ishibashi / @yami20 で参加しました。 チーム名は 一口坂46 です。オフィスの前の坂の名前です。 結果として、予選を4位で通過することができました！ 私達のチームがどんな戦略でどんなことをやっていたかのブログです。 尚、このブログはチームメンバー3人での共著です。 リポジトリhttps://github.com/s-tajima/isucon10q-hz46-app 事前準備他にもやっていた準備はあるのですが、特に役立ったものを3つほど紹介します。 作業用AWS環境の準備事前練習用のEC2、当日のログアップロード用のS3バケット(後述) 等を作成するためのAWSアカウントを用
ひょんとしたことから PHP をやることになったのですが、Laravel を コンテナでホスティングするのが難しすぎて困っています。とりあえず今できていることをメモです。こうした方が良いよ的なアドバイスがあったら教えて欲しいです。 ちなみに本当は昨日公開予定のブログでしたが、Xが急遽OGPに対する仕様を変えたのでそれを踏まえた新しいOGイメージでお送りします。 注意 ↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓ この文章は PHP + Laravel歴 1週間ちょっとのペーペーによって書かれたものです。apache も fastcgi も初見です。書かれている内容を間に受けないでください。 ↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑ tl;dr Docker で動かす最小構成がわからないのですが、とりあえずこう書けば動きはします。 FROM php:8.2-f
Mac で「ゼロからのOS自作入門」の「8.7 メモリ管理に挑戦」まで進められたので、ひとまずそこまでの手順をメモとして残しておきます。この環境構築方法で本の最後まで進められるかどうかはまだわかりません。 環境は macOS BigSur(11.4), CPU は Intel でも Apple Silicon でも OK です。Homebrew はすでにインストールされているものとします。 PATH にいろいろ追加していきますが、適宜 .zshrc 等の PATH の設定にも追加してください。 EDK II の準備 後でインストールする binutils がすでにインストールされ PATH に追加されていると失敗するので注意してください。 $ cd $HOME $ git clone https://github.com/tianocore/edk2.git $ cd edk2 $ git
New – A Shared File System for Your Lambda Functions | Amazon Web Services
AWS News Blog New – A Shared File System for Your Lambda Functions July 1, 2020: Post updated to take care that Amazon EFS increased file system minimum throughput, when burst credits are exhausted, to 1 MiB/s. I am very happy to announce that AWS Lambda functions can now mount an Amazon Elastic File System (Amazon EFS), a scalable and elastic NFS file system storing data within and across multipl
VSCode for Web、WebAssembly版言語ランタイムやシェルを拡張機能として実験的に実装。Webブラウザローカルでコードやシェルを実行可能に
VSCode for Web、WebAssembly版言語ランタイムやシェルを拡張機能として実験的に実装。Webブラウザローカルでコードやシェルを実行可能に Visual Studio Code（VSCode）をWebブラウザで利用可能にしたVSCode for Webは、ローカルマシンにVSCodeをインストールすることなく、WebブラウザさえあればGitHub上のソースコードなどを編集可能にする便利なサービスです。 ただし、VSCode for WebはWebブラウザ上で実行されているため、コードを実行するにはサーバなど、言語のランタイムがインストールされている別のマシンが必要となります。 この点は、ローカルマシン上のランタイムを用いてコードを実行できる、デスクトップアプリケーションとしてのVSCodeと比べた場合の、VSCode for Webの欠点といえます。 そこでこの欠点を補う
はじめに シェルスクリプトの世界は今後 10 年で大きく変化します。10 年という数字は切りが良い数字を持ってきただけで根拠はありません。これより長い時間がかかるかもしれませんし、もしかしたら短くなるかもしれません。しかし確実によりよい方向に変わっていくでしょう。Unix/Linux の標準コマンドはさまざまな問題を抱えています。Unix/Linux の標準コマンドに依存している限りシェルスクリプトに大きな改善はありません。これからのシェルスクリプトの世界は Unix/Linux の標準コマンドに依存しない世界です。それがどういうものになるのかをこの記事で解説しています。この記事は私の予言であり目標です。 シェルスクリプトの失われた30年の進化を取り戻す！ 残念なことに、シェルスクリプトの世界は 30 年前から大きく変わっていません。それまでの間、プログラミング言語の世界、ソフトウェア開発
Dockerfile に HEALTHCHECK を設定すると「ヘルスチェック機能」が使えるようになる - kakakakakku blog
今回は Docker で使える「ヘルスチェック機能」を試す．Release Note を読むと，機能としては Docker 1.12 から使えるらしく，3年前からあったなんて...！仕組みとしては，Docker デーモンからコンテナに指定したコマンドを定期的に実行する． Dockerfile 構文 「ヘルスチェック機能」を使う場合，まず Dockerfile に HEALTHCHECK を設定する．実行するコマンド以外に以下のオプションも設定できる．注意点として，--retries 以外は秒数を指定するため，表記は 5s のように単位も付ける． --interval=DURATION (default: 30s) --timeout=DURATION (default: 30s) --start-period=DURATION (default: 0s) --retries=N (defa
“Too Many Requests.” でビルドが失敗する…。AWS CodeBuild で IP ガチャを回避するために Docker Hub ログインしよう！という話 | DevelopersIO
buildspec.yml 内で docker login -u *** -p *** といった処理をしていなければ、それは匿名ユーザーで利用していることになります。 （ちなみに aws ecr get-login のログイン処理は ECR へのログインであり、Docker Hub のログインではありませんのでお間違えないように） 「匿名ユーザーで使ってるけど 6 時間あたり 100 pull も出来るならウチの環境では十分やなー」 と思ってスルーされた方も少なくないと思いますが、ちょっと待ってください。リンク先のブログで言及されているとおり、匿名ユーザーは IP アドレスに基づいて制限されます。 For anonymous (unauthenticated) users, pull rates are limited based on the individual IP address.
【オフショア】ベトナムメンバと理解する「PHPリーダブルコード」 〜第1回 表面的な改善〜 - RAKUS Developers Blog | ラクス エンジニアブログ
本稿では、ベトナムとのオフショア開発において利用できるよう、"リーダブルコード" の内容をもとに筆者が解釈したものを、社内用資料として日本語とベトナム語の両方で解説したものです。*1 この記事を日本チームとベトナムチームのメンバに読んでもらうことで、"リーダブルコード" の知識がチーム間の共通認識となり、プログラムコードの品質が向上することを目的としています。 全2回を予定しており、第1回である本稿は、「表面上の改善」について解説します。 Trong bài post này, tôi sẽ tóm tắt nội dung của "Readable code" và giải thích bằng cả tiếng Nhật và tiếng Việt, để có thể sử dụng trong việc phát triển Offshore với Việt Nam. Khi
※ この記事は以前私が Qiita に書いたものを、現状に合わせて更新したものです。(内容、結構変わりました) ※ 2021/01/08 CUDA Toolkit 11.2 のリリースに伴い、「NVIDIA ドライバのインストール」節を更新しました。 ※ 2020/09/24 CUDA Toolkit 11.1 のリリースに伴い、「NVIDIA ドライバのインストール」節を更新しました。 エヌビディアの佐々木です。 この記事では、Docker 等のコンテナで GPU を利用するための「NVIDIA Docker」の現状を紹介します。 「Docker で GPU を使うためにあちこち調べてみたけれど、nvidia-docker コマンドを使えばよいとか、--rutime=nvidiaオプションが必要とか、はたまた Docker が標準で GPU をサポートしたとか、色々な情報があってよくわか
GitHub Actionsのセルフホストランナーを使ってJenkinsをサクッと叩けるようにする - Mirrativ Tech Blog
7月からミラティブにUnityエンジニアとして入社した森田です。 弊社ではUnityのCIとしてJenkinsを利用していますが、GitHub Actionsのセルフホストランナーと連携させることで、JenkinsはそのままでGitHubのWeb画面からジョブを実行できるようにしてみたので、書いておきます。 課題 実装 GitHub Actionsのセルフホストランナーの設定 JenkinsのAPIトークンを発行する workflowファイルの作成 結果 残った課題 We are hiring! 課題 弊社ではアプリのUnity部分とアセットバンドルのビルドにJenkinsを利用しています。 tech.mirrativ.stream JenkinsはUnityエンジニアに貸与されているMac miniにそれぞれにインストールして運用をしていたため、CIビルドするためにはその都度Mac mi
ダークウェブをChromeから覗く闇のワンライナー Welcome to Underground - Qiita
ダークウェブ（.onionドメイン）にアクセスする場合、ブラウザはTorを使う必要がありますが、docker内でTorを建ててプロキシとして使えば、どのブラウザ、またはCURL、pythonスクリプト等でもアクセスできちゃいます。 ワンライナーはこちらです。 networksetup -setsocksfirewallproxy Wi-fi localhost 9150 && networksetup -setsocksfirewallproxystate Wi-fi on && cd $(mktemp -d) && echo -e "FROM alpine:3.12\nRUN apk add tor" > Dockerfile && docker build . -t torproxy && docker run -p 9150:9150 torproxy sh -c "chown -R
【Unit4 ブログリレー8日目】 こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 今日の記事は、タイトルのとおりgoのLambdaはコンテナイメージで管理するのがオススメって話です。 城島高原パーク（きじまこうげんパーク）は、大分県別府市の城島高原にある遊園地。本文には関係ありません。 go1.xランタイムのサポート終了 コンテナイメージにする利点 起動時間は遅くならないの？ 構成 処理本体 main.go Dockerfile 本番実行用イメージ ローカル実行用イメージ ローカルで実行 Lambdaの設定 まとめ We are hiring! go1.xランタイムのサポート終了 先日、AWS Lambdaの go1.x ランタイムのサポート2023/12/31で終了することが話題になっていました。 「なっていました」と伝聞なのは、Unit4ではすで
CloudFrontで素早くコンテンツを更新させたい場合にTTLを短くしInvalidationを行わないキャッシュ戦略を考える | DevelopersIO
CloudFrontで素早くコンテンツを更新させたい場合にTTLを短くしInvalidationを行わないキャッシュ戦略を考える CloudFrontで頻繁に更新されるコンテンツではないため長くキャッシュさせておきたいが、更新があった場合はすぐに反映させたい、というケースではTTLを短くしておきましょう。オリジンからのデータ本体の転送は更新の際にしか実施されません。 はじめに 清水です。AWSのCDNサービスであるAmazno CloudFrontを利用する場合に、頻繁に更新されるファイルではないため、なるべく長くCloudFrontにキャッシュさせオリジンへのアクセスやデータ転送の負荷などは極力少なくしたい。けれどオリジン側でファイルの更新があった場合は、なるべく早くCloudFront側でもキャッシュの反映を行いたい、といったことがあります。 このようなケースで1つ考えられる方法は、C
OpenAI社が2023年3月1日に公開した「ChatGPT API」についての初心者向け記事です。 VisualStudio CodeとGoogle Apps ScriptでChatGPT(gpt-3.5-turbo)をより安全快適に使いましょう。 GASはともかくスプレッドシートでGPTを関数化すると、ものすごい勢いでトークンを失う＆安定に動かない問題を解決しています。 「gpt-3.5-turbo」そもそも何が嬉しいの？ 公式資料 まず何といってもモデルの使用料金がインパクトあります。 ChatGPTモデルファミリー「gpt-3.5-turbo」は、ChatGPT製品で使用しているものと同じモデルであり、既存の「GPT-3.5」よりもGPT-3.5モデルより10倍安く、価格は1,000トークンあたり0.002ドルです。 また、チャット以外の多くのユースケースに最適なモデルです。プロン
執行役員 VP of Engineering 兼技術部長の @hsbt です。先週発売したモンスターハンターストーリーズ2をプレイしながら、「ティガレックスじゃなくてナルガ亜種出てよ〜」という感じにオトモンの卵探しに時間を費やしています。 今回は「ペパボさんには〜はありますか?」シリーズの第二弾として「ペパボさんではテックブログの執筆方針などはありますか?」という質問をもらったので、GMOペパボ(以下、ペパボ)でのテックブログの運営方針をこのエントリで紹介したいと思います。(第一弾は GMO ペパボでの Slack の使い方 2021 - ペパボテックブログ です) 運営方針 ペパボテックブログは 2015年11月17日にスタートしました。当時の執行役員CTO、現取締役CTOの @kentaro が書いたテックブログ開設の目論見について引用します。 日々の業務から得られた知見を少し立ち止ま
Fresh は Deno 製の Web フレームワークです。事前のビルドを必要せず、エッジでレンダリングを提供するという特徴があります。また Islands Architecture を採用しており、デフォルトではクライアントに JavaScript が配信されることがありません。 この記事では Fresh を使用して記事投稿サービスのチュートリアルを紹介します。 完成したサイトは以下のようになります。 ソースコードは以下のレポジトリから確認できます。 インストール Fresh を始めるには Deno の v1.22.3 バージョン以降が必要です。Deno をまだインストールしたことがないのならば、installation を参考に Deno をインストールしましょう。 # Shell (Mac, Linux) $ curl -fsSL https://deno.land/install.
Windows 10およびWindows 11上のLinux環境「WSL」をこれから始める読者のための、インストール方法やバックアップ方法をまとめて解説する。また、Windows 11上のWSLで新規サポートされた外部ドライブのマウント方法も合わせて紹介しよう。 「Windows 10」や「Windows 11」上でLinuxの実行環境を構築可能とする「Windows Subsystem for Linux（WSL）」が着々と更新されている。WSLは、Windows 10 Fall Creators Update（バージョン1709）から正式版が利用可能となり、その後、May 2020 Update（バージョン2004）では、Linuxとの互換性を高めた「WSL 2」が提供された（WSL 2については、Windows 10 The Latest「前バージョンから大幅に性能向上した新Linu
Amazon API Gateway プライベート API の「プライベート」を誤解してると、とても危ないという話。 | DevelopersIO
API Gateway にはパブリック API と、プライベート API が作成できますが、「プライベート」という言葉を正しく理解していますでしょうか？ 「自分の AWS アカウント内からのみアクセスできる API でしょ？」 と考えたあたなに質問です。図にすると、このようなイメージでしょうか？ あなたのアカウント内にプライベートな API Gateway が存在し、他の AWS アカウントから接続するには承認しないと接続できない。それが「プライベート」だと。 このようにお考えの場合、API Gateway にはリソースポリシーでアクセス元を制限したり、API Gateway で認証なども実装できますが「今回はプライベートなので、特に制限は必要ありません。」と考え、以下のようなリソースポリシーを設定していたりするでしょうか？ { "Version": "2012-10-17", "Stat
国税庁が公開する法人番号データをAPIで提供するサービス「ケンオール法人番号API」をリリースしました。 法人名を検索できるAPIデモはこちら 法人番号データとは？ 法人番号とは、国税庁によって全ての法人（国内・国外合わせて500万件以上）に付与された13桁*1の固有番号です。個人に付与されるマイナンバーと異なり、法人番号のマスターデータは公開されています。 国税庁は、この法人番号とそれに付随する以下の情報を合わせた基本3情報を、オープンデータとして公開しています。 - 商号または名称 - 本店または主たる事務所の所在地 ケンオール法人番号APIとは？ 法人番号データを使うことで、法人の正式な住所情報を簡単に取得できます。 ケンオール法人番号APIは、この法人番号データをAPIとして提供するサービスです。 ケンオール法人番号APIを使うことにより、例えば以下のようなシステムを簡単に作ること
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コンテナ時代における最新のJava&JVM監視 - #chiroito ’s blog
Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし
Herokuの無料枠が廃止になるのでDeta.shへ移行する - Qiita
code-serverを使ってブラウザ上だけでセキュアで快適に開発してみる｜masuidrive
Webサービスの認可制御の不備によって起こる仕様の脆弱性と対策 - Flatt Security Blog
Unityのモバイルゲーム向けセキュリティ関連覚書 - Qiita
Mackerel を使って10分でメトリクス監視を始める手順 - Qiita
負荷試験との向き合い方 - スタディサプリ Product Team Blog
.devドメインと.appドメインがHTTPSを強制する仕組み - Qiita
Laravel を Docker で動かしてホスティングするまで
Mac で始める「ゼロからのOS自作入門」 - Qiita
シェルとUNIXコマンドの未来 ～ これからの10年で起きるシェルスクリプトの変化 - Qiita
NVIDIA Docker って今どうなってるの？ (20.09 版)
goのLambdaはコンテナイメージでよくない? - エムスリーテックブログ
VSCodeとGASでChatGPT(gpt-3.5-turbo)をより安全快適に使う - Qiita
ペパボテックブログの裏側 - Pepabo Tech Portal
Deno の Web フレームワーク Fresh チュートリアル
Windows 10／11でLinux環境「WSL」を始める第一歩
ケンオール法人番号APIをリリースしました - ケンオールブログ