satoru-takeuchi.hatenablog.com ↑この記事が Twitter の TL に流れてたから読んでみたら面白かったのでコードを書き始めた7年前*1から振り返りながら書いてみる。 コードが残っていたりするものは載せていきたい。思い出せる限りなるべく時系列順で書いていく。多少前後する。 「独学でプログラミングを始めるなら C 言語から」という文言に載せられ Windows のコマンドプロンプト*2で動く簡単のプログラムをいくつか作った。ほとんど入門書の写経 + αだった。例によってポインタがわからず、もっと酷いことに return もわからなくて*3一旦距離を置く。return がわからなかったので関数を使うことを割けていたので全部 main 関数に書いていた気がする。初めて黒い画面にバババーっと文字が出てきたときはめちゃくちゃ楽しかった。 Java とかいう言語を使い
[アップデート]ゼロキャパシティからのバッチ処理に最適！AWS Batch で AWS Fargate が利用可能になりました！ #reinvent | DevelopersIO
本日のアップデートで AWS Batch で AWS Fargate の利用が可能になりました！ Serverless Batch Scheduling with AWS Batch and AWS Fargate AWS Batch for AWS Fargate AWS Batch はジョブをキューイングすると、定義された内容に従い自動的にコンピューティングリソースを起動し、計算処理を実行するバッチコンピューティングのサービスです。バックグラウンドでは Amazon ECS が動いているのですが、ユーザーは ECS を意識することがないようにラッピングされています。 従来はいわゆる ECS on EC2 がサポートされていましたので、ラッピングされてるとはいえ EC2 ホストの存在は少なからずとも意識する必要がありました。加えてゼロキャパシティからスケールする際は、キューイングしてから
![[アップデート]ゼロキャパシティからのバッチ処理に最適！AWS Batch で AWS Fargate が利用可能になりました！ #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1691f45c9a149fa23ecf71949f6c6eff39c1915c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F11%2Feyecatch_reinvent-2020-breakingnews-sokuho.jpg)
こんにちは、Development部門に所属しているSREの佐藤と申します。 Development部門では複数プロダクト共通の基盤構築や、新技術の検証、インフラ整備などを幅広く担当しています。これまでストックマークではCI/CD基盤の構築やAWS上で構築するインフラのコード化、ニュース収集基盤のアーキテクチャの改善や運用負荷軽減から、製品利用状況のデータ分析基盤構築などに取り組んできました。 今日はAstrategyという製品でのMLOpsの取り組みについて話します。 AstrategyについてAstrategyは国内外Webメディアを対象として情報を収集・構造化し、調査・報告業務を包括的にサポートする検索プラットフォームです。 図1: 「言葉のAI」自然言語解析を用いたオープンデータ解析ツール 複数の分析画面を提供しており、目的に応じて異なる観点で市場変化や競合動向を可視化できます。
AWS BatchとStep Functionsの10分間チュートリアルをやってみた | DevelopersIO
AWS BatchとStep Functionsの組み合わせを一回触りたいなと思い、10分でできるチュートリアルをやってみました。 やってみた感想 AWS Batchは設定を手動で入れるため設定必要な箇所の感覚をつかめる Step Functionsはワークフローコピペなので雰囲気しかつかめない チュートリアル通りだとハマるのでエラー対処方法を紹介します やってみた こちらのチュートリアルに沿ってすすめます。実際にビデオのエンコードを行うことはなく、Step Functionsのワークフローの流れで素のAmazon Linux２コンテナが起動して終了するだけの非常にシンプルな内容です。 ステップ 1: セットアップ AWS Batchのダッシュボードのデザインがアップデートされています。デザイン変更でとくに困るようなことはありませんでした。 ステップ 2: バッチジョブをセットアップする
Step Functions開発の「うーむ…」にVSCodeとAWS ToolKitで挑んでみる話 | DevelopersIO
こんにちは。AWS事業本部のKyoです。 Step Functions便利そう。でもなんかちょっとハードル高いな。特にAmazon States Language (ASL)というやつが...。 感じているハードル 感じているハードルをもう少し具体的にしてみましょう。 ASL = 長いJSON を人力で書くのがうーむ... Step Functions以外では使わないASLについて調べて書くのがうーむ... デバッグやりにくそうなのがうーむ... これらはVisual Studio Code (VSCode)とAWS ToolKitを使うと解決できそうです。 上記のエントリでVSCodeとAWS ToolKitを使えば、VSCodeから以下が可能になることが述べられています。 ステートマシン定義 ステートマシン可視化（プレビュー） ステートマシン実行 VSCodeから定義、可視化、実行が可
DataDog カスタムメトリクスを利用したアプリケーションの異常監視 - Giftmall Inside Blog
こんにちは。ギフトモール Engineering Managerをやっている @nori0620 です。 はじめに Giftmallではサーバ監視、アラート送信の仕組みに Datadog を導入しています。 Datadogの各種インテグレーションを利用することでEC2, ECS, RDS, ALBといった様々なインフラリソースの監視に利用しており、何か問題の予兆があった際にはSlackに通知を送ってチームが把握できる体制を作っています。 ただ、システムを運用していく上で、インフラ/サーバだけでなく、アプリケーションに近いレイヤーでも監視を行いたいようなニーズがでてきました。例えば「ユーザがログインに失敗した総回数」をモニタリングしておいて不正なログインの試行などが行われていないかを監視するなどです。 このようなアプリケーションレイヤーにおけるモニタリングも既存のDatadogで監視している
本連載では分散型マイクロブログ用ソフトウェアMisskeyの開発に関する紹介と、関連するWeb技術について解説を行っています。 今回は、サーバー上で実行されるタスクを管理するシステムであるジョブキューについての全般と、そのライブラリであるBullMQについて紹介します。 ジョブキューとは ジョブキューは、Webサーバー上で発生する様々なタスク（ジョブ）を管理するシステムで、タスクを複数のサーバーで分散して処理させたり、タスク失敗時にリトライしたりする機能を持ちます。 Misskeyでもジョブキューを活用しており、例えばActivityPubにおけるアクティビティの受信および配送や、ユーザーデータのインポートエクスポート処理をジョブとして管理しています。 Misskeyが使っているジョブキューのライブラリであるBullMQは、毎日指定した時刻にジョブを実行する機能などもあるので、サーバーの統
作成時の画面イメージは以下です。 ジョブキューの作成 ジョブキューはジョブがコンピューティング環境で実行されるまでキューイングされる場所です。ジョブキューには1つ以上のコンピューティング環境（最大3つ）を関連づけられます。 先ほどのコンピューティング環境を指定してTest-Job-Queueという名称で作成しました。 1. コンテナイメージを構築する 環境変数AWS_BATCH_JOB_ARRAY_INDEXで与えられた番号に応じて異なる結果を返すコンテナをビルドします。 Cloud9 環境で作業していきます。今回は作業用のディレクトリとしてworkを作成します。 ~/environment $ mkdir work ~/environment $ cd work ~/environment/work $ 7つの色のリストを持つcolors.txt作成します。 ~/environment/
[アップデート] AWS Batch がコンピューティング環境での Amazon Linux2 の利用をサポートしました | DevelopersIO
先日のアップデートで Amazon Batch がコンピューティング環境での Amazon Linux2 の利用をサポートしました。 AWS Batch now has integrated Amazon Linux 2 support 更新箇所 ここで設定できるようになりました。(デフォルトは Amazon Linux1 と記載されています。) 終わり。 というのもアレなので、構築して確認してみましょう。 はじめに そもそも Amazon Linux 2 と Amazon Linux との違いについては、下記弊社ブログ、または よくある質問 - Amazon Linux 2 | AWS をご参照下さい。 [速報]5年長期サポートのAmazon Linux 2が一般公開されました AWS Batch についても、基本的な概念や使い方を把握している方を対象とします。 AWS Batch とは
Amazon Redshift 用の AWS Step Functions を使用した ETL プロセスのオーケストレーション | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift 用の AWS Step Functions を使用した ETL プロセスのオーケストレーション 現在のデータレイクは、大量の情報を使用可能なデータに変換する抽出、変換、ロード (ETL) 操作をベースとしています。この記事では、AWS Step Functions、AWS Lambda、AWS Batch を緩やかに結合して Amazon Redshift クラスターをターゲットにする ETLオーケストレーションプロセスの実装について詳しく説明します。 Amazon Redshift はカラムナストレージを使用するため、便利な ANSI SQL クエリを使用した迅速な分析的インサイトに最適です。Amazon Redshift クラスターを数分ですばやく増減して、エンドユーザーレポートとデータウェアハウスへのタイ
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
Motivation 個人的にいくつかのSlackボットをGoogle Apps Script（以下GAS）で実装していますが、3秒ルールの壁があってイベント処理がタイムアウトしてしまうという課題がありました。 Slackの公式ドキュメントには3秒以内にレスポンスできない処理は、一旦レスポンスして非同期処理でイベントのペイロードにあるレスポンスURLに書き込めとありました。 GAS内で非同期処理を行うには、トリガー処理を組み合わせして実現できそうでした。 使えるトリガーはいくつか種類がありますが、今回の用途では Time-driven が一番使えそうだと判断しました。 GASのTriggerについてspikeしてみた まず軽くドキュメントをみて気になったのは1スクリプトにつき1ユーザーが20トリガーまでという制約が目につきました。 実際にトリガーを使って非同期処理をさせてみましたが、イベン
Step Functions + Batchでシンプルなステートマシンを作ってみた | DevelopersIO
こんにちは。AWS事業本部のKyoです。 前回VSCodeにStep Functionsの開発環境を整えたので、Batchと連携させて科学計算をイメージしつつ、できるだけシンプルなステートマシンを構築してみます。 Step Functions開発の「うーむ...」にVSCodeとAWS ToolKitで挑んでみる話 やりたいこと 直列での計算を行うステートマシンを構築します。 下図のFirstCalcとSecondCalcはそれぞれ 「increment」というBatchジョブを呼び出します。FirstCalcの出力ファイルをSecondCalcの入力ファイルとします。 incrementは以下の処理を行います。 入力ファイルをS3からダウンロード 入力ファイルに含まれる数値に1を足す 計算結果をファイルに出力し、S3にアップロード 入力と出力ファイルの場所（S3のURI）は環境変数で決め
「 00. はじめに 」 「AWS Lambda」を使って、「AWS Batch」にjobをSubmitするまでの実装 (設定) 手順をまとめたいと思います！ 今回考えている構成は、下記の通り。 処理フロー 特定のBucketにファイルをアップロード (ユーザー) ファイルアップロードを検知 (Lambda:トリガー) AWS Batchにjobを投げる (Lambda: index.js) この構成を実現するために実装が必要な部分は、下記の通り。 (1) S3バケットの作成 ( 本記事では、割愛 ) (2) AWS Batchの初期設定 (3) Amazon Lambda関数作成 (4) [検証]ファイルアップロード 「 01. AWS Batchの初期設定 」 AWS Batchとは？ 「Job definitions(ジョブ定義)」を使って生成した「 Jobs (ジョブ) 」を「 J
AWS Batch のジョブパターン (SEQUENTIAL, N_TO_N) の挙動を確認してみた | DevelopersIO
結果 検証 1~4 、すべて仮説の通りでした。 現在 (2020/12/13) 、コンソールから SEQUENTIAL を実行するとうまく設定されないのか、順番通りに実行されません。 (ここで結構時間を費やしました。。) 一時的な不具合なのか、 AWS Batch でジョブフローを実行するのに、コンソールを使うことがあまりないために誰も気付かなかったのか、CLI や SDK を使わないとうまくできなそうです。。(CLI ver.2 では確認済み) 注意しましょう。 やってみた 前提 下記が構築済み。 [アップデート] AWS Batch がコンピューティング環境での Amazon Linux2 の利用をサポートしました | Developers.IO S3にファイルをアップロード ## csvファイル作成 echo -e 0 > count.csv CodeCommit に登録するスクリプ
実際の事例からGCP設計のコツを解説 grasys Site Architecture まずはgrasysのコーポレートサイトとブログサイト。とてもシンプルで、驚くことにサーバーが1台もない。バックエンドにGoogle Cloud Storage、フロントエンドにCloud Load Balancingを置き、Cloud CDNを使う。これだけで大規模な配信が可能で、応用すれば大量データを配布するスマホゲームアプリにも使えるという。長谷川氏は「とてもシンプルだが、データ配信で強靱な構成にするには鉄板」と強調する。 ポイントはGoogle Cloud Storageの制限回避。Google Cloud Storageはアクセス数が多いと、レートリミットがかかりアクセスできなくなることがある。そのためフロントで緩衝となるCloud CDNを置くのがいいという。 grasys Site Arch
Pythonで標準ライブラリのみを使ってシンプルなジョブキューシステムを作りました。キューはRedisを使わずにインメモリに保存します。 この記事ではQueickの特徴と使い方、ジョブキューシステムについての説明、よく使われているシステムでの実装、Queickのアーキテクチャと実装について説明します。 0. きっかけ 以前Raspberry PiとNFCリーダーとSlackで研究室の入退室管理(打刻)システムを作ったのですが、Raspberry Piのネットが途切れてSlackに打刻されないことが1-2週間に1回ありました。 moriokalab.com そこでジョブキューシステムを導入して非同期にリトライする仕組みを組み込もうと思いいくつか探したのですが、基本的にキューとしてredisを使っているようでした。 Raspberry Piの中にRedis入れて運用するのが嫌でインメモリで閉じ
Clockwork
Installation Install the Clockwork library via Composer. $ composer require itsgoingd/clockwork Congratulations, you are done! To enable more features like commands or queue jobs profiling, publish the configuration file via the vendor:publish Artisan command. Note: If you are using the Laravel route cache, you will need to refresh it using the route:cache Artisan command. Old Laravel For Laravel
こんばんは。ちょっと久しぶりにScalaの記事を書いてみようと思い立って、こうやって記事を書くことにしました。 といっても、タイトルがほとんど全てを表しているのですけど。 最近のプログラミング言語のいくつかは、俗に遅延リストと称される機能を持っています。HaskellはListがデフォルトで非正格（というか、評価が非正格なので、Listもそうなる）のは有名ですし、Clojureにも標準で遅延シーケンスがあります。そして、今回ネタにするScalaも、遅延リスト相当の型が標準ライブラリで提供されています（Scala 2.12ではStream、2.13からはLazyListに改名）。以下では、Scala 2.13の場合に、LazyListをメモリ節約のために使って、ハマる例を紹介します（実際のプロダクションコードで見たのを元に、minimalにしたものです）。 def doHeavyJob(qu
Create a Managed FFmpeg Workflow for Your Media Jobs Using AWS Batch | Amazon Web Services
AWS Open Source Blog Create a Managed FFmpeg Workflow for Your Media Jobs Using AWS Batch FFmpeg is an industry standard, open source, widely used utility for handling video. FFmpeg has many capabilities, including encoding and decoding all video compression formats, encoding and decoding audio, encapsulating and extracting audio and video from transport streams, and much more. If AWS customers wa
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
私のコード履歴書 - それが僕には楽しかったんです。
BERTを使ったMLバッチ処理実サービスのアーキテクチャとMLOpsの取り組み
Bullmqを使ったジョブキューの実装 | gihyo.jp
AWS Batch の配列ジョブの挙動が確認できるチュートリアルをやってみた | DevelopersIO
Dynein - Airbnbの開発した非同期バックグラウンドジョブサービス
Google Apps Script向け簡易job-queueを作った
【 AWS 】Lambdaを使ってAWS BatchにjobをSubmitする方法(1) - Qiita
GCEとGKEのアーキテクチャを一挙公開――GCP活用のコツをgrasys 長谷川祐介氏が伝授
Pythonでジョブキューシステムを作った - asmsuechan’s blog
メモリ使用量の削減のために遅延リストを使うのは（多くの場合）アンチパターン - kmizuの日記