(You can read this article in English.) Ruby の開発版にパイプライン演算子（pipeline operator）が試験的に導入されましたが、いろいろあってプチ炎上になっています（チケット）。 せっかくの機会なので、パイプライン演算子の歴史を調べてみました。付け焼き刃の調査なので、間違ってたら教えてください。 パイプライン演算子とは こんな感じのものです。 x |> f |> g |> h # h(g(f(x))) と同じ意味 h(g(f(x))) という関数適用の式は、関数が呼ばれる順序（f→g→h）と、プログラムの字面上の順序（h→g→f）が逆でわかりにくいとされます。この問題は、特に、関数が大きくなったときに顕著になります。 wonderful_process_h( marvelous_process_g( fantastic_process
🗃 {Dev/CI/ConcourseCI} 🏷 Concourse CI 🏷 Docker 🗓 Updated at 2017-06-04T05:45:29Z 🗓 Created at 2016-04-10T13:29:35Z 🌎 English Page 目次 Concourse CIとは 他のCI/CDツールとの違い アーキテクチャ コンセプト インストール方法 はじめてのConcourse CI Concourse CIとは Concourse CIは Simple Scalable Reproducable が売りのパイプラインベースCIです。Pivotalが開発しており、Go言語で書かれています。 元々はCloud FoundryのCI/CD用に作られましたが、単独のCI/CDツールとして汎用的に使用できます。 Thought WorksのTechnology
JenkinsのUXをシンプルかつビジュアルにする「Blue Ocean」バージョン1.0がリリース。パイプラインの設定や実行状況などをGUIで実現
JenkinsのUXをシンプルかつビジュアルにする「Blue Ocean」バージョン1.0がリリース。パイプラインの設定や実行状況などをGUIで実現 ビルドやテスト、デプロイなどの自動化ツール「Jenkins」のUXをシンプルかつビジュアルにする「Blue Ocean」が、正式版のバージョン1.0に到達。リリースが発表されました。 Blue OceanではJenkinsのUXが一新され、コードをリポジトリから取り出してテストを実行し、成功したらデプロイをする、といったパイプラインの設定を「Visual Pipeline Editor」によってビジュアルに設定できます。
パイプライン指向JSON処理プログラミング言語 jq - 檜山正幸のキマイラ飼育記 (はてなBlog)
jq（https://stedolan.github.io/jq/）の紹介では、「JSON処理のワンライナー〈一行野郎〉としてめちゃくちゃ便利！」とアピールするのが定番です。もちろんそれは本当で、「めちゃくちゃ便利！」です。が、実は jq は、ワンライナー記述にとどまらない、かなり本格的なプログラミング言語です。 JSON処理のためのDSL〈Domain Specific Language | 領域特化言語〉なので、汎用言語ではありません。しかし、汎用言語が備えている言語機能の一部（関数定義、モジュールシステムなど）を jq も持っています。また jq は、独特で楽しいプログラミング・パラダイム -- “パイプライン指向”に基づいて設計されています。 この記事では、ワンライナーを超えた jq の使い方と、プログラミング言語としての jq の特徴を紹介します。長い記事になってしまったので、一
AWS上で開発環境一式、コードリポジトリからテンプレートコード、IDE、CI/CDパイプラインまでを丸ごと提供する「Amazon CodeCatalyst」が正式サービスに
AWS上で開発環境一式、コードリポジトリからテンプレートコード、IDE、CI/CDパイプラインまでを丸ごと提供する「Amazon CodeCatalyst」が正式サービスに Amazon Web Services（AWS）は、クラウド上でアプリケーションの初期コード、インフラ設定、ソースコードのリポジトリ、コードエディタ、ビルド／テスト／デプロイを実行するCI/CDパイプライなど、アプリケーションの初期設定から開発、デプロイ、そしてチームコラボレーション機能の一式をまとめて提供するサービス「Amazon CodeCatalyst」の正式サービス化を発表しました。 参考：［速報］AWS上で開発環境一式、フレームワーク、初期コード、IDE、ビルド環境、CI/CDなど提供する「Amazon CodeCatalyst」発表。AWS re:Invent 2022 複雑で手間がかかるクラウド開発環境を
サウジの原油パイプラインに無人機が攻撃
サウジアラビアは14日、国内を東西に走る原油パイプラインが無人機による攻撃を受けたと発表しました。これについてイランの支援を受けるイエメンの反政府勢力が攻撃を認める声明を発表し、敵対するイランとの間で緊張がさらに高まることが懸念されています。 サウジアラビア政府は「われわれは、イランが支援するイエメンの反政府勢力フーシ派の攻撃に直面している」として攻撃の背後にイランが関与しているという見方を強く示唆しました。 その後、フーシ派は、無人機７機を使った攻撃が成功したと主張する声明を発表しました。 このパイプラインは、ペルシャ湾の近くにある油田から西の紅海沿岸の港まで原油を運ぶもので、これによってホルムズ海峡を通らずに輸出することができる重要な施設です。 サウジアラビア政府は２日前の12日には、ホルムズ海峡の近くの海域でサウジアラビアのタンカー２隻が何らかの妨害行為をうけ、船体に大きな損傷を受け
Jenkinsでビルド・パイプラインを作る
Jenkinsのプラグインでビルド・パイプラインを作ることができるので紹介。 ＃12月20日のワンクリックデプロイ勉強会の発表のネタバレっぽいのですが。 ビルド・パイプラインとはビルド・パイプラインとは、継続インテグレーションのプラクティスの１つで、テスト等を複数の単位に分割し、順番に流していくものである。一般的には継続的インテグレーションを利用していれば、SCMにソースコードをコミットした段階ですぐにユニットテストを走らせ、以降に、静的解析や結合テスト、受け入れテスト、ステージング環境へのデプロイ、本番環境へのデプロイという形で進んでいくことになり、その単位でパイプライン要素を分ける。 当然パイプラインの途中で試験に不合格であれば、その後のプロセスには進めない。 これによって、例えばコミット時には即座にユニットテストレベルの結果を返して開発者のペースを阻害しないようにすることができる。（
パイプライン処理とは GUIは非常に直感的です。はじめて使うアプリであっても、なんとなくそれなりに動かせてしまうという点で、優れたインターフェイスと言えます。しかし効率を突き詰めると、軍配が上がるのはGUIよりもCLIでしょう。本連載の読者であれば、UnixライクなOSのCLIが持つパワーについては当然ご存知かと思います。 とはいえ、古典的なUnixコマンドの多くは、単体ではそれほど強力なものではありません。というのも、ひとつひとつのコマンドはシンプルに、特定の用途においてのみ上手く動作するよう設計されていることがほとんどだからです。こうしたコマンド群に無限のシナジーを与えるのが「パイプライン処理」です。標準入出力を通じて複数のコマンドを直列に繋げることで、複雑な処理をインスタントに組み立てることができるパイプラインは、まさにUnix哲学の体現であり、CLIの真髄はここにあると言ってもよい
ドイツのショルツ首相は22日、ロシアのプーチン大統領が、ウクライナ東部の親ロシア派が事実上、支配している地域の独立を一方的に承認したことを受けて、ロシア産の天然ガスをドイツに送る新たなパイプライン「ノルドストリーム2」の稼働に向けた手続きを停止する考えを示しました。 ショルツ首相は記者会見で、ウクライナ情勢について「状況は根本的に変わった」と指摘し、稼働に必要な手続きを停止するよう担当部局に指示したことでパイプラインは稼働できなくなると説明しました。 「ノルドストリーム2」をめぐってはウクライナ情勢が緊迫する中で、アメリカがロシアに対する制裁として稼働の停止を繰り返し強調し、ロシアとの経済的な結びつきの強いドイツの対応が問われていました。
前回、Jenkinsのインストールについて書きました。今回は、Jenkinsでビルド・パイプラインを構築する話です。 ビルド・パイプラインとは？ ビルド・パイプラインとは、ビルドのプロセスを分割して順番に実行していくことです。例えばビルドの流れとして、コミット→静的解析→コンパイル→ロジック層のユニットテスト→UI層のユニットテスト等があったとします。これを1つのジョブとして登録するのではなく、1つ1つのジョブとして実行し、成功した場合のみ次のステップに進めるようにします。これがビルドパイプラインです。 メリットとしては、どの工程で失敗しているのか解りやすいことが第一にあります。またJenkinsの特性を活かして、特定のジョブを並列で動かしたり出来るので効率化も出来ます。また、更に検証済みマージなど、高度な活用にもつながります。 Jenkinsでビルド・パイプラインの構築 元々Jenkin
ロシアとドイツを結ぶバルト海の天然ガスパイプラインで起きたガス漏れについて、ヨーロッパ側では、破壊工作が原因ではないかという見方が強まり、警戒感が広がっています。 バルト海の海底を経由してロシアとドイツを結ぶ天然ガスパイプライン、ノルドストリームについて、デンマーク軍は27日、3か所でガス漏れが確認されたと発表し、デンマークの外相は28日、「ガス漏れは爆発によるもので意図的な行為だ」と述べました。 また、EU＝ヨーロッパ連合の外相にあたるボレル上級代表も「意図的な行為」との見方を示し、ドイツのランブレヒト国防相も声明で「破壊工作の疑いがある」としてデンマーク側の調査に協力する姿勢を示すなど、破壊工作が原因ではないかという見方が強まっています。 さらに、ドイツの有力誌シュピーゲルは、アメリカのCIA＝中央情報局がパイプラインが攻撃されるおそれがあるとドイツ政府に事前に警告していたと伝えている
シンプルなビルドパイプラインツールwalterをリリースしました - Advanced Technology Lab
APソリューショングループの相野谷(@ainoya)です．このたびATLと共同で，CIやCDにおけるビルドパイプラインの実行を手助けする小さなツールwalterを開発しました． 開発の動機: Jenkinsプラグインに強く依存するビルドパイプライン設定 Jenkinsを使ってCIを実現する場合，複数のジョブを繋げて一連の処理フロー(ビルドパイプライン)を作るのが一般的かと思います．Jenkinsには，ビルドパイプラインを構成するための便利なプラグインがあり，これを使って失敗時の実行制御や，ジョブの並列実行制御を簡単に設定できます． ところが，こうしたプラグインで実際にCIを運用してみると，ちょっと惜しい点がいくつか出てきました． パイプラインの全体実行フローをJenkins上でしか確認できない Jenkinsジョブを実際にキックするまで動作が確認できない 設定の移行がしづらい．GUI中心で
ウクライナのメディアは、27日午前1時半ごろ、ロシア軍が、北東部のハリコフのガスパイプラインを爆破したと伝えました。 ウクライナの政府機関がSNSに投稿した映像では、夜空に炎と煙が高く上り、大きく広がる様子が映っていて、大規模な爆発が起きた様子がうかがえます。 けが人の情報は明らかになっていません。 ロシア軍 ウクライナのインフラ施設に相次ぎ攻撃 また、首都キエフから南に30キロほど離れた都市では、27日未明、大規模な爆発がありました。 地元の州知事は、SNSを通して現地の石油貯蔵施設に対してロシア軍から攻撃があったと明らかにしました。 周辺には空軍の飛行場があり、そこでもロシア軍との戦闘が続いているということです。 また、ウクライナ政府の原子力関連機関によりますと、27日の未明、キエフ市内にある放射性廃棄物の貯蔵施設にロシア軍のミサイルが撃ち込まれたということです。 ウクライナのメディア
ナイジェリア・ラゴスで、宗教儀式に端を発した火災により、炎上した石油パイプラインで消火活動にあたる消防士ら（2019年12月5日撮影）。(c)PIUS UTOMI EKPEI / AFP 【12月8日 AFP】ナイジェリア・ラゴス北部の教会で5日、癒やしの儀式を執り行っていた牧師がガソリンを水と取り違え、男性に注いだところ、ろうそくの火が燃え移り、男性が焼死する事故があった。救急当局が明らかにした。 国家危機管理庁（NEMA）のイブラヒム・ファリンロイ（Ibrahim Farinloye）氏はAFPに対し、「牧師は水が入っていると思い込み、ガソリンで満杯となっているとは知らないまま、小さなたるを手に取った」と説明。「（たるの）中身を男性に注いで空にする際、近くのろうそくの火が燃え移り、2人は炎に包まれた」と述べた。 さらに、教会の火災は付近の石油パイプラインへと延焼し、パイプラインも炎上し
ロシアからドイツに天然ガスを送る主要なパイプライン「ノルドストリーム」は、11日から定期的な点検を理由に供給を停止しました。 ロシア側が経済制裁を科すドイツに揺さぶりをかけるため、点検終了後も供給を再開しないのではないかとの懸念が広がっています。 ノルドストリームはロシアからバルト海の海底を通ってドイツにつながる現在、ヨーロッパ最大規模の天然ガスパイプラインです。 このパイプラインを運営するロシアの国営ガス会社ガスプロムは、11日から定期的な点検を理由にロシアからドイツに向けた天然ガスの供給を停止しました。 点検は今月21日までの予定だとしています。 このパイプラインを巡っては、先月、ロシアからの供給量がおよそ60％削減されました。 ドイツ政府は暖房需要が増える冬に向けて十分な量を備蓄できないとして、国民や企業にガスの節約を求める異例の事態となっています。 こうしたことから、今回の定期点検
ノルドストリーム、3本のガスパイプラインが損傷 「前例ない」
９月２７日、ロシアと欧州を結ぶ天然ガスパイプラインを運営するノルドストリームは、３つのパイプラインが同じ日に損傷したと発表した。写真は「ノルドストリーム１」の関連施設。ドイツ・ルプミンで３月撮影（２０２２年 ロイター／Hannibal Hanschke） [モスクワ ２７日 ロイター] - ロシアと欧州を結ぶ天然ガスパイプラインを運営するノルドストリームは２７日、３つのパイプラインが同じ日に損傷したと発表した。こうした事例は「前例がない」としており、復旧の見通しは立っていない。
2006年12月21日17:30 カテゴリSciTech HTTPサーバーのパイプライン対応 今回は、HTTPのパイプラインの話。 「RFC2616の同時接続数の規定」@水無月ばけらのえび日記 「HTTPの同時接続数はどうあるべきか? (slashdot.jp) 」というお話。誰も原文を引用していないのが悲しかったので、引いておきます。 スラッシュドット ジャパン | HTTPの同時接続数はどうあるべきか?-taka2さんのコメントそれなら、「同時接続」しなくても、結果が返ってくる前に次のリクエストを送出して「リクエスト送信」と「結果受信」を並行して行えるようになれば、スループットの向上は見込める。 それがパイプライン化 [mozilla-japan.org]で、同時接続するよりも効率が良い。パイプライン化の前に、HTTPで何が行われているのかを、実際に見てみよう。telnetコマンドがあ
【ニューヨーク=後藤達也、中山修志】米石油パイプライン最大手のコロニアル・パイプラインは7日、サイバー攻撃を受けて全ての業務を停止したと発表した。メキシコ湾岸から米北東部までの大動脈で、東海岸の燃料消費の半分近くのシェアを占める。停止が長引けば国民生活や経済活動にも影響を及ぼす可能性がある。コロニアルは8日午後（日本時間9日未明）に声明を更新し、「（データ流出などと引き換えに金銭を要求する）ラ
工場自動化シム『shapez 2』正式発表。“圧倒的に好評”の前作から3Dグラフィックへと進化、多層的な工場建設やパイプライン輸送など新要素導入 - AUTOMATON
デベロッパーのtobspr Gamesは8月16日、工場自動化シミュレーションゲーム『shapez 2』を正式発表し、ゲームプレイ映像を公開した。本作の対応プラットフォームはPC（Steam）で、2024年に早期アクセス配信予定。 『shapez 2』は、2020年にリリースされSteamユーザーレビューにて「圧倒的に好評」ステータスを獲得するなど、非常に高い評価を受けた工場自動化シミュレーションゲーム『shapez』の続編だ。同ジャンルの作品のなかでも工場建設要素に特化し、比較的シンプルなシステムにて巨大工場を作れるゲームプレイはそのままに、本作では2Dから3Dグラフィックへと移行。これを活かした新たなメカニクスが導入されている。 本作では小惑星に工場を建設し、やがて複数の惑星にまたがる巨大な工場へと発展させていく。工場では、資源として抽出した幾何学図形を加工し、目的の図形を作成して、最
［GDC 2018］ついにDirectXがレイトレーシングパイプラインを統合。「DirectX Raytracing」が立ち上がる
［GDC 2018］ついにDirectXがレイトレーシングパイプラインを統合。「DirectX Raytracing」が立ち上がる ライター：西川善司 DXRはAMDとNVIDIA共催のセッション群内，「New Techniques for Accurate Real-Time Reflections」というセッションで発表となった Game Developers Conference 2018（以下，GDC 2018）会期初日となる北米時間2018年3月19日，AMDとNVIDIAが共同主催した技術系セッション群「Advanced Graphics Techniques」で，Microsoftは，レイトレーシングのパイプラインをDirectX 12へ統合すると発表した。その名も「DirectX Raytracing」，略称「DXR」だ。 そもそもレイトレーシングとは これまでのリアルタイ
CI/CDパイプラインをポータブルにする「Dagger」をGo言語に対応させる「Go SDK」が発表されました。これによりGo言語でどこでも動くポータブルなCI/CDパイプラインの定義が可能になります。 Introducing the Dagger Go SDK: a new way to develop your CI/CD pipelines as code, and run them in containers anywhere. https://t.co/7riHAwUSMO pic.twitter.com/mEwrZySbLp — dagger (@dagger_io) October 25, 2022 CI/CDがローカルPCでもGitHubでもCircleCIでも実行可能 Daggerはソフトウェアのビルド、テスト、デプロイを行う一連のCI/CDパイプラインをポータブルにする
Jenkinsでビルドのパイプラインを作るぞー！(2016年2月版) - Mitsuyuki.Shiiba
と思って色々見て回った。 Jenkinsでビルド・パイプラインを作る | Ryuzee.com Jenkinsのビルドパイプライン系plugin3種比較 - knjnameのブログ kakakikikekeのブログ: Jenkins の Workflow Plugin を使ってみた Jenkins Workflow Pluginを使ってみました - Qiita 川口耕介氏，Jenkinsプロジェクトの現状やWorkflow Pluginの特徴を説明 ～Jenkinsユーザカンファレンス2015東京 基調講演：レポート｜gihyo.jp … 技術評論社 とか、色々。 Pipeline Plugin (旧Workflow Plugin) が良さそう Pipeline Plugin - Jenkins - Jenkins Wiki Build Pipeline Pluginとか、Delivery
GitOps を使用したサーバーレス時代における最新の CI/CD パイプライン構築 | Amazon Web Services
Amazon Web Services ブログ GitOps を使用したサーバーレス時代における最新の CI/CD パイプライン構築 AWS コミュニティヒーローで、Datree.io の CTO 兼共同創設者、Shimon Tolts 氏によるゲスト投稿。彼は開発者向けのツールとインフラストラクチャが専門分野で、100％ サーバーレスの会社を運営しています。 近年、ソフトウェアの構築と配信の方法に大きな変化がありました。主にマイクロサービスに関するもので、コードを小さなコンポーネントに分割し、インフラストラクチャをコードとして使用し、Git を信頼できる唯一のソースとして利用することでこれらすべてを結び付けたのです。 この記事では、最新のソフトウェア開発の推移とさまざまな手段について説明しながら、サーバーレスの世界での選択可能なソリューションをご紹介します。さらに、現代にふさわしい便
LINEの大規模データパイプラインを支える、Apache Kafkaプラットフォームの運用の裏側 Multi-Tenancy Kafka cluster for LINE services with 250 billion daily messages 2018年11月21日、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2018」が開催されました。4度目の開催となる今回のテーマは「Next LINE」。メッセージアプリだけでなく、さまざまなサービスの開発や新たな技術領域への投資を行っているLINEが目指すビジョンについて、エンジニアたちの技術的知見や挑戦を通して紹介します。セッション「Multi-Tenancy Kafka cluster for LINE services with 250 billion daily messages
はじめに ワークフローを作成、実行、監視するためのプラットフォーム「Airflow」が、近年人気を集めていて、多くの企業に利用されています。Airflow Summit 2022 のようなグローバルイベントも開催されるようになり、世界中から2000人以上のコントリビュータ（私もその1人）が貢献しているアツいプロジェクトです。 この記事で Airflow を使う意味と主要コンセプトを説明します。最後に、100行未満で実装できる本格的なデータパイプラインの実例をお見せしたいと思います。 Airflowとは 概要 Airflowは ワークフロー を作成、実行、監視するためのプラットフォームです。ここで言う「ワークフロー」は、依存関係にある複数の タスク を、下図のように繋いだ形で、パイプラインとして実行していくものと思ってください。 Airflowを使うと、より早く、よりロバストなワークフローが
皆さん，こんにちは！MLエンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編，パイプライン構築の話になります． tech.connehito.com はじめに 再掲になりますが，我々は以下の構成で今回の検索基盤を構築しています． 検索エンジン：Amazon OpenSearch Service データベース：Amazon Aurora データ同期（ETL）：AWS Glue ワークフロー・パイプライン：AWS Step Functions・Lambda・EventBridge 後編は，検索エンジンに定期的に安定してデータを同期するために構築しているワークフロー・パイプラインに関する内容になります（下図の全量データ同期パイプラインの部分）． 検索基盤全体のアーキテクチャー概略図 もう少し具体的には，OpenSearchのindexの管理方法について説明した後に
AWS知見共有会でTerraformのCI/CDパイプラインのセキュリティ等について発表してきました + GitHub新機能Push rulesについて - LayerX エンジニアブログ
先日2024/04/16にタイミーさんのオフィスで開催された、AWS知見共有会というイベントで発表してきました。この会のテーマは「運用のスケーラビリティとセキュリティ」ということで、私は「コンパウンドスタートアップのためのスケーラブルでセキュアなInfrastructure as Codeパイプラインを考える」というタイトルで発表してきています。 イベントの動画もあります。 私の発表は 1:43 ぐらいからです。 この発表については資料と動画を見ていただければ！という感じで特に付け加えることもなかったのですが、イベントの開催後にGitHubから発表された新機能Push rulesがとても便利で、新たなベストプラクティスとなるインパクトがあると思ったので、この記事で紹介します。 Push rulesとは つい昨日発表された機能で、現在はpublic betaという状態です。なので、仕様変更と
MLOps: 機械学習における継続的デリバリーと自動化のパイプライン | Cloud アーキテクチャ センター | Google Cloud
デジタル トランスフォーメーションを加速 お客様がデジタル トランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。
技術部セキュリティグループの水谷（@m_mizutani）です。最近はPCゲーム熱が再燃しており、今はCities: Skylinesに時間を溶かされ続けています。 クックパッドでは レシピサービス の継続的なサービス改善の他にも、生鮮食品販売プラットフォームの クックパッドマート やキッチンから探せる不動産情報サイト たのしいキッチン不動産 をはじめとする新しいサービス開発にも取り組んでいます。さらに内部的なシステムも多数あり、動かしているアプリケーションの数は300以上に及びます。これらのアプリケーションには多くのOSSパッケージが利用されており開発を加速させますが、同時にOSSパッケージのアップデート、とりわけ脆弱性の修正にも向き合う必要があります。 これまでクックパッドでは（重大な脆弱性が見つかった場合を除いて）各サービスを担当するエンジニアが事業や開発の状況にあわせてパッケージの
表1(翻訳者により追加) MLOpsにおいて、DevOpsから追加された項目 以下では，予測サービスとして機能するMLモデルのトレーニングと評価の代表的な手順を説明します． MLのためのデータサイエンスの手順 どのMLプロジェクトでも、ビジネスユースケースを定義して成功基準を確立した後、 MLモデルを本番環境にデリバリする過程には次の手順が含まれます。 これらの手順は手動で完了することも、自動パイプラインで完了することもできます。 データ抽出： MLタスクのさまざまなデータソースから関連データを選択して統合します。 データ分析： 探索的データ分析 （EDA） を 実行して、MLモデルの構築に使用可能なデータを把握します。 このプロセスにより、次のことが起こります。 モデルが期待するデータスキーマと特性を理解します。 モデルに必要なデータの準備と特徴量エンジニアリングを特定します。 データの
GCPでStreamなデータパイプライン始めました - Mercari Engineering Blog
こんにちは、はじめまして。メルカリでデータエンジニアをしている、しゅう (@shoe116)です。Mercari Advent Calendar 2018の3日目を担当することになりました。 メルカリではデータの活用が盛んな一方で、実はデータ処理を専門にやるエンジニアが最近まで存在しておらず、そんなこんなで僕がSREチームにデータエンジニア第1号としてjoinしました（実はこのあたりはメルペイのが少し先んじていて、あっちにはすでにデータプラットフォームチームがあって、僕は今彼らと一緒に並んでコードを書いている）。今日は僕らがGoogle Cloud Platform（以下GCP）に作っている、メルカリ（とメルペイ）の新しいログ収集基盤について簡単に紹介しようと思います。 メルカリの既存ログ収集基盤について 「新しいログ収集基盤を紹介しようと思います」と書いた数行後にこの章を持ってくるのは自
golang - Goで外部コマンドをパイプして実行する - Qiita もっとうまいやり方誰か教えてください( ꒪⌓꒪) http://qiita.com/yuroyoro/items/9358cd25b5f7fe9dd37f 本当はプロセスの生死と共にパイプが閉じられないといけないので io.Pipe ではなく Cmd.StdoutPipe を使った方がよい。ただしコード量はもう少し多くなる。確かに毎回書くのはダルいのでパッケージを作った。 mattn/go-pipeline - GitHub https://github.com/mattn/go-pipeline これを使うと簡単にコマンドパイプラインが扱える。 package pipeline import ( "fmt" "log" ) func ExampleCommandPipeLine() { out, err := Ou
1230kmのパイプラインも作ったが…ロシア依存だったドイツが超強気に急変した本当の理由 ウクライナ戦争は｢エネルギー政策の大転換｣の言い訳に
エネルギー部門の高騰は石油だけではない。現在、ドイツの平均的な家庭のエネルギー代は、前年比でなんと5割も増えている。特に天然ガスの市場価格は、前年比でほぼ2倍。ドイツでは地域暖房に天然ガスを使っている自治体も多く、平均家庭のガス代の負担は、日本円にすると年間で約10万円の増加になるだろうという。 さらに石炭も需要の急増で、価格は現在、前年比でほぼ3倍に達し、それら石炭やガス価格の影響をもろに受けた電気代が暴騰中である。ドイツでは通常、多くの電力会社が1月から新料金に切り替えるが、今年の電気代はすでに平均6割も上がっている（特に新電力が、天井知らずの値上げになっている）。しかし、それでも間に合わず、例外的に4月に再値上げを計画している会社もあるという。 「極度のロシア依存」のツケがきている ドイツではたいてい、電気代は前年の実績から弾き出された金額を12等分して毎月支払い、翌年に、実費との差
SQL パイプライン開発に便利な Dataform 7つのお気に入りポイント - FLINTERS Engineer's Blog
こんにちは。河内です。 最近はデータ基盤の構築も取り組んでいたりします。 社内では他の DWH が使われている事例がありますが、今回の基盤ではデータソースとの親和性や価格面などを考慮し BigQuery で行くことにしました。 BigQuery 上で多くのデータを順次変換してデータを生成するために何らかのワークフローエンジンが必要でした。 社内の他のシステムではワークフローエンジンとして Digdag を採用している例が多いですが、このシステムでは Kubernetes 上でサービスを運用しているため、当初(2020年12月)は Argo Workflow 上でクエリを順次実行することを構想していました。構想中に Dataform が Google に買収され、無料で使えるようになったというニュースが飛び込んできたため、触って感触が良いことを確かめた後、Dataform を使っていくことに
はじめに リバース ETL という概念が提起されて、そのための SaaS も生まれており、面白いと思うので所感をまとめる。 Reverse ETL ? 自分が最初に Reverse ETL という言葉に触れたのは、Redpoint Ventures の Astasia Myers が 2021-02-23 に書いたこの記事だった。 Reverse ETL — A Primer. Data infrastructure has gone through an… | by Astasia Myers | Memory Leak | Medium 彼女はどんなものをリバース ETL と呼んでいるかというと Now teams are adopting yet another new approach, called “reverse ETL,” the process of moving dat
AWS Lambdaのアプリケーション作成を使ってCI/CDパイプラインを一気に構築 - Qiita
AWS Lambdaのアプリケーション作成とは AWS Lambdaのアプリケーション作成機能を利用してLambda関数を作成すると、Lambda関数自体の他に Lambda関数のソースコード等を管理するGitリポジトリとしてCodeCommit CodeCommitのmasterブランチの更新を契機にLambda関数へのデプロイを行うCodePipeline 等々、CI/CDパイプライン実現のためのAWSリソースが同時に作成されます。 Lambda関数自体は手軽に作ったものの、次のステップとしてCI/CD環境を構築するのは腰が重く、ソースの更新はマネジメントコンソール上で実施している・・・といったケースを改善するアプローチとして、このようなCI/CD環境をセットで構築する機能がリリースされたそうです。 Lambdaのマネジメントコンソール画面では、これらAWSリソースをアプリケーションと
データ分析コンペで役に立つ特徴量管理方法と学習・推論パイプライン【コネヒトマルシェLT書き起こし】 - コネヒト開発者ブログ
こんにちは！MLエンジニアの野澤（@takapy0210）です！ 気づけば2019年の営業日も残り20日強ですね。年始に立てた個人的な目標が1/5しか達成できていないことに先日気付いたので、残りの期間で1つくらいは達成できると良いですね、という他人行儀な振る舞いをしたくなっている今日この頃です。 さて今回は、11月5日に開催した(コネヒトマルシェ)でLTした内容の全文書き起こしです。参考資料とあわせてご紹介できればと思います。 全文書き起こしは初の試みなので「ふ〜ん。なるほど〜」ぐらいのお気持ちで見ていただければと思います。 発表資料はこちらです。 Kaggleとは Kaggleと書いて「カグル」と読みます。日本でも最近は定着してきましたが、Kaggleに参加している方を「カグラー（Kaggler）」とも呼びます。 「The Home of Data Science & Machine L
この記事はGo Concurrency Patterns: Pipelines and cancellation - The Go Blogを自分の勉強用に翻訳したものです。 Go Concurrency Patterns: Pipelines and cancellation Introduction(最初に) Go's concurrency primitives make it easy to construct streaming data pipelines that make efficient use of I/O and multiple CPUs. This article presents examples of such pipelines, highlights subtleties that arise when operations fail, and intr
コンテナベースの継続的インテグレーションの利点／課題と、CIパイプライン、Docker Build高速化のコツ
コンテナベースの継続的インテグレーションの利点／課題と、CIパイプライン、Docker Build高速化のコツ：コンテナベースのCI/CD本番事例大解剖（2）（1/2 ページ） Kubernetes、コンテナ技術を活用したCI/CD基盤におけるサービス開発について、リクルートの事例を基に解説する連載。今回は、アプリ開発者の視点から、コンテナ技術を用いたシステム開発について、コンテナベースのCIのメリットを中心に解説。 本連載「コンテナベースのCI/CD本番事例大解剖」では、リクルートテクノロジーズが取り組んだ事例を基に、Kubernetes、コンテナ技術を活用したCI（継続的インテグレーション）/CD（継続的デリバリー）基盤におけるサービス開発について解説します。第1～3回では、「Kubernetes、Dockerをコア技術に据えて、サービスを構築した際に、開発、保守運用においてどのような
事業会社においてBIやレポート用の分析を担当しているが以下のような状況に該当する人に向けたデータパイプライン構築の入門のための資料です 🧑🏻🦱「BigQuery等のView機能を活用しているが、データの流れを追うのが困難な状態になってしまっている、クエリの実行に時間がかかりBIツールが使いづらい」 👩🏻「専任のデータエンジニアがおらず、前処理をpython等で処理したりするのがリソース調整的に大変」 👱🏻♂️「ロードされたデータに重複があったり、過不足があったりしてデータの品質が担保できていない」 🧑🏻🦰「Digdagやluigiといったデータ変換ツールの独自の仕様を理解しきれておらず使いこなせていない」 ※現時点ではBigQueryを中心に記事を構成してあります、SnowflakeやAmazon Redshift等の様々な分析基盤でもdbtは対応可能です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
パイプライン演算子の歴史 - まめめも
パイプラインベースのCI/CDツール Concourse CI入門 - BLOG.IK.AM
第723回 複雑なコマンドパイプラインを簡単に組み立てる方法 | gihyo.jp
独首相 ロシア産天然ガス パイプライン稼働手続き停止する考え | NHK
Jenkinsでビルド・パイプラインを構築する - プログラマでありたい
ロシア ドイツ結ぶパイプラインガス漏れ 破壊工作の見方強まる | NHK
ロシア軍 “ハリコフのガスパイプライン爆破” 現地メディア | NHK
聖水と間違えガソリン注がれた男性焼死、パイプラインに引火も ナイジェリア
ロシア ドイツに天然ガスを送る主要パイプラインの供給を停止 | NHK
404 Blog Not Found:HTTPサーバーのパイプライン対応
米最大の石油パイプライン停止 サイバー攻撃で - 日本経済新聞
Go言語でポータブルなCI/CDパイプラインが定義可能に。「Dagger」がGo SDKを発表
LINEの大規模データパイプラインを支える、Apache Kafkaプラットフォームの運用の裏側 - ログミーTech
Airflowはすごいぞ！100行未満で本格的なデータパイプライン - Qiita
ニアリアルタイムで同期される検索基盤 ~パイプライン構築編~ - コネヒト開発者ブログ
Trivy + AWSによるコンテナイメージ脆弱性検査パイプラインの構築 - クックパッド開発者ブログ
MLOps: 機械学習における継続的デリバリとパイプラインの自動化 を翻訳してみた - Qiita
Big Sky :: golang で UNIX コマンドパイプラインを扱う
リバースETLはデータパイプラインの何を変えるのか - satoshihirose.log
(翻訳)Goでのパイプラインとキャンセル - Qiita
dbtで始めるデータパイプライン構築〜入門から実践〜