2019年7月22日のJAWS-UG アーキテクチャ専門支部での発表資料です。 引き続き、議論・更新していきたいと思います。 (運用設計ラボ合同会社 波田野裕一)
―― 今のチーム課題と課題解決に向けた取り組みを教えてください。 Wang:私たちのチームでは、主に3つの課題について取り組みを進めています。 まずは1つ目の課題は「マルチテナントのクラスターの運用」についてです。 Hadoopは一般的に、有数のユーザと予測可能なワークロードで運用されていますが、LINEのData OpenによってDAUが700人弱であり、且つワークロードも10万+/日となっています。Isolationがまだ完備されていないので、ユーザ間にリソースの競合が発生している状況です。 2つ目は「Data catalog」についてです。ユーザが自由にデータを生成したり利用したりする環境においては、データのカタログがとても重要です。そのため、Data Lineageを自動的に生成する仕組みが必要となってきます。 そして「大規模のインフラを効率よく運用すること」も私たちの課題です。私
The Observability Pipeline that delivers monitoring as code on any cloud Consolidate monitoring tools & fill gaps in observability. Eliminate data silos & automate diagnosis & self-healing — from bare metal to Kubernetes. $ sensuctl create -r -f monitoring/ check "node-exporter" created check "tls-cert" created asset "sensu-plugins/sensu-plugins-ssl:1.0.0" created filter "oncall" created handler "
RailsのAsset PipelineとPrecompileをNode.jsのみで処理できるgulp-sprocketsを作った 仕事ではRailsアプリを書いていて、JSやCSSなどのフロントエンドはRailsのAsset Pipelineの仕組みに則ってビルドしてる。 普通にRailsアプリ作ってると普段Sprocketsについて特に意識しないと思う。 Sprocketsはそこが凄くて、あまり考えなくてもドキュメント通りにやってれば、必要なAssetを結合できて、リリース時は変更がなければブラウザキャッシュから、変更があれば 新しく読み込まれるみたいなことをやってくれる。 なんだけど、もうそろそろ新しい機能はES2015で書きたいよねという人が増えてきた。 とはいえSprocketsは独自のディレクティブ以外は使えなくて、SprocketsWayから外れると途端に脆い。 ES2015
ビルドやテストなどの一連の作業をJenkinsで自動実行することを考える。 通常これらのジョブはJenkinsのmasterやslaveで実行されることになり、ビルドに必要な環境構築(例えばjavaのインストールやmavenのインストール)はJenkinsのmasterやslaveに対して、事前に行うことになる。そして一度環境構築したサーバは長いこと使われる。 そうなると、同一サーバで複数バージョンのjavaを入れる苦労をしたりディストリビューションの差に基づくLinuxコマンドのあるなしに翻弄されたり、ローカルにしかないファイルを参照してそのうちジョブが動かなくなったりする。 これを解決するための手段としてビルド〜テストをDockerコンテナ上で実行しようという例は多くみられ、以下の記事が導入検討の参考になる。 www.buildinsider.net www.slideshare.ne
279: Asset Pipelineを理解する (view original Railscast) Other translations: Other formats: Written by Naomi Fujimoto Asset PipelineはRails 3.1のもっとも大きな新機能ですが、同時にもっとも混乱しやすい機能でもあります。今回のエピソードでは、このAsset PipelineがどのようにRailsアプリケーションのアセットを管理するかを見ることによって、少しその神秘性を取り除いていきたいと思います。もしAsset Pipelineについてまったく知識がない場合は、Rails GuideのAsset Pipelineのページが多くの機能を説明しているので、まずそこから始めるのがいいでしょう。 Rails 3.1アプリケーションを書いたことがある方なら、http://
github.com 先月のTC39のMTGでstage-1になりました。 F#, OCaml, Elixir, Elm, Julia, Hack, LiveScriptなどと似たような機能を提供します。 function doubleSay (str) { return str + ", " + str; } function capitalize (str) { return str[0].toUpperCase() + str.substring(1); } function exclaim (str) { return str + '!'; } let result = exclaim(capitalize(doubleSay("hello"))); // "Hello, hello!" let result = "hello" |> doubleSay // ここの引数が `he
This guide covers the asset pipeline. After reading this guide, you will know: What the asset pipeline is and what it does. How to properly organize your application assets. The benefits of the asset pipeline. How to add a pre-processor to the pipeline. How to package assets with a gem. 1 What is the Asset Pipeline?The asset pipeline provides a framework to handle the delivery of JavaScript and CS
GitLab 9.3登場。マージ前のコードを静的解析して品質をチェックする「Code Quality」、マルチプロジェクトの状況を表示する「Multi-Project Pipeline Graphs」など新機能 ソースコード管理ツールGitLabの最新版「GitLab 9.3」のリリースが発表されました。 GitLab 9.3では、コードレビューの手間を抑えつつコードの品質向上を支援する「Code Quality」や、同時に進行する複数のプロジェクト管理を容易にする「Multi-Project Pipeline Graphs」などの新機能が搭載されています。 Code Climateを用いたコードの静的解析など 新機能の「Code Quality」は、マージのリクエストがあったコードを静的解析し、その品質や影響範囲について画面に表示することで、コードレビューにかかる時間の短縮と手間を抑えつ
新しいRailsフロントエンド開発(1)Asset PipelineからWebpackへ(翻訳) 新しいRailsフロントエンド開発(2)コンポーネントベースでアプリを書く(翻訳) 新しいRailsフロントエンド開発(3)Webpackの詳細、ActionCableの実装とHerokuへのデプロイ(翻訳) 概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: Evil Front Part 1: Modern Front-end in Rails 原文公開日: 2017/12/05 著者: Andy Barnov、Alexey Plutalov サイト: Evil Martians 前書き 本記事は、フロントエンドのフレームワークに依存しないRailsプレゼンテーションロジックを現代的かつモジュール単位かつコンポーネントベースで扱う方法を独断に基いて解説するガイドです。3部構成のチュ
IT Fragments 情報技術系のトピックを扱う個人ブログです。プログラム制作物・システム考察・調べ物の備忘録・お勧めソフトウェア情報など このドキュメントは Ruby on Rails で用いられるアセットパイプライン解説の翻訳文です。翻訳日:2012年3月頃。整形日:2012年11月12日 導入部 このドキュメントはRuby on Rails 3.1で紹介されたアセットパイプラインの解説書です。これを見れば下の内容が分かるはずです。 アセットパイプラインがどんなもので何が出来るのかアプリケーションへの適切な組み込み方アセットパイプラインで得られる恩恵アセットパイプラインを使う前に行うべき前処理アセットをgemに梱包する方法 アセットパイプラインとは何か アセットを和訳すると『資産』。ここで言うアセットとは、JavaScriptやCSSなど、多用なHTMLに付随するファイルを引っくる
FRED is an opensource visual regression tool used to compare two instances of a website. FRED is responsible for automatic visual regression testing, with the purpose of ensuring that functionality is not broken by comparing a current(baseline) and an updated version of a website. FRED compares the following: Console and network logs Visual: screenshot analysis Visual AI: screenshot analysis using
Asset Pipelineを備えたRails 3.1のリリースに向けて、その根幹を担うSprocketsをちょっと触っておくことにした。 JavaScript dependency management and concatenation: Sprockets SprocketsはRubyで書かれたJavaScriptプリプロセッサで、複数のJavaScriptソースファイルを1つにまとめるのが主な機能。それによって以下のようなメリットがある。 複数のサイトやアプリケーションで共通するコードを再利用可能な形で切り出した構成にできる JavaScriptプラグインという単位でCSSや画像もまとめることができる JavaScriptファイルを1つにまとめてブラウザに読ませることによる高速化 HTTPリクエストの回数を減らすことができる JavaScriptをコメント付きの複数のファイルおよび
Ruby on Rails v3.2.11 アセットパイプラインとは Rails のアセットパイプライン(Assets Pipeline)は JavaScript や CSS、画像ファイルといった HTML に付随する細々としたファイル達(アセットファイル)を連結したり圧縮することで効率的にアクセスできるようにする仕組み(フレームワーク)です。 アセットパイプラインの役割 アセットパイプラインは以下のような役割をもっています。 1 複数の JavaScript と CSS をそれぞれ1つのファイルに連結する ⇒ ブラウザからのリクエスト数を減らす 2 JavaScript と CSS を圧縮してサイズを減らす ⇒ 文法上必要でない空白を削除したり、変数名を1文字にしたり 3 アセットファイル名にハッシュ値(MD5)を付加する ⇒ ブラウザがファイルのキャッシュ/読み直しを正しく行える 4
もう二度とasset pipelineで苦しみたくないので、問題切り分けの手順をまとめたい。 (asset pipelineのおおかた理解してる人は5->1の順で切り分けていったほうが効率的かもです) 1. assetsパスの確認(アセットパイプラインで配信したいコンテンツがassetsパスに入っているか?) 当然ですが、app/controllersやdb/migrateなどの下に画像ファイルを置いても、アセットパイプラインでコンテンツ配信することはできません。 では、どこにアセットを置けば配信できるのか? assetsパスに置く必要があります。 確認方法 アプリケーションの現在のassetsパスは以下のように確認できる rails c $> Rails.application.config.assets.paths => ["/vagrant/shared/test_app/app/a
前置き Rubyで一瞬だけ湧いて出てきて消えたPipeline風演算子については忘れてください。あれはメソッド呼び出しの演算子であって今回取り上げるPipeline operatorとは似て非なるものです。 JavaScripterでも、Ramda.jsやRxJSを普段から使っている人には既知の内容だと思うのでこの記事は読まなくて大丈夫です。 ちなみに僕のステータスは関数型にわか勢なので認識に間違いがあったらなんらかの訂正もらえるとうれしいです。 Pipeline operatorとは 古くはML系の言語で定義されてF#やElixirの流行で一般に有名になった演算子こと |> です。 f a を a |> f と書けるようになります。 詳しくはこちらで: https://mametter.hatenablog.com/entry/2019/06/15/192311 覚えた方がいい理由 Ty
2012年10月29日19:27 Ruby Rails3.1から導入されたAsset Pipelineがよくわかってなかったから調べた Asset PipelineというのはRails3.1から追加された機能で、以下のような特徴を備えています。なかなか便利そうなやつです〜。 ・cssやjsは各々一つのファイルにまとめられる(ブラウザのリクエスト回数を減らせる) ・それらのファイルは自動で圧縮/難読化される(ファイルサイズを減らして負荷軽減) ・ついでに、SassやCoffeeScriptを使ってcssやjsを記述することが可能になっている ではどういった仕組みなのか見てみましょう。 例えばRails3.2.3で新しいアプリを作成したとします。このとき、Gemfileにはデフォルトでjquery-railsが指定されています。そしてapp/assets/javascripts/applica
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 Hugging Faceってご存じですか? AIを使用したプログラム・スクリプトを作る際、ゼロから起こす場合は以下のような部分を作り込んだり、Githubなどのリポジトリサイトからソースを入手したりする必要があったりします。 AIモデル トレーニングのためのロジック 評価・テストのためのロジック データローダ トレーニング・評価データを読み込むためのフォーマット、読み込み処理・変換処理など チェックポイントの書き出し Hugging Faceというサイトは、学習済みモデルやデータセッ
PythonのPipelineパッケージ比較:Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineXPythonワークフローデータサイエンスPipelineETL この記事では、Open-sourceのPipeline/Workflow開発用PythonパッケージのAirflow, Luigi, Gokart, Metaflow, Kedro, PipelineXを比較します。 この記事では、"Pipeline"、"Workflow"、"DAG"の単語はほぼ同じ意味で使用しています。 要約 👍: 良い 👍👍: より良い 2015年にAirbnb社からリリースされました。 Airflowは、Pythonコード(独立したPythonモジュール)でDAGを定義します。 (オプションとして、非公式の dag-factory 等を使用して、YAML
昨日(2019年02月13日(水))、下記のイベント(勉強会)に参加してきました。データ分析基盤、また機械学習基盤にとって、要望を満たすデータを整形、準備する『パイプライン』の存在は必要不可欠です。そんな題材をテーマにした勉強会の内容をレポートしたいと思います。 Data Pipeline Casual Talk - connpass 目次 参加レポート 開会の挨拶&会場説明 Talk1: 機械学習におけるデータ管理 Talk2: 丘サーファーへ水を届けよ!〜みんながデータを使えるようにするまでの日々の挑戦(苦悩)〜 Talk3: データ基盤の3分類と進化的データモデリング Talk4: データ基盤を「育てる」という考え方とそれを支える技術 Talk5: リブセンスのデータ分析基盤を支えるAirflow まとめ 参加レポート 開会の挨拶&会場説明 Data Pipeline Talkの趣旨
こんにちは。前回書いた突撃!隣のキーボード M3 2019という記事が、HHKBの公式Twitterアカウントにツイートされ、舞い上がっているエムスリーエンジニアリングGの河合 (@vaaaaanquish) です。 今回はエムスリー AIチームが開発、運用している機械学習プロジェクト向けのPythonライブラリである「gokart」の説明と、その周辺ライブラリとなる「cookiecutter-gokart」「thunderbolt」「redshells」について紹介したいと思います。よろしくお願いします。 はじめに Pipeline化のメリット・デメリット Pipeline化のメリット Pipeline化のデメリット gokart 共通化のための出力ファイル形式の制約と拡張 強力かつ簡易な再現性のためのデータ保持 クラウドサービスやSlack通知のサポート gokartのメリット、デメリ
AWS Data Pipelineをスケジューラとして使う - Qiita やクラスメソッドさんのブログなどを読み、前から気になってた AWS Data Pipeline を利用してみました。 無理やりDocker使ってますが、ワーカーを複数立ち上げるためのツールとして使ってるだけなので、Dockerはあまり関係ありません。 1日しか触ってないので、なにか間違いとかあれば、教えて欲しいです(いつものことながらすいません) 使う前の印象 「 … Google Cloud Dataflowみたいなやつ?」 「でも AWS Data Pipelineをスケジューラとして使う - Qiita とか読むと、『 Crondの代替としてスケジューラとしても使える』のかな?」 使った後の印象 「完全にCrondの代替です 本当にありがとうございました」 ↑これは言い過ぎかもしれませんが。 先述した記事にも
■ ようやくasset pipelineを使うように React.jsをまじめに使おうと思ったら、いままで逃げまわってきたasset pipeline的なものをちゃんとしないといろいろ不便なことが判明したので、寄り道してそっちをなんとかしよう……と関連文書を漁っていたタイミングでこんな記事を読んだ: Grunt/Gulpで憔悴したおっさんの話 - MOL いやもう、ほんまこれ。JavaScript環境の調べ物をしていると、ほとんど同じ時期なのにGrunt使ってる人たちとGulp使ってる人たちが混在していて、これらにnpm、bower、Browserifyなんて単語が加わって組み合わせが爆発する。開発の本質とは関係ないツールの流行に振り回されすぎだっつーの。開発が本業ならまだしも、趣味や研究でプログラミングする人にとって、こんなのいちいち追いかけてたらいつまでたっても本題に取り掛かれないよ。
何をやっているか分からない「Jenkinsおじさん」の作業を見える化しよう。Jenkins 2に新搭載されたPipelineを使えばパイプラインをコードで記述できるようになる。その基本的な使い方を解説。 ← 前回 連載 INDEX Jenkins 2に搭載された新機能の目玉として、今までPipelineプラグイン(※第3回で解説したBuild Pipelineプラグインとは別物である)として提供されていたPipeline(以下、パイプライン)が標準搭載されたことが話題となっている。今回はこのパイプライン機能について掘り下げて解説していきたい。 Jenkinsおじさん 「Jenkinsおじさん」という言葉を聞いたことはあるだろうか? これはJenkinsを運用管理してくれている人をロゴにあしらわれている紳士に例えて表現した言葉だ。恐らくJenkinsが活発に利用されているチームに1人はJen
本記事はアカウンティング・サース・ジャパン Advent Calendar 2016の5日目の記事です。 アカウンティング・サース・ジャパンは税理士向けクラウド会計システムA-SaaS(エーサース)を提供しているベンチャー企業です。ここしばらく常駐でお手伝いさせていただいており、現在はインフラ周りの改善を担当しています。 はじめに 継続的インテグレーションや継続的デプロイが当たり前の時代ですが、皆様のプロジェクトにおかれましてはTravisCIやCircleCIなどCIツールは導入済みでしょうか。 A-SaaSのシステムはRabbitMQなどで構成されたマイクロサービスアーキテクチャになっていて、アプリケーションは主にJavaやScala、たまにErlang(!)で構築されています。このようなシステムの中でデプロイフローがやや複雑になってきていたので、CIツールとしてJenkins2.0で
昨日、Webkit & Opera/HTML5勉強会で紹介したwebsocket&MeCabによる「坊ちゃん」への自動ルビ(ふりがな)振りデモですが、よくよく考えたら「pipelineってことは、解析リクエストの結果が返るのを待ってたらダメじゃん」ってことで、こちらのデモをwebsocket pipelineに替えてみました。 すなわち、文単位の解析依頼をとにかく送りつづけて(解析結果が返ってくるのを待たずに)、どれぐらい高速化するか見てみようというわけです。そもそも、websocketは、好き勝手に送受信できるプロトコルなので、pipeline処理にはうってつけだよね!ってことで。 あと、テキストマイニングと言えば、「やっぱり基本はわかちでしょ」ということで、websocket pipelineを使ったわかち書きのサンプルも作って見ました。 コードは、http://code.google
Jenkins2.0でてた Jenkins2.0がでてた。 https://jenkins.io/2.0/ ざっくりと概要を見ると、主な変更点は次の3つらしい。 Built-in support for delivery pipelines. Improved usability. Fully backwards compatible. 2に関しては、単純に見た目が良くなったよってこと。嬉しい。 3に関しては、後方互換性あるよってこと。幸せ。アップデートしない理由は理由ありませんということ。 1が気になる。 Jenkinsに感じてた不満点 Jenkinsって基本的にUIで設定をしていくから、面倒だなって思ってた。 ちょっと変更したいだけなのに、わざわざポチポチと...。 そもそもUI自体もそんなに良くはなかった。(jenkins1.6あたりからだいぶマシになったけど) あと、同じような設定
PipelineのNick Bertolino氏がメールでのインタビューに応えてくれた。 Pipelineはどのようなサービスを提供するWebアプリケーションですか。 取引情報のとりまとめです。Pipelineは中小企業が取引活動を管理するための販売支援ツールです。販売員が各自の取引内容を整理したり、契約書やファイル、文書、メモ、地図、取引の方向性などを一カ所にまとめて保存したりできます。 リスクを最小限にし、仕事に関するデータを保護します。商取引に関するすべての重要な情報を一カ所に保管すれば、社員が退職したり担当が変わったりしたときの事業上のリスクを最小化できます。新しい従業員に必要な情報を与えるために浪費される時間は膨大です。ある契約や顧客との関係を新しい担当者が管理するようになったとき、通常、その契約書は前任者のOutlookに保管されています。関係書類はイントラネット上の「どこか」
AWS Security Blog How to build a CI/CD pipeline for container vulnerability scanning with Trivy and AWS Security Hub In this post, I’ll show you how to build a continuous integration and continuous delivery (CI/CD) pipeline using AWS Developer Tools, as well as Aqua Security‘s open source container vulnerability scanner, Trivy. You’ll build two Docker images, one with vulnerabilities and one witho
We’re a full-service digital agency that’s been helping clients make lasting change since 1999. Contact Us Just over a year ago I started using Gulp and created gulp-starter. The setup works great out of the box on projects that are unopinionated about assets. Rails, unfortunately, is very opinionated, and it's taken me a year of trial and error to land on a solution that fully integrates a Gulp-b
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く