はじめに こんにちは。検索基盤部の倉澤です。 私たちは、ZOZOTOWNの検索機能の改善に取り組んでいます。ZOZOTOWNのおすすめ順検索ではランキング学習を用いた検索機能の改善に取り組んでおり、A/Bテストにて効果を測定しています。 ランキング学習やElasticsearch Learning to Rankプラグインについては過去の記事で紹介していますので、併せてご覧ください。 techblog.zozo.com techblog.zozo.com 私たちは、機械学習モデルの開発からデプロイまでの一連の処理を実行するワークフローの構築にGoogle Cloud Platform（GCP）のVertex AI Pipelinesを利用しています。 本記事では、Vertex AI Pipelines採用前の運用とその課題点について説明し、次にVertex AI Pipelinesで構築し
This is a story about running digdag on Kuberentes to create a scalable workflow execution environment
統計学で行列の待ち時間を短縮する スーパーのレジ、病院の診察室、銀行のATM、空港の搭乗手続きなど、世の中のいたるところで順番待ちをする人の行列（待ち行列）が見られます。 一生のうちに、レジに並んでいる時間はどのくらいでしょうか。まずは、レジに並ぶ回数を計算します。寿命を80年として、20歳から毎日なんらかの買い物をしてレジで会計をすると仮定すると、（80－20）年×365日＝2万1900回ということになります。 統計学を応用するには、このように「頻発するような出来事」のほうが効果は高いといえます。その理由に、第1章で解説した「大数の法則」が働くためで、日常生活のよくある出来事ほど統計的な視点を入れたほうがお得、ということです。 一生でレジに並ぶ回数2万1900回のうち、半分が「前の人の会計を並んで待っている状態」で、平均3分待つとします。すると、次のような計算式になります。
大コンテナ時代における.gitを使うワークフローの難点を解決するためにGitHubDDLを作った - ぱいぱいにっき
こんにちは、この記事はPerl Advent Calendar 2021の4日目の記事です。 3日目は@yoku0825さんのPerlで作られたMySQL用の何かについてでした。日々お世話になっている、pt-query-digestがPerlで作られているのは知っていたのですが、他にもいろいろPerl製ツールがあるんですね。 さて、最近仕事で発生した課題を解決するためにGitHubDDLというCPANモジュールを作ったので紹介させていただきます。 TL;DR コンテナ環境において、プロジェクトの.gitをコンテナイメージに焼いたり、volume mountを行うのはいくつかの面で望ましくない 仕事ではDBスキーママイグレーションに.gitを用いるGitDDLを使用していた 以上のために、ECSでEFSマウントで.gitをマウントして構成が複雑になったり、.gitをイメージに焼いてpullが
Slack、ノーコード自動化ツール「Workflow Builder」で65もの他社アプリと接続可能に - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Image credit: Slack Slack のワークフロー自動化機能がさらに強化された。Salesforce 傘下のワークコミュニケーションプラットフォーム「Slack」は18日、ノーコードの自動化プロセス構築ツール「Workflow Builder」用に数々の新しいサードパーティーコネクタを発表した。 これにより、企業は反復的なタスクやプロセスを自動化する際に、ワークフローに接続する合計65のアプリケーションを利用できるようになる。これには、Dropbox、PagerDuty、Notion、Miro、Asana のような人気のあるエンタープライズツールや、Microsoft Teams Calls、Cisco Webex、Google Meet、Zoom のようなコミュニケーションサービスからの提供も含まれる。 Slack の製品担当 SVP である Rob Seaman 氏は
設定値を入力したら、ダイアログ右上にある「Execute Node」をクリックしてください。設定した内容でノードが処理を実行し、結果が表示されます。画像のURLを含むJSONが取得できていれば問題ありません。右上の「×」をクリックしてダイアログを閉じてください。 図3 HTTP Requestノードにパラメータを設定し、実行してみた状態。ResultsとしてAPIが返したJSONが表示されていれば成功 Slack Appの用意 次に、画像を投稿するSlack側の設定を行います。まず発言を行うためのSlack Appを用意します[1]。Slack APIのページを開き、「Create an App」をクリックして新しいSlack Appを作成します。Slack Appの名前と、インストールするSlackワークスペースを決めてください。 図4 Slack Appの名前とインストールするワー
こんにちは。Nowcastでエンジニアをしている片山（@fozzhey）です。 NowcastではワークフローマネジメントツールとしてAirflowを採用しています。 Airflowは日本でもよく採用されており、実際に活用されている方も多いと思います。 しかし、Airflowを使うことはできるけど、実際にどういう仕組みで動いているのかは分からない方が多いのではないでしょうか？ せっかくPythonで書かれているのに、Airflowのコードを読まないのはもったいない！ ということで、この記事ではAirflowのコードリーディングを行いたいと思います。 なるべくコードやGithubのリンクを貼っていますが、手元のエディターでAirflowのリポジトリを開きながら読んでいただくとより理解が深まると思います。 コードリーディングの題材題材とするDAGとタスクこの記事ではAirflowが提供するサン
「Notion AI」「note AIアシスタント」はワークフロー効率化に使えるか。ドキュメント制作支援AIをプロライターはこう見る（小寺信良） | テクノエッジ TechnoEdge
18年間テレビ番組制作者を務めたのち、文筆家として独立。家電から放送機器まで執筆・評論活動を行なう傍ら、子供の教育と保護者活動の合理化・IT化に取り組む。一般社団法人「インターネットユーザー協会」代表理事。 2月23日に、ドキュメンテーションサービスのNotionがドキュメント制作支援AIを正式発表した。すでに同日から全ユーザーが使えるようになっている。 Notion AIに関しては、こちらの記事で方向性についてまとめているので、参考になるだろう。 記事によれば、アルファ版ユーザーが期待したのは「著者ではなく編集者」だったという。つまり記事を書いて欲しいのではなく、書いた記事あるいはこれから書く記事についてサポートして欲しいということである。 提供される機能としては、 1. テキストを要約する 2. 翻訳・文章を長くする/短くする 3. テーマを与えてアイデアを得る の3つに分類できるとい
要約 既存の ETL パイプラインの管理を効率化するため、YAMLでワークフローを定義し、実行できるツールを開発しました。 なぜ Airflow や Prefect を使わないのか？ Airflow や Prefect は素晴らしいツールですが、これらのツールでワークフロー（DAG）を定義するには、Python でコードを書く必要があります。 私が関わっている環境では、すでに数十万行のシェルスクリプトや Perl スクリプトのコードがあります。この上に Python のレイヤーを重ねれば、さらに保守が難しくなってしまいます。また、既存のコードを Python に書き換えることも現実的ではありません。 そのため、プログラムを書かずに、ノーコード（YAML ファイル）でワークフローを定義でき、既存のプログラムをそのまま利用できる軽量なツールを開発することにしました。 Dagu の仕組み Dag
slackで「投稿ルールが守られない問題」を自作のスラッシュコマンドで解決する(GASコード解説編) - Qiita
前置き slackで「投稿ルールが守られない問題」を自作のスラッシュコマンドで解決する(設定編)からの続きになります。 コード全文はgithubリンクをご確認ください。 処理の流れ(再掲) slack上でスラッシュコマンドを投稿 →slackAppの「コマンドごとに設定されたURL」にPOST →GoogleAppsScript(サーバー)が受けてダイアログを返す →slack上にダイアログが表示され、各項目を入力して投稿をする。 →slackAppの「InteractiveComponentsに設定されたURL」にPOST →GoogleAppsScript(サーバー)が受けて、入力内容を整形してslackに投稿 GASで処理が行われるのは ①GoogleAppsScript(サーバー)が受けてダイアログを返す ②GoogleAppsScript(サーバー)が受けて、入力内容を整形してs
SlackのワークフローでAWS Chatbotを動かして、EC2を開始＆停止する仕組みを作ってみた | DevelopersIO
Slackのワークフローで、AWS Chatbotのコマンドを実行します。AWS ChatbotでLambdaを動かし、EC2を制御します。 AWS Chatbotを使ってLambdaを実行すれば、SlackからEC2の開始・停止を簡単にできます。 しかし、毎回コマンドを入力して実行するのはめんどくさいです。 そこでふと思いました。 「Slackのワークフローを使えば、ボタンぽちーで終わるんちゃう？」 基本的には、下記の記事を「AWS SAMで作ってみた」＆「Slackワークフローで簡易化した」内容です。 おすすめの方 AWS ChatbotでEC2を開始・停止したい方 AWS ChatbotでLambdaを実行したい方 AWS ChatbotでRead系のAWSコマンドを実行したい方 AWS SAM（CloudFormation）でAWS ChatbotとLambdaを作りたい方 Sla
ZOZO Technologies Meetup は、「ZOZOテクノロジーズの大規模データ活用に興味のある方」を対象としたイベントです。ZOZO研究所の渡辺氏からは大規模データを対象とした画像検索システムのワークフローについての事例を紹介しました。後半は画像検索のワークフローの流れについて。 画像検索のワークフローの流れ 渡辺慎二郎氏：というところの話になってきて、これがワークフロー、それを毎日のように準備するという仕組みになります。先ほど見せた図で言うと、この部分ですね。 このワークフロー、今回ではComposerというGKEのマネージドサービスを使っています。これの中身、具体的な仕組みは置いておいて、流れをご紹介します。 まずBigQueryから、本日今時点で有効になっている、使える、発売になっている商品情報をダーッと取ってきます。だいたいこれが300万画像ぐらい。その日によって違っ
1from prefect import flow, task 2 3 4@task(log_prints=True) 5def say_hello(name: str): 6 print(f"Hello {name}!") 7 8 9@flow 10def hello_universe(names: list[str]): 11 for name in names: 12 say_hello(name) 13 14 15if __name__ == "__main__": 16 # create your first deployment to automate your flow 17 hello_universe.serve(name="your-first-deployment")
社内コミュニケーション基盤をメールから「Slack」に移行したナビタイムジャパン。社内では、人事システムや名刺管理、勤怠管理、ネットワーク管理など複数のSaaSを利用しているが、これらの社内システムの運用もSlackを使って簡素化したという。 「経路探索エンジンの技術で、世界の産業に奉仕する」を経営理念に、総合ナビゲーションサービス「NAVITIME」を提供するナビタイムジャパン。NAVITIMEの月間ユニークユーザー数は5100万人（2018年9月）、有料会員数は約480万人（同）で、サービス企画から開発、サポート、デザインまでを全て自社内で完結させている。 同社はコミュニケーション基盤をメールからSlackに移行し、API連携によって社内の業務システムからサーバ障害などの状況を全てSlackで確認できるようにしたという。ナビタイムジャパンの天野剛志氏（経営推進部）が軌跡を語った。 本稿
まずはじめに つい先日、はじめてjenkins pipelineのためのJenkinsfileを作成し、PHPアプリケーションのワンクリックデプロイを実現しました。今回は振り返りの意味も込めて、その際に事前に知っておくと良かった点をまとめていきます。これから、Pipelineを構築したい方は参考にしてみてください。 環境は以下の通りです。 CentOS: 7.3.1611 Jenkins Version: 2.73.2 私の場合は、Pipelineを作成する前にRubyで書かれたCapistranoというデプロイツールでリリース用のスクリプトをすでに構築・運用済みでした。慣れてしまえば十分な環境でしたが、毎回コマンドを叩く手間と増加するチームメンバーへの共有コストを考えるとよりシンプルな手順が必要だと感じてきたため、Jenkinsへの移行を決断しました。 移行プロセスとして、ゼロからCap
Embulk & Digdag Online Meetup 2020｜IT勉強会・イベントならTECH PLAY［テックプレイ］
概要 COVID-19の影響でキャンセルとなったEmbulk & Digdag Meetupですが、オンラインで実施することとなりました！ Arm Treasure Dataが中心となって開発・提供をしているOSSプロダクトであるEmbulkとDigdagのMeetupを初開催します！ Embulk/Digdagのオリジナル開発者である古橋(@frsyuki)や現在のコア開発チームも参加して、EmbulkとDigdagそれぞれの今後のロードマップについて発表します。 さらに、EmbulkとDigdagをプロダクション環境で利用しているZOZO TechnologiesとprimeNumber社の「troccoⓇ」開発チームの２社にも登壇いただき、EmbulkとDigdagの運用やプラグイン開発についてのディープなナレッジを共有します。 Youtube Live経由で配信します。https:
Slack の GitHub インテグレーションで GitHub Actions ワークフローのイベントを通知可能に | 豆蔵デベロッパーサイト
Slack の GitHub インテグレーションを使えば、PR(Pull Request) や issue のオープンや更新などのイベントを通知できます。PR に Slack からコメントすることも可能です。 GitHub + Slack 先日、GitHub Actions ワークフローのイベントも通知できるようになったことが Changelog に流れていました。 GitHub Actions workflow notifications in Slack and Microsoft Teams | GitHub Changelog これまではワークフローにサードパーティの Action を組み込んで実現していた部分ですので、気になる方も多いのではないでしょうか。 この記事では GitHub インテグレーションの導入、ワークフローイベント通知の登録と実際の使用感を見ていきます。 Info
2023年（令和5年）10月1日、「インボイス制度」が開始されます。 インボイス制度開始によって経理業務に大きな変化をもたらすことが予想されている一方で、 「インボイス制度ってなに？」 「制度開始で具体的になにが変わるの？」 「インボイス制度に対応する方法は？」 といった疑問をお持ちの方も少なくありません。 この記事では、インボイス制度の基礎知識や変更点、令和5年税制改正の要点、対応のポイントについてわかりやすくご紹介します。 インボイス制度について詳しく知りたい方や対応方法を知りたい方はぜひ参考にしてみてください。 ▼インボイス制度に対応しないとどうなる?
本作業部会で検討中の資料を、下記の通り公開いたします。 「これからの学術情報システムのメタデータ収集・作成方針について（案）【ドラフト版】」2022年2月18日時点 ご意見募集は、2022年4月30日をもって終了いたしました。たくさんのご意見をいただきありがとうございました。 本文書は、本作業部会が「これからの学術情報システムの在り方について（2019）」（以下、「在り方（2019）」という。）で示された「方向性」を受け、大学図書館を中心とした各機関が教育・研究DX を実現するために必要な諸課題について、メタデータに着目する形で具体化に向けた検討を行ったものです。 本文書では、２章において「在り方（2019）」に示された「方向性」と、それを踏まえたうえでのシステムワークフロー整備の方向性について、メタデータを中心とした視点で考え方を整理しています。３章では「物理的な資料」、４章では「電子的
日本テレビはAWSを活用して番組作成を効率化する。これまでの課題に対し、「Alligator」を使うことでどのような変化が生まれるのか。 Amazon Web Services（以下、AWS）は2022年9月30日（現地時間）、同社のブログで日本テレビがAWSを活用した番組制作ワークフロー刷新システム「Alligator」の運用を開始したと発表した。 日本テレビが抱えていた、番組制作ワークフローの課題と改善策 番組制作の作業工程（ワークフロー）は、「1つの放送番組あたり数百GB～数TBのデータ量を持つ収録素材の運搬作業」「収録素材を映像編集作業に適したデータフォーマットへ変換する作業（デジタイズ）」などがある。これらの作業は時間を要する上に、データ紛失のリスクや人と人の接触による感染リスクを伴い、クリエイティビティ性が出しにくい作業で、番組制作ワークフローの課題だった。 そこで同社は、課題
今回は、Luigi でタスクの開始や成功・失敗などのときに発火するイベントハンドラを扱ってみる。 なお、Luigi はバッチ処理などのパイプラインを組むのに使われるソフトウェアのこと。 基本的な使い方については以下を参照してほしい。 blog.amedama.jp 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.6 BuildVersion: 18G3020 $ python -V Python 3.7.6 下準備 下準備として Luigi をインストールしておく。 $ pip install luigi イベントハンドラを登録する 早速だけど以下にサンプルコードを示す。 Luigi では、デコレータを使ってイベントが発生したときに実行したい処理を登録できる。 サンプルコードでは、タスクが開始されたタイミン
Slack ワークフローを用いて STORES 予約 の障害対応フローを改善した話 - STORES Product Blog
はじめに この記事はSTORES Advent Calendar 2022の13日目の記事です。 STORES 予約 のSREをしているaao4seyです。 少し前に STORES 予約 のチーム内で障害対応のやり方みたいなところの改善を行なったので、どういった課題があって、どういった改善を行なったのかについてご紹介できたらと思っております。 きっかけと課題 ある障害が発生した際に障害対応のやり方に関して、チーム内から次のような課題が出てきました。 障害対応中のコミュニケーションに関する課題 予約チームにはバックエンドエンジニアが10人程度在籍しているのですが、その中で障害の対応作業を行なっているメンバーとそれ以外のメンバーとのコミュニケーションが上手く取れていませんでした。障害の対応作業を行なっているメンバーの中で障害に関する情報が閉じてしまっており、それ以外のメンバーからは障害の詳細な
プロジェクト管理「Trello」に新プランーー進むワークフローのノーコード自動化（1/2） - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Image Credit : Trello Atlassianが提供するカンバン方式のリスト作成アプリ「Trello（トレロ）」は本日（訳注：原文掲載日は8月24日）、中小規模のチーム向けに特化したTrelloの新バージョン「Standard（スタンダード）」を発表した。Standardと同時にTrelloの従来の制限であった、無料のボードにつき1つのインテグレーションまたはアドオンという制限を解除し、すべてのユーザーに新しいワークフロー機能を提供することで「ノーコード自動化」の選択肢を拡大させている。 2020年はパンデミックの影響で、リモートワーク、ハイブリッドワーク、フレキシブルワークへの移行が進み、ワークフロー管理ツールの需要が急増した。最近のNemertes Researchの調査によると、約半数（45%）の企業がSlack、Microsoft Teams、Airtableなどの
概要 Python製のワークフロー管理システムPrefectで簡単なワークフローを作りながら使用方法や幾つかの機能を確認していきたいと思います。 尚、この分野ではApache Airflowがメジャーかと思います。Airflowとの比較についてはこちらのブログ(Why Not Airflow?)に書かれているので参考にして下さい。 Prefectの特徴 単発手動実行のワークフローが実装しやすいが、スケジュール実行も普通にできる。 Pythonの関数を定義していくことでワークフローを自然に構築できる。 タスク間のデータのやり取りが簡単にできる。 ワークフロー実行時に動的にワークフローを構成できる。 ワークフロー上のデータをパラメータ化して実行時に値を指定できる。 ローカルでのデバッグがしやすい。 本番運用はマネージドサービス(Prefect Cloud)を使用した方が良いが、一応自前でホステ
ワークフローシステムとは業務手続きの電子化のこと社内の申請や稟議など、書類のやり取りで時間の無駄や管理の手間が発生していませんか？ それらの仕組みを電子化して業務負担を減らす「ワークフローシステム」はどのようなものなのか。どのくらい効率化されるのか。導入前に確認しましょう。 導入前にメンバーに理解してもらうための資料としてもお使いいただけます。 ＜資料概要＞ ・ワークフローシステムとは？ ・ワークフローシステムを導入していないと発生する問題 ・ワークフローシステムの導入効果 ・あわせてチェック ワークフローシステムと関わるキーワード
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます ワークフローという言葉は2021年、コラボレーションやハイブリッドワーク、自動化、タスク管理がぶつかり合う中、さまざまな大手ソフトウェア／クラウド企業の間でのバズワードになりつつある。 企業の決算発表後の電話会議やアナリストとのイベントの内容から判断すると、ワークフローがテクノロジー分野の新たな言葉として台頭してきているのは明らかだ。 ワークフローの自動化を手がけ、その普及に貢献してきている大手企業のServiceNowは、直近の決算発表後の電話会議で「ワークフロー」という言葉を32回も用いた。同社の最高経営責任者（CEO）Bill McDermott氏は、顧客がIT部門や顧客、従業員、クリエーターのために、ワークフローインフラに向けて
ソフトウェア開発の工程を自動化する上で非常に強力な機能であるGithub Actionsについてご紹介とワークフローの自動実行方法についてご紹介します。
ダイハツの不正について。まぁもともとそんな体質です。ユーザーは無関心。怒ってないと思う 2023年4月30日 [最新情報] ダイハツの不正の件、多くのメディアが取り上げているのでスルーしようと思ったけれど、書かないとかばっていると思われると助言してくれた人もいるので少しだけ。そもそもダイハツってそういう会社です。以前コペンが段差でお腹をこすった際、横方向にアングル材あって路面の鉄板を乗り越えられず強い減速G出てエアバッグが誤爆した事案あった。その後、危険だと解っていても現在進行形で改良されていない。今でも同じケースだと誤爆する可能性大。 この件、トヨタはしっかり対応しておりGRコペンの床下を見たら横方向のアングル材を乗り越えるような形状の追加材が設置してあった。ダイハツ、コストと安全を天秤に掛けたらコストが勝る体質なのである。こういった決断、TOPに近きポジションだと解らないかもしれない。
メルカリ、部門横断型のワークフローシステムをServiceNow App Engineで構築、申請プロセスを自動化 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ 開発ツール／プラットフォーム ＞ 事例ニュース ＞ メルカリ、部門横断型のワークフローシステムをServiceNow App Engineで構築、申請プロセスを自動化 開発ツール／プラットフォーム 開発ツール／プラットフォーム記事一覧へ [事例ニュース] メルカリ、部門横断型のワークフローシステムをServiceNow App Engineで構築、申請プロセスを自動化 2022年4月11日(月)日川 佳三（IT Leaders編集部） リスト メルカリは、これまで部門ごとにバラバラに開発してきたワークフロー業務を全社で統一するため、ローコード開発基盤「ServiceNow App Engine」を導入した。利用頻度の高い承認申請や問い合わせに対して部門横断型で使えるワークフローシステムを開発し、従業員向け申請・問い合わせサイトで一括し
GitHub Actions - private リポジトリの Action と再利用可能ワークフローが呼び出しが可能に | 豆蔵デベロッパーサイト
これは、豆蔵デベロッパーサイトアドベントカレンダー2022第24日目の記事です。 これまで Action、および再利用可能ワークフローのリポジトリは public にしないと他リポジトリのワークフローから呼び出すことができませんでした。 このたび private リポジトリの Action と再利用可能ワークフローが同一オーガニゼーション、個人アカウント、Enterprise で利用可能になったことが発表されました。 GitHub Actions - Sharing actions and reusable workflows from private repositories is now GA | GitHub Changelog この機能は待ち望んでいた人も多いのではないでしょうか。GitHub からのクリスマスプレゼント？ということで早速試してみました。 private リポジトリ
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「Microsoft Power Platform（パワープラットフォーム）」という名称を耳にしたことがあるだろうか。デジタル化した業務工程を自動実行する「Power Automate」、ビジネスアイデアをアプリケーション化する「Power Apps」、チャットボットを簡単に構築する「Power Virtual Agents」、データ駆動型で現在の情報を可視化する「Power BI」を組み合わせたブランド、もしくは製品群を指す。 コード開発をバックオフィスのシステム部門ではなく、営業部門などフロントオフィスで開発しようという潮流、つまり最小限の言語で開発できるローコードや特定の開発言語を必要としないノーコードの流れからMicrosoft
Budibaseは社内ツールを簡単に構築したりワークフローを自動化するオープンソースのローコードプラットフォームです。 構築されるアプリケーションは基本的にSPAとなっており、パフォーマンスが高くRWD対応もされているそうです。MongoDB、CouchDB、PostgreSQL、MySQL、Airtable、S3、DynamoDB、REST APIなどからデータ取り込みが可能ですが、データソースが無くても構築可能です。 UIに関しても既にコンポーネントが用意されており、ブロック単位で追加できます。CSSスタイリングオプションも多数用意されているので、よりクリエイティブな作業も可能となっています。 更に、他のツールとの連携、Webhookへの接続が可能で手動で行っていたプロセスやワークフローを自動化することで、時間を節約することができます。勿論、他の人気のツールとの統合も可能となっています
非技術者PdMが、Slackワークフロー投稿をNotionデータベースへ溜めるGAS書いてみたよ - Qiita
はじめに この記事はHRBrain Advent Calendar 2022カレンダー1の25日目の記事です。 こんにちは。株式会社HRBrainでプロダクトマネージャー（以下PdM）をしている田中です。 去年はPdMとして新米すぎて武道館に立ったことを記事にしてしまいました。 今年も相変わらずPdMとは何かがわかっていませんが、自分が欲しかったものを技術でカタチにできたので、それを記事としてアウトプットしてみたいと思います。 アドベントカレンダーのトリであることは何も気にしていません。 本記事では、非技術者である私が、Slackのワークフロー投稿をNotionのデータベースへ自動蓄積させることができた方法を紹介します。 そもそもなんで作ろうと思ったか プロダクト開発において、特にPdMに当たる方は以下のようなことを思うシーンがあるのではないでしょうか。 ナレッジやフィードバック、要望を蓄
はじめに われわれはシステム開発会社に所属するデザインチームです。 情報提供を主とする「Webサイト」よりも、ユーザーが検索・入力・購入などの主体的行動をとる「Webアプリケーション」に関わることが圧倒的に多く、コンテンツよりも機能を活かすためのデザインを得意分野としています。 ですので、進め方や考え方について、世の中のWeb制作会社とは違った側面を持っていると思えることがよくあります。 エンジニアとの連携・会話が日常的に発生する。 「キレイなもの・おかしみのあるもの」よりも「わかりやすいもの・効果のあるもの」 維持・管理できないドキュメントは極力作成しないかわりに、ドキュメント不要なレベルまで議論を交わす。 デザインしたら当然のようにコードも書く。 「リリース＝終わり」ではなく「リリース＝改善の始まり」 「デザイン」という単語は指し示す範囲があいまいで、ひとり歩きしやすく、とらえどころの
データ基盤の監視 データ基盤は下流の分析・可視化・モデリングの「基盤」となるので、監視は言うまでもなく品質を担保するため重要な存在です。データ基盤監視の考え方についてこの2つの記事が紹介しています。 同じくSQLによるデータ基盤を監視しており、最も大きな違いは自作ツールかAirflowで検証することだけです。本文はAirflowで構築したワークフローの検証についてもう少し紹介したいと思います。 まず、Data Pipelines Pocket Referenceではデータ基盤検証の原則が紹介されました。 Validate Early, Validate Often 要はできるだけ早く、できるだけ頻繁に検証するとのことです。ELTあるいはETL処理においては、Extract, Load, Transformそれぞれのステップが終了した直後に監視するのは最も理想的だと思います。 Transfo
PDFにAcrobatの電子印鑑でハンコを押す方法
Adobe Acrobatには、「電子印鑑」という機能があります。スキャンしたハンコの画像データをカスタムスタンプとして登録して「PDFに押す」ことができるの、知ってましたか？ 新型コロナウイルスの影響で、ようやく印鑑と紙の無駄がバレつつあります。行政や企業レベルで、押印の廃止もやっと進むようになりました。遅すぎても、やらないよりはいいですが…。 そうそう、この記事は結構、読んでもらっているようなので、最初にいっておきますが、印鑑の電子化なんて、DXにはほど遠いですからね。『無駄なことを電子化しても、やっぱり無駄』なことには変わりないです。
「ワークフローエンジン」を活用することで、コンピューターの定期的な作業などをワークフローで自動化できるため、業務の効率化に役立ちます。本記事では、ワークフローエンジンの特徴や、代表的なワークフローエンジンについて解説します。 ワークフローエンジンとは 「ワークフローエンジン」とは、コンピューターの作業プロセスを自動で管理するソフトウェアです。これまで手動で行っていた業務プロセスの自動化・高速化を目的としており、ビジネスで活用される「ワークフローシステム」と同様に、申請・承認業務のプロセスを管理する働きをします。 ワークフローエンジンを使わずとも、タスクを決められた日時に行う場合にLinuxを使用する方法もありますが、これだとタスクが失敗したときにカバーできません。また、タスクの成否を確認するために、担当者がファイルをチェックしたり、失敗時の調査用ログを調べたりといった手間も発生します。 ワ
この記事は BrainPad Advent Calendar2021 18日目の記事となります。 プロダクトビジネス本部、開発部の吉田です。 データ処理パイプラインとしてよく名前が挙がるワークフローエンジンを紹介します。 近年、ワークフローエンジンの利用は 業務システムではバッチの依存関係の解消のため MLops と呼ばれる分野でデータ処理、モデル更新に 様々なシーンで活躍しており、広がっている印象です。 ここでは、ワークフローエンジンの紹介を行っていきたいと思います。 データ処理パイプライン｜ワークフローエンジン 本稿では、ワークフローエンジンの紹介を行いますが、一番良いのは利用シーンから様々なワークフローエンジンの良し悪しを出していくことが望ましいと思います。 近年、ワークフローエンジンも多く増えてきており、開発のしやすさ、コードの書きやすさ、利便性（ワークフロー内部にサブセットのワー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Vertex AI Pipelinesによる機械学習ワークフローの自動化 - ZOZO TECH BLOG
Embulk & Digdag Meetup 2020
レジの待ち時間を短くしたければ｢待っている人が少ない列｣に並んではいけない 統計学的に正しい行列の回避法
第607回 n8nでWebサービスを繋いだワークフローを自動化する | gihyo.jp
コードリーディングでAirflowの仕組みを理解する
Slackの日本市場は世界2位、アクティブユーザー100万人【週刊Slack情報局】
社内の問題を解決するためにワークフローエンジンを開発した話
ビッグデータ活用時のワークフローの大切さ ZOZO研究所のエンジニアが感じた次元が違う300万画像の処理
Workflow Orchestration Made Simple | Prefect
制作時間12分の1、費用10分の1でアニメ制作。DNPが「ライトアニメ」
ナビタイムジャパン「社内システムをたった2人で運用」を実現したSlackのAPI連携テクとは
Jenkinsfileの書き方 (Jenkins Pipeline) - Qiita
インボイス制度とは？制度開始による影響や経過措置、対応のポイントを解説！ | ワークフロー総研
システムワークフロー検討作業部会ドキュメント | これからの学術情報システム構築検討委員会
日本テレビがAWSを活用して番組作成 番組制作ワークフロー刷新システム「Alligator」の正体
Python: Luigi のイベントハンドラを試してみる - CUBE SUGAR CONTAINER
Prefectで軽量なワークフローからk8sでの実行まで - Qiita
【導入前に読む】業務手続を電子化「ワークフローシステムとは？」 | 働き方改革ラボ | リコー
「ワークフロー」展開の気運--エンタープライズITベンダー各社の動き
デフォルトブランチ以外でのGithub Actionsワークフローの手動実行 ｜情シスフォース
ダイハツの不正について。まぁもともとそんな体質です。ユーザーは無関心。怒ってないと思う
「Power Platform」を使いこなすポイント--どこが便利でどう使えるのか
社内ツールを簡単に構築したりワークフローを自動化するオープンソースのローコードプラットフォーム・「Budibase」
システム開発会社のデザインチームがまとめる「デザイン」の進め方
Airflowで構築したワークフローを検証する - Qiita
代表的なワークフローエンジンをまとめて紹介！ | 株式会社無限
2021年版ワークフローエンジンの紹介 - Qiita