データオーケストレーションツールDagsterの紹介
データオーケストレーションとは データオーケストレーションという言葉をご存知でしょうか？日本ではまだ耳慣れない言葉ですが、data orchestrationでgoogle検索すると実に3000万件以上ヒットし、世界的には十分に市民権を得ている言葉です。Databricksではデータオーケストレーションを以下のように説明しています。 データオーケストレーションとは データオーケストレーションとは、複数のストレージからサイロ化したデータを取り出し、組み合わせて整理し、分析に利用できるようにするための自動化されたプロセスです。 このプロセスでは、レガシーシステム、クラウドベースのツール、データレイクといったあらゆるデータセンターが接続されます。データは標準形式に変換されるため、理解しやすく、容易に意思決定に利用できます。 オーケストレーションとは、コンピュータシステム、アプリケーション、および
Firebaseを活用したクライアントサイドにおける機械学習モデルの管理 | メルカリエンジニアリング
こんにちは！メルカリのセラーエンゲージメントチームのRakeshです。最近、インターン生のメンターを担当していました。インターン生の名前はPriyanshです。彼がメルカリで担当した仕事の一部である、Firebaseを使用したクライアントサイドでの機械学習モデル構築に関してまとめたテックブログとなります。 はじめに 現代では、大規模データの利用が可能となったほか、処理能力やストレージ機能の進歩、自動化・データドリブンな意思決定の需要の高まりを受け、機械学習の人気が高まっています。 多くの企業が機械学習を取り入れたいと考えていますが、機械学習のコストは非常に高額になり得ます。開発、トレーニング、デプロイにかかるコストや、GPU、クラウドコンピューティングリソース、ストレージ、ネットワークなどの特化型のハードウェアを使用する際のコストがかさむ可能性があるためです。 これまで機械学習モデルは、サ
Jupyter だけで機械学習を実サービス展開できる基盤 - Tech Blog - Recruit Lifestyle Engineer
こんにちは、CET チームの田村です。データ基盤を構築・運用したり、チャットボット（スマホ用です）を開発したりしているエンジニアです。 皆さん、実サービスで機械学習、活用できていますか？ 正直、難しいですよね。高精度なモデルを作ること自体も難しいですが、実際のサービスにそれを組み込むには、そこからさらに数々の難所が待ち構えているからです。 でも、そのほとんどはエンジニアリングで解消できます。 私たちのチームでは、数年にわたる経験をもとに難所とその対処法を整理し、すばやく成果をあげられる機械学習基盤を開発しはじめました。 本記事では、この基盤の設計とその背後にあるアイデアをご紹介します（機械学習工学研究会の勉強会での発表資料がベースです）。 イテレーションを何度も回せ 基盤そのものの前に、まず機械学習を成果につなげるためのポイントを説明させてください。 私たちは、機械学習の活用において必要な
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
