LINEの新しいセルフサービス型バッチデータ収集システム「Frey」の導入
こんにちは、Data Platform室Data Engineering 1チームの徐です。 Data Platform室では、大規模なHadoopクラスタを運用し、データ収集、分析、活用するためのプラットフォームを提供しています。Data Engineering 1チームのミッションの一つは、様々なストレージからのdata ingestionシステムを構築、運用することです。 本記事では、バッチ処理でデータ収集を行うシステムの概要を説明した後に、LINEのセルフサービスツールであるFreyをご紹介します。 課題： このシステムでもデータ収集のバッチ処理を実行・管理するという目的は果たせましたし、ユーザーとタスクの規模が小〜中程度であれば問題はありませんでした。しかし、LINEの全てのプロダクトまでスコープを広げるにつれ、次のような問題に躓くことが増えていきました。 コード記述（ステップ1
学校で深刻化する学年LINE トラブルで中退者続出、生徒にストレスや不安蔓延
子どもが無料通話・メールアプリLINEを利用することについて、懸念する声が多く上がっている。それに従って、LINE利用については保護者がしっかり管理すべきとの意見が増えている。しかし、ルールを定めて利用させるには、親子間の信頼関係はもちろんとして、保護者側に相応の知識と労力が必要となる。 どのような設定をすれば適切なのか、利用時間は一日当たりどの程度がよいのか、利用状態をどのようにチェックすればよいのか……それらを考慮した上で、親子で話し合いをし、利用しなければならない。そうした労力をかけて上手に利用させている例もあるようだが、一方で労力をかけず全面的に禁止にしているという例も少なくない。 多くの子どもの日常は、親と暮らしている地元に限られる。しかしいずれそこを飛び出すことになった時、どうするべきなのか。単純に禁止すればよいとはいかないだろう。 ●学年の半分が参加する「学年LINE」 中高
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
