【DeNA／PayPay／マネーフォワード】波乱万丈伝から学ぶ！成長企業におけるデータマネジメントの勘所～大規模データ分析基盤の変遷～｜IT勉強会・イベントならTECH PLAY［テックプレイ］
イベント内容 データマネジメントの重要性がさけばれる中、その品質を担保する上でデータ分析基盤の構築は避けられません。 しかし、「導入してみたけれど運用工数がかかる」「データガバナンスや品質管理になかなか着手できない…」 「そもそも人が足りない！」など、様々な課題に直面している方も多いのではないでしょうか？ 本勉強会では、【DeNA社】【paypay社】【マネーフォワード社】のデータエンジニアが登壇！ 外部環境や組織体制の変化など、データ分析基盤を取り巻くその時々の課題をどのように紐解き、 具体策に落とし込んでいったのか等の経験を振り返り、データマネジメントの勘所をシェアしていきます！ 「やってしまった…」「あの時こうすれば良かった…」など、ここでしか聞けない波乱万丈伝が聞けるかも！？ タイムスケジュール 時間 内容
LINEの技術的負債を解消している話 ─ HTTP/2へのプロトコル変更やデータ同期の最適化での改善｜ハイクラス転職・求人情報サイト AMBI（アンビ）
LINEの技術的負債を解消している話 ─ HTTP/2へのプロトコル変更やデータ同期の最適化での改善 サービス開始から10年近くがたったLINEでは、次の10年のため技術的な負債を解消・改善する取り組みをプロジェクトで行っています。 通信プロトコルをSPDYからHTTP/2に移行 抽象化レイヤーを設置してプロトコル移行のリスクを低減 Long PollingをPushへと切り替えて通信量を最適化 アプリの利用状況に応じて最適なデータ同期の方法を アーキテクチャの改善でアプリの信頼性や拡張性が向上 長い歴史を持つアプリには「技術的負債をどのように解消するか」という課題が常につきまといます。2011年にサービスを開始したコミュニケーションアプリ「LINE」においても同様で、多機能化や、開発・運用の長期化に伴い、いくつもの負債が発生していました。 この課題を解決するため、LINE株式会社では「『
「UNIXという考え方」を読んだ - えいのうにっき
以前に、kabuという半分ネタのCLIツールを作ったことがあった。Goの手習いに、という目的もあったのだけど。 blog.a-know.me 今でも月に一度は使うくらいの（自分にとっての）便利ツールなのだけど、このコマンドについて、「コマンドとしてあるべき姿」といった観点で、同僚からいくつか指摘をもらうことができたことがあった（「ネタにマジレスだけど......」と前置きしつつとても丁寧に添削してくれた :pray: ）。 引数がない場合は標準入力から取ると良い いま標準出力に出してるようなメッセージは、標準エラー出力に出すと良い。そうすると他ツールとの連携がしやすくなる -verbose オプションを設け、それがonのときだけ出す、などとする 候補が見つからなかったときは、non zero exit statusで終わるのが綺麗 こうした指摘は大変ありがたい一方で、「そういう感性みたいな
「女性エンジニア少ない問題」を解決するために、機械学習で男性エンジニアを女性に変換する
2018年4月21日、株式会社サイバーエージェントが主催するイベント「Battle Conference U30」が開催されました。30歳以下のエンジニアによる30歳以下のエンジニアのための技術カンファレンスである本イベントには、さまざまな領域で活躍する若手が登壇。企業の枠を超えて、自身の技術・事業・キャリアに関する知見を発表しました。「機械学習ブームの裏側に」に登壇したのは、ヤフー株式会社データプラットフォーム本部の池上哲矢氏。「女性エンジニアが少ない」という問題に対して、機械学習を用いて解決を試みた、ユニークな取り組みを紹介します。 「連続最適化」を研究し、ヤフーへ 池上哲矢氏（以下、池上）：ご紹介に預かりました、ヤフー株式会社の池上哲矢と申します。 今日は「機械学習ブームの裏側に」というタイトルで、発表させていただきたいと思います。こういったイベントは初めてで、すごく緊張しているんで
Fluentdの監視 ~ mackerel-plugin-fluentdを読み解く - そーだいなるらくがき帳
この記事は Mackerel プラグインアドベントカレンダー(全部CRE） の18日目です。 qiita.com soudai.hatenablog.com それでは18日目は mackerel-plugin-fluentd です。 mackerel-plugin-fluentdはデータの収集と送信、そしてバッファリングをいい感じにしてくれる Fluentd 専用プラグインです。 Fluentdって何？って人は id:tagomoris さんの記事がめちゃめちゃわかりやすいです。 読んだ多分使いたくなるので是非読みましょう。 Fluentd はデータのやりとりを管理するソフトウェアだ。デーモンとして動作する。今のところはLinux上での動作が主に想定されている*1 tagomoris.hatenablog.com github.com ちなみにこの記事のFluentdのバージョンは下記のと
「現場で役立つシステム設計の原則」批判 (1) ～何のために、「データとロジックを一体に」するのか？～
増田亨氏の「現場で役立つシステム設計の原則]」の評判が高いようです。 この本が、オブジェクト指向の初級者に受け入れられ易いことはわかります。オブジェクト指向的なプログラミングが出来ていない現場で、明日からでも出来そうなことが平易に書かれているからです。オブジェクト指向の入り口を指し示しているように見える。 一方で、私としては、この本が指し示す入り口は、入りやすいかもしれないけれど、結局はどこにも通じていないのではないかと疑っています。 本稿では、そのように私が考える理由について、３つの切り口からご説明したいと考えています： 何のために、「データとロジックを一体に」するのか？ポリモーフィズムは何のために？「ドメインモデル」とは何か？長くなるので、今回は、一番目の「何のために、『データとロジックを一体に』するのか？」について。 批判 (1) 何のために、「データとロジックを一体に」するのか？本
難プロジェクトに若手が挑む！ 3000超の金融機関からデータを収集する「freee」同期機能の舞台裏 - エンジニアHub｜Webエンジニアのキャリアを考える！
エンジニアHub > 記事一覧 > 難プロジェクトに若手が挑む！ 3000超の金融機関からデータを収集する「freee」同期機能の舞台裏 難プロジェクトに若手が挑む！ 3000超の金融機関からデータを収集する「freee」同期機能の舞台裏 「若手エンジニア、どんな活躍してますか？」の第9回目は、『クラウド会計ソフト freee』などを手がけるfreeeです。「それ、マジで価値ある？」と問いかけ続ける、超課題解決型企業の同社で、若手エンジニアはどのような成長曲線を描くのでしょうか。 キーボードを叩き、叩き、コードを書く。ただただ、テッキーに。 エンジニアとしてのキャリアを積んでいく上での一つの方法論でしょう。しかし、「それだけではない」とばかりに、エンジニアにビジネス全域へのコミットメントを求める企業があります。『クラウド会計ソフト freee』に代表される、スモールビジネスを支援するクラウ
「ゆかいなカフェデータベース」を公開しました - ギャラリークラフト
梅田周辺に特化した「ゆかいなカフェデータベース」 食べログが当てにならないから、自力で梅田周辺の喫茶店のデータベースを作ろうと思いました。すべて自分で行っています。ポイントをコーヒー1杯の値段に絞っています。テスト中なので非公開にするかもしれません。2/2現在、大阪駅前第１～４ビルの喫茶店29件のデータを入力しています。 営業日・時間についてはネット情報と現地の表示を合わせて、現地優先で記入しています。たまたまその時開いてた/閉まっていたなどがあるかもしれません。他、主観が入っている部分・不完全な部分があります。編集中なので記事の追加・変更があると思いますがご了承ください。 ゆかいなカフェデータベース こちらは地図になります。食べ歩きの地図とは別にカフェのみのマップです。Googleマイマップ機能を使っています。 ゆかいカフェデータベース・マップ リンク こちらは食べ歩きの地図になります。
redashを導入してみた - そんな今日この頃の技術ネタ
rebuildで話題に上っていて気になったプロダクト。 Dockerで気軽に導入できそうだったので試してみた。 github.com redashは大雑把にいえばMySQLなどのデータソースに接続して、 ウェブビュー上からの操作で表やグラフを作成し、 ダッシュボードに並べて表示することができるツールだ。 業務の中では何がしかのデータをウェブで表示したいという案件もあるが、 単にクエリを一発叩いた戻り値を表示しさえすれば良いだけの場合も少なくない。 画面を個別に実装することそれ自体は大した手間ではなくても、 数が増えてくれば後々のメンテナンスコストの増大につながってしまう。 何より、「ここではこう表示されてるけど、どのデータをどう解釈してるんだっけ？」というのを毎回ソースを探して読んで確認するのは意外と大変だ。 そういった現場では、ブラウザ上でのクエリ記述のみで完結するこのredashは非常
アプリとサーバーの通信にJSONではなくSQLiteを使うと幸せになれるかも知れない条件まとめ - アニマネ開発日誌
軽い気持ちで投稿したら、思わぬ反響を頂いたこの話。 賛否両論で色々な意見を頂きました。 問題点も含めてある程度メリット・デメリットが見えてきたので、最後にまとめてみます。 ブコメ、Twitterで色々と意見を頂いた方々ありがとうございました。 この場を借りてお礼申し上げます。 前回までのおさらい クライアントとサーバー間で何らかのデータの受け渡しをする時に、 よく使われるフォーマットとしてJSONやXMLがあります。 構造がシンプルなテキストで汎用性が高いため、あらゆるプラットフォーム間の差異を吸収するフォーマットとしてメジャーな存在です。 モバイルアプリも例外ではないのですが、JSONなどを使わずにSQLiteのDBファイルを直接渡してやりとりするというのが先日書いた記事です。 SQLiteはクロスプラットフォームな上に1ファイルで完結するので、1つのファイルで様々なプラットフォームから
機械学習によるレシピの自動分類、その裏側 - クックパッド開発者ブログ
こんにちは。検索編成部＆研究開発チームの原島です。 クックパッドのレシピには、内部で、様々な情報が付与されています。例えば、こちらの「母直伝♪うちの茹でない塩豚」というレシピには「肉料理」という情報が付与されています。これらの情報は、クックパッドの様々なプロダクトで利用されています。 レシピに情報を付与する方法は沢山ありますが、その一つに機械学習があります。クックパッドでは、レシピが肉料理か否か、魚料理か否か、...という分類を行うことで、「肉料理」や「魚料理」などの情報をレシピに付与しています。 今日は、分類をどのように実現しているか、その裏側を紹介します。 ■ 実装フェーズ まず、分類器を実装する際に気をつけたことを紹介します。 モデルを決定する 分類を行うには、そのための機械学習のモデルを決定する必要があります。クックパッドでは、十分な精度が出るだけでなく、リファレンスが多いという点
DELETE_FLAG を付ける前に確認したいこと。 - Qiita
DELETE_FLAG という思考停止フラグ DELETE_FLAG という boolean の列が DB 設計でよく話題になります。 論理削除という言葉で上手に論理武装し、スキを見せるとすぐに入れたがる人がおり、 一方でそれにつよく反対する人もいます。 自分の経験としては、広義の論理削除はありえると思いますが、実現方法が DELETE_FLAG だとなった時、それはあまり考えてないでなんとなくパターンとして盛り込んでる場合が多いと感じます。 ただし、設計に唯一の答えは無いので、もしかしたらそれが妥当な設計である場合があるかもしれません。 今回は「DELETE フラグがなぜダメなのか？」などという話をするつもりも、アンチパターンだと断言するつもりもありません。 問題は、仕様をきちんと把握すると、「最適な設計は DELETE_FLAG ではない」という場合が有って、その場合は、その最適な設計
巨大なリポジトリ を Git で上手く扱う方法 | Atlassian Japan 公式ブログ | アトラシアン株式会社
git は、コードベースの発展過程を記録し、開発者間の協同作業を効率化する強力なツールです。でも、記録対象のリポジトリがとてつもなく巨大なものになったときは何が起こるのでしょうか？ この記事では、いくつかの異なる意味での巨大化に正しく対処するためのアイデアと手法を少し紹介してみたいと思います。 二種類の 巨大なリポジトリ よく考えてみると 巨大なリポジトリ が生ずる理由はおおまかに言って二つあります: 非常に長い期間にわたって履歴が積み上げられた (プロジェクトが非常に長い期間継続的に拡大を続けたために開発成果が積み重なった) 場合 巨大でしかも履歴の記録が必要なバイナリ データが存在し、それがコードに反映される場合 その両方の場合 即ち、リポジトリの巨大化は二つの異なる方向に向かって起こることになります。それは、作業ディレクトリのサイズ (即ち直近のコミットのサイズ) の問題と全体の履歴
Rails で、Controller に定義されている action を一度に取得する方法はありますか？ - QA@IT
平素よりQA＠ITをご利用いただき、誠にありがとうございます。 QA＠ITは「質問や回答を『共有』し『編集』していくことでベストなQAを蓄積できる、ITエンジニアのための問題解決コミュニティー」として約7年間運営をしてきました。これまでサービスを続けることができたのは、QA＠ITのコンセプトに共感をいただき、適切な質問や回答をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、エンジニアの情報入手方法の多様化やQAサービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年2月28日（金）15:00をもちましてQA＠ITのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知らせとなり、誠に心苦しく思っております。何とぞ、ご理解をいただけますと幸いです。 QA＠ITの7年間で皆さまの知識
スマートフォン向け放送局「NOTTV」215億円の赤字
（引用元：官報） 先日、当ブログでご紹介した、BeeTVの売上と利益が凄かった件で、「NOTTVはどうなんだろう・・・」と触れましたが、官報に決算が上がってました。 NOTTVを運営するのはmmbiという会社。決算の内容は 売上：11.4億 営業損失：216億 経常損失：216億 当期純損失：215億 となっております。BEETVと違って大赤字ですね。 （引用元：NOTTV HP) 株はドコモが60.45%保有しており、ドコモのグループ会社です。他には エヌ・ティ・ティ・ドコモ 60.45% フジ・メディア・ホールディングス 6.05% スカパーJSAT 6.0% 日本テレビ放送網 4.0% 東京放送ホールディングス 4.0% 電通 4.0% 等、色々な会社が持っています。2011年11月に総額481億円の第三者割当増資を行っているのですね。社はミッドタウンにあるのか。 サービスは月額42
誰もが一度は陥る日付処理。各種プログラミング言語におけるDateTime型/TimeStamp型の変換方法のまとめ - Y's note
日付型の変換処理 Date/Timestamp変換のまとめ - Yuta.Kikuchiの日記 10言語のプログラミング言語に対してそこそこの知識を保有している@yutakikucです。いろんなプログラミング言語を使用していると文法を覚えるのは大変ですよね。PHP書いている途中からJavaScriptの文法を誤って書き始めたり... それぞれの言語の文法の違いを事細かく覚える事は無理に近いです。今日はそんな各種言語仕様の記述で難解なDateTime/TimeStampについて紹介したいと思います。扱うのはWeb系のメジャープログラミング言語のSQL/C++/Java/JavaScript/Perl/PHP/Python/Rubyになります。Mysqlからデータを取り出した後や、WebAPIから取得したデータを表示用の日付フォーマットに変換する事があると思うのでそこで利用できる知識になるかと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「投票しろ！だけ言うのは無責任」26歳が作った“頑張らない”選挙情報サイト
120億レコードの金融資産データを扱うマネーフォワードのMySQL活用のこれまでとこれから // Speaker Deck
クリスマスもコードを書きたいアナタに送る！ 次世代エンジニアの技術の学び方とは? 〜Qiitaの投稿データから読み解く、2016年の技術トレンド〜
あなたの知らないグーグルのツール集