ログパイプラインの4つの問題にLINEはどう立ち向かうか シンプルかつ拡張性のあるアーキテクチャを叶える、Icebergという選択肢
自己紹介と後半のアジェンダ 尾野健氏：ここからはスピーカーが代わります。尾野健と言います。Data Engineering1 teamに所属していて、LINEには2019年に入社しました。現在はインジェスチョンパイプラインを開発中です。 後半のアジェンダです。現在のログパイプラインの概要、そのログパイプラインが抱える問題、その問題がIceberg導入によってどのように解決されるか。そしてFlink Iceberg applicationの詳細、最後にプロジェクトの今後の進め方を説明します。 ログパイプラインの概要 それでは現在のログパイプラインの概要です。（スライドを指して）この図は、現在のログパイプラインの最初の段階を示しています。もともとはシンプルなアーキテクチャでした。Kafka、Flink、HDFS上のHive tableという構成で、テーブルはAppend Onlyです。 ユーザ
CPU使用率90%を超える高負荷がLNEのHive Metastoreで発生 Hive table formatの課題はApache Icebergで解消
2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで齋藤氏と尾野氏が「LINEデータプラットフォームにおけるApache Icebergの導入」というテーマで、データ処理とデータのインジェスチョンパイプラインについて紹介しました。まずはLINEで実施しているデータ処理について。 自己紹介と発表前半のアジェンダ 齋藤智之氏：LINE Data Platform室の齋藤智之です。現在私は、データプラットフォーム開発組織のシニアソフトウェアエンジニアとして、研究開発や開発プロジェクトのリードをしています。今日の発表では、データプラットフォームを開発運用する中で直面してきた課題と、その解決に向けた取り組みの一部を紹介しようと思います。 発表は前半と後半の2部に分かれて
未だ現役なPerl5.8 ＆ MySQL4.0とどう戦うか？ ライブドアブログが生んだカオスとレガシーからの脱却
未だ現役なPerl5.8 ＆ MySQL4.0とどう戦うか？ ライブドアブログが生んだカオスとレガシーからの脱却 Inside of Blog 15年熟成されたサービスの光と影、カオスとレガシーへの挑戦 #2/2 2019年11月20、21日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2019」が開催されました。1日目は「Engineering」をテーマに、LINEの技術の深堀りを、2日目は「Production」をテーマに、Web開発技術やUI/UX、プロジェクトマネジメントなど、より実践的な内容についてたくさんのプレゼンテーションが行われました。「Inside of Blog; 15年熟成されたサービスの光と影、カオスとレガシーへの挑戦」に登壇したのはLINE 開発Bチームの大森貴博氏。後半パートとなる今回は、現役で稼
「アジャイルな受託開発」を3年間やって得たもの
2019年7月6日、株式会社サイバーエージェントが主催するイベント「Battle Conference U30」が開催されました。30歳以下のエンジニアによる30歳以下のエンジニアのための技術カンファレンスである本イベントには、さまざまな領域で活躍する若手が登壇。企業の枠を超えて、自身の技術・事業・キャリアに関する知見を発表しました。「アジャイルな受託開発を3年間やってみて」に登壇したのは、フォルシア株式会社・松本健太郎氏。登壇資料はこちら 「アジャイルな受託開発」をやった結果 松本健太郎 氏：「アジャイルな受託開発を3年間やってみて」というタイトルで、松本健太郎が発表させていただきます。よろしくお願いいたします。 （会場拍手） 今日は私のチームでやっているスクラム開発っぽいアジャイルの話をします。先ほどのセッションでもアジャイルのお話だったので、この会場に来ていらっしゃる方はアジャイルの
LaravelでのAPI開発を爆速にするためにやっていること
2019年2月16日、PHPのフレームワークであるLaravelをメインテーマに据えた技術カンファレンス「Laravel JP Conference2019」が開催されました。「Laravel JP」を冠したイベントとして日本初開催となる今回。数多くのLaravelユーザーが参加し、知見を共有します。プレゼンテーション「LaravelでのAPI開発を爆速にするためにやっていること」に登壇したのは、株式会社SCOUTERの松本宏太氏。自社のAPI開発において取り組んでいることについて語りました。講演資料はこちら LaravelでのAPI開発を爆速にするためにやっていること 松本宏太氏（以下、松本）：お越しいただきありがとうございます。『LaravelでのAPI開発を爆速にするためにやっていること』というタイトルで発表させていただきます。よろしくお願いします。 もしかしたら知ってる人がいるかも
コンピュータを理解するにはExcelが最適だった 83歳の現役プログラマーが語る、アプリ開発秘話 - ログミー
2018年9月6日、ビジネスエアポート六本木にて「米国アップル社、マイクロソフト社、そして国連本部も認めた83歳のアプリ開発者 若宮正子氏登壇！『MY SMART WORK LIFE』セミナー②。世界を魅了する理由に迫る!!」が開催されました。本パートでは、若宮正子氏の生い立ちからアプリ開発に至るまでのエピソードについての講演模様をお送りします。 突然世界中で有名人になってしまった、若宮正子氏の講演 若宮正子氏：みなさん、こんばんは。若宮正子です。どうぞよろしくお願いいたします。だいたいの人はみんな「マーちゃん」って言っているみたいなんですけども、戸籍上の名前は若宮正子です。 今日お話しすることは、まず自己紹介。それから、今日のテーマであります「私は創造的でありたい」というお話。それから最後に、最近の活動から得られたものです。といいますのも、私は1年半ぐらい前に、急に「にわか有名人」になっ
平社員が経営陣に一言「全員辞表を出してください」朝倉祐介氏がミクシィ復活劇の舞台裏を振り返る
走らない馬を走らせる3要素「理、心、運」 朝倉祐介氏（以下、朝倉）：はい、朝倉でございます。 （参加者から「ミクシィ！」の声） 朝倉：私は、15歳の時に競馬の騎手の候補生としてキャリアをスタートしました。以来、会社の経営も含めて、世の中で起こるだいたいすべてのことは、馬に例えて理解をしています。 （会場笑） 今日は、「走らない馬の走らせ方」すなわち衰退期に入った会社をいかに立て直すか。これを、株式会社ミクシィでの企業再生の経験をベースにシェアできればと思います。 走らない馬を走らすにあたって、私は3つの要素が必要だと考えています。理、心、運。 理。これはすなわち戦略だとか方針。頭で考えることですね。心。これは頭で考えたことをやり抜くタフネスさ、エグゼキューションの部分。運は読んで字の通りです。 問題は、この理と心と運、後付けでどれぐらい結果に貢献していたのか。この比率なんですけれども、私、
飽きっぽい人に朗報！ 確実に習慣を身につけられる66日ルール
ニコニコ生放送の人気番組メンタリストDaiGoの「心理分析してみた！」。今回は「習慣化の科学」をテーマに、運動、勉強、読書、早寝早起きなど自分の生活に行動を習慣化させる方法について解説していきます。習慣化のカギは、意志の力を一定期間注力し続けること。だいたい66日続ければ、習慣として身につくんだそう。また、トリガー、時間、場所を固定化し、習慣にしたい行動を生活リズムに組み込むことが挫折しない習慣化のコツです。 意志の力は最適な“投資先”に使う DaiGo氏：「確実に続く習慣を設定するには」ということで、これ意志力の最適な投資先というところをお話していきたいと思います。これは常連のみなさんにはお馴染みの、意志力の研究ですね。 ケリー・マクゴニガルさんやロイ・バウマイスターの研究でも明らかになってますけれど、意志の力というのは限られてるんですよ。限界があるんですね。それで瞑想とかでトレーニング
夢があるなら、なぜ命をかけないの？ 紀里谷監督が若者に檄
紀里谷和明監督の初のハリウッド進出作となる映画『ラスト・ナイツ』。その試写会と質疑応答のイベントが、デジタルハリウッドで開催されました。『CASSHERN』『GOEMON』を手がけた紀里谷氏が5年の歳月をかけて完成をさせた『ラスト・ナイツ』は クライブ・オーウェンやモーガン・フリーマンらをキャストに迎えた作品で、11月14日からの全国でロードショー公開を予定しています。試写上映後、会場に集った学生たちの質問に、紀里谷氏が答えました。 もっと楽な仕事はいっぱいある 紀里谷和明氏（以下、紀里谷）：彼、いこうか。 質問者：ありがとうございます。映画をつくってるって話ですごく、精神をすり減らしてでも何か、すごく強い心を持ってつくってるなっていう印象を受けたんですけれども、それでもやっぱり信念っていうものがあったり、それが出来上がる技術みたいなものがあったら聞きたいです。 紀里谷：この作品をつくって
「バーバリーは日本を捨て、世界を選んだ」 三陽商会とのライセンス契約終了の舞台裏
バーバリーは日本の大衆を捨てた？ 堀潤氏（以下、堀）：このコーナーは、専門分野に長けた論客の皆様に独自の視点で今、知るべきニュースを角度をもって思う存分お話いただきます。 榎本麗美氏（以下、榎本）：では、改めてゲストをご紹介します。矢野経済研究所・代表取締役社長の水越孝さんです。お願いします。 水越孝氏（以下、水越）：よろしくお願いします。 榎本：そして、Bloomberg特派員で、北アジア速報チーム責任者のガロウド・リーディーさんです。お願いします。 ガロウド・リーディー氏（以下、ガロウド）：よろしくお願いします。 堀：それでは早速ですが、水越さんからテーマの発表お願いします。 水越：これです。 （テーマ「バーバリー（英）、日本の大衆を捨てた？」について） 榎本：アパレル大手の三陽商会が、英国の高級ブランド、バーバリーと結んでいた日本での販売契約を6月30日に終了しました。 堀：さて。ま
「mixiは時代遅れ」は社内で禁句だった–元ミクシィ代表・朝倉氏が企業の再建についてスタンフォード大学で講演 - ログミー
「mixiは時代遅れ」は社内で禁句だった–元ミクシィ代表・朝倉氏が企業の再建についてスタンフォード大学で講演 元ミクシィ代表の朝倉祐介氏が、日本のスタートアップや最近のトレンドについてスタンフォード大学で講演しました。「日本でナンバーワンのSNSだったmixiがユーザーを失った原因は何か？」「赤字化が続くミクシィをどのように再建していったか」について朝倉氏が解説します。ミクシィで同氏が経験した、成功した企業に必ず訪れる「成功の逆襲」とは一体？（Stanford Seminarより） ログ名 Stanford Seminar / Yusuke Asakura of Mixi 元ミクシィ代表・朝倉祐介氏がスタンフォード大学で講演 朝倉祐介氏（以下、朝倉）：みなさん、こんにちは。朝倉祐介です。私はスタンフォード大学にあるUSAアジアマネジメントテクノロジーセンターというところで、客員講師をやって
「日本人は一生懸命働く。ただ、そこにビジョンがない」 ノーベル賞・山中伸弥教授が指摘
ノーベル生理学・医学賞を受賞した京都大学 iPS細胞研究所の山中伸弥教授が、「人間万事塞翁が馬」と題して高校生に向けて行った講演。山中教授は自身の人生を振り返り、整形外科医としての挫折がなければ研究者の道へ進むことはなかったという。研究者として、人生の先輩として、これからの日本を担う高校生にメッセージを送ります。 アメリカでの研究を決意したきっかけ 山中伸弥氏（以下、山中）：研究の虜になったんですが、残念ながらこういう薬だけを使う研究っていうのは色んな意味で限界があるんです。薬っていうのは、100%効く薬はありません。大体がちょっとくらい効かないところがある。どんな風邪薬を飲んでも、すぐ風邪が治るかと言ったら、治らないですね。 それから副作用があって、違う所に効いてしまう時もあります。色々限界があるんですが、その時に遺伝子改変マウスという技術がアメリカとイギリスで誕生したんです。 今日は研
「クリスマスと正月が同居する日本」に世界の宗教家が注目！ 寛容の精神に見る、宗教の本質とは - ログミー[o_O]
「クリスマスと正月が同居する日本」に世界の宗教家が注目！ 寛容の精神に見る、宗教の本質とは Reasons for religion -- a quest for inner peace クリスマスを祝い、除夜の鐘を聞き、神社へ初詣をする日本人の宗教観は、しばしば世界から疑問視される。しかし、僧侶の松山大耕氏はこの日本人の寛容性こそが宗教の本質をとらえているという。宗教上の問題で争いが絶えない世界に対し、日本の宗教観を発信していく必要性を語りました。（TEDxKyoto2014より） 日本人の独特な宗教観について 松山大耕氏：私は今から35年前、ここ京都のお寺で生まれました。お寺の子どもとして育ちましたけれども、中学校、高校はカトリックの学校に行っていました。 （会場笑） お寺に生まれながら、キリスト教の教育を受ける。これは非常に珍しいことではありましたけれども、家族親族、友達含め皆温かく
![「クリスマスと正月が同居する日本」に世界の宗教家が注目！ 寛容の精神に見る、宗教の本質とは - ログミー[o_O]](https://cdn-ak-scissors.b.st-hatena.com/image/square/f5ce2e28a7f0dad4c8f2488809ed268f2c527f27/height=288;version=1;width=512/https%3A%2F%2Fimg.logmi.jp%2Fwp-content%2Fuploads%2F2015%2F01%2Fai15.jpg)
あの「イラつく文字認証」のおかげで年間250万冊もの本がデジタル化されている - ログミー[o_O]
誰もが一度はイラっとさせられたであろう文字認証「CAPTCHA」。ユーザがコンピュータで無いことを確認するセキュリティ機能のひとつですが、近年、これを解読することは「本のテキスト化」に協力することと同義になりました。同システムの開発者でクラウドソーシングも発案した起業家、Luis von Ahn（ルイス・フォン・アン）氏が、7億5,000万人が参加するプロジェクトが生まれたキッカケを語ります。（TEDxCMU 2011より） 誰もが一度はイラっとさせられるCAPTCHA（キャプチャ） ルイス・フォン・アン氏：このように、ゆがめられた文字の並びを読んで埋めるタイプのウェブフォームを見たことのある人は何人いますか？ これを見て本当にいらいらすると感じた人は何人いますか？ はい、すばらしいですね。私がこれを発明しました。私がこれを発明したメンバーの1人です。 （会場笑） これはCAPTCHAと呼
![あの「イラつく文字認証」のおかげで年間250万冊もの本がデジタル化されている - ログミー[o_O]](https://cdn-ak-scissors.b.st-hatena.com/image/square/8ba18e7ffd334cdf4bc1b04ec39ddafc0c460dcc/height=288;version=1;width=512/https%3A%2F%2Fimg.logmi.jp%2Fwp-content%2Fuploads%2F2014%2F11%2Fvon1ec_R.jpg)
「もはや計画は不要になった」 MITメディアラボ・伊藤穰一氏が語る、"インターネット後の世界"と"新しい原理" - ログミー[o_O]
「もはや計画は不要になった」 MITメディアラボ・伊藤穰一氏が語る、"インターネット後の世界"と"新しい原理" 革新的なことをしたいなら「ナウイスト」になろう #1/2 マサチューセッツ工科大学（MIT）のメディアラボ所長に日本人として初めて就任し、またNYタイムズ、ソニーなど多くの一流企業で取締役を務めるなど実業家、投資家としての一面も持ち合わせる伊藤穰一氏。そんな氏が考えるイノベーションの新しい原理を、世界各地で起こっている実例とともに紹介しました。(TED2014 より) 素人集団による放射線量公開プロジェクトを成功に導いた、新しい原理 伊藤穰一氏（以下、伊藤）：2011年3月10日。私はケンブリッジのMITメディアラボで、学部生やスタッフと、私が次期代表にふさわしいか議論していました。その夜。マグニチュード9の地震が日本の太平洋沖を襲いました。 そのニュースを見た瞬間、私はパニック
![「もはや計画は不要になった」 MITメディアラボ・伊藤穰一氏が語る、"インターネット後の世界"と"新しい原理" - ログミー[o_O]](https://cdn-ak-scissors.b.st-hatena.com/image/square/b407e221a6e6f597c2b0de2370cb47c80143de71/height=288;version=1;width=512/https%3A%2F%2Fimg.logmi.jp%2Fwp-content%2Fuploads%2F2014%2F07%2Fmitito.jpg)
麻生太郎・ローゼン閣下、国会でサブカルを説く 「問題なのは、この話を理解できない議員が大勢いること」
アニメ文化に明るく、海外滞在経験の長い麻生太郎氏が、国会で「クールジャパン」「サブカル」について答弁。"アニメによる非言語コミュニケーション"が海外戦略においていかに重要かを語っており、「マスコミが報道しない名演説」として注目を集めています。 外国人が見た「日本でもっともクールな場所」 麻生太郎氏：この「3本目の矢」の1つに観光産業、その中の一部にアニメ、コンテンツ、いろいろ書いてやって努力をしておられるのだと思いますけれど、今までの製造業と違って、いわゆるコンテンツとかソフトを飯の種にして伸ばしていこうという話なんですけれども。 海外から日本に来る人、観光というところに関して、「クールジャパン」という言葉が流行り始めてかれこれ数年経ちますけれど、「最もクールなジャパンの写真を見たことがあるか」と言われたことがあって……。あれはNHKの番組だったと思うんですが、見たことがあるんです。 岩場
「君らは手を広げすぎだ」ジョブズがGoogle共同創業者によく注意していたこと
Googleの自動走行車は「劇的な変革になる」 ビノッド：私は基本的に労働と資本からアイディアで回る経済に変わっていくと信じています。多くの経済学者はアイディアが経済において非常に大きいウエイトを占めていくことをあまり重要視していません。今回ここでは深く言及しませんが、興味深い議論を生むと思います。共産党と民主党の税や所得分配に関する意見の相違は、今後さらに深刻になっていくかもしれません。お2人はこの点に関して何か意見はありますか？ もちろん政治の話は避けたいというのであれば、深追いしませんが。 セルゲイ：理想的なのは私達に必要のないものに対して増税すること。そして助成金を出したり、何らかの形で支援して、私達により必要なものを得やすいようにすること。人は有害なものに多額をつぎ込みますね、そういったものにこそ増税すべきです。例えば、有害な炭素は増税されるべきと思います。そうすれば、一方で無駄
「もしもあのときGoogleを売っていたら…」 ラリーとセルゲイ、創業者2人が振り返る
1997年、グーグルはExciteに買収されかけていた。もしその交渉が成立していたらいまの世の中はどうなっていただろうか。グーグル共同創業者のラリー・ペイジとセルゲイ・ブリンが当時を振り返る。そして同社が今後踏み込んでいく領域に機械と人工知能がある。将来、人間は何をして過ごしているのだろうか。 GoogleはExciteに売却されそうだった ビノッド・コースラ氏（以下、ビノッド）：「皆さんご存知の、もうご紹介する必要はないですね」などと言いながらもゲストを紹介する司会者にはうんざりでしょうが……。 ラリー・ペイジ氏（以下、ラリー）：どうぞ僕らを紹介してください。 会場：（笑）。 ビノッド：（笑）。「もしもあの時……」の話から始めたいと思います。数年前、あれは1997年だったでしょうか？ ラリーとセルゲイは買収される一歩手前でした。その時のことを少し教えてもらえますか？ いつも思うんです。も
クライアント「赤い線を、緑と透明のインクで描いてほしい」→「は？」 商談あるある動画が本当にありすぎて困ると話題に
クライアント「赤い線を、緑と透明のインクで描いてほしい」→「は？」 商談あるある動画が本当にありすぎて困ると話題に The Expert (Short Comedy Sketch) とある商談シーンを再現したコメディ動画が、世界中の働く人の共感を呼んで話題に。クライアントの理不尽な要求に、味方であるはずの上司やプロジェクトマネージャーまでが「専門家だからできるだろ！」と言い出し、困惑するアンダーソン。そんな彼のとった行動は……？ YouTubeに投稿されてから僅か半月で約400万回再生を記録した、世界的ヒット動画を書き起こしました。 顧客A：弊社は新しい戦略イニシアティブによってマーケットペネトレーションを高め、ロイヤリティを最大化し、イメージを強化したいと思っています。この目的のため新しいプロジェクトを発足させました。ここで7本の赤い線が必要なのです。この問題について御社が解決してくれる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ログミーBiz
