ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サイエンス統括本部でYahoo!ショッピングやPayPayモールのおすすめ機能（レコメンドシステム）の開発を担当している正沢です。 この記事では、別々に作られた複数の機械学習のバッチジョブ管理システムをApache Airflow（以降、Airflowと記載します）に集約して、運用負荷を低減した事例を簡単なシステム構成とともに紹介したいと思います。 ※ レコメンドシステムの開発ではプライバシーポリシーの範囲内で取得したデータを用いて行っています Yahoo!ショッピングのレコメンドとは？ Yahoo!ショッピングやPayPayモールには、ユーザーがなにか商品を見ている時に、他にも興味を持ってもらえそうな商品を推薦するレ
週刊Railsウォッチ（20190821-2/2後編）11のgemにバックドア、ruby-jp Slackがとてもアツい、Fullstaq Rubyでチューンアップ、HTTPサービス監視chaoほか｜TechRacho by BPS株式会社
2019.08.21 週刊Railsウォッチ（20190821-2/2後編）11のgemにバックドア、ruby-jp Slackがとてもアツい、Fullstaq Rubyでチューンアップ、HTTPサービス監視chaoほか こんにちは、hachi8833です。Macbook Pro 2019のメモリ、やっぱり32GBにしとけばよかったと思い始めてます。 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 毎月第一木曜日に「公開つっつき会」を開催しています: お気軽にご応募ください ⚓週刊Railsウォッチ「公開つっつき会」第14回のお知らせ（無料） お申込み: 週刊Railsウォッチ公開つっつき会 第14回｜IT勉強会ならTECH PLA
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。寺田晃太朗 (@kotarotrd) です。 2018年4月に新卒でヤフーに入社し、データエンジニアとして働いています。 2019年10月に Apache NiFi Committer になりました。 私は昨年のAdvent Calendarで、注目するデータソリューション技術として「量子アニーリングがチョットワカルようになる記事」を書きました。 今年のAdvent Calendarの記事では、例えばそんなデータサイエンスを最大限に活用するために、データプラットフォームとしてデータ連携をどのように効率化できるかというテーマについて記事を書きます。 この記事では、Yahoo! JAPANのデータフロープラットフォームの役
「Kafka Summit 2020」開催！ストレージ階層化、ZooKeeperフリー、クラウドネイティブ ―次の10年に向けて進化を続けるKafkaのいま 8月24日、25日（米国時間）の2日間に渡り、Confluentが主催する「Kafka Summit 2020」がオンラインで開催されました。新型コロナウイルスの感染拡大により、2020年はほぼすべてのITカンファレンスがキャンセル、またはオンラインでの開催へと切り替えられてきましたが、これまで年に2回、サンフランシスコやロンドン、ニューヨークなどでリアルイベントが行われてきた「Kafka Summit」も同様に、初めてのバーチャルカンファレンスとして開催されました。もっとも今回の登録者数は143ヵ国から約3万5,000名にも上り、リアルイベントからオンラインへと変わったことで、Kafka Summitとしては過去最大級の参加者を集め
AWS 認定 機械学習 – 専門知識(Machine Learning – Specialty)合格に向けたオレオレ学習ガイドライン - Qiita
分野 1: データエンジニアリング 1.1 機械学習のデータリポジトリの作成。 1.2 データ収集ソリューションの特定と実装。 1.3 データ変換ソリューションの特定と実装。 分野 2: 探索的データ解析 2.1 モデリングのためのデータのサニタイズと準備。 2.2 特徴エンジニアリングの実施。 2.3 機械学習用データの分析と視覚化。 分野 3: モデリング 3.1 ビジネス上の課題を機械学習の課題として捉え直す。 3.2 特定の機械学習の課題に対する適切なモデルの選択。 3.3 機械学習モデルのトレーニング。 3.4 ハイパーパラメータの最適化の実施。 3.5 機械学習モデルの評価。 分野 4: 機械学習の実装と運用 4.1 パフォーマンス、可用性、拡張性、回復性、フォールトトレランスを備えた機械学習ソリューションの構築。 4.2 特定の課題に対応する適切な機械学習サービスおよび機能の
――皆さんはそれぞれ長らくOSSに関わられて来られたわけですが、その中でOSSを取り巻く環境の変化についてどのように感じていらっしゃいますか。 黒坂：OSSは、目的や意義が3世代にわたって大きく変わってきたように感じています。Linuxなど中心となるプロジェクトがあり、その開発に貢献したいという開発者が大勢を占めていたのが第1世代。その後の2004〜5年くらいから、そうした文化を引き継ぎながらも、「コスト削減」を目的に企業が使うようになり、オープンな環境での開発による進化速度や品質向上に価値を見出した開発者が増加しました。「OSSに貢献したい」というより、「新しい何かを生み出すためにOSSやOSSという開発手法を利用する」という価値観の変化が見られたのが第2世代です。 そして第3世代においてはAIやIoTなどイノベーションを起こすハイエンドな技術として認識されるようになり、OSSを使うこと
2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこで LINEのフェローであり、Data Science and Engineeringセンターに所属する並川淳氏が、「LINEではどのようにサービス横断でのデータ活用を実現しているのか」というテーマで、LINEにおけるデータの扱い方について共有しました。 LINEにおけるデータ活用の取り組み 並川淳氏（以下、並川）：本日は「LINEではどのようにサービス横断でのデータ活用を実現しているのか」というタイトルで、並川が発表いたします。私は、LINEではふだん機械学習に関わる開発全般を担当しています。ですが、今日は機械学習に限らず、LINEにおけるデータ活用の取り組みについて幅広く紹介させてもらえればと思っています。よ
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。今回は、LINEのデータプラットフォームにおけるデータカタログ「IU Web」を開発している、Data Platform室のIU Devチームを紹介します。 LINEのデータプラットフォームは「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータの収集・処理・分析・可視化を提供しています。そんなIUのデータをLINE社員が安全かつ効率的に活用できるよう、データ利用環境の構築、デ
はじめに 初めまして。マイクロアド21年新卒インフラ担当の森( id:bosq )と申します。 7月に新卒研修を終えてからは、基盤開発グループにて日々勉強しています。 配属後は新しいことのインプットが多いため、今回は学んだことの整理とアウトプットを兼ねて、マイクロアドのデータ基盤で利用しているHadoopについて紹介したいと思います。 はじめに 分散処理基盤 Hadoop / CDH とは Hadoop エコシステム データストレージ (HDFS) と リソース管理 (YARN) HDFS (Hadoop Distributed File System) YARN (Yet Another Resource Negotiator) ノードの役割 分散処理エンジン (MapReduce, Tez, Spark) MapReduce Apache Tez Apache Spark クエリエンジ
[UPDATE] Amazon S3で強い書き込み後の読み込み整合性がサポートされました！ #reinvent | DevelopersIO
はじめに 清水です。はじまっていますre:Invent 2020！すでにたくさんの新サービス登場やアップデート情報が発表されていますが、本エントリでお届けするのはこちら、オブジェクトストレージサービスであるAmazon S3で強い書き込み後の読み込み整合性(strong read-after-write consistency)がサポートされました！すでにすべてのリージョンで利用可能になっています。 Amazon S3 now delivers strong read-after-write consistency automatically for all applications Amazon S3 Update – Strong Read-After-Write Consistency | AWS News Blog Amazon S3 | Strong Consistency |
![[UPDATE] Amazon S3で強い書き込み後の読み込み整合性がサポートされました！ #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1691f45c9a149fa23ecf71949f6c6eff39c1915c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F11%2Feyecatch_reinvent-2020-breakingnews-sokuho.jpg)
Blog Home Archive Sections Some of my Favorites (Collections) Management Tips Speaker Tips Developer Relations Thoughts Interop Briefs Some of my Favorites (Individual posts) O/R-M is the Vietnam of Computer Science The Fallacies of Enterprise Computing SSCLI 2.0 Internals Recommended reading list Functional Java On Finding learning The Value of Failure Programming Promises; a Programmer's Hippocr
分散システムについて語らせてくれ | ドクセル
目次 分散システムを作る際に気をつけて欲しい事 1.分散自体を目的にしない事 2.論文を読んでそのまま実装しない事 3.Two Phase Commitを使わない事 4.手を動かす事 Copyright©2016 NTT Corp. All Rights Reserved. 2 分散自体を目的にしない事 • よくわかってない人でもCloudera Managerをダウンロードして1時間後 には巨大なHadoopクラスタを立ち上げてYARN, HDFS, Spark, HBase などで遊ぶ事ができる。 • 世の中では分散システムが必要以上に喧伝されている • 「コンピュータ1台よりも2台の方が高速」という直感に対して反論するの は意外と難しい • あなたのそのシステム、本当に分散システムじゃないとダメ？ Copyright©2016 NTT Corp. All Rights Reserve
こんにちは、崔です。 AWS Summit Tokyo 2019 2日目のI2-07のセッションである「DMM.comの改革とAWS」のレポートをお届けします。 2018年10月のCTO就任からDMM.comをより強いテックカンパニーにしていくべく、DMM Tech Visionを掲げ大きな改革に乗り出しました。SREチームの立ち上げや負債との向き合い方、社内全体の技術強化などの取り組みの中でAWSを積極的に活用しています。そうした組織やプロダクト、経営など幅広い改革の実際とAWSについてお話しします。 スピーカー 合同会社DMM.com CTO 松本 勇気 様 DMM.comの改革とAWS 資料 本日の話 組織を牽引する・改革する立場の方向けに、組織を如何に変革するか、その中でAWSがいかなる改善をもたらすか、DMM.comの事例からお話します。 DMM.comの紹介 DMM.com G
1 「AWSではじめるデータレイク」出版記念 データレイクはじめの一歩 2020年5月28日 アマゾン ウェブ サービス ジャパン 株式会社 シニアソリューションアーキテクト 下佐粉 昭（しもさこ あきら） @simosako 2020年6月発売予定！ 2 AWSオンラインセミナーへようこそ ご質問を受け付けております！ • 書き込んだ質問は主催者にしか見えません • 最後のQ&A時間で、いただいたご質問から ピックアップしてご回答をさせていただき ます ① 吹き出しをクリック ② 質問を入力 ③ Sendをクリック 終了後にアンケートの記入をお願いいたします https://bit.ly/2TFPbps アンケートにお答えいただいた方には本日の資料を後日ご提供させていただきます。 3 自己紹介 下佐粉 昭（しもさこ あきら） 所属： アマゾン ウェブ サービス ジャパン シニアソリューシ
環境変数を設定します。MavenとSparkのパスは個人の環境に合わせて変更してください。 echo 'export PATH=$HOME/.apache-maven-3.6.2/bin:$PATH' >> ~/.bash_profile echo 'export SPARK_HOME=$HOME/.spark-2.2.1-bin-hadoop2.7' >> ~/.bash_profile echo 'export JAVA_HOME=`/usr/libexec/java_home -v 1.8`' >> ~/.bash_profile Pythonでローカル開発 AWS Glue Pythonライブラリを取得 GitHubからAWS Glue Pythonライブラリをダウンロードします。以降の作業はAWS Glue Pythonライブラリのルートディレクトリで行います。 https://
MN-2が動き出しました - Preferred Networks Research & Development
先日リリースさせて頂いたとおり，MN-2の構築を行っています．MN-2は最新世代の，1024基のNVIDIA(R) V100 GPUが計算力の主力となります．現在利用しているMN-1およびMN-1bにおいて1024基のP100と512基のV100を稼動させていますが，MN-2の追加によりGPU数換算で合計2560基となり，保有計算力を大幅に強化しました．とはいえ，現時点ではKubernetesをはじめとしたソフトウェアサービススタックのセットアップ中であり，GPUは主にベンチマークを実施して状態確認を行っている段階です． PFNでリサーチャをやっている，土井裕介です．最近はリサーチ業務はあまりやっておらず，社内インフラ関係の全体の世話役のような業務が主担当になっています．今回，物理構築が一段落したのでBlogにてMN-2の概要やポイントを紹介させて頂きます． なぜMN-2を作るのか？ よく
＊予告なく時間配分や内容が変更になる可能性があります。 参加される方への事前のお願い ・インターネットが良好に繋がる環境にてご視聴ください。 ・18:50頃から入室が可能です。 ・質問がある方は、セッション中に「Q&A」機能に入力してください。 開発組織と登壇者紹介 松野 徳大 / Tokuhiro Matsuno 開発4センター Official Account 開発室室長 / 開発4センター Ad Network and Performance 開発室室長 入社後、様々なLINE関連サービスの開発を担当し、LINEの広告プラットフォームの開発を経て、2019年からLINE公式アカウント開発担当シニアマネージャー。現在はLINE公式アカウント、LINE DMP などの B2B 関連開発の部署のマネジメントをしている。趣味は万年筆を買うこと。 LINE コンテンツプラットフォーム LINE
There has been a resurgence of the “Hadoop is dead” narrative, and it seems like every so often this pops up in the form of a blog post or contributed article. For several years now, Cloudera has stopped marketing itself as a Hadoop company, but instead as an enterprise data company. And today, Cloudera is in the Enterprise Data Cloud market: hybrid/multi-cloud and multi-function analytics with co
LINEで働くエンジニアが、各職種別に日々の業務内容や開発体制、働く環境、今後の展望などについて学生向けに話した「新卒採用 職域別エンジニア会」。今回は機械学習エンジニア（ML）会において、Machine Learning室 室長の菊地悠氏が、室の取り組みについて紹介しました。 LINEアプリにおける機械学習を担当 菊地悠氏：LINEのData Scienceセンターという組織のMachine Learning室（以下、ML室）で室長をしています、菊地と申します。今日はよろしくお願いします。 今日みなさんに何をお伝えしたいかというと、やっている仕事がおもしろそうだなと思ってもらいたい、というのが何よりも一番大きくあります。そこでまずは、開発事例の紹介をしたいと思っています。 続けて、どうやって開発してるのか、どの部分を開発しているのかをお話したいと思っています。体制、組織、業務の進め方につ
この記事はMLOps Advent Calendar 2020の6日目の記事です。 MLOps関連の情報を入手するのに大変お世話になっている便利なサイト等を紹介します。 情報収集のために毎朝見ているサイトや購読しているメルマガからMLだけに興味があるという人向けに次の条件を満たすものを選びました。 MLのトピックが1/3以上ある 情報の質が高い 定期的に更新されている 更新されている内容が一目で分かる Githubのリポジトリ、Twitterアカウント、Slackのワークスペースは除外 日本語 ML-News 何か新しい話がないかと思ったときにまず見に行くのがこのサイトです。おそらくTwitterのアクティビティを見て掲載する記事が決まっており、Twitterを見ていなくてもここを見るだけで注目度が高い記事を知ることができます。 取り上げられるのは日本語の記事が多いですが海外の記事でも注目
Googleが2021年2月4日に、Google Cloudを通じた戦略的パートナーシップの拡大に関する複数年契約をTwitterと締結したと発表しました。この契約はTwitterが自社で行っていたツイートの分析や機械学習のワークロードをGoogle Cloudプラットフォームに移行するもので、Twitterはさらに高速なデータ処理を行えるようになるとのことです。 Twitter Expands Strategic Partnership with Google Cloud to Improve Data Insights and Enhance Productivity https://www.prnewswire.com/news-releases/twitter-expands-strategic-partnership-with-google-cloud-to-improve-da
3大クラウドAWS、Azure、GCPの機能を比較したら見えてきたサービスごとの違いと特徴とは？ | 株式会社トップゲート
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
はじめに DRE Team の hyamamoto です． 皆さん，Spark は利用されていますか？ Gunosy では Digdag + Athena によるデータ整形が増えてきており，徐々に Spark の利用は減ってきています． 思い返すと，昨年入社後の OJT も Spark から Digdag + Athena への書き換えタスクでした． 一方で，決して多くはないものの，この構成ではカバーし切れない処理もあり，そういったものに関しては Spark を用いています． 話は少し飛びますが，DRE Team では Digdag や派生するバッチ処理を実行するための Kubernetes Cluster を EKS 上に構成しています． また，一部のタスクは Kubernetes の Job として Digdag から投げることで，リソースをスケールさせつつ様々な処理が可能となっていま
今回はTiDB（PingCAP） 久しぶりに論文紹介シリーズの第2弾である。 今回は分散DBのど真ん中、PingCAPが開発しているTiDBについての論文「TiDB:a Raft-based HTAP database」(VLDB2020)を紹介する。 この論文に関しては、PingCAP社が自身のブログでも解説している。 TiDBとは 念のため、TiDBとは何なのかを触れておこう。 一言でいうと、「MySQL互換のNewSQL（＝分散SQLデータベース）」である。 NewSQLとは何かについての説明は今回記事では省略するが、過去に書いたこちらの入門編やこちらの詳解編に解説をしている。 TiDBはMySQLと互換性を持つだけでなく、、今回の論文に示されているように、OLAP用途の機能強化を行っており、これもまたMySQLの弱点を補強する良い方向性と言える。この辺りのNewSQLの機能強化につ
![[論文紹介] TiDB:a Raft-based HTAP database](https://cdn-ak-scissors.b.st-hatena.com/image/square/ad5d7368b8594081fe926e56f2548a5f3b50af26/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--LwEg5Sy_--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E8%2525AB%252596%2525E6%252596%252587%2525E7%2525B4%2525B9%2525E4%2525BB%25258B%25255D%252520TiDB%25253Aa%252520Raft-based%252520HTAP%252520database%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%252593%2525E3%252581%2525B0%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzVmM2YwZjM3ZjguanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
今データを使って何かした方がいいと考えているお客様は多いのではないかと思います。Red Hat の金融セミナーでもこの手のお話があり、マネーソーの登壇者が以下の話をしていました。 義務化されるものがある一方で、オープンバンキングを実装するための様々なアプローチがあるのですが、一貫したテーマが一つあることに気付きました。〜略〜 今や誰もが同じデータへアクセスすることが可能で勘定系システムの中にある貴重なデータに基づいて活動できるのは私だけではありません。ではどうしたら差別化できるでしょうか。〜略〜 その答えとは次のようなものです。 データを使っていますぐ何かした方がよい。〜略〜 データに基づく活動が次の未開拓領域です。 ETL を使っていたときの LinkedIn の課題前提 : アクテビティデータActivity data is one of the newer ingredients i
Presto | Paper
Presto: SQL on Everything IEEE International Conference on Data Engineering (ICDE) Raghav Sethi, Martin Traverso, Dain Sundstrom, David Phillips, Wenlei Xie, Yutian Sun, Nezih Yigitbasi, Haozhun Jin, Eric Hwang, Nileema Shingte, Christopher Berner Abstract Presto is an open source distributed query engine that supports much of the SQL analytics workload at Facebook. Presto is designed to be adapti
AWS Security Roadshow Tokyo 2019午前セッションレポート | DevelopersIO
非常に濃密であったAWS Security Roadshow Tokyo 2019の午前セッションレポートです。重要なキーワードはBuilders、ゲートからガードレールへ。これからどのような世の中になっていくかを感じられるイベントでした。 こんにちは、臼田です。 皆さん、日々AWSでのセキュリティについて考えていますか？(挨拶 今回は2019年9月25日に開催されたAWS Security Roadshow Tokyo 2019に参加してきましたので、午前のセッションをレポートします。 はじめに軽く感想を述べておくと、先日行われたre:Invent 2018やre:Inforce 2019から言われているような「Builders」「ゲートからガードレールへ」というキーワードが非常に強調され、AWSから私達がどのようにこれからのAWSセキュリティと付き合っていくべきかという道標が明確に打ち
George Anadiotis （Special to ZDNET.com） 翻訳校正： 石橋啓一郎 2019-10-28 06:30 460億ドル（4兆9000億円）の市場の70％と言えば大変な規模だが、Gartnerの予想によれば、新しい社内アプリケーションの70％以上がいずれオープンソースのデータベース管理システム（OSDBMS）上で開発されるようになるという。Perconaが最近実施した大規模な調査では、そのオープンソースデータベースに関する市場動向が明らかになった。 この「Open Source Data Management Software Survey」は、オープンソースデータベース関連のさまざまなサービスを提供する企業であるPerconaが、オープンソースデータベース利用者の利用パターンや意見を把握するために実施した調査だ。アムステルダムで開催されたPercona主催の
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
Co-authors: Xiang Zhang and Jingyu Zhu Introduction The Lambda architecture has become a popular architectural style that promises both speed and accuracy in data processing by using a hybrid approach of both batch processing and stream processing methods. But it also has some drawbacks, such as complexity and additional development/operational overheads. One of our features for Premium members on
[レポート] Generating value with AI (Cloud AI 基調講演) – Google Cloud Next ’20: OnAir #GoogleCloudNext | DevelopersIO
[レポート] Generating value with AI (Cloud AI 基調講演) – Google Cloud Next ’20: OnAir #GoogleCloudNext こんにちは、Mr.Moです。 現在、2020年7月14日から9月8日までの数週間にわたってGoogle Cloudのデジタルイベント『Google Cloud Next ’20: OnAir』が開催されています。 当エントリでは、その中から「Cloud AI」シリーズのセッションとして公開された『Generating value with AI (Cloud AI 基調講演)』の内容をまとめてみたいと思います。（独自の解釈なども含まれると思いますのであらかじめご了承ください） はじめに 今年は激動の年となりました。それゆえ、ビジネスにおいても課題がより明確になってきており、企業はより良い改善に向けてフ
![[レポート] Generating value with AI (Cloud AI 基調講演) – Google Cloud Next ’20: OnAir #GoogleCloudNext | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b3694de4330131485a7c86b4295f07ce015d806e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F08%2Fgoogle-cloud-next-onair-2020_1200x630.jpg)
Amazon RDSやAuroraのスナップショットをParquet形式でS3へ保存可能に。スナップショットに対する分析処理も
Amazon RDSやAuroraのスナップショットをParquet形式でS3へ保存可能に。スナップショットに対する分析処理も Amazon Web Services（AWS）は、データベースサービスとして提供しているAmazon RDSやAmazon Auroraのスナップショットを、Amazon S3にApache Parquetフォーマットで保存する機能が追加されたことを発表しました。 Parquetフォーマットは、もともとHadoop上で高速な分析を可能にする「Parquet」で用いられていたデータフォーマットです。 カラム型データベースではデータを列方向に格納することでデータの連続的な読み出し性能が高く、高速な分析が可能です（ただしトランザクション処理は遅いか、できないことが一般的です）。しかも列方向のデータは基本的にすべて同じ型であり、似たような値が並んでいる可能性も高いため、
はじめに 近年IT界隈では、IaaS(Infrastructure as a Service)やPaaS(Platform as a Service)などの~~ as a Serviceという言葉をよく聞くと思います。 ここでは、それらをまとめて、 [A-Z]aaS と呼びたいと思います。 FirebaseなどのBaaS(Backend as a Service)やAWS LambdaなどのFaaS(Function as a Service)など色々な[A-Z]aaSを聞く機会が増えてきたんじゃないでしょうか。 今回は色々な[A-Z]aaSを探してみました。結果としては 910個 もの[A-Z]aaSを見つけることができました。（探した結果を全て、後半に表示してあります。） [A-Z]aaSの探し方 最初の二文字を固定して、グーグル検索のサジェストに表示されるものを収集することにします。
2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリングに関する技術の情報を共有する本イベント。データエンジニアリングの最前線で活躍するエンジニアたちが集い、自身の知見を共有します。プレゼンテーション「Spark 2.4 & 3.0 - What's next? - 」に登壇したのは、株式会社エヌ・ティ・ティ・データの猿田浩輔氏。講演資料はこちら Accelerator Aware Scheduling 猿田浩輔氏（以下、猿田）：Barrier Execution Modeのお話はここまでで、次はAccelerator Aware Schedulingですね。最近Project Hydrogenの中ではこの機能の議論が活発で、S
SaaS最初のプライシングをどう決める？ Fond福山太郎、Treasure Data太田一樹と芳川裕誠に聞く、それぞれの実践
はじめてSaaSのプロダクトをリリースする際、避けて通れないのがプライシング。会社の成長スピードを大きく左右するものでありながら具体的な方法論が確立されておらず、誰もが頭を悩ませる問題です。 適切なプライシングを行うためには、どんな視点が必要なのか。Fondの福山太郎さん、Treasure Data太田一樹さんと芳川裕誠さんに、それぞれのプライシングの考えをうかがいました。 聞き手は、ALL STAR SAAS FUNDの前田ヒロです。 アメリカで起業し、2012年から福利厚生代行サービスを提供するFond。その創業者でありCEOを務める福山太郎さんは、プライシングについて「最初は安く、徐々に高めていくのがいい」と語ります。 適正価格に近づいている手応えを感じる反応や値上げの頻度まで、具体的なテクニックを聞かせてくれました。 最初の価格設定は重要ではない前田：福山さんがこれから新しいプロダ
こんにちは。UZOUのプロダクト開発をしているエンジニアの@kanga333です。 UZOUでは広告データの集計の一部にAmazon Athenaを採用しています。 この記事ではUZOUにおけるAthenaを使ったデータ処理基盤の設計について紹介したいと思います。 全体構成 データ処理基盤の全体構成は次のようになっています。 以後はそれぞれのコンポーネントについて順次紹介していきます。 FleuntdによるS3への集約 UZOUでは特にFluentdアグリゲータのような中継サーバは設けていません。広告配信サーバに常駐するFluentdがログを直接S3にプットしています。 以下はFluentdのS3 output部分の設定の一部抜粋です。 <buffer time> @type file timekey 60m </buffer> path example_table/dt=%Y%m%d/h
Distributed Deep Learning with Chainer and Hadoop
「できる！」を増やすGitHub Copilot活用法 / How to use GitHub Copilot to expand your possibilities
AWS 認定 データアナリティクス – 専門知識(AWS Certified Data Analytics – Specialty)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 データアナリティクス – 専門知識(AWS Certified Data Analytics – Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 データアナリティクス – 専門知識」と
A recent tweet by a friend of mine noted how the public interest in the Scala programming language seems to have plateaued or waned, which matches my feeling of the latest trends and zeitgeist. This blog post will go into why I think that has happened, where Scala stands now, and what the future holds for the Scala community. About the Author: Haoyi is a software engineer, and the author of many o
2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこでData Science4チーム の西手嘉昭氏とMachine Learning Solutionチームの吉永尊洸氏が、「自社LINE公式アカウントのメッセージ送りすぎ問題をデータサイエンスで解決する」というテーマで、機械学習を使ったLINE公式アカウントからのメッセージ量のコントロール方法について共有しました。 LINE公式アカウントの「メッセージが多すぎる」問題 西手嘉昭氏（以下、西手）：本セッションでは「自社LINE公式アカウントのメッセージ送りすぎ問題をデータサイエンスで解決する」というテーマで、Data Scienceチームの西手とMachine Learning Solutionチームの吉永の2名で
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AirflowとKubernetesで機械学習バッチジョブの運用負荷を低減した話
ヤフー社内のデータ連携を爆速で構築する方法 #ApacheNiFi
「Kafka Summit 2020」開催！ストレージ階層化、ZooKeeperフリー、クラウドネイティブ ―次の10年に向けて進化を続けるKafkaのいま | gihyo.jp
OSSが持続可能であるために――疲弊する「ボランティアエンジニア」を支援する新たな仕組みとは？
大量のユーザーデータを横断的に使うために LINEのデータサイエンティストが気をつけているいくつかのこと
LINEのData Platformにおけるデータ利用環境を開発しているチームを紹介します
CDH (Hadoop) 入門 - MicroAd Developers Blog
You Want Modules, Not Microservices
【レポート】DMM.comの改革とAWS #AWSSummit | DevelopersIO
「AWSではじめるデータレイク」出版記念 データレイクはじめの一歩.pdf
AWS Glueをローカル環境で実行してみた | DevelopersIO
LINE サーバーサイドエンジニア採用説明会（プラットフォーム開発） (2021/07/27 19:00〜)
Hadoop is Dead. Long live “Hadoop.”
数億のユーザーデータを使って作る機械学習の仕組み LINEのエンジニアが開発するサービス横断型レコメンデーション
MLOpsの事例やツールの情報収集 - kuromt blog
TwitterがGoogle Cloudプラットフォームと戦略的パートナーシップを拡大する複数年契約に署名
Spark on k8s を EKS 上で動かす - Gunosyデータ分析ブログ
[論文紹介] TiDB:a Raft-based HTAP database
Apache Kafka が生まれた理由
オープンソースデータベースの現状--複数のデータベース利用、クラウド、ライセンス
代表取締役の逝去に関するお知らせ（訃報） | 株式会社トップゲート
From Lambda to Lambda-less: Lessons learned
AaaSからZaaSまで「as a Service」を探したら色々なサービスが見えた話 - Qiita
新しいグラフ処理ライブラリ「Spark Graph」とは何か？ Apache Spark 2.4 & 3.0の新機能を解説 Part2
Athenaを使ったデータ処理基盤の設計 - Speee DEVELOPER BLOG
The Death of Hype: What's Next for Scala
LINE公式アカウントの“メッセージ送りすぎ問題” 機械学習でどのように解決したのか