タグ

関連タグで絞り込む (0)

  • 関連タグはありません

タグの絞り込みを解除

treasure dataに関するtgkのブックマーク (4)

  • Treasure Dataのサービスはクラウド上でどう構築されているのか(前編)~July Tech Festa 2013

    Treasure Dataのサービスはクラウド上でどう構築されているのか(前編)~July Tech Festa 2013 Treasure Dataといえば、日人がシリコンバレーで創業したベンチャーとして知られている企業。そのシニアソフトウェアエンジニア中川真宏氏が、7月14日に行われたJuly Tech Festa 2013の基調講演で、同社がクラウド上で構築したサービスについてそのアーキテクチャを中心に解説を行っています。 注目されているクラウドサービスがどのような仕組みになっており、それはどのような考え方で作られているのか。クラウドでシステム構築を考えている多くのエンジニアの参考になるはずです。講演の内容をダイジェストで紹介します。 Treasure Dataのクラウド戦略 Treasure Data, Inc。シニアソフトウェアエンジニア 中川真宏氏。 スタートアップなこともあ

    Treasure Dataのサービスはクラウド上でどう構築されているのか(前編)~July Tech Festa 2013
    tgk
    tgk 2021/07/22
    2013年のTreasure Data. CDPは影も形もない
  • Hadoop利用者ならきっと知ってる、Hive/Prestoクエリ関数の挙動の違い - Qiita

    HiveQLではスピードに難を感じていたため、私もPrestoを使い始めました。 MySQLやHiveで使っていたクエリを置き換える時にハマったTipsをまとめていきます。 AWS AthenaでPrestoを使っている方も増えてると思うので、Presto標準関数での記述例も拡充していきます。 Prestoとは Prestoはオンメモリで動く分散SQLエンジンで、その進化は目を見張る物です。 発表された当時は色々な成約があり使うことを躊躇していましたが、2015年頃からはもう使わない理由はなくなりました。 アドホックに使えるとても高速なSQLエンジンですので、バッチ向けのHiveのように実行結果を待つ時間はほとんどありません。 Hiveですと1つ1つの実行に時間が掛かるので、クエリに慣れていない新参者には辛い物がありました。 しかしPrestoではインタラクティブに実行できますので、トライ

    Hadoop利用者ならきっと知ってる、Hive/Prestoクエリ関数の挙動の違い - Qiita
    tgk
    tgk 2021/07/22
    HiveのCTEが「都度作られる」という話、いまも有効だろうか?
  • Treasure Data User Engagement

    STEP 1. Treasure Data CDP理解 STEP 2. Treasure Data CDPの管理機能 STEP 3. ユーザー管理 STEP 4. Policy Based Permission STEP 5. システムリソース管理

    Treasure Data User Engagement
    tgk
    tgk 2021/07/15
    Hive/Prestoの使い分け 「Hiveについては時間がかかってもいつかは処理が終わる、Prestoについては「メモリ」という制約があり、処理負荷が高い場合はエラーとなってしまうという違いがあります」
  • Treasure Data User Engagement

    STEP 1. Treasure Data CDP理解 STEP 2. Treasure Data CDPの管理機能 STEP 3. ユーザー管理 STEP 4. Policy Based Permission STEP 5. システムリソース管理

    Treasure Data User Engagement
    tgk
    tgk 2021/07/15
    Treasure DataのHiveはHive on Tezになっている。MapReduceは2021年末廃止予定
  • 1