タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Appleが未開封のiPhoneを化粧箱に入ったままソフトウェアアップデートできるようになる「Presto」と呼ばれるシステムを運用し始めることが、2024年3月末の報道により明らかになっています。このPrestoのさらなる詳細が、フランスメディアのiGenerationの報道により判明しました。 Apple Store : comment se passe la mise à jour des iPhone sous boite avec Presto | iGeneration https://www.igen.fr/iphone/2024/03/apple-store-comment-se-passe-la-mise-jour-des-iphone-sous-boite-avec-presto-142661 Apple's Presto system is even more sop
こんにちは！ 今年、dely株式会社に新卒入社した開発本部のGENです。 この記事は「dely #2 Advent Calendar 2020」の3日目の記事です。 「dely #1 Advent Calendar 2020」はこちら↓ 昨日はisidaさんの「Swiftで1+1が何故2になるのか調べてみた」という記事でした。 swiftの加算演算子をアセンブリまで深掘りしている面白い記事です！ 今回は今流行りの〇〇で湯婆婆を実装してみるの Athena(Presto) × Redash 版です。 ↓こちらに記事がまとまっています。 コード コードの解説 湯婆婆から渡される契約書にサインする処理は Redash のパラメータで実現しています。 var_orig_name AS ( SELECT '{{ 契約書だよ。そこに名前を書きな。}}' AS orig_name ) 名前を奪う処理は、
Presto | Paper
Presto: SQL on Everything IEEE International Conference on Data Engineering (ICDE) Raghav Sethi, Martin Traverso, Dain Sundstrom, David Phillips, Wenlei Xie, Yutian Sun, Nezih Yigitbasi, Haozhun Jin, Eric Hwang, Nileema Shingte, Christopher Berner Abstract Presto is an open source distributed query engine that supports much of the SQL analytics workload at Facebook. Presto is designed to be adapti
未開封のiPhoneが化粧箱の中でソフトウェアアップデートできるようになる「Presto」システムが間もなく登場か、iOS 18でホーム画面がよりカスタマイズできるようになるとのウワサも
Appleは小売店舗のApple Storeにおいて、化粧箱に入った状態の未開封のiPhoneをワイヤレスでソフトウェアアップデートできるようにする「Presto」と呼ばれるシステムを導入しようとしていることが、Bloombergの報道で明らかになりました。 How Strong Is the Justice Department Case Against Apple? It Could Be Stronger - Bloomberg https://www.bloomberg.com/news/newsletters/2024-03-24/how-strong-is-the-justice-department-case-against-apple-it-could-be-stronger-lu5ii64n New 'Presto' system coming to Apple Stor
こんにちは！ 今年、dely株式会社に新卒入社した開発本部のGENです。 この記事は「dely #1 Advent Calendar 2020」の2日目の記事です。 「dely #2 Advent Calendar 2020」はこちら↓ 昨日はmochizukiさんの「Ruby 3.0へ向けて、型周りをさわってみた」という記事でした。 記事で使用しているレシピのチョイスも最高なのでみてみてください！ 今回は Athena(Presto) でアクティブユーザ（DAU，WAU，MAU）の推移を長期間でみるための集計術を紹介したいと思います。 アクティブユーザ集計における木も見て森も見るとは 「木を見て森を見ず」と言うことわざの意味を eigobu.jp で見てみると「細かい部分にこだわりすぎて、大きく全体や本質をつかまないこと」でした。アクティブユーザ集計（DAU，WAU，MAU）における「木
先日 columnify という、入力データを Parquet フォーマットに変換するツールがリリースされました。 cf. 軽量な Go 製カラムナフォーマット変換ツール columnify を作った話 - Repro Tech Blog また、fluent-plugin-s3 で compressor として columnify をサポートする話が出ています。1 cf. Add parquet compressor using columnify by okkez · Pull Request #338 · fluent/fluent-plugin-s3 個人的に前々から Docker のログを Parquet フォーマットで S3 に put して Athena で検索できると素敵だなと思っていたので喜ばしいことですね！そんなわけで、Docker のログを fluentd log dr
Presto best practices for Cluster admins, data engineers and analysts
Presto Infrastructure at Lyft
OverviewEarly in 2017 we started exploring Presto for OLAP use cases and we realized the potential of this amazing query engine. It started as an adhoc querying tool for data engineers and analysts to run SQL in a faster way to prototype their queries, when compared to Apache Hive. A lot of internal dashboards were powered by AWS-Redshift back then and it had data storage and compute coupled toget
Amazon EMR のバージョンアップ 3/3：Presto から Trino への移行 - Repro Tech Blog
前回の続きです。 EMR 5.36.1 から EMR 6.15.0 への更新 使用するアプリケーションのバージョンは以下のようになりました。OS は Amazon Linux 2 です。 アプリケーション等 EMR 5.36.1 EMR 6.15.0 Tez 0.9.2 0.10.2 Hue 4.10.0 4.11.0 Hive 2.3.9 3.1.3 Hadoop 2.10.1 3.3.6 Presto 0.267 0.2831 Trino N/A 426 Hive, Hadoop, Tez については前の記事で確認済みなので、ここからはそれ以外の要素について検討していきます。 一番問題になったのは Presto から Trino への移行です。Trino 移行に関係して発生した事柄を列挙します。 Datadog Agent の設定変更 任意の期間の指定したタイプのクエリを実行して結果の
Huge SQL Loads? Check Out These Benchmarks: AWS Graviton2 with Presto and Treasure Data CDP
High Performance SQL: AWS Graviton2 Benchmarks with Presto and Treasure Data CDP High Performance SQL: AWS Graviton2 Benchmarks with Presto and Treasure Data CDP Last modified: March 4, 2022 High Performance SQL: AWS Graviton2 Benchmarks with Presto and Treasure Data CDP In December, AWS announced new Amazon EC2 M6g, C6g, and R6g instance types powered by Arm-based AWS Graviton2 processors. It is
リンク TECH PLAY Presto Conference Tokyo 2019｜IT勉強会ならTECH PLAY［テックプレイ］ 2019/07/11（木）開催 日本で最初のPresto Conference Tokyo 2019�を7/11(木) 13:00よりArm Treasure Dataの主催で開催します。Prestoクリエーターの3人を招いた豪華ゲストとともに、400社を超える企業に活用されている分散SQLエンジンの現在と未来について議論します。 4 users 150
Repro における Presto Cassandra Connector 改造秘話 / Presto Conference Tokyo 2020
https://techplay.jp/event/795265 の発表資料です
Presto を運用していると “No worker nodes available” というエラーに遭遇することがあります。これは coordinator が planning をする際に active な worker nodes が存在しないと起きるエラーなんですが、worker nodes に問題ではなく service discovery が上手く機能していなくて起きることがあります。 worker nodes が異常なのか service discovery が上手く機能していないのかを切り分けるには、Presto がどのように service discovery を実現しているかを理解している必要がありますが、よくわかってなかったので調べてみました。 環境は Amazon Elastic MapReduce (EMR) ではじめる Presto 入門と同じく、Presto 0
Nowadays, Presto is getting much attraction from the various kind of companies all around the world. Japan is not an exception. Many companies are using Presto as their primary data processing engine. To keep in touch with each other among the community members in Japan, we have just held the first ever Presto conference in Tokyo with welcoming Presto creators, Dain Sundstrom, Martin Traverso and
TrinoとIcebergで ログ基盤の構築 / 2023-10-05 Trino Presto Meetup
https://techplay.jp/event/907388 https://www.youtube.com/watch?v=CTwk2rkatx8
Repro Tech Meetup で「Repro における Presto の安定化・パフォーマンス改善の歩み」を発表しました
Repro Tech: 実践・並列分散処理基盤の自社枠として、自分が Repro に入社してから Presto 関連で行った改善について発表しました。 なお、当日の発表資料は https://repro-tech.connpass.com/event/131612/presentation/ にまとまっています。 Presto 関連で他にやったこと タイトルに「歩み」と書いたものだから、事細かに色んな話をしたかったんですが、1 時間以上かかりそうだったんでだいぶ削りました。 例えば他には以下のような問題の調査や解消を行いました。詳細を聞きたい方はご飯にでも誘ってください。 EC2 インスタンスに独自のホスト名を割り当てるようにしたら EMR のクラスタの起動に失敗することが増えた話 解消方法は https://aws.amazon.com/jp/blogs/big-data/launchi
概要/Description (English description follows Japanese one) PrestoはSQLベースのオープンソースの分散クエリエンジンで、Uber, Twitter, LinkedIn, Netflix, Airbnbなどデータを武器に活躍する企業が利用しています。さらにArm Treasuer Dataのサービスを通して、日本企業を含めて400を超える企業がPrestoを日々のデータ分析に活用しています。 今回、PrestoクリエーターでありPresto Software Foundationの創始者でもあるMartin Traverso, Dain Sundstrom, David Phillipsの3名を招いて、日本初のPrestoカンファレンス東京を2019年7月11日（木)に開催いたします。Prestoクリエーターらによるトークに加え、
近年、分散型SQLクエリエンジンとして注目を集めている「Hive」と「Presto」 それらの性質の違いに目を向けて、白黒つけてやろうじゃないかという記事です そもそもHiveって？ 簡単に言ってしまえば、MapReduce処理を可能にする分散型SQLクエリエンジンです MapReduce処理とは大量のデータを高速に処理するための分散処理フレームワークで、HiveQLというSQLライクな言語を用いてHadoop上で実行できるという優れものでした とまあその辺りで、Hiveに関する詳細は諸事情により割愛させていただきます（書き出したらキリがないので…） そんなんじゃ理解できねえよ！という方は、「Hadoop Hive MapReduce」などのキーワードで検索して頂けるとご納得いくかと思います Hiveはそもそもバッチ処理を目的としており、クエリを実行してからのレスポンスの遅さがネックとなっ
Aria is a set of initiatives to dramatically increase PrestoDB efficiency. Our goal is to achieve a 2-3x decrease in CPU time for Hive queries against tables stored in ORC format. For Aria, we are pursuing improvements in three areas: table scan, repartitioning (exchange, shuffle), and hash join. Nearly 60 percent of our global Presto CPU time is attributed to table scan, making scan improvements
This December, AWS announced new instance types powered by Arm-based AWS Graviton2 Processor. M6g, C6g, and R6g are designed to deliver up to 40% improved price/performance compared with the current generation instance types. We can achieve cost-effectiveness by using these instance type series. Presto is just a Java application, so that we should be able to run the workload with this type of cost
先日のRe:InventでArmベースのプロセッサGraviton 2を搭載したインスタンスタイプがAWSから発表されました。AWSは去年にもArmベースのGravitonプロセッサを使ったA1インスタンスを発表していますが、これはその次世代機になります。 Graviton 2はArmv8-AアーキテクチャをサポートしたNeoverseというマイクロアーキテクチャを元に作られたカスタムチップで、低価格でありながら高い性能を発揮することができるコアです。 Graviton 2はまだpreviewという扱いですぐに利用がすることができませんでしたので、この記事ではGravitonを搭載したA1インスタンスで分散SQLエンジンであるPrestoを動かしてみたいと思います。 ArmをサポートしたPrestoを作るPrestoはJavaで動くアプリケーションなので、基本的にJVMがArmアーキテクチ
Presto (including PrestoDB, and PrestoSQL which was re-branded to Trino) is a distributed query engine for big data using the SQL query language. Its architecture allows users to query data sources such as Hadoop, Cassandra, Kafka, AWS S3, Alluxio, MySQL, MongoDB and Teradata,[1] and allows use of multiple data sources within a query. Presto is community-driven open-source software released under
prestoの日付関数 - Qiita
はじめに prestoの日付関数の使い方がドキュメントを読んでもよくわからないところがあったので試しました。 環境 試した環境はTreasure Dataです。 presto 日付時刻関数 interval intervalを使って加減算が可能。 SELECT date '2021-04-21' + interval '2' day --> 2021-03-23 SELECT time '01:00' + interval '3' hour --> 04:00:00.000 SELECT timestamp '2021-03-21 01:00' + interval '29' hour --> 2021-03-22 06:00:00.000 SELECT timestamp '2021-01-31 01:00' + interval '1' month --> 2021-02-28 01:
Prestoで配列を行に変換する - Qiita
配列 -> レコード 配列が入っているカラムをそれぞれ別レコードに変換したい 例えばtblテーブルのtime_rangesカラムに以下のような配列が入っているとする。 ["16:00~16:30","16:30~17:00","17:00~17:30","17:30~18:00","18:00~18:30","18:30~19:00","19:00~19:30","19:30~20:00","20:00~20:30","20:30~21:00","21:00~21:30"]
Apache Hadoopの新機能Ozoneの現状NTT DATA OSS Professional Services6.2K views•35 slides
GitHub - frsyuki/trino_sql_parser: Parse a SQL using Presto's native SQL parser and reports syntax errors
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Presto で Parquet にクエリすると、参照するカラムのみ読んでいることを確認した - ablog
HDFS の Datanode の Flame Graph sun.nio.ch.FileChannelImpl:::transferTo から sendfile システムコールが呼ばれている。 一番左のスタックをドリルダウンしたもの。 Presto Server の Flame Graph 一番左のスタックをドリルダウンしたもの、com.facebook.presto.parquet.reader.BinaryColumnReader:::readValue で Columnar Read していると思われる。 確認ポイント Presto で Parquet にクエリする際、参照するカラムのデータのみ読む。 環境 リリースラベル: emr-5.28.0 Hadoop ディストリビューション: Amazon 2.8.5 Hive 2.3.6, Pig 0.17.0, Hue 4.4.0,
CloudFrontのログファイルをathenaでテーブルにすると、dateカラムとtimeカラムで別カラムになっている Amazon CloudFront ログのクエリ - Amazon Athena この2つのカラムからdatetime (JST) のカラムを作りたい こんな感じでできる この辺を組み合わせる date_format from_iso8601_timestamp AT TIME ZONE 'Asia/Tokyo' 文字列結合でiso8601フォーマットを作っている eg: 2019-08-21T18:04:04Z WITH t AS ( SELECT cdn_access_log.*, from_iso8601_timestamp(date_format(date, '%Y-%m-%dT') || time || 'Z') AT TIME ZONE 'Asia/Toky
Presto: The Definitive Guide: SQL at Any Scale, on Any Storage, in Any Environment - たけぞう瀕死ブログ
昨年から執筆中という話だったオライリーのPresto本がこの4月に発売になったとのことでゴールデンウィーク中に読んでみました。 [asin:B086R9FHB7:detail] Kindleでも7000円以上という高価格ですが、実は著者の皆さんが勤務されている米Starburst社のWebサイトから無料でダウンロードすることができます（メールアドレスの登録が必要ですが）。 www.starburstdata.com 内容はPrestoのインストール方法、アーキテクチャ、設定方法や外部連携の方法など、Prestoを使う上で必要になる事項が一通り網羅されています。開発者の方々自ら執筆された書籍だけあってPresto自体のアーキテクチャはもちろんのこと各コネクタも設定方法だけでなく内部構造にも触れられていたり、チューニングの勘所が解説されていたりとオンラインドキュメントとの差別化もきちんとなされ
6.10. Date and Time Functions and Operators — Presto 0.172 Documentation
Time Zone Conversion The AT TIME ZONE operator sets the time zone of a timestamp: SELECT timestamp '2012-10-31 01:00 UTC'; 2012-10-31 01:00:00.000 UTC SELECT timestamp '2012-10-31 01:00 UTC' AT TIME ZONE 'America/Los_Angeles'; 2012-10-30 18:00:00.000 America/Los_Angeles current_date -> date Returns the current date as of the start of the query. current_time -> time with time zone Returns the curre
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Appleの未開封のiPhoneをソフトウェアアップデートする「Presto」システムのさらなる詳細が明らかに
Athena(Presto) × Redash で湯婆婆を実装してみる - dely Tech Blog
木も見て森も見るための Athena(Presto) 集計術 - dely Tech Blog
Docker のログを columnify で Athena (Presto) に特化した Parquet にする
Reading The Source Code of Presto
Presto Conference Tokyo 2019のツィートまとめ #prestosql
Presto における Service Discovery の動作原理
A Report of First Ever Presto Conference Tokyo
Presto Conference Tokyo 2019｜IT勉強会・イベントならTECH PLAY［テックプレイ］
HiveとPrestoの違いについて調べてみた - Qiita
Aria Presto: Making table scan more efficient
Presto Experiment with Graviton Processor
GravitonでPrestoを走らせる｜Kai Sasaki
)
Presto (SQL query engine) - Wikipedia
Presto conferencetokyo2019
athena(presto)で、dateとtimeからJSTを得る · sacre
lit.link
catanuki.com
jp.burberry.com
www.kamitrouble.com
www.1books.jp
cancam.jp