Yahoo! Japanの大規模データウェアハウスを支えるテラデータの技術
テラデータの大規模なデータウェアハウスとHadoopのデータレイクを併用 多くのユーザーがサービスを利用することで、Yahoo! Japanでは日々膨大なデータが生まれている。Webサイトやアプリケーションには1日に約610億ものリクエストが発生、そこから日々125テラバイトを越えるデータが生成される。これらユーザーのアクセスから生まれる大量データは、当然ながらYahoo! Japanのビジネスを最適化し、利用者の利便性の向上に使われる。 Yahoo! Japanがデータウェアハウスを構築したのは、2002年のことだった。当時のデータ量は6テラバイトほど、分析スキルの高いユーザーにのみアドホック分析の環境が公開された。 その後、Yahoo! Japanのデータウェアハウスは徐々に成長する。2016年には扱うデータ量は1.7ペタバイトにまで拡大、ユーザーからのデータ処理リクエストは、1日に3
Teradataの文字コード(Unicode)でのコードページの違いに注意: ITコンサルとは名ばかりのエンジニアのブログ
Teradata DBMSでの文字コードの取り扱い、ひと癖あり少々ハマりました。 インサート/ロード時にUTF16セッション、エクスポート時にKANJISJISセッションとすると、以下の文字について変換不能となる様子。 UTF8/UTF16 セッションでInsertした場合、格納コードはMS932ベースのエンコーディングに、 KANJISJIS_0SセッションでInsertした場合、格納コードはCP943ベースのエンコーディングになるため、 このため、異なるソースから取り込んだデータをごっちゃにして取り出せなくなりました。 異なる文字コードリスト [S_JIS] 0x5C (\) [CP932] 0x005C (REVERSE SOLIDUS) [CP943] 0x00A5 (YEN SIGN) [S_JIS] 0x7E (~) [CP932] 0x007E(TILDE) [CP943]
楽天グループが数ペタバイト級の会員分析DBを刷新、Google BigQueryを選んだわけ
楽天グループは2022年4月19日、ユーザーの属性情報や行動情報などを分析するデータベース（DB）である「楽天スーパーDB」の稼働環境に、米Google（グーグル）のクラウドサービス「BigQuery」を採用したと発表した。これまでオンプレミス環境のデータウエアハウス（DWH）で管理していた数ペタバイト級のデータを、クラウド上のDWHサービスであるBigQueryに移行する。 楽天スーパーDBとは、同社が世界中で展開する70以上のサービスを使うユーザーの情報を分析する巨大なDBだ。グループ共通IDである「楽天ID」のアカウント数は、日本国内で1億を超える。蓄積した情報は、サービスのパーソナライズ機能やレコメンデーション機能、行動ターゲティング広告機能などに使用している。 日経クロステックの取材に応じた楽天グループのロヒット・デワン執行役員Cloud Platform Supervisory
How to recover left over Spool space in Teradata
The Teradata system automatically creates and drops spool files which it uses as temporary work tables to execute queries. Sometimes, one of two potential problems can occur with the spool files: • Leftover spool: Leftover spool occurs when the system fails to properly drop the spool file after the execution of a query completes. The spool that the query was using appears frozen without a session.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
- Failure 6881 Error: Only Simplified Authorization object is allowed in Authorization NVP - Knowledge Portal
Improving Query Optimization With Teradata IPE
- Immediate out of spool space when doing ALTER TABLE - Lithium Redirect
Teradata: Split String into table rows
- How to add CRLF (carriage return line feed) character at the end of each record in tpt exported data file? - Community
- Utility Session Management - It's Inside the Database in Teradata 13.10! (UPDATED) - Customer Support
The Impact Of Character Sets On Teradata SQL Performance: A Case Study
Teradata Vantage Now Available In AWS, Microsoft Azure, And Google Cloud Storage With Teradata Native Object Store (Teradata NOS)
Improving Stored Procedure Performance With Teradata MAPS Architecture
- When a query has an Explain that uses an IPE (incremental planning), the Viewpoint shows only part of the Explain. - Knowledge Portal
Teradata takes on Snowflake and Databricks with cloud-native platform
Introduction To Teradata Nested Join: The Cheapest Join Method Using Indexes
Optimizing Performance With Teradata Summary Statistics | DWHPRO
What is the impact of down AMPs to database operations on Full Fallback systems?
Maximizing Teradata Table Performance With BLC, Row-Level Partitioning, And Data Block Size Tuning
- UDFCONCAT - Community