テニス２時間　英語できず (1) Socherの自然言語の問合せをSQLに変換する論文を読む 「Seq2SQL: Generating Structured Queries from Natural Language using Reinforcement Learning」 https://einstein.ai/static/images/layouts/research/seq2sql/seq2sql.pdf 現在SNSで話題になっている自然言語の問合せをSQLに変換するモデルです。 翻訳モデルとしてseq2seqが有名でしたが、これはRNNで適当に人間が解釈できる言葉に変換していたに過ぎません。しかし本モデルは計算機を動かすSQL文の生成モデルなので曖昧性が許されません。 (1.1) 手法 そこで曖昧性を排除するために２つのモデルと知識ベースを導入して達成しています。 ・Augme

ktr89.hateblo.jp に関連して、サーバーレスでビッグデータ処理しているような事例を調べたら、他にも論文が出てきたので読んでみました。 Hadoopクラスターを自前で用意する時代は終わりを迎えていて、AWS LambdaやGoogle Cloud FunctionなどのFunction as a Serviceでビッグデータ処理をするような事例も近いうちに出てくるかもしれません。 arxiv.org Author AuthorのYoungbin KimはLinkedInによるとカナダのWaterloo大学のTeaching Assistantの方のようです。 共著のJimmy Linはhttps://cs.uwaterloo.ca/~jimmylin/によるとWaterloo大学の教授のようです。 彼らの課題感 Ecri Jonas et al.「Occupy the Clou

※ Retty Advent Calendar 15日目の記事です おしながき はじめに ベンチャー企業とデータ活用 完璧さよりも早さを重視する Rettyにおける現状 DWHの開発で大切にしていること プロダクトとしてのUXを大事に プロダクトとしての変化を大事に 開発者として横断的な動きを大事に RettyにおけるDWHの開発プラクティス BigQueryを中心としたデータ基盤 アウトプットを最大化するためのダッシュボードツール スプレッドシートによるお手軽ダッシュボード データポータル (Datastudio) データソースのUX/DX データソースの集約化 As-is ではなく As-was 分析者も巻きこみDWHの品質改善を行っていく 技術スタックはSQLを中心とする 仮想テーブル (View) <-> 実テーブル による スキーマのPoC SQLによるView/データソースのユ

今回は pandas-profiling というパッケージを使ってみる。 このパッケージを使うと pandas の DataFrame に含まれる各次元の基本的な統計量や相関係数などを一度に確認できる。 最初にデータセットのサマリーを確認できると、その後の EDA (Exploratory Data Analysis: 探索的データ分析) の取っ掛かりにしやすいと思う。 使った環境は次の通り。 $ sw_vers ProductName: macOS ProductVersion: 12.4 BuildVersion: 21F79 $ python -V Python 3.9.13 $ pip3 list | grep pandas-profiling pandas-profiling 3.2.0 下準備 まずは必要なパッケージをインストールしておく。 $ pip install pand

はじめに ビッグデータの分析基盤を仕事にしていると、いやでもデータ分析手法に興味が湧きます。 データ分析の力 因果関係に迫る思考法という本をamazonでオススメされて、気軽に読める分量だし読んでみました。 データ分析の力 因果関係に迫る思考法 (光文社新書) 作者: 伊藤公一朗出版社/メーカー: 光文社発売日: 2017/04/18メディア: 新書この商品を含むブログ (13件) を見る 第1章(なぜデータから因果関係を導くのは難しいのか) 最初は、因果関係分析の難しさの説明からです。 理由 他の要因が影響していた可能性がある 「ＸがＹに影響を与えた」という因果関係を示すことが難しい一番の理由は、「Ｙが変化したのはＸ以外の他の要因の影響だったのでは？」という問題を排除できない 逆の因果だった可能性がある ＸとＹに相関関係があることがわかっても、その結果を用いて因果関係があるとは言えない

データ基盤エンジニアという仕事の魅力について、質問を受ける機会がありました。 何が魅力なのか。どういう面白さがあるのか。どこにモチベーションがあるのか。 せっかくなので自分なりに考えをまとめてみます。 5つの面白さ ざっくりまとめると、データ基盤エンジニア（あるいは：分析基盤エンジニア・データエンジニア）というのは、「主体的に働きやすく」「スキルを(伸ばし/広げ)やすく」「キャリアアップに繋げやすい」仕事だと思います。 1. データ活用担当への第一歩として データ分析や機械学習を仕事としてやりたい。だけど、職務経歴としてはアプリケーション開発やインフラに強みがある。 この立場の人がキャリアをピボットするための踊り場として、データ基盤の担当になることがあります。 持ち前のスキルを活かしてデータ基盤の構築・運用に関わるところから始めます。 データ仕様に詳しくなっていき、徐々に活用側へと染み出し

不動産価格分析シリーズです。 今回の分析対象はマンションの間取りです。 都内のマンションなら1Lが貸しやすいとか、郊外のマンションなら3LDKが貸しやすいとか、そういった話をよく耳にします。たしかにそれっぽい話ではあるものの、実際のところよくわからないです。不動産投資をしている個人の経験を聞いても、タイミングも違いますし、同じ物件は複数ないですよね。なので、「とある事例」を聞くよりも、実データに基づく分布が気になるところです。 3LDK、4LDKなどのファミリー層向けマンションって少し郊外にあるイメージですよね。 都心で子育てしたくないとか、純粋に間取りの割に安いということもあって、郊外でファミリー層向けマンションを購入する方が多いのではないでしょうか。 参考 「ブログを始めた理由・マンションでは３ＬＤＫが最も多い間取りです」 - ４人家族なのに３ＬＤＫのマンションインテリア 売りに出され

はじめに Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems 作者: Martin Kleppmann出版社/メーカー: O'Reilly Media発売日: 2017/04/02メディア: ペーパーバックこの商品を含むブログを見る 機械学習、人工知能、ビッグデータ。胡散臭いバズワードが流行しています。 それらを実践するためには、分析基盤がないと何もできません。 ということで、Designing Data-Intensive Applicationsというオライリー本を読んで勉強しましょう。 まだ日本語訳も出ておらず、情報も少ないので読んだ部分を整理していこうと思います。 かなりボリュームのある本ですので、章ごとにつまみ食いしていきま

これは Craft Conference 2015 で私が行った 講演 を編集して記事にしたものです。その時の 動画 と スライド もご覧頂けます。 あなたのデータベースは、どのようにして確実にデータをディスクに保存しているのでしょう？　ログを使っているのです。 データベースのレプリカは、どのようにして他のレプリカと同期するのでしょう？　ログを使っているのです。 Raft などの分散アルゴリズムはどのようにして合意を取っているのでしょう？　ログを使っているのです。 Apache Kafka などのシステムでは、アクティビティデータはどのように記録されるのでしょう？　ログを使っているのです。 あなたのアプリケーションのデータ・インフラストラクチャはどのように規模相応の堅牢性を保つのでしょうか？　答えは･･･ ログは至るところにあります。私はプレーンテキストのログファイル（syslogやlog

Survey Report 2024 State of the Data Lakehouse Gain unprecedented insights into the evolving landscape of data lakehouses and benchmark your organization with Dremio's State of the Data Lakehouse Survey Report. This survey of 500 full-time IT and data professionals from large enterprises offers fresh insights on data lakehouse trends, adoption and associated benefits.