5TB/日 のデータをAWS Glueでさばくためにやったこと（概要編 | Future Tech Blog - フューチャーアーキテクト
みなさん、初めまして、お久しぶりです、こんにちは。 フューチャーアーキテクト2018年新卒入社、1年目エンジニアのTIG（Technology Innovation Group）所属の澤田周吾です。大学では機械航空工学を専攻しており、学生時代のインターンなどがキッカケで入社を決意しました。 実は、本記事でフューチャーテックブログの2記事目となります。インターン時代も ジャガイモARの記事 を書かせて頂きました。入社してからもこうして業務で学んだIT技術を記事に書くという機会を貰え、なんだか懐かしいやら感慨深いやらの思いで一杯です。 さて、3ヶ月の新人研修後にすぐに配属されたプロジェクトで、AWSを使ったビックデータ分析のための基盤構築をお手伝いしています。わたしは分析のための前処理であるETL（Extract、Transform、Load）処理部分をちょっと変わった性格の先輩方と一緒に開発
RDSのGeneralLogをパケットキャプチャに切り替える | 外道父の匠
三年以上前に サービス品質の改善効率を高める仕組み | 外道父の匠 の一部にて、GeneralLog と EXPLAIN を使って、クエリ品質を自動算出していることを書きました。 この仕組みは2011年に開発して以降、言語変更や新環境に適応させたりしつつも、ほぼそのまま稼働し続けていて、最近はRDSが対象になることが多いのですが、RDSだとGeneralLogの採取に問題が発生したので、DBサーバーではなく、ClientでのPythonを使った採取に切り替えてみました、という話になります。 RDSのGeneralLogは高QPSでは非推奨 RDSで GeneralLog を採取するには、パラメータグループで general_log を ON にするしかないのですが、数百qps 程度なら問題なく動いても、数千～万qps となると、ほぼ期待通りに切り替わってくれなくなります。 それまでは、AP
Alexa/GoogleHomeスキル開発してみた - プログラマ英語学習日記
せっかくEchoDot/GoogleHomeを入手したので軽くスキル開発してみました。 もちろん使い物になるレベルでないので非公開ですけど。以下軽く感想です。 チュートリアルにそって進めた＋α程度ですが、両方ともほぼ似たような構造/開発手法です。 あらかじめ「文章」を多数入力しておく。 サーバには「どの種類の文章だったか」がRequestとしてくる レスポンスとしてテキストを返すとしゃべる という構造。音声/自然言語処理はすべて向こうが処理してくれるので楽ですね。 環境比較 とはいえ、開発しやすさは結構差があると感じました。 Echo(Alexa)は基本的にAWSで閉じている。 一方GoogleHomeは、DialogFlowで自然言語処理 / FirebaseFunctoins(他)でロジック ここが結構大きい差でした。 AlexaはAWS-Lambdaの一段構造なのに対し、Google
AWSのフルマネージド型 ETL サービス『AWS Glue』の紹介動画を観て来たるべきリリースに向けて情報収集してみる | DevelopersIO
昨年2016年12月の『AWS re:Invent 2016』で発表された、AWSによるフルマネージド型ETLサービス『AWS Glue』。イベント当日での発表では『今後リリース予定です』との内容に留まり、詳細なリリース時期等は明らかになっていませんが、イベントにてAWS Glueの内容について言及されたセッションが展開されており、関連するYouTube動画もアップされていました(特にこの動画について触れている人が居なかった)ので、今後来るであろう正式リリースに向けて事前に情報を把握、予習しておこうと思います。 ちなみに以下が2016年12月のre:Invent 2016 キーノートでAWS Glueが発表された際のYouTube動画シーンです。 目次 なぜAWSはETLサービスを作るのか？ なぜ、AWSはETLの領域に足を踏み入れたのか？ "ETL処理"は分析作業において最も大きな時間を
AWS Lambda Supports Python 3.6
You can now develop your AWS Lambda functions using Python 3.6. This feature will become available in all AWS Lambda regions within 24 hours. You simply upload your Python code as a ZIP using the AWS CLI or Lambda console and select the "python3.6" runtime. You can also use the AWS Serverless Application Model to package and deploy Lambda functions. Lambda takes care of everything required to run
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
