SWIMATH2のブックマーク - はてなブックマーク

新感覚なELTツール「Meltano」を使ってSlackのデータをDWHに連携してみた | DevelopersIO

大阪オフィスの玉井です。今回はMeltanoというツールをご紹介します。 Meltanoとは？公式から引用すると「DataOps時代におけるEL(T)ツール」だそうです。 … …私の個人的な感覚で説明しますが、絶妙な位置づけのEL(T)ツールです。やることはELT（メインはEL）なのですが、とにかく位置づけが絶妙なのです。 Meltanoの絶妙なポジションデータをE（抽出）してL（ロード）する…という仕組みを行いたいとき、ざっくり分けると、下記のどちらかを選ぶと思います。手動で開発する（Pythonなど）そういうサービスを導入する（Fivetranなど）前者は何でもできますが、人と時間のコストが半端じゃないです。後者はめちゃくちゃ楽ですが、ちょっとカスタマイズしたいみたいな時に、あまり身動きがとれません（融通が効きづらい）。 Meltanoは上記の中間に位置する感じです。コード

SWIMATH2 2023/05/11

データ

リンク

docker-composeとlocalstackを使ってローカルでAWS SDK for JavaScript V3を動かしてみる | DevelopersIO

docker-composeとlocalstackを使ってローカルでAWS SDK for JavaScript V3を動かしてみる AWS SDK for JavaScriptのV3の存在を最近知りました。この「AWS SDK for JavaScript V3」を localstackを使いローカルで試せる環境を作ってみました(※AWS SDKから呼び出せる機能はlocalstackがカバーしているものに限られます)。以下、docker-composeとlocalstackを使い、ローカルでAWS SDK for JavaScript V3を動かすサンプルプログラムとなります。AWS SDKを呼びだすプログラムはTypeScriptとし ts-node で実行してみました。動作環境の作成予めdocker-composeはローカルPCにインストールしておく必要があります。今回はMa

SWIMATH2 2022/12/16

リンク

私流・データ分析基盤の技術調査のコツを整理してみた | DevelopersIO

データアナリティクス事業本部の鈴木です。自分がデータ分析基盤の技術調査をする際、こういうことに気をつけるとうまく行きやすいなというポイントがまとまってきたので、ブログにしてみました。あくまで1例として参考になればと考えています。課題意識ほかのメンバーで、技術調査に慣れていない方に調査をお願いするとき、初めはある程度やり方を説明したり、レビューを手厚くしたりすると思います。私が初めて技術調査をしたときは、やり方が分からず、先輩にかなりお世話になったことを覚えています。最近では、私からほかのメンバーに調査をお願いをする側になる場面が少しづつ出てきたので、「お願いしたいことはある程度ブログにしておいた方が、聞く方が言われたことを全部覚えてなくていいし、絶対ええやろな〜」と思い、記事にしてみました。場面としてはデータ分析基盤を構築する上で必要になる技術調査を想定しています。技術調査の

SWIMATH2 2022/09/28

あとで読む

リンク

[動画公開] データ分析を支える技術 DWH再入門 #devio2020 | DevelopersIO

データアナリティクス事業本部の石川です。今週より開催しているクラスメソッド主催のオンラインカンファレンス、Developers.IO 2020 CONNECTにて「データ分析を支える技術 DWH再入門」というテーマにてセッション動画と資料を公開いたしました。セッション概要分かりそうで分からないDWH、何のために導入して、どのようにデータを管理・蓄積するのか、どうやって利用するのか、普通のDBと何が違って、アーキテクチャどうなっているかなど、コンサルの現場でよく尋ねられる疑問について解説します。本セッションでは、DWHを理解するのに必要となる基礎的な用語について一通り網羅するように心がけました。DBは使ったことがあるけど、DWHはよく分からないという人には最適なセッションです。 DWH再入門 DWHの特性ディメンジョナルデータモデル分析データの利用一般的なDBとDWHの相違点 D

SWIMATH2 2022/07/26

データモデリング

リンク

[動画公開] データ分析を支える技術データモデリング再入門 #devio2022 | DevelopersIO

データアナリティクス事業本部のコンサルティングチームの石川です。クラスメソッド主催のオンラインカンファレンス、Developers.IO 2022にて「データ分析を支える技術データモデリング再入門」というテーマにてセッション動画と資料を公開いたしました。セッション概要「仏作って魂入れず」ということわざがありますが、データモデリングせずにDWHという「器」を導入しただけでは、データ分析は捗りません。データモデリングを考えずに導入したデータ分析基盤は、データマートの乱立、もしくは、データが分かりにくく、分析に手間がかかるため、あまり使われなくなってしまったり、分析に適さないテーブル構造や構成による性能低下、オーバープロビジョニングによるコスト上昇などの問題が考えられます。 DWH（データウェアハウス）のデータモデリングとは何か、代表的なDWHのデータモデリング手法の紹介と、長所・短所、

SWIMATH2 2022/07/26

データモデリング

リンク

Microsoft の「クラウドアプリケーションのベストプラクティス」が良かったので紹介したい | DevelopersIO

こんにちは。CX事業本部MAD事業部のYui(@MayForBlue)です。最近調べものをしている中で見つけたドキュメントが良かったのでご紹介したいと思います。先にまとめ Microsoft の RESTful Web API の設計のドキュメントが API 設計を考える上で勉強になった関連するクラウドアプリケーションのベストプラクティスのドキュメントもアプリケーションを設計する際の指標として良さそう RESTful Web API の設計最近 API 設計やパス設計について考える機会があったのですが、これという正解がなかったり、人によって思想やこだわりが違ったりして結構難しいなと感じていました。そんな中で下記のドキュメントを見つけてひとつの指標として良いなと思ったのでご紹介します。内容（項目） REST とは何かリソースを中心とした API 設計の整理 HTTP

SWIMATH2 2022/05/18

あとで読む

リンク

1on1 ノウハウの共有 | DevelopersIO

ここでは主導する方が知っておくべきものをまとめています。なおこの記事での 1on1 とは、バスケのハーフコートにおける 1 対 1 の攻防ではなく、職場における 1 対 1 の定期的な話し合いのことです。 1on1 で話すべきこと業務以外の課題解決なにか課題を抱えていると他のどの話題にも身が入らないため、まず話せる環境を作りましょう。同様に課題は業務効率を落とします。ここでの課題は次を指しています。健康上の課題業務が原因で病院受診が難しい場合の業務量の調整などお互いの健康テクニックの共有なども Good 家族との課題お子さんが夜泣きで寝不足などの場合は就業時間の調整など親族と折り合いが悪いなどの場合、第三者としての意見や、自分の経験を共有する社会上の課題コロナ禍によるつらみの共有など業務に連動するわけではないため、前回課題がなかったからといって今回もないと仮定しては

SWIMATH2 2022/02/07

あとで読む

リンク

[書評]「New Relic 実践入門監視からオブザーバビリティへの変革」は可観測性を学び実践するための一冊 | DevelopersIO

こんにちは、臼田です。みなさん、よりよい運用してますか？(挨拶今回は2021年9月15日に発売された書籍「New Relic 実践入門監視からオブザーバビリティへの変革」の書評です。オブザーバビリティ(可観測性)について概念的にも実践的にもわかりやすい図とともに理解でき、特にNew Relicを活用して、単純な監視ではない、ビジネスに貢献するための運用の実践ができる一冊でした。この記事ではこの書籍を読んで感じた、どんな人に向いているか、特に良かったところなどを書いていきます。どんな人に向いているか一言でいうと、「これからNew Relicを触る人、あるいは触り始めた人が活用できる書籍」です。「New Relic実践入門」というタイトルそのままですね。逆に言えば、関連するオブザーバビリティについて理解を深めたい、あるいはNew Relicに限らない監視や運用の考え方を学びたいだ

SWIMATH2 2021/10/24

うちでは datadog 使ってるけど、参考になる部分も多そう

DevOps

リンク

管理職のためのエンジニア組織構築マニュアル | DevelopersIO

はじめにクラスメソッド株式会社 AWS事業部長の佐々木です。私は前職で創業メンバーの1人としてビジネスを立ち上げた後、エンジニアとして実業務に携わりながら、統括マネージャーとして50人規模のエンジニア組織を構築しました。また2014年にAWS エンジニアとしてクラスメソッドに入社し、2015年7月よりAWS事業部の部長に就任。事業は順調に拡大しており、2015年と比較して組織も2倍以上に大きくなりました。これは優秀な仲間に恵まれたのはもちろんのこと、組織設計と構築プランが功を奏したことも一因だと感じています。そこで、私がこれまでに培ってきた経験から得たエンジニア組織の構築の仕方をお伝えしたいと思います。エンジニア組織構築マニュアル骨子を定義するこれはエンジニア組織に限りませんが、組織には3つの骨子が必要です。ポリシービジョンターゲットポリシーは、その組織が最もこだわる一

SWIMATH2 2018/01/12

あとで読む

リンク

[Android] OkHTTP + Retrofit + RxAndroid で REST クライアントを実装する | DevelopersIO

REST 処理を扱いやすく実装する Android の REST クライアントのネットワーク処理と非同期処理について、最近流行っている OkHTTP と Retrofit と RxAndroid の組み合わせを使ってみました。これらはそれぞれ次のような機能を提供するライブラリです。 RxJava の Android 版リアクティブプログラミングを Android で実装するためのライブラリイベントベースで遅延実行や非同期コールバックなどを実装可能なお、Retrofit が OkHTTP と RxAndroid の架け橋になってくれるため、組み合わせてシンプルに記述可能になります。導入まずはこれら3つのライブラリを Android プロジェクトに導入しましょう。 dependencies { compile 'com.squareup.okhttp:okhttp:2.4.0' co

SWIMATH2 2016/10/29

android

リンク

【新機能】新しいロードバランサー Application Load Balancer（ALB）が発表されました | DevelopersIO

target2の場合も同様に作成します。ターゲットグループにインスタンスを登録する作成したターゲットグループにEC2インスタンスを登録します。ターゲットグループを選択してコンテキストメニューでインスタンスの登録と登録解除をクリックするか、ターゲットタブの編集をクリックします。インスタンスtarget1-aとtarget1-cを登録します。 ALBにインスタンスが登録されます。ロードバランサに登録していないため状態はunusedとなります。同様にtarget2にもインスタンスtarget2-aとtarget2-cを登録します。 ALBを作成する ALBを作成します。アプリケーションロードバランサーを選択します。ロードバランサの基本的な設定を行います。プロトコルはHTTPとHTTPSのみとなっています。今回はHTTPSを選択します。 HTTPSを選択したのでSSL証明書を選択しま

SWIMATH2 2016/08/12

複数のwebアプリを同一ドメインで運用したりできるのかな。便利そう

aws

リンク

エンジニアのための無料で使えるドローイングツールまとめ | DevelopersIO

今回は、ローチャート、UML、システム構成図、などなどなど、エンジニアがよく使いそうな図を書くためのツールを紹介したいと思います。無料でMac/Windowsの両OSで使えるという条件でチョイスしてみました。 (あ、タイトルには「エンジニアのための」と書きましたが、今回紹介するのは別にエンジニア専用のツールではないです（念の為）) 汎用的とりあえず、色々な図が書けそうなツール Cacoo 【URL】 https://cacoo.com 【特徴】無料版では25シートまで無料版での書き出しはPNGのみだいたい何でも書ける複数人でチャットしながら1つの図を作成出来る【メモ】特に有料版は高機能だと思う会社で有料アカウントに入っているのであれば、このツールを使う選択肢で良いと思う draw.io 【URL】 https://www.draw.io/ 【特徴】とりあえず会員登録し

SWIMATH2 2016/02/13

webサービス

リンク

Sublime Text 2の基本とカスタマイズ【Vim風】

2012年12月4日：Vim化について指摘と参考になる情報をいただいたので追記しました。こんにちは、僕はVimユーザーです（ちなみにVimを完璧に使いこなしているわけではありません）。今更ながら「Sublime Text 2」というナウでヤングなエディタも使いこなせるようになりたいと思い、Sublime Textの基本設定からプラグインやスニペットの作り方まで調べた内容をこの記事にまとめることにしました。細かい情報までまとめることはできなかったので、より詳しい内容を紹介してくださっているブログやサイトへのリンクを設けています。この情報以外にもSublime Text 2をVimに近づけるプラグインやカスタマイズ方法があればコメントいただけるとうれしいです。また、間違いがあればコメントいただければすぐに直します。よろしくお願いします！ Sublime Text 2は有料（$59）の

SWIMATH2 2015/08/11

sublimetext

リンク

[iOS 8/Xcode 6] SwiftではじめるiOS開発 #2 [データ保存] | DevelopersIO

ただいま基本動作を絶賛学習中です。データ保存アプリを作成しているとデータを永続化して保存する（アプリを終了しても保存されている）ことは、ほぼ必須の基本的実装だと思います。 iOSには、データを保存する方法としてはプロパティリストや、NSUserDefaults、CoreDataなど、いろいろと方法があります。まずは、入門ということで使用頻度が高く、実装が容易なNSUserDefaultsをSwiftで実装してみます。プロジェクト作成 SingleView Application でプロジェクトを作成します。作成したプロジェクトのMain.storyboardを開き、以下のようにオブジェクトを配置しました。続いて、controlキー + ドラッグ＆ドロップでsaveボタン、loadボタンのactionを設定します。最後に、TextFieldと、Labelのオブジェクトも紐づけて

SWIMATH2 2015/03/13

iOS

リンク

AngularJSをはじめる前に#AngularJS入門その1 | DevelopersIO

AngularJSをはじめようここにあるように、最近はWebアプリを作成する際にJavaScriptのフレームワークを使用するのが当たり前といっていいくらい、さまざまなフレームワークが存在します。弊社ブログでもember.jsの記事等、JavaScriptのいろいろなライブラリ・フレームワークを紹介していますが、私が近頃AngularJSを使用する機会があり、とても使いやすかったので、改めてここで紹介しようと思います。 AngularJSとはもう一度「AngularJSとはなにか」という部分を簡単におさらいを。 AngularJSはGoogleとコミュニティより開発しているオープンソース(MIT)のJavaScript用MVWフレームワークです。テンプレート言語としてHTMLを使用できたり、双方向データバインディングやDI(依存注入)が使用できたりと、近年複雑化するWebアプ