大学時代に日本屈指の技術系スタートアップCTOを経験。25歳で日本から飛び出して、シリコンバレーで起業した ――まず太田さんがシリコンバレーで起業するまでの経緯を聞かせてください。 高校生の時に初めて携帯電話を買ってもらいました。その携帯がiアプリといって、Javaのプログラムが動作する端末でした。そこで近くの書店でプログラミングの本を買って、簡単なシューティングゲームを作りました。 すると、それが40万件以上ダウンロードされたんです。塾の帰りなど、隣にいる人が自分の作ったゲームをプレイしているのを見て驚きました。それが最初のコンピュータ、インターネットの原体験で、そこからプログラミングにのめり込んでいきました。 太田 一樹（Treasure Data 共同創業者 取締役） 1985年生まれ。東京大学大学院情報理工学研究科修士課程修了。学部課程在学中の2006年、自然言語処理と検索エンジン
近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
ちなみに、IT業界全体のシェアとしてはMicrosoftのAzureの方がGCPを上回っていますが、Web業界においてIaaSにAzureを採用している企業さんは2019年時点ではまだまだ少ないので、現状ではとりあえずAzureへのキャッチアップは後回しにしておいて問題ないと思われます。 クラウドアーキテクチャ設計 前述したAWSやGCPの各種マネージドサービスを適切に組み合わせてアーキテクチャ設計を行い、それを構成図に落とし込める能力は必須となります。 いわゆる「アーキテクト」という職種の担当領域でもありますが、「サービスを安定稼働させたまま、バリューをユーザに迅速に届ける」ためには、自動化のしづらい構成が採用されてしまったり、無駄な機能が開発されてしまったり、アンマネージドなツールやサービスが使用されて管理工数が肥大化したりしないように、アーキテクチャ設計の段階からDevOpsエンジニ
約5年5か月働いたTreasure Dataを7/22に退職した。7/25からShopifyに入社し、RustでJITコンパイラを開発してRubyを高速化する仕事をする。 仕事としてやりたい分野が変わってきて自分は今回転職したけど、とても良い会社なので、この記事がTreasure Data (以下TD) で働くことに興味がある人の参考になれば良いと思っている。*1 5年勤続記念にいただいたトロフィー やっていたこと APIチーム 元々TDにはJavaで分散システムを書きたくて入社したのだが、TD入社前に特にそういう経験があるわけでもなく主にRailsをやっていたこともあり、Railsでプラットフォームを開発するチームに入った。基盤開発をやりたいと思いながらサービス開発者として最初働き、後に基盤開発チームにジョインするみたいな過去の経験があったので、今回もそういう感じでいけると考えていた。実
極めつけは、2019年12月に起きた、さくらインターネットへの不満の記事を Qiita 側で勝手に非公開にした一件だ。 「さくらインターネット側が公開停止要請をしたのでは？」と騒がれたが、Qiita が独自判断で非公開にしたとわかり、真摯に対応をしようとしていたさくらインターネットにまで迷惑をかけてしまう結果となった。 管理社会としての姿エンジニアは、コミュニティーのために情報共有をオープンにする姿勢でいる。 時間をかけて見つけた答えに、他者がすぐにたどり着けるようにできれば全体の生産性を上げられるゆえの貢献だ。 一方で、Qiita がユーザーに見せてしまった姿は、Qiita 独自の判断で情報統制がおこなわれるクローズドな管理社会だ。 この結果、エンジニアから Qiita への不信感は積もり続けたまま今日に至り、それがついに爆発してしまった。 今回の件は個人情報の取扱として問題があるが、仮
CCCマーケティングとトレジャーデータは7月28日、CDP（Customer Data Platform）領域において業務提携を行い、同意取得済のT会員データ（Tポイントデータ）を、生活者のライフスタイルを基点とした情報プラットフォーム「CDP for LIFESTYLE Insights」として8月から提供を開始すると発表した。 2022年3月現在、名寄せをし重複を排除したT会員数は7025万人で、週間の利用者は2469万人、月間利用者は4175万人だという。この会員により、年間35億件以上の購買トランザクション、15万店舗のネットワークで扱われる60億種類の商品データ、数千項目からなる顧客DNAのペルソナデータ、 オフライン・オンライン上の移動・行動データやメディア接触データ、またCCCマーケティンググループオリジナルのエンハンスデータなとが得られ、データベースに蓄えられている。 20
今年春に出願、夏に合格して秋学期からオンラインのコンピュータサイエンス修士コースで勉強している。ちょうど秋学期が終わって成績が返ってきたので、どういう感じだったか書いておく。 I've been officially admitted to Georgia Tech's OMSCS (Online Master of Computer Science). I'm excited for being a student again. I chose the online course to take it without quitting my job, but due to COVID-19 it's probably not that different from other people's experience.— k0kubun (@k0kubun) July 31, 2020 ど
最初にお断りしておくと、このエントリは驚くほど僕固有の私的な話に終止するので、他の人の参考にはならないでしょう。 ICというのはIndividual Contributorの略で、最近だとHashiCorp創業者のあのMitchell Hashimoto氏が、HashiCorp社内でICになるというのも話題になりました。日本でも、こにふぁーさんがそういう動きをしていたりして、ちょいちょい聞くようになってきた印象です。 今回の僕の転職は、言ってしまえば、自分が培ってきたソフトウェアエンジニアとしてのスキルを活かして世界の舞台で戦いたいという気持ちを抑えきれなかった、という幼稚な理由です。自分が求めているものがLaunchableにはあるように感じて入社しました。 振り返ってみると、最近の自分の転職における決め手は「自分を一番必要としてくれるところ」という側面が強かったと感じています。その結果
データ分析基盤まとめ（随時更新）
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf
分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO
基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏 Twitter：@taroleo / Github：@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.
ピボットを経てグローバル戦略へ、そして1兆円企業に…Treasure Data CEO・太田一樹の「忘れられない30分間」
データの収集・分析・連携ができるCDP（カスタマーデータプラットフォーム）を手掛けるTreasure Dataは、グローバルでも急成長中の注目SaaS企業。2018年にはArm社へイグジットしましたが、その後、今年になって創業者たちが「出戻り」の形で経営陣につき、さらなる飛躍を目指すというニュースは、業界に驚きをもたらしました。 今でこそCDPとして名高いTreasure Dataも、実はARR 30億円の段階でピボットし、現在の姿へと変わった経緯がありました。その背景にあったストーリー、ピボット後にARR 100億円を突破するため必要だったこと、そしてカムバックの理由まで、共同創業者でCEOを務める太田一樹さんに伺います。 聞き手は、ALL STAR SAAS FUNDマネージング・パートナーの前田ヒロです。 3年でARR10億、しかしテックジャイアントの参戦で…──早速ですが、ARR3
昨日（3月25日）より当社サービスのオプトアウトや法令遵守についてのご意見がインターネット上で交わされております。また当社へ直接のお問い合わせも頂戴しております。本件を受けまして、当社サービスのオプトアウト方法及び法令遵守に向けた対応についてご説明させていただきます。 （１）Arm Treasure Dataのサービス概要 当社ではカスタマーデータプラットフォーム（CDP）と呼ばれる、データベース基盤のサービス提供を行っております。CDP内に保管されるパーソナルデータは当社の顧客企業が管理・保有するデータであり、広告配信等のマーケティング活動、CRM施策等は各企業の裁量により行われます。技術サポートやシステム運用等、当社サービスの運営上最低限必要な統計情報やログへのアクセスを除き、当社顧客が収集したデータを当社が使用することはなく、当社によるデータ利用は厳しく制限しています。 （２）オプト
おしらせ：12/23 に後編記事がでました！ tech-blog.monotaro.com こんにちは、データ基盤グループの香川です。 現在モノタロウではBigQueryに社内のデータを集約し、データ基盤を構築しています。 およそ全従業員の6割が日々データ基盤を利用しており、利用方法や目的は多岐に渡ります。 データ基盤グループはこれまでデータ基盤システムの開発保守と利用者のサポートを主な業務として取り組んできましたが、これら多岐にわたる社内のデータ利用における課題の解決及びさらなるデータ活用の高度化を目的として、今年の5月よりデータ管理を専門に行う組織として新たに体制を再構築しました。 そこで改めて組織として取り組むべき課題や方向性を決めるために、まず自分たちの現在地を知ることが重要と考え、データ基盤の歴史を振り返り、社内のデータ活用における課題やそれを取り巻く状況がどう変わってきたのかを
TL;DR 現職のTreasure Dataを本日を最終出社として退職します しばらくは休みをとりつつ次に何をやるかを考えるつもり 次は自分でビジネスを立ち上げるか、それともエンジニアリングチームを作るところにフォーカスするか、これから考える 技術顧問業もはじめます、が、メインにはしないつもり その他これからの活動にご期待ください 現職について 就職時にこのエントリを書いてから6年3ヶ月、当初思っていたより長く働いたなあという感じです。入ったときはUSと日本で合計40人もいなかったくらいだったと思うけど、今では世界中に同僚がいて規模は約10倍くらいになりました。途中Armによる買収もあって、スタートアップから中規模企業までのビジネスと会社の成長を見てきました。自分もそれなりに貢献できてたんじゃないかなと思います。 いま見直すと就職エントリに書いていた3点、「技術ベンチャーであること」「ベン
急なお知らせですが、8月31日をもってTreasure Dataを退職することになりました。 今後の活動についてはいまのところなにも決まっていないので、自分になにができるのか、どんなニーズがあるのか、いろいろ相談に乗ってもらえるとうれしいです。 きっかけはというと、長年Railsコントリビューター/メンテナーとして並々ならぬ思いで活動してきたんですが。 どのぐらいがんばっていたかというと、たとえば2020年8月時点のコミット数ベースの今年のアクティビティでいうと、上位10人のアクティビティを母数にするとその半数が僕になります。 rails/rails contributors 2020-01-01 - 2020-08-26 Rails 5.0以降のも置いておきます。 rails/rails contributors 2019-01-01 - 2019-12-31 rails/rails c
面白い課題を解決したいソフトウェアエンジニアへ ── 複数の専門性が交わるところで「今できないこと」をやる - Findy Engineer Lab
はじめまして、田籠聡（@tagomoris）です。現在はフリーランスのソフトウェアエンジニアとしていくつかの会社で技術顧問をしつつ、個人的なプロジェクトの開発をしたりしています。これまでのキャリアとしてはISPやSIerで働いたのち、livedoor（およびその後のLINE）や、Treasure Dataといった会社で働いてきました。また、みなさんがご存じかもしれないものだと、ISUCONというイベントを始めたり、データ分析基盤関連の技術やFluentdをはじめとしたOSSプロダクトの開発に関わったりしています。 自分のキャリアを振り返ると、これまでいろいろと面白いプロダクトやサービスに関われてきました。一方で、自分にとって面白いプロダクト・面白い開発とは何かということが、経験を積むにつれて変化してきたとも思います。この記事では、何を面白いと思うか？ どうやって面白いものに関わり続けていく
なんか言及もされたのでアンサー的に書いてみたけど、アンサーには大してなってないな? ってやつです。一部で言及された、競技プログラミング (競プロ) 関係の話。 その前に、「プログラミングの競技」っていろいろあります。 短時間で問題に解答していく型 (ICPC / 情報オリンピック / AtCoder Regular / TopCoder とか)最適解が容易に求まらない問題のスコアを競う型 (SuperCon / AtCoder Heuristic / ISUCON / ゴルフ / ICFP Programming Contest の一部とか)対戦型 (ICFP Programming Contest の一部とか、最近のはあんまり知らないですが RoboCode / Imagine Cup とか)謎解き型 (ICFP Programming Contest で何回かありましたね。 UMIX
2023 年はビジネスとオープンソースの関係が難しくなった年であったように思います。 6 月には、フルタイムの Ruby コミッターとして研究開発を行っていたお二人がクックパッド社の人員削減の影響を受けたことに端を発して、オープンソースに深く関わってきた一部のソフトウェア・エンジニアを中心に、ビジネスとオープンソースの関係について議論がありました。 8 月には HashiCorp 社が自社のオープンソース製品群のライセンスを Business Source License 1.1 (BSL) に変更したことも話題になりました。 また 2023 年は、一年を通して大規模言語モデル (Large Language Models; LLM) が話題になった年でもあり、ビジネスにも大きな影響がありました。 大規模言語モデルとオープンソースの関係に焦点を絞っても、「非オープンソースのライセンスで公開
「このサービスを日本でやるなら、エンタープライズに寄り添ってカスタマイズしていくことになるよ。まずは髪を黒く染めてスーツ着るところから。でもそんなこと小川くんはやりたくないでしょ？ だったらアメリカ行った方がいいと思うよ。」 「そうですね。うん、アメリカ行きます。」 2022/03/31に東京を離れ、サンフランシスコに移住したBlack Inc.というスタートアップを始めてから3年になる。 コロナ禍で解約した渋谷・桜丘オフィスの屋上。いまは離れたメンバーも何人かいる。ほとんどの時間を、クラウドゲーミングプラットフォーム「OOParts」というサービスをゼロから立ち上げて企画・開発・運営するために使ってきた。 そもそもクラウドゲーミングをゼロからやっているスタートアップなんて、技術的ハードルが高すぎて世界中を見渡しても数えるほどしかいないのに、ビジュアルノベルというディープなジャンルのゲーム
データ指向アプリケーションデザイン
AmazonでMartin Kleppmann, 斉藤 太郎, 玉川 竜司のデータ指向アプリケーションデザイン ―信頼性、拡張性、保守性の高い分散システム設計の原理。アマゾンならポイント還元本が多数。Martin Kleppmann… 手軽に扱えるデータの量や種類が増える一方、CPUの性能はムーアの法則通りには成長しなくなり、大規模データ処理では、多数のマシンを活用する分散処理が欠かせなくなってきました。クラウドの普及とともに多数のマシンを自ら調達せずとも分散システムを構築できるようにもなっています。 しかし驚くべきことに、今までこの分野に入門するための定番の書籍がありませんでした。分散処理にデータ処理が加わる融合分野である上、オープンソースプロジェクトの進化も速く、専門家同士でも共通の理解を構築するのが非常に難しかった分野です。この本を上手に使うと、既存のOSSプロジェクトの位置付けや、
こんにちは、SRE部MA基盤チームの谷口（case-k）です。私達のチームでは、データ連携基盤の開発・運用をしています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の紹介 なぜ必要なのか 活用事例の紹介 データ連携の仕組みと課題 リプレイス後のリアルタイムデータ連携基盤 SQL Serverの差分データの取り方を検討 アーキテクチャ概要と処理の流れ Fluentdのプラグインを使った差分データの取得 Dataflowでメッセージの重複を排除 Dataflowで動的にBigQueryの各テーブルに出力 Pub/Subのメッセージ管理 イベントログ収集基盤 個人情報の取り扱い ビルド・デプロイ戦略 監視 データ
2021年にやったこと 2020年にやったこと 2019年にやったこと 2018年にやったこと 2017年にやったこと 2016年にやったこと 2015年にやったこと 今年のハイライトは 大学院を卒業し、CS修士号を取った グリーンカードを取った Shopifyに転職し、仕事でRubyのJIT開発を始めた という感じの一年だった。 大学 5月にジョージア工科大学のCS修士を卒業した。 ほとんどの人は3~4年かけて卒業するプログラムを、理論上最速である1年9か月で卒業するRTAをやっていた。 かといって特に雑になるでもなく、GPA 3.90/4.00 だったので、GPA 3.36だった学部の時よりかなりマシな成績を取っている。 なんかその記事に書くとダサくなりそうなので書かなかったが、よく宿題の提出期限になる月曜の朝5時はほぼ毎週起きててギリギリに提出するくらいには大変だった。4:57~4:
RubyのJIT開発でやろうと思ってることが大体 @_ko1 さんの作業待ちでブロックしていて暇なので何かを書こうと思い、JVMを書くことにした。 まだその辺のアプリを気軽に動かせるレベルでは全然ないが、別に秘密裏に開発する必要もないと思ったので公開した。 github.com これの紹介と、現時点で学べたことをこの記事に記録しておく。 何故JVMなのか 仕事でJVM言語を使っている 僕が所属しているTreasure Dataでは、大雑把に言うと本番サーバーのサービスは大体Ruby, Java, Scala, Kotlinで書かれている*1ので、既にRubyのVMはある程度わかる*2ことを考えると、JVMさえ理解してしまえば社内の主要な言語評価系を抑えたことになり、運用面で活躍の機会が増える気がしている。 また、自分が最近一番書いているのはKotlinなのだが、JVMで動かしていることに由
零細企業の社長をしてます。 2年半前にちっちゃいM＆Aを実施して従業員１名の零細企業を買いました。 経営の勉強の為にnoteを読み漁ってますがスタートアップ界隈でゴリゴリやってる人の記事が多く、自分とはレベル違い過ぎて参考にならないなと思ってましたがreisaikigyou_maさんの「零細企業を買収した後に行ったDXとは呼べないDX」が非常に参考になりました。 自分よりもあとに零細企業を買収したのに短期間でDXを進めてるし凄いなーと思いつつ、参考にできる部分を参考にしながら弊社もDXをすすめてます。 記事を読んでから半年、当社もDX導入がある程度完了し業績も創業来最高売上達成したので買収してから2年半、当社で実施したDXというかIT活用の内容をまとめて紹介したいと思います。 買収経緯ざっくりですが 独立決意して勤めてた会社を退職→タイミングよく登録してた後継者バンクから会社紹介→買うとい
この記事に関連する話題: ソフトウェアエンジニア、カナダに渡る。 修士課程修了から4年半の間働いたトレジャーデータ (Treasure Data; TD) を8月13日（金）に退職した。インターンから数えるとちょうど5年のお付き合いになる。 ソフトウェアエンジニアとして入社 (2017-2019) 修士課程で機械学習が専門ではない指導教員の下で機械学習を学ぶために Hivemall, Digdag, 自然言語処理, 機械学習などについて話しました プロダクトマネージャーに転身 (2020) 僕は「世界で闘うプロダクトマネージャー」にはなれない。 機械学習エンジニアのキャリアパス。プロダクトマネージャーという選択肢が拓く可能性 カナダ・バンクーバーオフィスに転籍 (2021)1 トレジャーデータ株式会社を退職して Treasure Data (Canada) に入社しました そして今週から、
OpenTelemetryについての現状まとめ （2020年6月版） - YAMAGUCHI::weblog
はじめに こんにちは、StackdriverあらためGoogle Cloud Operations担当者です。ここ最近は業務でOpenTelmetry関連をほそぼそとやってきたんですが、ようやくOpenTelemetryも安定版リリースのめどが立ってきたので、これまでと現状と今後を簡単にまとめておこうと思って書き始めたら、全然簡単じゃなくて10000文字超えました。（なおこのシリーズは今後も続きそうな気がするのでタイトルに日付を振っておきました） TL;DR 分散トレースとメトリクスの計装フレームワークとしてOpenTelemetryというものがCNCF Sandboxプロジェクトとして進行中。これはOpenTracingとOpenCensusのマージプロジェクトであり、各々の正式な後継版である。 とはいうものの、まだ仕様もstableリリースになっておらず、当然各言語向けのライブラリも安
Treasure Dataは、2011年に芳川裕誠氏、太田一樹氏、古橋貞之氏の3名がシリコンバレーで創業したビッグデータ分析企業。2018年8月、ソフトバンクグループ傘下のコンピュータチップ設計企業ARMが、約6億ドル（約660億円）で同社を買収したニュースは記憶に新しい。Treasure Dataの元CTOで現取締役の太田一樹氏に、学生時代から創業までの経緯や、グローバルスタートアップとして成長するプロセス、ARMとのM&Aの裏側などについて聞いた。（前編：日本人CTOがシリコンバレーで25歳で起業し、660億円で買収されるまでの道のり） ※インタビューシリーズ「シリコンバレーから日本を考える」では、櫛田健児氏（スタンフォード大学ジャパン・プログラム リサーチスカラー）がシリコンバレーの企業・スペシャリストにインタビューし、日本の未来・可能性について掘り下げます。 ＜目次＞ ・一番大きな
プログラミング言語 Ruby30 周年記念イベント 2023 年 2 月 25 日、Ruby 誕生 30 年を記念したイベントが開催されました。 2020 年から流行した新型コロナウィルス感染症の影響で、一時期のイベントはすべてオンラインでの開催が主流となっていました。 本イベントも当初はオンライン形式で予定されていましたが、当日は松江オープンソースラボをメイン会場としてオフラインとオンラインのハイブリッドで開催されました。 開催日 2023-02-25 (土) 13:40 - 17:30 開催場所 松江オープンソースラボ / YouTube 配信 主催 一般財団法人 Ruby アソシエーション / 一般社団法人 日本 Ruby の会 公式ページ プログラミング言語 Ruby30 周年記念イベント 進行 ：前田修吾 公式ハッシュタグ #ruby30th 動画 アーカイブ動画 オープニング
はじめに リバース ETL という概念が提起されて、そのための SaaS も生まれており、面白いと思うので所感をまとめる。 Reverse ETL ? 自分が最初に Reverse ETL という言葉に触れたのは、Redpoint Ventures の Astasia Myers が 2021-02-23 に書いたこの記事だった。 Reverse ETL — A Primer. Data infrastructure has gone through an… | by Astasia Myers | Memory Leak | Medium 彼女はどんなものをリバース ETL と呼んでいるかというと Now teams are adopting yet another new approach, called “reverse ETL,” the process of moving dat
#Qiita ついにTreasure Data のオプトアウトに対応する （「Qiita」「Qiita Jobs」におけるユーザー情報の取り扱い不備について思うこと ＆ Qiita のユーザーページの件でオプトアウトを試す） - 人生100年!生涯エンジニア人生!
2020年5月12日 更新 Qiita ついにTreasure Data のオプトアウトに対応する 2020年5月8日にQiitaの利用規約が改定されました。 blog.qiita.com 同時にプライバシーポリシーも改定されました。 qiita.com そして、ずーっと私が言ってた！！オプトアウト設定が入りました！！ 2020年3月26日から騒いで、ここまで来ましたね。 現場のエンジニアさんも頑張ってくれました、対応に感謝します。 オプトアウトするにはQiitaにログインしてアカウントの設定を行います。 qiita.com このオプトアウトの文言を見ると、このように記載があります。 拒否すると、匿名情報のみがTreasure Dataに送信されます。と書いてあるので、利用情報は渡るようです。 これは匿名加工情報制度によるものなので違法ではないです。 （気分的に嫌と感じる人は、ログアウトし
Java, MySQLをKotlin, PostgreSQLに移行した - k0kubun's blog
7年前にGitHub Rankingというサービスを作り、APIを叩きすぎてGitHubからの風当たりが強くなって*1からはデータの更新を止めていたが、KubernetesやGraphQLの時みたいに技術を試す砂場用に惰性で動かし続けていた。 Issueの機能要望対応が段々面倒になってきて、サーバー代節約のために潰すかと考えていたのだけど、毎日1000PVくらいあるので試しにGoogle Adsenseを設置してみたところ1日平均 $1 くらいは入ってて黒字になりそうだったので、ちょっとメンテしやすくしてデータの更新再開するかー、ということで今回いろいろ綺麗にした。 DB: MySQL → PostgreSQL なぜPostgreSQLにしたのか 個人的には多くの用途ではMySQLとPostgreSQLどっちでもいいと思っているんだけど、今所属してるチームがメンテしてるサービスのDBの多く
【書評】「仕事ではじめる機械学習」を読んで、機械学習プロジェクトの大変さを知った夏 | DevelopersIO
どうも。DI部@大阪オフィスの玉井です。 仕事ではじめる機械学習という本を読んだので、久しぶりに書籍エントリを投下します。この本はとってもとってもとってもとってもとってもとっても大スキよ ダーリン I like you. ダーリン素晴らしいので、ぜひこの気持ちをみなさんに伝えたいと思いました。 この本を読もうと思った理由 今後、機械学習を扱う製品やサービスが増えてくるのではないか、と思ったから 現在、私は製品サポートエンジニアとして、データ分析に関係する製品やサービス（Tableauとか）のサポートや導入を行っています。機械学習は触れたことは一切ありません。また（少なくとも現時点では）機械学習エンジニアに転向する予定もありません。 ところで、データ分析関係の製品やサービスっていうのは、それはもうすごい勢いで色々なものがリリースされています。弊社ではTableauやAlteryxといった製品
整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次 株式会社10X 株式会社ビットキー 株式会社エブリー 株式会社Luup Sansan株式会社 株式会社ZOZO 株式会社10X 事業内容 10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫で
こんにちは、hsbt です。先日、Podcast を収録した際に紹介した PS5 のウィッチャー3がまだ終わらずに引き続き時間を費やしています。いつになったら終わるのでしょう。 今日は前回の Ruby フルタイムコミッタになってからやったこと、の定期シリーズということで 2022年12月にフルタイムコミッタとして行った仕事の一部をご紹介します。 ソフトウェア開発におけるアーカイブの重要性 Ruby に限らずソフトウェア開発において、コードの Why と Why not を把握できる状況を維持することは、自分だけではなくソフトウェアに関わるチームメンバー全員にとって、継続的な開発を行うための重要な取り組みです。 コードには How テストコードには What コミットログには Why コードコメントには Why not を書こうという話をした— Takuto Wada (@t_wada) 2
はじめに 著名な Rubyist にインタビューを行う企画「Rubyist Hotlinks」。第 38 回となる今回は、国分崇志さん。 では、お楽しみください。 インタビュー 聞き手 卜部さん (@shyouhei) 語り手 国分崇志さん (記事中「国分」) 野次馬 遠藤さん、村田さん、柴田さん、sorahさん 日にち 2019 年 9 月 某日 写真提供 村田さん、柴田さん 目次 はじめに インタビュー 目次 プロフィール 代表作 プログラミング経験 Rubyについて 興味ある言語 大学入学後のお話 就職 トレジャーデータ入社 今後の話 普段の生活 普段使っている計算機 将来の夢 村田さんとの関係 次のインタビュイー 若手の読者に一言 プロフィール 卜部 じゃあ録音をします。 柴田 始まり。 卜部 じゃあ、お願いします。 国分 よろしくお願いします。 柴田 おはようございます。 卜部
2018年7月2日、Firebase Japan User Groupが主催するイベント「Firebase Meetup #4」が開催されました。2011年に登場し、その後Googleが買収たことでクラウドプラットフォームの一員となったFirebase。その知見を共有するため、Firebaseをサービスに用いるエンジニアたちが一堂に会して、プレゼンテーションを行いました。「Firebaseを活用したPush通知基盤構築のよもやま話」では、danno氏が登壇この講演はcrash.academyでもご視聴いただけます。講演資料はこちら Firebaseを活用したPush通知基盤構築 danno氏（以下、danno）：こんにちは。テレビ東京コミュニケーションズのdannoと申します。 いつもFirebase User Groupには参加させていただいてて、フィードバックしないとなというところで、
明治大学 情報科学科 特別講義 コードの寿命・データの寿命・互換性の寿命 三廻部 大 @ Treasure Data, 2023-06-02
データサイエンティストが開発したプログラミング不要の分析ツールnehanでSalesforce 商談データの勝率を予測してみた - CData Software Blog
はじめに CData Japan技術ディレクターの桑島です。本記事では、nehanにSalesforce Sales Cloudの商談データを取り込み、各商談の勝率を予測する方法をご紹介します。 本記事の構成は以下の通りです。 はじめに nehan とは 前提 手順 CData Sync 概要 CData Sync製品のインストール ライセンスのアクティベーション Salesforce へのコネクションを作成 PostgreSQL へのコネクションを作成 ジョブの作成 ジョブの実行 PostgreSQLに同期した商談（Opportunity）データを確認 nehan 概要 SQLビルダーを利用したデータソースの作成 予測モデルを作成 モデルで予測値を算出 まとめ nehan とは nehanは、データサイエンティストが開発したプログラミング不要の分析ツールです。データの前処理から予測モデル
アジア最大級の国際Scalaカンファレンスである「ScalaMatsuri2020」がオンラインで開催されました。そこでTreasure DataのTaro L. Saito 氏がScalaに関するいろいろなテクノロジーを紹介しました。2つ目は、Scalaで直接通信する方法について。前回の記事はこちら。 Scalaは実はRPCを実装するのに適した言語 Taro L. Saito氏：もともと何をしたかったかというと、「Scalaでクライアントもサーバーも実装できるんだったら、Scalaでそのまま通信できないのか？」というところが出発点になって、今新しいフレームワークを整えているところです。 ScalaはFunctional（関数型）で、かつstatically typed（静的型付き）、というobject orientedな言語になっているのがいいところです。 これよく考えてみると、Scal
アジア最大級の国際Scalaカンファレンスである「ScalaMatsuri2020」がオンラインで開催されました。そこでTreasure DataのTaro L. Saito 氏がScalaに関するいろいろなテクノロジーを紹介しました。まずは、バックエンドとフロントエンドの両方で使えるScalaについて。 趣味はオープンソースのプロジェクトを作ること Taro L. Saito氏：「Scala For Everything」というタイトルで発表します。簡単な自己紹介を。Treasure DataのSaitoといいます。Principal Software Engineerをしていて、今、カリフォルニア、アメリカの西海岸から発表しています。タイムゾーンの都合上、今こちらは夜の20時なんですけれども、ScalaMatsuriの運営の麻植さんが、タイムゾーンに配慮してくださったので、非常に感謝し
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本人CTOがシリコンバレーで25歳で起業し、660億円で買収されるまでの道のり
2019年のDevOps/MLOpsエンジニアの標準的スキルセット - Qiita
Treasure Data を退職しました - k0kubun's blog
Qiita はなぜここまで退会炎上したのか？｜横江 as a なんとか
CCC、Tポイントデータをオープン化 - 7000万人の会員データが利用可能に
リモートでアメリカの大学院に通い始めた - k0kubun's blog
41歳のエンジニア、マネージャーからICへのキャリアチェンジ | おそらくはそれさえも平凡な日々
オプトアウト方法及び法令遵守について - Treasure Data
MonotaROのデータ基盤10年史（前編） - MonotaRO Tech Blog
退職します2021 - たごもりすメモ
Treasure Dataを退職します - かみぽわーる
競技プログラミング、ソフトウェア・エンジニア、コミュニティ
ビジネスとオープンソースの狭間で 〜 Embulk の場合 (前編)
サンフランシスコに移住して、新しいサービスを開発しています！｜小川楓太
ZOZOTOWNを支えるリアルタイムデータ連携基盤 - ZOZO TECH BLOG
2022年にやったこと - k0kubun's blog
セルフホストで学ぶJVM入門 - k0kubun's blog
零細企業のしょぼいDX｜零細企業経営者ナカムラ
カナダで転職して、プロダクトマネージャーからソフトウェアエンジニアに戻った。
日本人起業家が大型M&A後に描く次のビジョン「今35歳。あと2、3周は何かにチャレンジしたい」
プログラミング言語 Ruby30 周年記念イベント レポート
リバースETLはデータパイプラインの何を変えるのか - satoshihirose.log
データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
Ruby フルタイムコミッタの仕事報告 2022年12月 - ANDPAD Tech Blog
Rubyist Hotlinks 【第 38 回】国分崇志 さん
Firebaseを活用したPUSH通知基盤構築
コードの寿命・データの寿命・互換性の寿命 - 明治大学 情報科学科 特別講義 2023-06-02
REST・Protocol Bufferは必要ない RPCフレームワークにそのまま使えるScalaの魅力
Scalaはバックエンドでもフロントエンドでも動く Treasure Dataのエンジニアが語るScalaの応用力の高さ