AWS Transit Gateway とは? 構成検討 構成変更手順 事前作業 使用する TGW を作成する TGW に接続する VPN と VPC をアタッチする AWS VPC に TGW を参照する Route Table を作成する 当日作業 AWS VPN を TGW の Route Table にプロパゲートする VPC を TGW の Route Table にプロパゲートする VPC の Route Table に TGW 向けの経路を設定する AWS Classic VPN の VPN トンネルを落とす AWS Transit Gateway で知っていると良いこと AWS Transit Gateway をクロスアカウントで使う時に気をつけるポイント AWS Transit Gateway における Attach / Propagate / Associate という

こんにちは、入社 3 年目の SRE の id:kizkoh です。 今年から別のチームに異動になったのですが、以前は Mackerel チームで仕事をしていました。 このエントリでご紹介するのは私が以前担当していた Mackerel での Kubernetes(k8s) クラスタ利用の取組みになります。 はじめに 入社してから約 2 年間 Mackerel チームでサービス運用開発の仕事をしていました。直近のトピックでは 2 月に公開された Mackerel コンテナエージェントの開発、検証のお手伝いとして k8s クラスタでの検証や Mackerel のシステムのコンテナ運用として k8s クラスタ基盤の設計構築に取り組んでいました。 昨年 2018 年は国内で Japan Container Days (今年からは CloudNative Days です)が開催され k8s のトピッ

リクルートコミュニケーションズ（RCO）×はてな座談会を過去4回実施してきました。第5弾となる今回は、リクルートコミュニケーションズが最近整備したデータ分析プラットフォーム「Crois」（クロイス）をめぐる取り組みに注目します。専門領域が異なるエンジニアや、エンジニアではないがデータ分析に取り組むスタッフなど、さまざまな人々を「結び付けたい」という思いが込められているそうです。 開発チームの思い、作り上げていくプロダクトへの期待を聞く中から、ビジネスと開発が一体となった同社組織の特徴も見えてきました。構成はITジャーナリスト星暁雄です。 座談会出席者（写真左より）リクルートコミュニケーションズ宮井康宏さん、保坂桂佑さん、阿部直之さん、はてな峰村聡、伊奈林太郎 ※この記事は、株式会社リクルートコミュニケーションズ提供によるPR記事です。記事の最後にはプレゼントのお知らせもあります。 ■ 料理

こんにちは。Mackerelチームディレクターの id:daiksy です。 ミートアップなどのイベントで開発中である旨をお知らせしていました、機械学習を用いたMackerelの新機能「ロール内異常検知」β版の提供を開始しました。 mackerel.io 異常検知は、これまでの閾値を設定する監視とはすこし考え方が異なります。ここでは、異常検知とはどういうものなのか、どのように使えばいいのかを見ていこうと思います。 ロール内異常検知とは 「ロール内異常検知」とは、機械学習により、Mackerelで設定されたロール内にあるホストに対して、特別な監視項目を設定することなくサーバーの異常を検知する機能です。 これまでのサーバー監視では、監視ルールを的確に設定するために、深い経験やノウハウが必要でした。CPUが高負荷な時にアラートを出したい、と思ったとしても、そもそも高負荷とはCPUの使用率が何%の

平素よりはてなブックマークをご利用いただきありがとうございます。 はてなブックマークでは現在、システム全体の抜本的なリニューアルに向けた開発を進めております。 その一環として、これまで同一ページでURLが複数存在する（例：httpとhttpsの混在、異なるパラメーターを複数持ったページなど）場合にブックマーク数やコメント一覧ページがそれぞれに分散していた仕様を、同一ページへのブックマークとして統合されるよう変更いたします。 これまでは、以下のようにブックマークしたURLによって、同じコンテンツであったとしてもコメント一覧ページが分散することがありました。 コメント一覧ページA (ユーザー1) http://example.com/ コメント一覧ページB (ユーザー2) http://example.com/?page=2 これは、一つのエントリーとしてのURLだけでなく、ユーザー様ご自身が

アプリケーションエンジニアの id:alpicola です。 このエントリは、はてなエンジニアアドベントカレンダー2018の24日目の記事です。昨日は id:miki_bene のIntelliJを使ってPerlアプリケーションの開発をするでした。 背景 横断検索のアーキテクチャ 閲覧可能範囲の実装 検索精度を高める工夫 形態素解析器Sudachiの使用 N-gramインデックスの併用 おわりに 背景 はてなでは業務の中で得た知見や考えたことなどを書き残し、社内外でどんどん共有していくオープンな文化があります。こうやって発信された情報はエンジニア同士で相互によいインプットになってきました。一方で、情報がそれを必要としている人に必ずしもアクセスしやすくないという課題も抱えています。 発信される情報の量が多く、少し時間が経った情報はすぐ流れてしまう 社内でグループウェア、GitHub Ente

Webアプリケーションエンジニアの id:tanishiking24 です。 今年で11年目となるはてなサマーインターンを2018/08/13 〜 2018/09/07という日程で開催しました。 developer.hatenastaff.com はてなサマーインターンの期間は前半と後半に分かれています。前半課程でははてなのサービス開発・運用に必要な技術を習得するための講義パート、後半課程では実際にサービスやシステム開発チームに参加していただいています。 はてなサマーインターンの講義パートで使用している「はてな教科書」はGitHubで公開しておりますが、今年のインターンで利用した講義資料を新たに公開しました。 今年のサマーインターンではカリキュラムを一新し、前半課程で利用するプログラミング言語にはGo言語を採用し、また進化するWeb技術に対応するためにデータベース基礎、インフラ、Webの基

最近、仕事のちゃんとした登壇が多かったので、趣味でやっているWebサービスにおける機械学習関連の工夫について発表してきました。基本的に昔ブログで紹介したエントリのまとめバージョンです。 趣味の余暇時間で開発しているサービスなので、いかに手間をかけずに済むかというのが大事です。テーマは怠惰!! 機械学習を使った趣味サービスにおける工夫紹介 from syou6162 効率的なアノテーション方法 精度の継続的なモニタリング 多様性を持たせた簡単な推薦方法 パイプラインジャングルと戦う 効率的なアノテーション方法 機械学習、データ数が多くないとなかなか精度が出ないですが、教師データをたくさん作るのも手間がかかります。そこで能動学習を使って効率的にアノテーションしていくツールを作ったので、それの紹介をしました。 精度の継続的なモニタリング 機械学習のコードでは、テストは通ってたけど実は本番では精度

株式会社ハカルスの染田さん(Machine Learning Meetup KANSAI繋がり)からご紹介頂きまして、タイトルの内容で登壇してきました。 今日から始める機械学習〜はてなの事例〜 from syou6162 A-3セッション『今日から始める機械学習～はてなの事例～』吉田 康久さん（はてな）です！ #devsumi #devsumiA pic.twitter.com/Dhej1tIkhV— Developers Summit (@devsumi) 2018年9月28日 登壇に当たって考えたこと 「機械学習を始めたいけど、まだちょっとハードルが高くて踏み出せていない」という方が「機械学習やってみよう!」と思える内容の依頼(大分意訳してるけど)をもらっていました。このテーマ、結構話し方が難しいなと思っていました。というのも、最近の登壇では「機械学習のサービス運用や組織運用、結構大変

こんにちは、アプリケーションエンジニアのid:syou6162です。9/28(金)に神戸国際会議場にてDevelopers Summit 2018 KANSAIが開催されました。はてなからは2名のエンジニアが登壇しましたので、発表の様子をお伝えします。 Mackerelの200週連続リリースの舞台裏とこれから id:daiksyがMackerelで先日達成した、200週連続リリースの舞台裏と、その後についてお話しました。 mackerel.io 概要 Mackerelの連続リリースは、先日200週という大きな節目を迎えました。 機能開発には、1、2日でできる小粒なものから、数ヶ月かけて開発が必要な大きな機能があります。日々の運用でミドルウェアのバージョンアップなどの目に見えない仕事も無限にあります。そういったタスクを並行で走らせながら、毎週新機能リリースを維持するには様々な工夫が必要です。

はじめに はてなサマーインターン2018の大規模システム開発コースの成果報告をします。 今年は、メンターのid:cohalzさん、id:wtatsuruさんの下、実際に使われているサービスをAmazon ECS(Elastic Container Service)にデプロイする基盤を構築しました。 コンテナでサービスを本番運用するために、AutoScaleの検証や、デプロイ時間の計測、改善策の検証を行いました。また、開発、デプロイフローを楽にするために、AWS CodeBuild、CodePipelineを使ってCI/CDの構築も行いました。これにより、PullRequestごとにCIが走り、masterにマージされたら自動でECSにデプロイすることができるようになります。高速なデプロイ切り替えを行うために、Blue-Green Deploymentの検討も行いました。 他にも、Micro

2019/07/26 追記 2019年7月26日、はてなダイアリーからはてなブログへの自動移行が完了し、はてなダイアリーでの記事の公開が終了いたしました。詳しくは下記の告知をご参照ください。 diary.hatenastaff.com 本文 株式会社はてな サービス・システム開発本部長の大西（id:onishi）です。平素ははてなダイアリーをご利用いただき、誠にありがとうございます。 はてなでは現在、「はてなダイアリー」と「はてなブログ」という2つのブログサービスを提供しておりますが、はてなダイアリーを2019年春をめどに終了し、はてなブログに統合いたします。 はてなダイアリーユーザーの皆さまには、さまざまな機能が進化し、より安全・便利にご利用いただけるはてなブログへの移行を、ぜひお願いしたいと思います。 私は、エンジニアとして「はてなダイアリー」の開発に携わり、ディレクターとして「はてな

こんにちは。ウェブアプリケーションエンジニアのid:syou6162です。はてな社内では機械学習や自然言語処理に関する論文読み会を定期的に行なっています。 社内で国際会議論文読み会を開催しました - Hatena Developer Blog 社内でNLP2017 & DEIM2017読み会を開催しました - Hatena Developer Blog これまでは最新の話題を追うという意図でその年に出た論文を読んでいましたが、今回は趣向を変えて「最新の論文に限定せず、業界内でディファクト/ベースラインとして使われる手法/論文/ツールを紹介しよう」というテーマで開催しました。このエントリでは、読み会で紹介された論文を簡単にレポートしていきたいと思います。 A contextual-bandit approach to personalized news article recommendat

私信ですが今日、最終出社日なのでご連絡します。 以下の通りです。 From: はてな CRE To: オミカレ 副社長/CTO 関係各位に感謝を申し上げます。 ありがとうございました。 以上です。 よろしくお願いします。 なぜ はてな を辞めるのか まぁ１年ちょっとで出戻りなんでネガティブに見えがちなんだけどHatenaって会社にネガティブな感情は全然無くて感謝の気持ちでいっぱいです。 じゃあそれに勝るくらいオミカレが魅力的だったか？というとそれも違って、エンジニアとしてみて、プレイヤーとしてみて、Hatenaの方が魅力的だし、そもそも国内でも有数の優良企業です。 むしろオミカレはスタートアップだし課題が多い会社です。 僕はオミカレ起業当初のスターティングメンバー（CTO）なのである程度内情を知っている上で比較しても多くの人はHatenaを選ぶと思います。 それでも僕がオミカレを選んだのは

試したいから、作る。ghq、goreの作者motemenの開発は「自分本位」で駆動する 次々とOSSを送り出す株式会社はてなのCTO、大坪弘尚さん。連続開発を支える、発想の源、そしてモチベーションをご本人に伺いました。 エンジニアにとっての強みとは何でしょうか。その答えはさまざまですが、「プロダクトを完成させるスピード」という要素は、“強み”の一つの指標と考えていいでしょう。 「エンジニアの会社」として見られることの多い株式会社はてなの中でも特に「作るスピードが早い」と一目置かれる人物がいます。CTOの大坪弘尚（おおつぼ・ひろなお／ @motemen ）さんです。 大坪さんはghqというツールを20代で公開し、コミュニティから高い評価を受けました。それにとどまらず、GoにおけるREPLを実現するツール、goreも続けてリリースし、GitHubで2000以上のスターを獲得しています。常にオー

LINE福岡で行なわれたHacker Tackleにて登壇してきました。 発表内容は(1)機械学習を使ったサービス開発の難しい点について整理し(2)その難しさを乗り越えていくためにはてながどのような取り組みを行なっているかについてでした。一口に機械学習を使ったサービス開発といっても、古典的な問題設定でどうやればいいか比較的クリアに見えているものと、R&D要素が強くどう取り組んでよいか分からないものではよい取り組み方も異なってきます。そこで、今回の発表では古典的な問題設定(テキスト分類)であるBrandSafe はてなのリニューアル、R&D要素の強いMackerelの異常検知、それぞれに対し技術的/組織的にどのような取り組みを行なったかについて話させてもらいました。 はてなにおける機械学習の取り組み from syou6162 登壇時間は30分で割と話すことも多かったので、当初話す予定だった

こんにちは、アプリケーションエンジニアのid:syou6162です。2018年になってしまいましたが、2017年のはてなにおける機械学習の取り組みについて振り返ってみたいと思います。 機械学習サブ会とは リソース/ツール整備 定例会 プロジェクトの近況を共有、より専門的な困り事を相談 技術共有/雑談 論文読み会/専門書の輪講会 社内で機械学習ハッカソンの開催 おわりに 機械学習サブ会とは はてなではより専門的な内容に関するエンジニアの小集団として、サブ会という制度が昨年から開始されています。昨年までは個人的に機械学習勉強会をランチタイムに運営していましたが、社内で正式にサブ会として認定されたことにより、業務時間内に活動しやすくなりました。このエントリではサブ会発足からの約八ヶ月の活動を振り返りってみたいと思います。 簡単に背景について説明しておきます。はてなは現在のところ、研究開発専門の部

こんにちは、アプリケーションエンジニアの id:alpicola です。先日社内で機械学習を題材としたハッカソンを開催しました。サービスに蓄積されたデータを使って、何か面白いことができないか気軽に試してみる場を設けるのが開催の趣旨です。このハッカソンの成果をいくつか紹介します。 この記事ははてなエンジニアAdvent Calendar 2017の24日目の記事です。昨日は id:wtatsuru さんによる「エンジニア新人研修で障害対応を行いました 」でした。明日は id:motemen さんです。 id:Windymelt 「おすすめブログのレコメンド」 はてなブログにはブログの購読機能があるのですが、ユーザーの購読情報を元にブログのレコメンドを行なっていて、いい度合いに動いてそうでした。協調フィルタリングという手法を使っていて、どんなブログを購読しているかによってユーザーの類似度を計算

はてなエンジニア Advent Calendar 2017 - Qiitaの17日目の記事になります。前回はid:dekokunによる Alexa(echo) スキル用AWS Lambda functionをAWS SAMを使ってバババッと立ち上げる - でこてっくろぐ ねおでした。 GitHub - masayoshi634/libipvsgoを元にGeneric NetLinkとIPVSを解説しようと思いましたが、気がついたら当日になっていたので、本日ははてなサマーインターン2017でメンターをしたときの話をしようと思います。 developer.hatenastaff.com はてなサマーインターン2017では前半の講義パートと後半の実践パートがありました。 私は前半の講義パートのインフラ講義と後半の実践パートの大規模システムコースのメンターを担当しました。 講義の資料作成や大規模シ