Ingress の進化版 Gateway API を解説する Part 1 (シングルクラスタ編)
2022 年 4 月 27 日 追記: 2022 年 3 月末に GKE で Gateway API の v1alpha2 が利用可能になりました。それに伴い本記事の内容も v1alpha2 を前提としたものに更新しています。 重要 2022 年 4 月 27 日時点の既知の問題として、元々 v1alpha1 CRDsをインストールし利用していたクラスタに v1alpha2 CRDs をインストールした場合、新規設定が可能になるまで最大 1 週間程度が掛かる場合があります。元々 v1alpha1 を使っていたクラスタとは別のクラスタを用意して v1alpha2 を試して頂くことを推奨します。 Kubernetes / GKE ファンの皆様、こんにちは。Google Cloud の Kazuu (かずー) です。 さて、2021 年に一番話題に挙がった GKE のアップデートと言えば、GKE
Lucene 8 の Top-k クエリプロセッシング最適化(1) 導入編 | by mocobeta | Medium
7.0 が出たのも最近な気がしますが，もうすぐ Lucene/Solr 8.0 がリリースされる様子です（いま RC 版の VOTE 中）。またそれにつづいて，Elasticsearch 7.0 もGAがリリースされるはずです。 Lucene 部分の一番の目玉が， Top-k クエリプロセッシングの最適化（＝まだ速くなる…らしい！）ということで，少し詳しく調べてみました。ざっくり概要，アルゴリズム，実装，後方互換性の順でみていきたいと思いますが，長くなるため何回かに分けて紹介します。 なお，ショートバージョンでまとめたものを Search Engineering Tech Talk #1 で発表予定です。当日だいぶ駆け足にはなるかもしれません。。。 ==== 追記 (2019/2/28) ==== 当日の発表資料です。聴講いただいた方ありがとうございました。途中，やっぱり時間が足りず説明が
Docker v18.09 新機能 (イメージビルド&セキュリティ) – nttlabs – Medium
NTTの須田です．Moby (≒Docker)，BuildKit，containerdなど，コンテナ関連のオープンソースソフトウェアのメンテナ (開発委員．コミッタとも．)を務めています． 本記事では，2018年11月8日にリリースされたDocker 18.09の新機能を紹介します． BuildKitの正式統合Dockerfileからコンテナイメージをビルドする機能である，docker build の新しいバックエンドとして，BuildKitがDocker 18.06より実験的に採用されていましたが，Docker 18.09にて，正式な機能に格上げされました． BuildKitは，須田が2017年4月に提案した docker build並列化のpull requestを契機として，Docker社 Tõnis Tiigi氏の主導により，Moby傘下のオープンソースプロジェクトとして同年夏に発
Elasticsearch キーワードサジェスト日本語のための設計
Google に代表される「キーワードサジェスト」機能を Elasticsearch を前提に日本語向けに設計。 よくある要件サイト内で過去に検索された有効なキーワードをサジェストしたい。入力されたテキストに関連性が高く、過去に検索された回数の多い順でサジェストしたい。最初に入力された言葉の後に空白を入力すると、最初の言葉と一緒に検索される複合語の候補サジェストしたい比較的シンプルな要件のように見えますが。。日本語を対象にしたサジェスト機能を実装する場合、入力途中の日本語のテキスト受けながら、ひらがな、カタカナ（半角・全角）、漢字、ローマ字（大文字・小文字・全角・半角）のコンビネーションを合わせて、関連性の高い言葉を素早くユーザーに提案しなければなりません。以外と難しいのです。。 Elasticsearch にも Completion Suggester と言うサジェスト向けの機能があるの
退職します
現在の自分の肩書である「セールスエンジニア」という仕事がどのようなものか知らない方も多く、毎回説明するのが大変なのでブログ記事にしました。セールスエンジニアという仕事はなかなか馴染みがありませんが、20代後半から30代のITエンジニアの… ただ、Clouderaのセールスエンジニアのロールは継続的に使っていただくために割となんでもするという感じで裁量も大きく、Field Data Scientistという風に名乗らせていただいて、Spark周りのBig Dataの話とデータ活用の話、それから機械学習の話を幅広くさせていただきました。 おかげさまで、国内外での発表も色々とさせていただきましたが、USのエンジニアブログにも5本ほど執筆させてもらい、Strata Data Conference Singapore 2017での発表や、自社の全エンジニアが集まる社内テックサミットでの発表などかなり
BigQuery に関する１２の誤解の真相を明らかにする
この記事は Busting 12 myths about BigQuery の著者の許可を得た上で @yutah_3 が日本語訳、補足したものです。個人的に気になった話等を含めて “訳者注” を入れながら翻訳します。 割と最近、 Forrester Research のレポート The Forrester Wave™: Insight Platforms-As-A-Service, Q3 2017 では Google Cloud は Leader のポジションとして位置付けられました。 BigQuery がこの中で果たした功績は間違いなく大きいでしょう。 私達は日々、スタートアップから大企業のお客様に至るまで、多様な Google BigQuery をお使いのお客様と、お客様の分析やデータウェアハウスに関する課題を解決するために一緒に取り組んでいます。多くの場合、私達のお客様は BigQu
KubeCon2017感想: Kubernetes in 2018 – deeeet – Medium
先週12月6日から8日にかけてTexas Austinにて開催されたKubeCon + CloudNativeCon2017に参加してきた．具体的なセッションの内容などはMercariのTech blogに上がると思うのでここでは簡単に自分なりの感想と概観をざっくりと吐き出しておく． KubeCon 2017の3日間と今後のKubernetesの（大きな）展望は2日目のClayton Coleman氏によるKeynoteのWhat’s Next? Getting Excited about Kubernetes in 2018が総括をしていると思う．自分の今取り組んでること，今後取り組みたいこと，も結局これに集約されていると思う．この発表の中で今後，特に直近の2018年に，k8sでフォーカスが当てられると述べられていたのは以下の7つの分野である． The year of service m
オライリーから「仕事ではじめる機械学習」が出版されます
どういう本なの？まえがきのスクリーンショットを貼りましたが、この本は多くの機械学習の本とは異なり、機械学習の実務で使えるようになるために知りたい、機械学習を含めたシステムのアーキテクチャや機械学習プロジェクトの進め方、効果検証をどうするのかということをまとめました。 めざすところのイメージ既に多く刊行されているTensorFlowやChainerでディープラーニングをしてみようというものでもなければ、機械学習の理論をわかりやすく解説するといった類のものでもありません。ゼロから作るDeep LearningやCourseraのMachine Learningで学んだけど、実際の仕事に活かすにはどうしたら良いだろう？という疑問に答えているつもりです。また、大学の講義などで機械学習は学んだけど、実際仕事で機械学習のプロジェクトを進めるときはどうすればいいんだろう？という人にも得るものがあると思い
AWSで秘密定数を外部に公開せず環境変数として定義するためのGo製ツール、「ssm2env」作った
ssm2env - Environments injection tool for AWS EC2, with SSM (EC2 Parameter Store). 詳細環境ごとに異なる秘密情報をAPIに渡す際、その管理方法は、twelve-factor appにもある通りデプロイ対象のサーバー内部の環境変数として定義するべき。 ただ、自動化されたデプロイフローでは、どういった手順で秘密情報を渡せばいいか悩むことが多い。 自分が考えた範囲では、 1. AWSのSSMにTerraform経由*1でシークレットな変数を設定 2. APIのデプロイ時にSSMから特定prefixのついたパラメーターを取得 3. パラメーターを全て環境変数として読み込ませる 4. APIが起動する際に秘密情報を定数として環境変数から読み込む*1) 正確にはCircleCIの環境変数設定に事前に入れた状態で、Circ
5 simple tips and tricks for writing unit tests in #golang
Test-driven development is a great way to keep the quality of your code high, while protecting yourself from regression and proving to yourself and others that your code does what it is supposed to. Here are five tips and tricks that can improve your tests. 1. Put your tests in a different packageGo insists that files in the same folder belong to the same package, that is except for `_test.go` fil
Incrementsを退職します – r7kamura – Medium
IT エンジニアが退職するときに添えられることが多い東亜飯店の画像今月いっぱいで Increments 株式会社を退職します。今日が最終出社日で、残りは有給消化です。 Increments では何をやってたの？Increments と言えば Qiita を運営している会社というイメージですが、Qiita の開発に直接携わる機会はほとんどなくて、技術基盤や Qiita:Team の開発に携わったりしていました。 分かりやすい例を幾つか挙げると、Qiita API v2、トップページのフィード、通知購読、絵文字リアクション、タスクリスト、qiita-elasticsearch、qiita-markdown、アクセス権限付きグループ、サポートサイト、チーム統合機能の開発や、UI 刷新、絵文字画像セット移行、ログインセッション永続化、Docker 移行、VPC 移行、Terraform 導入、We
イケイケなベンチャー企業が「リモートワーク」導入失敗する３つの理由
私はもともと富士通っていう会社で働いてたんですが、そこには中国にいても北海道にいても違和感なく会議ができる仕組みがありました。（少なくとも私が所属していた部署の現場には） 会議スペースが絶対的に足りないという理由からMicrosoft Lyncが導入されて、それ以来は社員同士が（たとえ向かい合って座っているとしても）Lyncでスクリーンシェアしながら電話会議をするというのが習慣化していたのです。 ところが、2015年にとあるベンチャー企業に転職して、それが当たり前じゃないことに気づきます。 「リモートワークやろう」と意識高く言う人はイケイケベンチャーだとたくさんいます。しかし、ちゃんとやることもやらないまま「うまくいかない・・・」と結論付けられるさまを何度か目の当たりにしました。 この記事では、「ちゃんとやることやってからじゃない？」と違和感を覚えたところをなんとなく書きのこしておきます。
大学院で身についたスキルのうち、はてなでの仕事で役に立ったもの
※この記事は、はてなディレクターアドベントカレンダーの8日目です。昨日は広告・アドテク関連の開発ディレクター id:minemuracoffee の「ビバ！ディレクター！」でした。 私は現在、株式会社はてなでWebアプリケーションエンジニアとして働いています。はてなIDはid:yanbeです。2011年4月に入社したので、6年目です。最近はエンジニアとして主に広告・アドテク関連の仕事をすることが多いですが、過去にはディレクター職を拝命していたこともありました。その関係で、このアドベントカレンダーに参加しています。社内のグループウェアの人事異動のログによると、担当する領域が途中で変わったりしながらも、2013年の後半から2015年の前半ぐらいまではディレクターとして働いていたようです。 はてなのディレクターやディレクター経験者の中には、いろいろなバックグラウンドを持った者がいます。その中での
Mental Models I Find Repeatedly Useful
2019 UPDATE: Since this post came out, I co-authored a book about it called Super Thinking: The Big Book of Mental Models. Around 2003 I came across Charlie Munger’s 1995 speech, The Psychology of Human Misjudgment, which introduced me to how behavioral economics can be applied in business and investing. More profoundly, though, it opened my mind to the power of seeking out and applying mental mod
Senior Engineers Reduce Risk
If you read articles on career development in software, you’ll already know there are many things a senior engineer is not. They are not, for instance, just someone with ten years of experience. They are not just someone who maintains a popular open source project. They are not just someone who wrote the initial prototype for their company’s flagship product. Instead, senior engineers possess many
Amazon Redshift’s UDF
As you have probably heard, Amazon released User Defined Functions for Amazon Redshift and now you can write your own stored procedures in Python. I, myself, was looking forward to it. However, after having conducted a few tests, I have developed mixed feelings towards Amazon Redshift’s UDF feature. Let’s do some simple tests!In our data warehouse, we store client identifiers for every event in a
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Experimentation & Measurement for Search Engine Optimization
From word2vec to doc2vec: an approach driven by Chinese restaurant process
Google Design – Medium
GitHubを快適にブラウジングするための3種の神器
