Tl;dr: only use Kubernetes Operators At Bluecore, we have been investing in Airflow as our primary workflow management tool. After a few months of work and promoting the platform internally, we found that we still had low adoption across the team. Overall, engineers reported that the cost of moving workflows to Airflow was too high. Not only did they have to learn about Airflow, develop their DAGs

Gopher artwork is taken from gophericons. Created by Olga Shalakhina, based on original work by Renée French. Licensed under Creative Commons 3.0 Attributions.この記事は、 Go Advent Calendar 2016 の 15 日目の記事です。 みなさんは、JSON-RPC を使ったことがありますか？ この記事では、 Go で JSON-RPC を使用する方法をレクチャーしたいと思います。（※ この記事は、 golang.tokyo #2 での LT 内容をベースに加筆修正を加えたものになります。） JSON-RPC とは概要JSON-RPC は、 JSON を媒体とした Remote Procedure Call です。 そのた

こんにちは！ Pairsの検索アルゴリズムの新規開発・改修を担当している小島です。 この記事は eureka Advent Calendar 6日目の記事です。 5日目は癒し系エンジニア鉄本さんの 「社内ツールを駆使してExcelへのレポートを自動化した話」でした。 今年に入ってからElasticsearchについてしかブログを書いていません。 もちろん今回もElasticsearchについて書きます。 前回はElastic Stack 5.0 のセットアップについて書きましたが、今回は初心に戻り、検索クエリの使い方についてお話します。 【応用編】Elasticsearchの検索クエリを使いこなそう 環境Elasticsearch version 5.0 ローカル環境のポート9200番で実行 準備まずは検索を試すためのデータを用意します。 僕は以下のelastic公式が出しているレポジトリ

Elasticsearch におけるマッピングとは、リレーショナルDBでいうところのテーブル定義に相当します。しかし、単にデータを格納する為のフィールドを用意して型を設定するだけではありません。Elasticsearch では、フィールドの型の他に言語解析処理などのドキュメントを検索可能にする為の各種設定が可能です。 スキーマーレスが一つの特徴の Elasticsearch では、ドキュメントをインデックスすると自動的に各フィールド毎にフィールドタイプなどのマッピングが自動で設定されインデックスが作成されます。また、事前にマッピングを設定可能な仕組みとなっています。 自動マッピングまずは以下の内容で、インデックスを作成し自動マッピングについて見て行きます。 ブログ記事毎に１つのドキュメントをインデックス各ドキュメントはドキュメントタイプ story にインデックスドキュメントタイプ sto

Detecting emotions, sentiments & sarcasm is a critical element of our natural language understanding pipeline at HuggingFace 🤗. Recently, we have switched to an integrated system based on a NLP model from the MIT Media Lab. Update: We’ve open sourced it! Repo on GitHub The model was initially designed in TensorFlow/Theano/Keras, and we ported it to pyTorch. Compared to Keras, pyTorch gives us mor

どれだけの日本人がH-1Bを申請しているか、気になりません? H-1Bビザを牛耳ってる U.S. Citizenship and Immigration Services (通称USCIS)、肝心なところは教えてくれないものの、わりかし数字を出してます。 たとえば Immigration and Citizenship Data。国籍別のH-1B申請数があるので、先ほどの疑問を解消できます。 うーん、なんか、1位と2桁違いますね。人口比からすると(1.324 billion vs 127 million)、10倍くらいで済みそうなものですが。2位とは32倍、これも人口比と差がある(1.379 billion vs 127 million)。 と、ありがちなMedium記事ならば、ここあたりで日本の将来を憂いながら、いかにして他の国に負けていくか解説するところですが、あいにく、そういうキャラ

「アメリカ就職に失敗したはなし」で盛り上がっているアメリカ就労ビザ話。学歴がないとダメとか、修士以上がイイとか、いろんな意見が出てますが、ここらではっきりさせときます。 Demystifying U.S. Visa! H-1Bまずは、アメリカ就労ビザの花形「H-1Bビザ」。 ざっくり言うと以下のとおり。 企業にスポンサーになってもらう必要がある条件がある毎年4月から申請開始、10月から働ける申請者が多すぎるので抽選になる転職できるH-1Bの条件ソフトウェアエンジニアとしてH-1Bを申請してもらいましょう。条件を満たしているかどうか、次のフローチャートで確認できます。 見てのとおり、学歴は必須条件ではありません。 実際には、移民弁護士と膝を突き合わせて、成績表を眺めながら、コンピュータ・サイエンスの単位として使えるものをピックアップしていく作業が必要ですが、大雑把な傾向としては次のとおり。

It’s hard for a startup to choose the right language for development. One of the biggest fight in development is between Node.JS and Ruby on Rails. So, who is the winner in this fight? The King is dead, long live The King!If you asked this question 5 years ago, it would be definitely Ruby, but time is changing and we have a new leader. Let’s have a look at Google trends: During the last 4 years, N

Deciding on a JavaScript framework for your web application can be overwhelming. Angular and React are very popular these days, and there is an upstart which has been getting a lot of traction lately: VueJS. What’s more, these are just a few of the new kids on the block. Javascripts in 2017 — things aren’t easy these days!So, how are we supposed to decide? A pros-and-cons list never hurts. We’ll d

FINAL EDIT — weeks after this article was published, Facebook changed their licensing model for React et al. to MIT. Open source activism works! [EDIT — My argument is a cautionary one, I’ve made some edits in that direction. I am not a lawyer, but I argue that — as a startup — if I’d want to keep my doors open to any future outcome, offer, exit, proposal, FB’s OSS licenses may pose an obstacle un

What they are, how they work, and why they are the way they are

四月末に、ギリシャのロードス島にて行われたNext Stage World Gatheringという国際会議（というよりワークショップ）に参加してきました。 これは、知る人ぞ知るビジョナリーな思想書とも言えるReinventing Organizationという本に書かれている、LinuxやTEDのような、組織の使命に共感した人々が地理を超えてゆるく繋がり、自律分散型で組織を運営していくTeal型組織の実現を実践する人々が知見を交換し合う場でした。 Tealという組織は、まだ日本では（多分世界でも）新しい組織の考え方ですが、自律分散型の組織作りとしてザッポスが導入するホラクラシーなどの仕組みがその一つの実践例として知られています。 biotopeは、チームや会社などの組織が、自分たちが持つ創造性を最大限に発揮し、具体化し続ける環境づくりやプロセスの支援を行なうことで、自律的で持続可能な組織

ここ4年、育成に関わらせてもらって過ごしてきたのですが、久々に育成する人がいない4月を迎えるので、新卒デザイナーを育成する際に気をつけていたことを、この機会に振り返ってみようと思います。 自分のことはどうにかなってきた20代中盤、「デザイナー育ててね」と突然言われても何から始めればいいのかもよく分からないし、どうやってアドバイスしたらいいかも分からなかった当時、デザイナーの育成に関する記事があまりに少ない印象だったので、同じような境遇の人の役に立てば嬉しいです。 本人が課題を感じて初めて成長する突然ですが、他人に言われた時よりも自分で課題を認識できた方時の方が腹落ちしませんか？ どれだけ教える側（メンター）が一方的に課題感を感じていたとしても、一方通行では意味がなくて、逆に本人と課題感を共有できると、認識してるゴールが明確になるので、お互いに成長実感を得やすいです。 どうやって課題を共有す

最近、つくづく自分って何もできないやつだなーと思うことの多い、勘違いアソシエイトです。前回のエントリが長すぎるともれなく大不評でしたので、今回は短めに（てかやっぱ項目の解説は書いてても楽だわ）。 ①ボール業務とそれに伴う責任のこと。例えば、「今度のイベントのコンテンツって誰がボールもってるんでしたっけ？」という問いかけがあった時、答えが「若手です」の場合は、絶賛内容作成中です（そして大体手こずってるw）。「〇〇部長です」の場合は、出来上がったコンテンツでやるのか審理中です（そして大体忘れられてるw）。サッカーと同じで、球離れの悪い人は嫌われる傾向にあります。バルサみたくポンポン繋いでやりましょう。 ②フィージビリティー実現可能性のこと。良いアイデアが思い浮かんで意気込んで提案すると、「それってフィージビリティー低くない？」と突き返されます。アイデア自体は面白いんだけど人手が圧倒的に足りない