Bootstrap、Hogan.js、Finagleなど注目のTwitter系オープンソース - ＠IT
Bootstrap、Hogan.js、Finagleなど 注目のTwitter系オープンソース Twitter Tokyo Open Houseまとめレポート 山本裕介 2012/5/15 「Twitter Open House」はTwitter社のエンジニアと直接情報交換ができるオフラインイベントで、すでにサンフランシスコの本社では何度か開催している。 先日、日本では初めてとなる「Twitter Tokyo Open House」がTwitter Japanのオフィスで開催された。季節外れの大型低気圧により天候は荒れ、開催すら危ぶまれたが、結果としては多くのエンジニアが集まり盛況なイベントとなった。 OpenJDKにも参加するTwitterのアーキテクチャ 最初に講演を行ったのはTwitterのアーキテクチャのディレクターであるロブ・ベンソン氏。なでしこジャパンや天空の城ラピュタを例に挙
Finagle, from Twitter
Finagle is an extensible RPC system for the JVM, used to construct high-concurrency servers. Finagle implements uniform client and server APIs for several protocols, and is designed for high performance and concurrency. Most of Finagle’s code is protocol agnostic, simplifying the implementation of new protocols. Finagle is written in Scala, but provides both Scala and Java idiomatic APIs. GitHub p
https://blog.twitter.com/2014/netty-at-twitter-with-finagle 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約4時間前 Twitterの一連のシステムは、バックエンドのユーザプロファイル / tweet / タイムラインから、HTTPリクエストを処理するフロントAPIのエンドポイントに至るまで、Finagle上で構築されてます。同社のエンジニアブログでその概要が紹介されています。 障害耐性があり特定のプロトコルに依存しないRPCフレームワーク for JVM Netty (NIOクライアントサーバフレームワーク) 上に構築。SOA (サービス指向アーキテクチャ)では上流サービスの待ち受けをしている時間が長いので、非同期処理ライブラリが効果的。 Twitt
この記事はScala Advent Calendar 2014の20日目です。 よろしくお願いします。 はじめに latencyが短く、かつ大規模アクセスにも耐えられるサーバー環境の構築が必要になる場合があります。 例えば、広告系のシステムだと入札/応札するようなサーバーでは100msとか50msとか以内にレスポンスを返さなければいけません。 このようなサーバーを書くために、Scalaではいくつか選択肢があるかと思います。 自分の会社では、その中でFinagleを使ってAdServerを書いています。 この記事ではFinagleの簡単な紹介と、Finagleがサーバーをどのように動かしているのかについて書きたいと思います。 Finagleは、Twitterが開発したOSSのRPCシステムです（御存知の通り）。こちらにもあるように、RPCライブラリそのものではありません。 裏側にはNetty
Scala Warrior and type-safe front-end development with Scala.jstakezoe
Finagle - 都会育ちのメッセージングフレームワーク - Backnumbers: Steps to Phantasien
Scala でもやるかとぶつやく同僚を見て, たしかに Scala したいかも...などと意思の弱い私は気をそそられ, しかし特に書くものも思いつかずなんとなくウェブをぶらぶらしていた. そういえば Heroku が Scala をサポートしたニュースを読んだっけと検索すると, たしかにアナウンスがあった. このアナウンスにあるサンプルコードは面白い. Lift でも Play でもなく, Twitter の RPC フレームワークである Finagle が使われている. Finagle でサンプルを書いた理由の一つは画面におさまる簡潔さ, あとは流行り物の目新しさだろうけれど, Heroku の勧める Polyglot Platform の ありかたを示す意味もある気がしなくもない. Polyglot Polyglot という言葉を最初に目にしたのは プロダクティブプログラマ だったと思
GitHub - twitter/finagle: A fault tolerant, protocol-agnostic RPC system
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Finagle
Finagle is an extensible RPC system for the JVM, used to construct high-concurrency servers. Finagle implements uniform client and server APIs for several protocols, and is designed for high performance and concurrency. Most of Finagle’s code is protocol agnostic, simplifying the implementation of new protocols. Finagle is written in Scala, but provides both Scala and Java idiomatic APIs. GitHub p
タイトルにfinagleを加えて第２回。 Scala勉強会(56回)に参加したら、@xuwei_k さんがcasbahのチュートリアルセッションをしてくれた。いやー、前回のブログは全く有益な情報はないのにもかかわらず、書いておいてよかった。アウトプット重要。 casbahはJava版ドライバの薄いラッパであること。MongoDB -> Java、またはJava -> Scalaでそれぞれインピーダンスミスマッチがあることを教えてもらった。あと、実際に人が開発している様子を見れたのは貴重。コマンドラインでの実行方法とか、ちょっとしたデバッグの方法とか。こういうのは、勉強会に参加する大きなメリット。 Casbahを使ってScalaでデータを入れてみるか。ますはCasbahのインストールドキュメントを読む。むむむ、インストール方法の選択肢が5つもある。それぞれのメリット・デメリットがよくわからな
こんにちは、 今回は個人的に注目しているfinagleとthriftを使って簡単なmicro-servicesの作成を行うチュートリアルを紹介します。 finagleについてはseratchさんの翻訳、Scalaのmicro services事例はokapiesさんのエントリが詳しいと思います。 題材 日本語も検索できる全文検索サービスを作ります。POSTでデータを入れて、GETでヒットしたドキュメントを表示するといった簡単な仕様です。 twitterのscalaチュートリアルにsearchbird というfinagleとthriftを使って検索エンジンを作るチュートリアルがありました。 searchbirdは更新されておらず動かない＋古いということでもとに紹介したいと思います。 また、micro-servicesっぽい構成にするために無理矢理ですが、3つのサーバに分けました。 キャッシュ
Scalaを始めて数ヶ月、より深くScalaを学ぶためにTwitter製RPCフレームワークであるFinagleで遊び倒そうの会へ参加してきました。 まったくのFinagle初心者の私でしたが、水島さん(@kmizu)のわかりやすい資料や中村さん(@gakuzzzz)の解説のお陰でFinagleは触って遊ぶことができました！ ありがとうございました(´∀｀) また、会場を提供してくださったTwitter Japanの山本裕介さん(@yusukey)にも良くしていただいて、至れり尽くせりでした！ 沢山のノベルティグッズも頂きました！ 以下、ハッカソンを通じて学んだことのメモみたいなものφ(｀д´)ﾒﾓﾒﾓ... Finagle（ふぃねーぐる）とは、Twitter製の非同期RPCフレームワークで、RPCのシステムを作るためのフレームワーク。 ※ Apache Thriftのように、それ自体がR
GitHub - twitter/finatra: Fast, testable, Scala services built on TwitterServer and Finagle
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Finagle もろもろ
Bun がメジャーリリースされたけど、本当にBun はNode.js に取って代わるのか？をAWS Lambda で検証してみた
Finagle is our fault tolerant, protocol-agnostic RPC framework built atop Netty. Twitter’s core services are built on Finagle, from backends serving user profile information, Tweets, and timelines to front end API endpoints handling HTTP requests. Part of scaling Twitter was the shift from a monolithic Ruby on Rails application to a service-oriented architecture. In order to build out this new arc
Finagle is a protocol-agnostic, asynchronous RPC system for the JVM that makes it easy to build robust clients and servers in Java, Scala, or any JVM-hosted language. Rendering even the simplest web page on twitter.com requires the collaboration of dozens of network services speaking many different protocols. For example, in order to render the home page, the application issues requests to the Soc
finagle入門 - サンプルを動かすまで
2012年11月04日00:16 カテゴリScala finagle入門 - サンプルを動かすまで finagle入門記事です。finagleについて調査して最初のサンプル作るところまでをまとめました。 finagleとは ・Finagle, from Twitterを見ましょう ・読み方はフィネーフル、ネにアクセント。 ・Twitter社が公開したRPCフレームワーク。 ・クライアント、サーバー。 ・Scalaです。 ・Nettyの薄いラッパー。Netty側もたまに必要になる。 ・プロトコルとしてHTTP、Streaming HTTP などをサポート。 ・ドキュメントだけではよくわからない事もある。ソース読む必要も。 ・Futureという物を使い、非同期処理が書ける。 ドキュメント ・公式のドキュメント。一読する必要がある。 Finagle Developer Guide Finagle
Once again it was Hack Week (more than just a day!) at Tumblr! This is getting repetitive in the best way. A couple of times per year we slow down our normal work and spend a week working on scratching a personal itch or features we want as user and see how far we can get with our hacks. One thing from the last Hack Week in September made it all the way to a new experiment out to some testers: Tum
#finagle_hack で ZooKeeperServerSetCluster を使ったデモをつくりました - seratch's weblog in Japanese
ZooKeeperServerSetCluster を使って Finagle サーバのクラスタをつくってみました。 まずはデモをご覧ください。発表会のときに動画を用意しておけばよかったのですが、そこまで手が回りませんでした。 個々の Finagle サーバはそれぞれ単体のサーバとして立ち上がっているだけであり、サーバ側でお互いを意識している訳ではありません。 Finagle クライアント側に ZooKeeper への接続設定と、サーバの接続先（java.net.SocketAddress）情報のリストを持たせます。これらの情報を ClientBuilder で渡すと、リクエストのロードバランシングや障害検知、フェールオーバーなどをよしなにやってくれるようになります。 今回のデモのソースコードは GitHub で公開しています。ZooKeeper さえ起動していれば割と簡単に動かせると思いま
こんにちは、CA ProFit-Xという広告サービスを開発している塚本です。 今回も弊社で行っているAdTech Scala Meetupの様子をご紹介します。そろそろ何回目か分からなくなってきました。今回のテーマはFinagleでした。 Finagle (フィネーグル) はTwitter社が開発しているRPC用のフレームワークです。Webサービス/Webアプリケーション フレームワークと捉えても良いかもしれません。 我々アドテクスタジオではほとんど導入実績が無いため、語れる人は少ないのですが、幸いこの前のアドテクハックで利用された方がいらっしゃったため、発表していただけました！アドテクハックはアドテクスタジオで開催している社内向けハッカソンです。詳細は以下の記事を御覧ください。 アドテクハッカソン「第二回アドテクハック」を開催しました。 もろもろFINAGLE 一人目はhuyさんのもろも
Finagle is Twitter’s RPC system. This blog post explains its motivations and core design tenets, the finagle README contains more detailed documentation. Finagle aims to make it easy to build robust clients and servers. REPL Futures: Sequential composition, Concurrent composition, Composition Example: Cached Rate Limit, Composition Example: Web Crawlers Service Client Example Server Example Filter
Akka, Finagle and Storm are 3 new open source frameworks for distributed parallel and concurrent programming. They all run on the JVM and work well with Java and Scala. They are very useful for many common problems: Real-time analytics Complex website with different input and outputs Finance Multiplayer games Big data Akka, Finagle and Storm are all very elegant solutions optimized for different p
FOLIOのアドベントカレンダー9日目です。 前日は@ken5scalによるAzureADでYubiKeyを管理しつつ認証(TOTP)する記事でした。 手元の下書きに「前日分の感想を書く」って書いてありましたが、感想が書きづらいタイプのhow-to記事でした。 本日は Rubyで作るfinagle-thriftクライント と銘打ち、小ネタを書きます。感想が書きづらいタイプのhow-to記事です。 TL;DR FOLIOではPORTフロントエンドと呼ばれる管理画面的なものを作ってる バックエンドは大体 finagle-thrift を喋る PORTフロントエンドも finagle-thrift 喋れるようにして分散トレーシングできるようにした Rubyで finagle-thrift やってるドキュメントどこにもなくて苦労したので本稿で供養 FOLIOの構成 FOLIO ( https://
Building Products at SoundCloud—Part III: Microservices in Scala and Finagle
Building Products at SoundCloud—Part III: Microservices in Scala and FinagleJune 13th, 2014 by Phil Calçado In the first two parts of this series, we talked about how SoundCloud started breaking away from a monolithic Ruby on Rails application into a microservices architecture. In this part we will talk a bit more about the platforms and languages in which we tend to write these microservices. At
Rewrite in Finagle
ReactJS: Keep Simple. Everything can be a component!
Finagle is Twitter’s RPC system. This blog post explains its motivations and core design tenets, the finagle README contains more detailed documentation. Finagle aims to make it easy to build robust clients and servers. REPL Futures: Sequential composition, Concurrent composition, Composition Example: Cached Rate Limit, Composition Example: Web Crawlers Service Client Example Server Example Filter
AI Messenger というチャットボット事業でサーバサイドの開発をしている大野です。 AI Messenger では、非同期 RPC フレームワークの Finagle を使用して開発をしています。 Finagle については 今年4月に弊社内で行った AdTech Scala Meetup の記事をご覧ください ([AdTech Scala Meetup] Finagle | Scala Tech Blog)。Meetup の記事中では「アドテクスタジオではほとんど導入実績が無い」とありますが、最近アドテクスタジオの中でも導入しているプロダクトが増えてきました。 AI Messenger では内部のサービス間や Facebook Messenger 等メッセージングサービス間で Http 通信を行っていますが、様々な要因でリクエストが失敗することがあります。その際に Finagle
Finagleを使ってMVCフレームワークを作ってみました的なお話 かとう じゅんいち (@j5ik2o) ご清聴ありがとうございました Finagleの拡張 trinity - github http://git.io/tEu0DA 誰？ エンドポイントが多い場合はServiceクラスが大量にできてしまう。 パスに含まれる値を正規表現などを用いてパースしたい。 六本木の方で仕事してます 2010/10ぐらいからScala。Scala歴 2.5年ぐらい 前職ではPlay2+DDDでREST APIサーバの開発をしていた - Finagle関連リンク -
All slide content and descriptions are owned by their creators.
GitHub - finagle/finch: Scala combinator library for building Finagle HTTP services
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
2016年07月08日 Finagleを使った Perl -> Scalaへの移行
Finagle Under the Hood
$ whoami @vkostyukov on Twitter and on Github 2010-2014: Compiler Engineer at Intel (ART/DalvikVM contributor) Since 2013: Scalacaster Since 2014: Finch, finagle-oauth2, finagle-serial, ... Since 2014: Scala Developer at Twitter (Finagle team) Since 2015: Pretending to be @finagle on Twitter The key problem with #Finagle adoption that it solves tons of problems that you know nothing about until it
GitHub - flipkart-incubator/phantom: Phantom is a high performance proxy for accessing distributed services. It is an RPC system with support for different transports and protocols. Phantom is inspired by Twitter Finagle clients and builds on the capabili
Phantom is a high performance proxy for accessing distributed services. It is an RPC system with support for different transports and protocols. Phantom is inspired by Twitter Finagle clients and builds on the capabilities of technologies like Netty, Unix Domain Sockets, Netflix Hystrix and Spring. Phantom proxies have been used to serve several…
AirframeはScala向けのDIコンテナを中心とした様々な便利機能を提供するプロジェクトなのですが、最近airframe-httpとairframe-http-finagleというモジュールが追加され、Finagleを使ったWebアプリケーションを簡単に作れるようになったので感じを掴むために軽く試してみました。 まず、build.sbtの依存関係はこんな感じ。 libraryDependencies ++= Seq( "org.wvlet.airframe" %% "airframe-http" % "0.66", "org.wvlet.airframe" %% "airframe-http-finagle" % "0.66", "org.wvlet.airframe" %% "airframe" % "0.66" ) Webアプリケーションの実際の処理を作ります。ルーティングやパラ
こんにちは、CA ProFit-Xという広告サービスを開発している塚本です。 今回も弊社で行っているAdTech Scala Meetupの様子をご紹介します。そろそろ何回目か分からなくなってきました。今回のテーマはFinagleでした。 Finagle (フィネーグル) はTwitter社が開発しているRPC用のフレームワークです。Webサービス/Webアプリケーション フレームワークと捉えても良いかもしれません。 我々アドテクスタジオではほとんど導入実績が無いため、語れる人は少ないのですが、幸いこの前のアドテクハックで利用された方がいらっしゃったため、発表していただけました！アドテクハックはアドテクスタジオで開催している社内向けハッカソンです。詳細は以下の記事を御覧ください。 アドテクハッカソン「第二回アドテクハック」を開催しました。 もろもろFINAGLE 一人目はhuyさんのもろも
![[AdTech Scala Meetup] Finagle | Scala Tech Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/032698eb57da1491b183e5997117cf78800f567a/height=288;version=1;width=512/http%3A%2F%2Fd3olv7e20qcj9e.cloudfront.net%2Fscalablog%2Fwp-content%2Fuploads%2Fsites%2F2%2F2016%2F02%2Fadtech_scala_meetup_7_01.jpg)
Finagle Developer Guide (December 15, 2011 Draft) の適当な和訳
細かい点で間違いなどあるかと思います。fork して直していただけると助かります。 Finagle is built using sbt. We've included a bootstrap script to ensure the correct version of sbt is used. To build: Finagle は sbt を使ってビルドしています。私たちは確実に適切なバージョンの sbt を使うようにブートストラップ用のスクリプトを含めています。このように実行します。 $ ./sbt test Finagle Developer Guide (December 15, 2011 Draft) Quick Start Finagle is an asynchronous network stack for the JVM that you can use to bui
Introduction to Finagle and how build a small distributed system.
Overview of Finagle
Finagle Finagleハッカソン 2012/05/19
BPStudy#49 秋のScala祭りでFinagleについて発表した資料 - ( ꒪⌓꒪) ゆるよろ日記
BPStudy#49 : ATND で発表した資料です。 20110930_BPStudy49
12月 1 Finagle Advent Calendar 2012 (だいたい俺) だいたい平日な感じで。興味のある方の飛び入り歓迎します。
Building Products at SoundCloud—Part III: Microservices in Scala and Finagle - drawing
原文 前回 に続く SoundCloud のマイクロサービスアーキテクチャ移行話の第 3 段。前回までは如何にモノリシックな Rails アプリからマイクロサービスアーキテクチャに移行していったかという話でしたが, 今回はマイクロサービスの詳細について。最終的に Finagle を採用したということです。 斜め読み マイクロサービスアーキテクチャへの移行と同時期に, 大きなチームを分割して個別の機能にフォーカスする小さなチームにした。 各チームが使うべき言語やランタイムを定めるのではなく, 「自信を持ってプロダクションにリリース出来るものを使う」というルールにした。 これは言語やランタイム, スキルのカンブリア爆発を引き起こした。我々のシステムは Perl から Julia, Haskell や Erlang, node.js など様々な言語で作られるようになった。 このプロセスは新しいシ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twitter: 14万件/秒のtweetを支えるFinagle - ワザノバ | wazanova
Finagleでサーバープログラミング - Qiita
Scala + Finagleの魅力
Scala + finagle + MongoDB + Herokuで2chクローンを作る（連載第2回）
finagleとthriftでmicro-servicesを作る - Qiita
Finagleハッカソンへ行ってきたっ！ #finagle_hack - コードジガー
Netty at Twitter with Finagle
Finagle: A Protocol-Agnostic RPC System
Tumblr's Finagle Redis Implementation
[AdTech Scala Meetup] Finagle | Scala Tech Blog
Scala School - An introduction to Finagle
Akka vs. Finagle vs. Storm
Rubyで作るfinagle-thriftクライント - Qiita
Scala School - An introduction to Finagle
Finagle Client のリトライ機能 | Scala Tech Blog
Finagleを使ってMVCフレームワークを作ってみました的なお話
Ad Serving System on Finagle and Thrift // Speaker Deck
Finagleを使った Perl -> Scalaへの移行:ADWAYS ENGINEERS BLOG
AirframeのFinagleサポートを試してみる - たけぞう瀕死ブログ
[AdTech Scala Meetup] Finagle | Scala Tech Blog
Finagle for Beginners
Finagle Advent Calendar 2012 (だいたい俺) (2012/12/01 00:00〜)