同期エンジンの心臓部を書き換える

0 0 719 0 この 4 年間、Dropbox では、デスクトップ クライアントの同期エンジンを白紙の状態から再構築しようと懸命に取り組んできました。同期エンジンは、デスクトップ パソコン上の Dropbox フォルダの陰に隠れた魔法です。これは、Dropbox で最も長く使われているコード部分であり、最も重要なコード部分の 1 つでもあります。今回、新しい同期エンジン（コードネーム「Nucleus」）をすべての Dropbox ユーザー向けにリリースさせていただくことを、ここに発表いたします。 同期エンジンの書き換えは本当に大変な作業で、多くの環境でマイナスともなりうる構想であったことに鑑みると、手放しで祝う気持ちにはなれません。結果的には Dropbox にとって素晴らしいアイデアであったわけですが、それは、私たちがこのプロセスにどのように取り組むべきかを熟考したからこそ、たどり着

[joker1007]

“組織はこの規模のプロジェクトを維持するのに十分な「体力」がありますか？” 作り直すのはそう簡単な話じゃないよなあ。凄いことだ。

[tomo_ari]

「現行システムを深く理解し、尊重しているか？」← これすごく大事。書き直したい衝動は「わかんね〜〜〜〜」から来ていることが多い

[ledsun]

これはすごいなあ。一通りのリファクタリングとチューニングをした末に、諦めて作り直し。しかも機能追加と並行開発。rustかあ。たしかにこの分野はrustかもなあ。

[efcl]

https://dropbox.tech/infrastructure/-testing-our-new-sync-engine と合わせて読むのがよさそう

[t_f_m]

あとで / ユーザーが実行しうる操作の例として挙がってるのがエグい

[tagomoris]

"ネットワークの分断は、多くの分散システム アルゴリズムにとっては異常な状態ですが、私たちにとっては標準の動作です" こういうユニークな問題のある話は面白いなあ

[non_117]

分散システムの時計問題どうやって解決してるんだろう

[tyhe]

シンボリックリンクは無限に再起する可能性があるから難しいんじゃなかろうか。

[sakurai_youhei]

DropboxがPythonから巣立ったのかぁ。。。

[t-wada]

コードを1から書き換えることは「ソフトウェア開発会社が犯す可能性のある最悪の戦略的ミスの1つ」。あえて踏み出すための「書き換えチェックリスト」が本当に良い。覚悟と体力なしにリライトすると高確率で頓挫する

[masterq]

"書き換えチェックリスト"が参考になる "コードはほとんどすべて単一スレッド（「制御スレッド」）で実行"

[zeptometer]

“既存のコードを完全に理解するよりも、新しいコードを記述するほうがはるかに簡単です。したがって、書き換えを開始する前に、「Classic」システムを深く理解し、尊重しなくてはなりません。”

[mohri]

根本的なデータモデルに問題があったことと、継続的な開発が難しい（テストが容易ではない）ため、万策尽きた最後の最後に全面的に書き換える決意をしたという理解でいいのかな

[mangano-ito]

特に何も感じず利用してたけど難しいに違いないということで後で読む

[p1ass]

“コードはほとんどすべて単一スレッド（「制御スレッド」）で実行され、Rust の futures ライブラリを使用して、この単一スレッドで多数の同時操作をスケジューリングしています。”

[Makots]

PythonからRustへ

[yamadashy]

Dropboxが同期エンジンをRustで書き換えた話

[YaSuYuKi]

チェックリストは素晴らしい。過去何度か全面書き換えに強力に反対してきた(実行されたものはすべて頓挫している)が、根拠をここまで明確化できていなかった。将来役立つだろう

[marmot1123]

知見だなあ。

[progrhyme]

あとで読む

[isawo81]

分散システムのプログラミングはこれからのソフトウェアエンジニアにとって必須スキルだよなと改めて思う。webサーバ向けにはOSを作り変えてほしいけどやっている人はいるのかな

[buhoho]

イニDで車のエンジン取り替えたとき主人公が言ってたけど、心臓というより脳を移植してる感覚に近い

[yamada_shirou]

無料でもそこそこ使えるGoogle、OneDriveと違ってDropboxは無料版だと使い物にならないが、同期の速さ安定性考えると少し高くてもDropbox以外はないなあ。iCloudなんてiOS使ってないならいらないし。

[ebo-c]

> 書き換えの実行を決めたとしても、中間的な価値を提供することでリスクを軽減できるでしょうか？ 答えはイエスです。そうすることで、初期段階で技術的決定の検証ができ、プロジェクトの勢いの維持につながります。

[ruicc]

一からの書き換えは間違いな事が多いだろうがそれでも書き換える必要が出てくることはあったりして、モデルが悪いとかシステム間のAPIが悪いとか。

[hatest]

心臓で動悸ときたので、「救心」の話かと思ったら違った

[kappaseijin]

何ペタ、何エクサのサイズあるか分からないけどエンタープライズで非同期のファイルシステムのコアエンジンを作り直すのつよつよ

[deztecjp]

「なんとなく使い勝手が良い」の実現って大変なんだな……と、あらためて思った。

[nutahuate]

後で読む

[uzuky]

ゲームのリメイクや移植もコードを一から書き換えているようなもんだから、そういう失敗例はいっぱいあるな。なんとかPortableとか

[W53SA]

「組織はこの規模のプロジェクトを維持するのに十分な『体力』がありますか？」

[cozyconemotel]

"Rust に賭けたことは私たちが下した最高の決断の 1 つでした"

[Nyoho]

futureという Zero-cost asynchronous programming in Rust https://github.com/rust-lang/futures-rs が使われた。「私たちはテスト インフラストラクチャで毎日何百万ものシナリオを実行しています。」

[ene0kcal]

"同期"というデザインパターンはよ！／とはいえ、アプリの軽度の同期なのか、DBのトランザクションレベルなのか、OSレベルのものなのか、あるいは現代のクラウドコンピューティングに見合ったレベルでぜんぜん違うね😫

[vvakame]

大変な仕事だぁ…

[yarumato]

“同期はまさに同時性の問題、同時性のコードのテストやデバッグが困難。極めて希少なケースには段階的な改善（Python型注釈など）では不十分。Python捨ててRustに賭けたことは最高の決断。再現性、無矛盾を確保”

[netcraft3]

Dropboxの新しい同期エンジンRustで書かれてるのか

[dekokun]

“書き換えチェックリスト”良い

[gcyn]

『これで、クライアントのリモート ファイル システムのビューとサーバーのリモート ファイル システムのビューの間で強力な一貫性チェックが実現しました。矛盾があるとすれば、それはバグです』

[murashit]

忍耐だ