回答 (3件中の1件目) NTFSも一応フラグメンテーションが起きにくいようには作られています。今のext4 FSに比べるとフラグメンテーションし易いですが、フラグメンテーションだけがファイルシステム性能や機能の指標ではないです。 わざわざ使う必要がないユーザーが多いかも知れませんが、e4defrag（ファイルのフラグメンテーションを直すツール）やe2freefrag（ext4もフリースペースのフラグメンテーションを防止できないのでその状況を知る為のツール）といったフラグメンテーション対策ツールがext4用に提供されています。ext4もフラグメンテーションを起こすので結局は運用にデフラ...

こんにちは。 今回は差し込みの多いプロダクト開発におけるスケジュール精度の上げ方として、バーンアップチャートの利用をおすすめしたいと思います。 どんな人に読んでほしいか Product GrowthやEnhancementに携わっているけど、やることが多くて思ったように進捗が管理できない人 ↑のようなProduct Manager(PdM)やProject Manager(PjM)とのコミュニケーションが多いけど、期待に対してうまく動いてくれないことをもどかしく思ってる方 TL;DR 3ヶ月や6ヶ月程度でタイムボックスを切りましょう タイムボックスの中でやりたいことを全部リストアップして見積もりをしましょう 終わったタスクのcloseと新規タスクのリストアップを繰り返すと、自然と「やりたいことが全部できるのかどうか」が見える化します バーンアップチャートとは 下記のようなものです。 図中の

The what, where, when, and how of unbounded data processing. Introduction Welcome back! If you missed my previous post, The world beyond batch: Streaming 101, I strongly recommend you take the time to read that one first. It lays the necessary foundation for the topics I’ll be covering in this post, and I’ll be assuming you’re already familiar with the terminology and notions introduced there. Cav

Google Cloud Dataflow に触る機会があったのですが、いまいちドキュメントが薄く、また自分が分散処理フレームワーク未経験だった事もあり、いろいろハマったので、得られた知見を書いておきます。 本記事は実装編ということで、Dataflow パイプラインのコードを書くに当たっての知見をまとめます。 なお Cloud Dataflow は Apache Beam の実行環境の1つという位置付けです。以下の内容は特に明記していない限り Apache Beam にも当てはまります。 確認した環境は Apache Beam SDK for Java 2.13.0 です。 想定読者は、Beam 関連のドキュメント、特に Beam Programming Guide を読んだことのある方、です。 Window FixedWindows や SlidingWindows の期間はキリが良い時

※本記事はアフィリエイトプログラムによる収益を得ています 話題のパペットアニメ「PUI PUI モルカー」が、Amazonプライム・ビデオのプライム会員見放題特典として配信開始されました。プライム会員でない場合は1話無料、2話以降はレンタル110円（48時間視聴可能）で見ることができます。 「PUI PUI モルカー」公式サイト 「PUI PUI モルカー」は、1月からテレビ東京「きんだーてれび」（毎週火曜朝7時30分～）内でスタートした、約2分半のショートアニメ。モルモットが車になった「モルカー」が世間一般に普及した世界で、愛らしいモルカーとそれを運転する愚かな人間による、かわいくも治安の悪いドタバタが毎回繰り広げられます。 基本的には子ども向けアニメなのですが、なぜか妙な中毒性があり1話放送後から夢中になる大人が続出。その後も毎回、新たなエピソードが放送されるたびにTwitterのトレ

TL;DR 文字列から浮動小数点数に変換するならfastfloat使いましょう。 私が試せる環境で比較する限り、とても速いです。 細かいことが気になります C++でちょっとしたプログラムを書くときにいつも気になるのが 「文字列データから指定データ型への変換処理をどうやって効率的に書くか」 です。私だけかもしれませんが。 特に悩んでしまうのが「文字列→浮動小数点」です。 std::scanf, std::stringstreamを使うものは大抵すごく遅い std::strtodstd::stodはstd::stringへの変換が入るので避けたい std::from_charsは(libstdc++が)浮動小数点型に対応していない boost::sprit::qiが何故か速いのだけれどこのためにboost::sprit使うのは重い と色々制約が多いのです。どうにかならないものか。 fast_f

EngineeringImproving how we deploy GitHubAs GitHub doubled it’s developer head count, tooling that worked for us no longer functioned in the same capacity. We aimed to improve the deployment process for all developers at GitHub and mitigate risk associated with deploying one of the largest developer platforms in the world. Over the last year GitHub has doubled the number of developers contributing

Published on December 14, 2020   ·   Updated on December 16, 2020 Bash scripts. Almost anyone needs to write one sooner or later. Almost no one says “yeah, I love writing them”. And that’s why almost everyone is putting low attention while writing them. I won’t try to make you a Bash expert (since I’m not a one either), but I will show you a minimal template that will make your scripts safer. You

Founder Customer Fitこのセクションについて解決したい課題を見つけよう顧客を決めようリーンキャンバスを書こうミッションを決めようCustomer Problem Fitこのセクションについてペルソナを立てよう共感マップをつくろうカスタマージャーニーマップをつくろう課題仮説を整理しようプロブレムインタビューをしようProblem Solution FitこのセクションについてPEST分析をしようフックモデルを定義しようプロトタイプをつくろう解決策仮説を整理しようソリューションインタビューをしようSolution Product Fitこのセクションについて名前をつけようユーザーストーリーマップをつくろうMVPを構築しようMVP仮説を整理しようMVPインタビューをしようProduct Market Fitこのセクションについてグロースサイクルを定義しよう利用規約をつくろうプロ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

はじめに 本稿は、ソフトウェア開発を進める際に直面する様々な技術的な意思決定やライブラリ・フレームワーク・XaaS等を選択し正しく活用していくのかについての考え方をサポートすることを目的としています。「すべてにおいてこのようなワークフローを通じて検討すべきである」という主張ではありません。読者の抱える問題領域に応じて、必要な箇所を取捨選択するための１種の考え方を提供するものです。 そもそもアーキテクチャ・技術選定に時間をかけるべきか まず第一に伝えておきたいことは、技術選定やアーキテクチャ設計に常に慎重であるべきではないということです。ソフトウェアの規模やライフサイクルに応じて、そもそも時間をさく必要がないということも多くあります。書き捨てのシェルスクリプトにも読みやすいコードを求めて書くことは非常に重要ですが、だからといって組織だって議論・検討するようなものでもないのです。一方で、５年も

Writing production-worthy Dockerfiles is, unfortunately, not as simple as you would imagine. Most Docker images in the wild fail here, and even professionals often[1] get[2] this[3] wrong[4]. This repository has best-practices for writing Dockerfiles that I (@slimsag) have quite painfully learned over the years both from my personal projects and from my work @sourcegraph. This is all guidance, not

Going through the files inside a tab's folder. For example, the url.txt, text.txt, and title.txt files tell me those live properties of this tab (Read more up-to-date documentation for all of TabFS's files here.) This gives you a ton of power, because now you can apply all the existing tools on your computer that already know how to deal with files -- terminal commands, scripting languages, point-

はじめにCoqで解析入門の1章にある命題を全て証明してみたので記事を書いてみます。 Coqでの証明大学で記号論理学の授業を受けたことはありますか？記号論理学では数学の命題を証明木を用いて形式的証明をしていましたがCoqでも形式的証明をします。流れは以下です。 数学の命題を論理記号で書きますゴールが表示されるので適切にCoqのTacticを使いますするとゴールが変わるので未証明のゴールがなくなるまで繰り返しTacticを使います Coqでの証明の魅力は 証明が正しいことをCoqが保証してくれること(Coqにバグがあるかもしれませんが多分)証明した定理が他の定理の証明に使えて楽しいところ などです。 やろうと思った背景大学1年生の頃、解析入門を前から読んで途中で理解できなくなって読み直すというのを繰り返していました。 いつか理解したいなと思っていたときに記号論理学の授業を受けて解析入門の証明も

この記事はNLP/CV論文紹介 Advent Calendar 2020の25日目の記事です。 今回はこれまでのフォーマットとは変えて、細かく踏み込んで論文を読んでいきます。 今回読むのは「Pretrained Transformers for Text Ranking:BERT and Beyond」というタイトルの論文です。 arxiv.org こちらは検索タスクに対する基礎的なところから始め、検索に対するBERTの活用事例、さらにBERTのその先についても言及しているサーベイ論文です。 ただし分量としては155ページもあり、全てを解説することは難しいので、BERTに関する部分にフォーカスして解説していきます。 検索タスクについて クエリと文書の関連性を計算する シンプルな適用: mono BERT 長い文書への適用 コンテキストの活用: CEDR 多段に組み合わせて長い文書に対応:

TL;DR TransformersのNERではFast Tokenizerを使うことで、サブトークン ↔ ラベルのアラインメントが実装できる。 長いテキスト入力については、無駄なpaddingを最小限にとどめて高速処理するために、入力を固定長分割するのが良い。 検出漏れが問題になるようであれば、ストライド付きのwindow処理を追加するのが良い。 サンプル実装: github.com 背景 この記事を目に留めていただいた方にはおそらくおなじみであろう Hugging Face の Transformers *1。 BERT等のTransformer素子ベース事前学習モデルを用いた転移学習が容易に実験できるライブラリである。 最新モデルのモジュールがすごいスピードで実装されることに加えて、事前学習モデルおよび依存するトークナイザが一緒に管理・ダウンロードできる点がご利益として特に大きい。

ロチェスター工科大学は2020年11月19日（米国時間）、ルックアップ時間の大幅な短縮により、ルーターのパフォーマンスを2倍以上に高める新しいプログラマブルスイッチ「CuVPP」を開発したことを発表した。 パフォーマンス向上のために2つの技術を採用した。第1はアルゴリズムだ。新しい最長フレフィックス一致（Longest Prefix Matching）アルゴリズムでは、ベクトルパケット処理（VPP）を利用して、命令とデータの両方にパケットバッチ処理とキャッシュローカリティを使用した。この結果、オフチップメモリへのルックアップ回数を最小限に抑えることができたため、ルックアップ時間を大幅に短縮できた。 第2がフィルターだ。高速プリスクリーニングメカニズムとして、キャッシュ内にカッコウフィルター（Cuckoo Filter）を使用した。 研究チームによると、CuVPPは実トラフィックでルックアッ