Hello fellow NLP enthusiasts! As the race towards finding better and better neural networks for language modeling continues, I thought it might be a good time to get an overview of the progress made over the years. Enjoy! 😄 Disclaimer: This article is not a complete list of research done in NLP, which would struggle to fit even in several books! Rather, it is a personal overview of some of the mo
When I joined Toyota Research Institute (TRI) more than five years ago, I believed that an industrial research lab like TRI could make fundamental contributions to robotics that would be hard to make in an academic lab or a startup. And I joined with a commitment that we would share our best tools and results with the world through open-source software. Just before joining TRI, I competed in the D
It is easy to get caught up in the evolution of ways. I do it all the time. I’ll rattle on about the “abuse” of some way, only to realize that abuse is just part of the way of ways. Or I’ll stress when someone rants on about the “right way”, without considering the bigger picture. I’ve found it helpful to think of ways from the standpoint of hype, adoption, diffusion, borrowing, commodification, t
Data is rarely static, so why should data tests be? When testing data, our first instinct is to reach for perfection. Can’t we write down a clear set of rules that govern exactly how our data should behave, just like we do when testing software? Of course we can’t! Data isn’t software, and shouldn’t be tested in the same way. The reality is that the factors affecting your data that are out of your
by Tao Cheng Before I left Pinterest, I wrote down those 15 management tips I learned over the years and shared with managers on my team. There is at least one real-world story behind each of these tips. I learned many of those tips from leaders I know and found them to be useful. I hope you find them helpful as well. Tip 1: Don’t surprise people (unless it is a pleasant surprise). If you have con
この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット+巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット+さらに巨大なネットワークで言語モデルを構築し、数十のサンプルを見せると凄く良い結果が得られた一方、様々なタスクに言語モデルのスケールアップのみで対応することへの限界が見えてきた。人種、性別、宗教などへの偏見の問題や、悪用に対する課題もある。この記事の流れは以下の通りです。 Transformer, GPT-2の説明GPT-3のコンセプトと技術的な解説GPT-3ので上手くいくタスクGPT-3で上手くいかないタスク偏見や悪用への見解 Transformerまず、GPT-3の前身となったGPT-2に入る前に、その中に使われ
6/21(金)に、研究開発部門のマネージャーたちを集めたResearch Manager Meetupを開催しました。そこで語られた内容を振り返りつつ、今後の展開について本記事で綴っていきたいと思います。
DMMに転職して以降、キャリアについて話してほしいという登壇依頼が多く似た話をする機会が数回あったのですが、その中でもコンセプチュアルスキルというか不確実性との立ち向かい方について先日社内に投稿していた内容をベースにこちらにも記事化しておきます。(ちなみにペパボのあんちぽさんからのリクエストが記事化のきっかけです。) コンセプチュアルスキルキャリアや長期の目標を検討するとき、そこには 資産(現状自分が持っているスキル・知識・ツールなどのリソース)スコープ環境要素が制約条件として存在しています。 自分の持ち物については理解しやすいですね。今自分が置かれている状況で使えるものを考えてみると、そこにはスキルや資本、時間、知識など様々な自分の資産が存在しています。「今ここ」を検討する上で自分の資産を知るということは分かりやすい要素です。資産を無視した状態で目標を検討しても、その目標を達成することは
“two person holding mug and pen beside turned-on MacBook” by rawpixel on Unsplash はじめに8月末から始まった、 Y Combinator Startup Schoolも中盤に差し掛かりました。 世界中、15000人の同期起業家と切磋琢磨して日々事業を進めています。 予想以上に学びが多かったので、 公開されているノウハウを再編集する形で、 ダイジェストをアウトプットしたいと思います。 (一般公開されてない部分は、当然ですがブログにできない事になっています) 過去2000社のスタートアップに投資している世界最大のインキュベーターだけあって、 成功例・失敗例が膨大に貯まっており、 統計データから汎用的なアドバイスがフレームワークとして出来上がっています。 今回のStartup Schoolはその総決算をナレッジベー
以下はJeff Crossmanさんの同名の記事を翻訳(一部縮約)したものです。 GEのデザインシステムは2012年にGE社内の多数の利用者と多様なデザインパターン(UIコンポーネントとインタラクションパターン)を支援するために作成された。これは世界に散在している40,000人のソフトウェアエンジニアが一貫性のあるソフトウェアを作れることを目標に10人のデザイナーで構成されたチームによって作られたものだった。dave croninの発表を見るとこのチームが直面した課題に関して知ることができる。 最初のデザインシステムは内部的には成功だったがそれには成長痛もあった。ボタンやテキストボックスなど、一般的なケースでは問題なかったけど、マッピングやデータヴィジュアライズなど、より複雑なニーズにも対応する必要があった。アプリケーション単位の修正や拡張の要求はデザインシステム本来の目的に反しており、非
A simple landscape created entirely by an ML algorithm, taught by me.In my last medium post, I discussed how we could use convolutional neural networks for gesture recognition in VR. I concluded that while it was really cool, drawing objects was sometimes more tedious that having a simple menu. So that got me thinking… What if I used neural networks to anticipate what objects I wanted to place? Th
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く