超巨大高性能モデルGPT-3の到達点とその限界. この記事では、超巨大言語モデルGPT-3の技術的な解説、GPT-3達成したことと… | by akira | Jul, 2020 | Medium
この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築し、数十のサンプルを見せると凄く良い結果が得られた一方、様々なタスクに言語モデルのスケールアップのみで対応することへの限界が見えてきた。人種、性別、宗教などへの偏見の問題や、悪用に対する課題もある。この記事の流れは以下の通りです。 Transformer, GPT-2の説明GPT-3のコンセプトと技術的な解説GPT-3ので上手くいくタスクGPT-3で上手くいかないタスク偏見や悪用への見解 Transformerまず、GPT-3の前身となったGPT-2に入る前に、その中に使われ
ミルクボーイがアジャイルを説明したら
序章駒場「最近、うちのおかんがシステム開発に興味を持っててなぁ、名前は忘れたらしいんやけど、迅速に開発できて、仕様変更にも対応できる、素晴らしい開発手法を取り入れてるところがあるらしいんやわ〜。」 内海「そんなもんアジャイルに決まってるがなぁ〜! 今やシステム開発と言えば、アジャイル。素早く変化に対応できるってゆーのが特徴なんよ。そもそも名前が “迅速” を意味する英語やねんから、アジャイルに決まってるがなぁ〜。」 チームの人数駒場「最初、オレもそう思たんやけどな、なんでも 40 人ぐらいで開発してるらしいんやわぁ〜。」 内海「ほなぁ、アジャイルちゃうかぁ…。アジャイルでは 5〜9 人ぐらいが推奨されてるからなぁ〜。40 人もおったら、とてもやないけど、コミュニケーションが成立するとは思われへんなぁ〜。効率の悪い伝言ゲームになるのは目に見えてるからなぁ〜。おかん、他にもなんか言うてなかった
Cloud Run を最速で触ってみる
Cloud Run とはGoogle Cloud Next 18では serverless containers on the Google Cloud Functions infrastructure + GKE Serverless addonと説明されたものですね。 早速、こちらのQuickStartやってみましょう 事前に必要なことプロジェクトを作成する（既存のプロジェクトを利用することもできます。終了後の後片付けを考えると新しくプロジェクトを作っても良いです）プロジェクトのbillingを有効にするCloud Run APIを有効にするCloudSDKのインストール済み/設定済みであることcomponentsのupdateと、beta componentsのinstallが必要です。コンポーネントをupdateするgcloud components updatebetaコンポーネ
Twitter就活でソフトウェアエンジニアになって２年が経った - Takeshi Yoneda - Medium
右も左も分からなかったけど、第一線で活躍するバックエンドエンジニアになれそうな気がしてきた はじめにこんにちは。@mathetake です。先日以下のようなツイートをしたので、有限実行ということでいろいろ書こうと思います。(ちょっと遅くなってすみません) 2017年3月に修士号を取得後ソフトウェアエンジニアとして働き始め、早いもので二年が経ってしまいました。そのきっかけとなったのは、今となってはなんの目新しさもなくなってしまったTwitter就活なんですが、そのフックとなった当時の僕のブログは、過去との決別ということで閉鎖しました。なので改めてここに「当時の経緯」と、それだけでなく「２年間の振り返り」「ウェブアプリケーションと機械学習」「キャリア観と俺流生存戦略」についてつらつらと書いていきたいと思います。 宣伝本題に入る前に宣伝なんですが、会社の同僚と執筆した機械学習関連の本が出版されま
30代から始めるYouTube入門
YouTube ≠ ヒカキンたぶん、YouTubeは「ネタ動画」のイメージが強すぎる。「ヒカキン」に代表されるユーチューバーが、目立ってしまうせいだろうか。実際には、テクノロジー、旅行、料理、建築ほか、あらゆる分野の動画があるにも関わらず、この誤解が「大人の」ユーザを遠ざけているように思えてならない。 YouTubeのトップページがこれでは、手が出せないのも分かる。「煩いTVから離れたのに、わざわざYouTubeなんか?」と切って捨ててしまうのは、あまりにもったいない。実は、YouTubeには30でも60代でも満足するコンテンツで溢れている。誇張なく、「Nスぺ」並みのコンテンツがごろごろ。 まずは一つ、(ちょっとNスペ路線ではないが) 私をYouTubeに引き込んでくれた動画を紹介しよう。Peaceful Cuisine (1.3M)は料理系のひとつ。日本人のチャネルながら、海外アクセスも
https://link.medium.com/1jsAtPLA6T
デザイン思考は、問題を探索・解決するための方法です。リーンは、私たちの信念を試し、適切な成果につなげる方法を学ぶためのフレームワークです。アジャイルは、ソフトウェアの変化していく状況に適応するための方法です。 デザイン思考は、能力と学習に関するものです。スタンフォードd.schoolのCarissa Carter主任は、デザイナーを高める能力について、素晴らしい記事を書いています。たとえば、曖昧さ、共感的学習、統合、実験などが、その能力として挙げられています。意味を生み出し、問題の枠組みを設定し、潜在的な解決策を探索する、デザイナーの能力が重要なのです。 『誰のためのデザイン？』の著者であるドナルド・ノーマンは「デザイナーは最初のアイデアに満足しない」と述べています。あなたも考えてみてください。最初のアイデアが最高のアイデアだったことはありますか？意味や新しいアイデアが生まれるのは、物事を
Good Tech Lead, Bad Tech Lead
A brief guide to tech leadership at Foursquare, inspired by Ben Horowitz’s Good Product Manager, Bad Product Manager. TeamworkGood tech leads act as a member of the team, and consider themselves successful when the team is successful. They take their share of unsexy grungy work and clear roadblocks so their team can operate at 100%. They work to broaden the technical capabilities of their team, ma
エンジニアが「明日からマネジメントして」と言われたら
製品開発におけるマネジメントの全体感最初に結論エンジニアがマネジメント始める際には、↑のようにざっくり簡単にでいいので開発チームのマネジメントの全体像を掴んだうえで、自分がマネジメントするべき範囲を明確にして動くことをオススメしてみます。 以降、もう少し詳しく説明します。 なんで書こうと思ったかエンジニアにとってマネジメントとはなにか。突出した技術力を持った人というのがエンジニアでは花形なイメージが一般的にはあるでしょうし、マネジメントはエンジニア全員にとって必須科目ではありませんが、一定の経験、年齢、スキルになったら考えることだと思います。 しかし、エンジニアにとってマネジメントという言葉はとても曖昧。必須科目でない分、特定技術に関するものよりもずっとドキュメントや教材がすくなく、なにをやればいいかけっこうわかりにくい。 最近だとVP of Engineeringみたいなポジションがメジ
OSSベースの機械学習が強い理由
英語版はこちら。 TensorFlowの登場以降、OSSベースの機械学習の盛り上がりは加速しています。Kerasの作者のFrançois Cholletさんの言葉が、この状況を非常に端的に表しています。これだけでも十分だとは思いますが、この記事では、なぜオープンソースの機械学習が強いのか、最近のどういった流れがあるのかを整理したいと思います。 tl;dr機械学習やDeep Learningのフレームワークが充実してきた論文が査読前に公開され、他社も簡単にアルゴリズムの検証ができるようになった多くのプレーヤーの参戦により、アカデミアでの機械学習の研究がレッドオーシャン化した他社にないアルゴリズムで一発勝負、実装は秘密、というアプローチが厳しい牧歌的な時代5年前10年前の世界では、先端の機械学習に取り組んでいるのは大学などの研究室、大企業の研究所や一部の先進的な企業がほとんどでした。特に、ラベ
「チームワークが苦手」という人が本当に苦手なもの。
この記事を読んでふと思ったんだけど「チームワークが苦手」「団体行動が苦手」という人って、チームプレーさせてみると、実はそんなにチームプレーが下手でもないし、「チームワークが大事」って言ってる人よりむしろチームワークが上手い人が多い、ってこと。 チームワークが苦手、ストレスだって言ってる人が本当に苦手なのは、気持ちが悪い馴れ合いや、意味のない社内政治、皆の意見を尊重しているように見せかけて、その実、チーム内の「政治屋」が集めたマジョリティだけで、せっかくのいいアウトプットを殺す「エセ民主主義」だと思う。 本当に大事なのは、チームの目的をしっかり理解した上で、お互いが妥協なく、素晴らしいものをつくるために発揮するプロフェッショナリズムと、その効果的な「合力」だ。 ところが、「馴れ合い」や「エセ民主主義」は一見「チームワークを向上させるもの」のように見えるだけで（文字面だけ聞くと、そのことを否定
フロー状態という幸せを得るために働く
仕事や勉強をしていると集中して没頭する瞬間がある。それを「フロー状態」と呼ぶらしい。そんなフロー状態について聞いた話から着想を得て。 フロー状態になると、周りから雑音が消えて、その対象に集中し、高い生産性を発揮することができる。アイデアなら次から次に湧いてくる、プログラミングなら次々とコードが進む。 そんな状態は、脳も喜んでいるらしい。そのフロー状態になっていること自体が、幸せな状態なのだと言える。詳しくは知らないけれど、おそらく脳内物質が分泌されているのだろう。 もし、仕事をしていてフロー状態になれるのだとしたら。フロー状態になって幸せになれるのだとしたら。それはもはや、仕事をすること自体が幸せになる手段だと言えないだろうか。仕事は手段ではなく目的なのか。
56歳からコードを書き始めて食べていく方法
私は56歳、最近プログラミングを始めたんだ。 なぜかって？やりたいからに決まっているじゃないか。ようやく最近コツをつかめてきてね。でもコツをつかめたからといって簡単にはいかない。正直なかなか手こずっている。でもいいんだ。 アルゴリズムに挑戦して我を忘れるのは楽しいし、まだテストしたい事があって「あと数分だけ」と繰り返し自分に言い聞かせるのもいい。「今度こそ上手くいったかも、、」とドキドキしてから「やったぞ！ついに動いた。」となる瞬間も大好きだ。 でもこんな私には今まで趣味と呼べるものが何ひとつなかった。自分に見返りがない事に時間を費やすのは嫌だったんだ。ただ楽しみのためだけに何かをするのが好きじゃなかったのさ。休みの日にやる事といったら、ちょっとした小遣い稼ぎになるような事ばかりだった。 オーケー。もちろんコーディングだって小遣い稼ぎさ。上手くやればかなり稼げる。これだってあなたから見れば
【退職ブログ】Facebook（Oculus)社を退職しました
この記事は Oculus Rift Advent Calendar 2016 22日目の投稿です。 もともとアドベントカレンダーには「VRにおけるキャラクタープレゼンス 〜Mikulusの未来〜」という内容で書く予定でしたが、西田宗千佳さんという昔から尊敬するライターさんが取材してくださり記事にして電ファミニコゲーマーというこれまた神のようなメディアに超長文で書いてくれるそうなので、今回は割愛することにしました。キャラクタープレゼンスについては、以前書いた VRにおけるプレゼンスの維持と破壊 を御覧ください。 以上、おわり。 ・ ・ ・ ・ では無くて、本日でOculus VR社(Facebook Japan株式会社)の最終出社日となるのでいわゆる退職ブログを書こうと思います。 Facebookといえば世界でも時価総額が4位くらいの会社でして、福利厚生は神レベルに凄いです。 ・別にタイムカ
ボトムアップ組織のマネジメントとは何なのか
いま所属している会社は、ボトムアップな会社ということになっている。正確にはボトムアップとトップダウンが混在していてたまにミスリーディングなのだが、だいたいはボトムアップな会社といえるだろう。 それで、たまに、学生と会ってくれといわれて、うちの会社がボトムアップの会社なんですよ〜、と話すことがある。だがこのボトムアップというやつ、採用活動では『いかに若いうちから活躍できるか』をぐいぐいアピールするための文句ではあるのだが、実際、現場でどういうコミュニケーションになっているのか、あまり説明されない。どういう会社が「良い」ボトムアップの会社なのか、わりとみんな意識していない。 とりあえず適当に若いのに丸投げてみたら、いつの間にかイケてる提案を持ってきた、なんてことは、ありえない。それを実現するためには、上司側の見えない努力がたくさん必要なのだ。 こんなマニアックな話をしている人は多くないと思うの
シリコンバレー流デザイン思考で、月収ゼロから8ヶ月で月収150万円になれた30の理由
(30,000訪問者御礼！はてなブックマークで4位を取りました) (もし共感頂いたら文末の❤️を押していいね！お願い致します) 先日伊藤忠の同期Tと酒を飲んだ時、 “お前、やるじゃん！なかなか凄いな！”と言われたので、 もしかしたら人様の役に立つかもと思い、 ノウハウとやった事リストを公開します。 情報商材っぽいタイトルで恐縮なのですが、、 月収150万円は分かりやすい数字かと思い、あえてそうしました。 お許しください。 あと、世の中の成功者から見たら月収150万円は全く大した事ないのはよくわかっております。 ポイントは、 全く何もない状態から自営業で月収150万円作るのは結構難しい事と、 私の手法を使うと、 多くの方が同じくらいは稼げる点です。 なので、生生しいストーリーとして公開する意味はあるかと思いました。 この話は、昨年好評いただき、6000訪問者を記録した私のブログ、 “ プログ
「パナマ文書」解析の技術的側面
世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHubを快適にブラウジングするための3種の神器