GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
中学生でもなんとなくわかるDeepLearningのアルゴリズム
人工知能（AI）やDeepLearning（ディープラーニング），この頃よく聞きますよね． しかし，いまいち何なのかよくわからないという人は多いのではないでしょうか． 私の周りの人たちも教養として興味はあるけれども，数式が出てくると何がなんだかという人が多いようです． また，人工知能やディープラーニングをビジネスに応用したいけど何ができるのか全く見当もつかないといった人も多いようです． そもそも，ディープラーニングとはなんのことなんでしょう．AIや機械学習との違いはどこにあるのでしょう． そこで今回はエンジニアや理系の学生でない人に向けて，ディープラーニング（主にその基礎となるニューラルネット）の仕組み，原理，アルゴリズムや種類，それが何の役に立つのかについて解説してみようと思います． このような場合には，よくわからない記号が出てくる数式は避けるべきだと思います． しかし，すべてを包み隠さ
Nintendo Switchにプログラミングツール「FUZE Code Studio」が登場、Switch上でスイッチ用ゲームを作ることが可能に
好調なスタートを切ったNintendo Switchは、2017年6月14日に開催した「Nintendo Spotlight: E3 2017」の中で今後発売予定の新作タイトルを続々発表しました。しかし、この発表で紹介されたゲームタイトルは今後Nintendo Switchで登場する予定のゲームのごく一部であり、「任天堂に取り上げてもらえなかった興味深いゲーム」も多数存在しています。さまざまなプラットフォーム向けにプログラミングツールを開発しているFUZEの「FUZE Code Studio」もそんなゲーム(？)のひとつで、Nintendo Switchでプログラミングができるようになるというツールになっています。 FUZE Code Studio for Nintendo Switch http://www.fuze.co.uk/nintendo-switch.html Fuze Cod
最速で知る！ ElixirプログラミングとErlang/OTPの始め方【第二言語としてのElixir】 - エンジニアHub｜Webエンジニアのキャリアを考える！
最速で知る！ ElixirプログラミングとErlang/OTPの始め方【第二言語としてのElixir】 Elixir入門の手引、第1弾となる今回はErlangのVM上のプロセスをElixirで扱う方法を説明し、Elixirでどのようにアプリケーションを構築するのかを解説します。 はじめまして！ 大原常徳（おおはら・つねのり）といいます。 今回から2回に分けて「第二言語としてのElixir」というテーマで、プログラミング言語Elixirの入門記事をお届けします。 Elixirは、José Valim氏によって開発されているプログラミング言語です。 最大の特徴は、ErlangのVM上で動作し、Erlangのモジュールを利用できることでしょう。 ちょうど、ScalaがJava VM上で動作し、Javaの関数を利用できるという関係に似ていますね。 {$annotation_2}Elixir Erl
Redux 4 Ways
At the last React Native online meetup, I gave a presentation on the differences of Thunk vs Saga vs Redux Observable (see slides here). These libraries offer ways to handle side effects or asynchronous actions in a redux application. For more information on why you may need something like this, see this link. I thought I would take this one step further and not only create a repo for viewing and
What makes Rails a framework worth learning in 2017?
Answer: The same reasons why it was a framework worth learning in 2004. The more things change, the more they stay the same. While we’ve seen a lot a progress in the JavaScript world, we’ve also seen a regression to the complexity-laden world that Rails offered refuge from in the early days. Bac...
ひどいコードをメンテしてきたからこそ実感する、良いコードや良い設計の大切さ - give IT a try
はじめに 先日、社内で「良いコードの書き方やお作法、プログラミングの原則って、どうやったら身に付くんだろうねえ？」という話になりました。 もちろん、「本を読んで勉強する」っていのも勉強法のひとつなんですが、そもそも、もっと強烈なモチベーションがないと、必死になって良いコードの書き方やプログラミングの原則って勉強できないのでは？なんて思ったりします。 強烈なモチベーションというのは、たとえば、 いったい何なん！？このスパゲティコードは！！！ なんでこんなコードを俺がメンテしなきゃあかんの！！？？ あ～、もう最悪や！！俺はこんなコード、絶対に書かへんぞ！！！！ っていうぐらいのモチベーションです。 というか、これは単純に僕のケースですね、はい。 幸い、ソニックガーデンに入ってからは、周りのプログラマがみんなちゃんとしているので、そんな思いをすることはほぼなくなりましたが、前職、前々職ではそんな
リレーショナルデータベースの仕組み (1/3) | POSTD
リレーショナルデータベースが話題に挙がるとき、私は何かが足りないと思わずにはいられません。データベースはあらゆるところで使われており、その種類も、小規模で便利なSQLiteからパワフルなTeradataまで様々です。しかし、それがどういう仕組みで機能しているかを説明したものとなると、その数はごくわずかではないでしょうか。例えば「リレーショナルデータベース 仕組み」などで検索してみてください。ヒット数の少なさを実感できると思います。さらにそれらの記事は短いものがほとんどです。逆に、近年流行している技術（ビッグデータ、NoSQL、JavaScriptなど）を検索した場合、それらの機能を詳しく説明した記事はたくさん見つかると思います。 リレーショナルデータベースは、もはや大学の授業や研究論文、専門書などでしか扱われないような古くて退屈な技術なのでしょうか？ 私は開発者として、理解していないものを
CSSのfloatに困った時に見直したい6つのポイント、floatがどのように機能しているか分かりやすく解説 | コリス
floatを使うと思った通りにならず、下に落ちてしまう、幅に収まらないなど、CSS初心者がつまづきやすい問題を解決するポイントを解説したチュートリアルを紹介します。 How Floating Works 下記は各ポイントを意訳したものです。 ※当ブログでの翻訳記事は、元サイト様に許可を得て翻訳しています。 floatのルール 1. フロート要素を親要素から見るとどうなるか 2. 左や右にフロートさせる 3. フロート要素が押し下げられてしまう原因 4. フロート要素の配置の順番 5. フロート要素の配置の優先順位 6. フロート要素で親要素を広げない フロートのクリア clearfix floatのルール floatプロパティには、4つの値があります。 .foo { float: left | right | inherit | none } この4つの値はそれぞれ、要素を親要素の中でどの
Gitでやらかさないための事前予防策 - Qiita
Gitでやらかした時に使える19個の奥義を書いてやらかしたときになんとかリカバリできるようにした。 今回は、そもそもやらかさないようにしたいよねっていうお話。 コミット編 .gitignoreを細かく指定しておく .gitignoreを指定しておけば余計なファイルをコミットしちゃうことを予防できます 過去に似たようなプロジェクトがあるのならそれを流用しましょう。 ないのであれば.gitignore.ioで生成してそれをカスタムしましょう。 ワイルドカード指定やディレクトリまるごとの指定は副作用ある可能性があるので慎重に。 コミットメッセージのフォーマットを決めておく コミットメッセージのフォーマットを決めておけば書き直したいということも減ります コミットメッセージをやらかして直したいと思うことはよくあります。 そういうのって案外コミットメッセージが自由すぎることが問題だったりします。 ある
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IT業界・エンジニアの転職ならTech Stars Agent
Docker入門 - 基礎編 いまから始めるDocker管理