サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
Appleイベント
isobe324649.hatenablog.com
最近、自分の強みって何だろう?というのを改めて考えた。 私は色んなことに興味があって世間一般のエンジニアと比べると新しいことを学び取るのが多分かなり速いほうで、だから知識はいっぱい持ってると思うのだが、知識それ自体は仕事のアウトプットに直接結びつくものではない。 実際、知識ってありすぎると逆に頭でっかちになって行動力を削ぐような副作用も実際あると思う。 じゃあ肝心のエンジニアとしてのスキルは?と自問すると、そんなに強い方でもないと思う。 バグなく機能を実装したり、込み入った問題やバグを素早く原因究明して直したり、というソフトエンジニアの実務上の能力は低くはないと思うが(今の会社の同僚のエンジニアと比べると)取り立てて高くもない。 じゃあ新しいものを生み出す研究や発明的な能力は?と考えると、それも国際学会で賞を取ったり有用な特許技術を考案したりとかいう実績もないから、そういう領分でもない。
当日投稿でもう一つ adventar.org の記事を書いてみました。 突然ですが、数学を勉強してると、以下のような疑問に突き当たるのは僕だけでしょうか? 位相空間における連続写像が「逆」写像で定義されるのはなぜ? 測度空間における可測関数が「逆」写像で定義されるのはなぜ? これは分かってしまえばとても簡単なので、説明します。 結論をいうと、逆写像は集合の演算(AND, OR = 共通部分、合併)を保つけど、写像(を集合関数と見たもの)は保たない、からです。 それぞれ見ていきましょう。 写像と集合演算 例えば集合をX,YとしてXからYへの写像Fがあるとします。 Xの部分集合X1,X2に対してAND,ORしたものと、それらのFによる像 F(X1),F(X2) (=Yの部分集合) に対してAND,ORしたものを比較してみましょう。 F(X1 and X2) ⊆ F(X1) and F(X2)
本ブログ、GPT考察シリーズの途中ですが番外編を適宜挟んでいきたいと思います。 (特に意味はないOGP画像) 愛すべき嘘つき ChatGPTを使ってると、現実には存在しないものやことをあたかも真実であるかのように語る幻覚(hallucination)の問題に良く出くわしますよね。 そんな店は実在しない…笑 なぜそうなるのか? それは統計モデルだから よく言われるのは、GPTは「統計モデル」だから「確率が高いであろう単語」を順番に出していくというチャットシステムなので、「実在するお店の名前」をそのまま固有名詞として知識として憶えるのではなく、単語に分解して統計を取ってしまうので知識として憶えるのが苦手、ということです。 ちなみに「風が吹けば桶屋が儲かる」という有名な話も、その長い3段論法のつながりを覚えるのは苦手みたいで、聞いても変な答えを返してきたりします。*1 知識ベースをつなぎ込みたい
全3回のシリーズパート2の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 (2.1)各技術の定性的な説明(本記事) (2.2)Transformerのアルゴリズム詳細 (2.3)GPTの能力と可能性について 2.1 各技術の定性的な説明 自然言語の構造を考えてみる まず我々が使う言語についてちょっと振り返るところから話を始めましょう。 文や文章は、おおもとのデータである文字から始まって、単語、文節、句、節、文、文章、さらにその上の意味、という風に階層的な構造を持っていると我々は概念的に認識してますよね。 構文の階層 そして、各階層や階層間には、文法や語法といった言葉のルールがあります。 深層学習はその名の通り、層を深くしたニューラルネットワ
昨年11月からワインに少しハマり、この2か月半でボトル20本ほど飲んできた中でオススメワインを紹介したいと思います。 第5位 ベリンジャー・カヴェルネソーヴィニオン(約1000円) 「いきなりステーキ」でグラス赤ワインを注文して、特に銘柄を選ばずに「なんでもいいです」って言えばたぶんこれが出てきます。しっかりとタンニンが効いてステーキに合う味ですし、大衆向けワインという位置づけの商品なので少し「ぶどうジュースっぽさ」があったりもします。「ぶどうジュースは好きだけどワインはそんなに好きじゃない」みたいなタイプの人は、ぜひこのワインを料理と一緒に味わってみることをお勧めします。マリアージュっていう楽しさを垣間見れること請け合い。ベリンジャーというのはアメリカのカリフォルニアにある大規模ワイナリーです。 第4位 シャトーレゾリュー青ラベル (約3000円) しっかりと効いた酸味とこの価格帯として
高校生になった頃から、僕は父のことが嫌いになった。理由なんてない。いわゆる反抗期というやつだ。 父もそれを分かっていたのか、高校生の時以降、僕を避けるようになった。何か僕に言いたいことがあるときは必ず母の口を通して伝言してくるのだった。そんな父の姿勢が臆病な男にみえてますます嫌いになっていった。それからずっと、深いコミュニケーションを一度もしないまま父は他界してしまった。 父のガンが発覚した時はもう手遅れだったし、ちょうどその時は僕は自分の人生がうまくいってなくて余裕がないときだったので、親孝行なんて考えは微塵も浮かばなかった。 小さい頃は父はいろんなところへ連れて行ってくれた。遊園地もいったし、釣りもしたし、スキーも教わった。中学生になって僕がパソコンに興味を持ち始めたときに、東京の地理が何もわからない僕を秋葉原へ初めて連れてってくれたのも父だった。 そうした父との思い出は色々あるけれど
個人的に、今後10年で最もユーザ数が増える言語はRustだと思っています。 Rust Programming Language Rustの良いところは色々ありますが、その中でも「広く普及する言語が持つべき要素」である、 シンタックスのシンプルさ(Rubyのような複雑な構文を持つ言語はパーサーが巨大になり、より単純なPythonと比べて(バッド寄りな)ノウハウが増えがち) コンパイラ、パッケージ/ライブラリ管理、プロファイラ、Lint/Formatterといったフルツールチェーンの公式サポート(と、それらの活発なアップデート) 標準ライブラリの充実、LLVMベースの処理系の実装品質の良さ、既存のOSSエコシステムとの親和性の良さ をきちんと備えていることと、Rustならではの機能である データライフサイクルとメモリ管理を言語仕様のレベルで結びつける「所有」の仕組みにより、コンパイル時にメモリ
2023/3/23 追記: こちら半年以上前に執筆したもので、その後私の理解も進んで内容的に更新したいところが結構あるため、近日中に非公開とさせていただき,更新後に再公開させていただくつもりです。現時点での本記事の内容は、大きく間違ってはいないけどちらほら微妙なところがあるという感じです。 (ざっくり理解するだけでも良いという人にはそれでも良いかもしれませんが、そういう方向けには 今執筆中のこちらの記事 をおすすめします。) −−−− 最近話題のmidjourneyやDALL-E、凄いですよね。中身はディープラーニング(DNN)のようです。DNNといっても色んな技術がありますが、それらにはTransformerという手法が使われています。本記事は、その手法がどんなものであるかを数式を使わずに説明してみよう、という主旨になります。 ※なお本記事は機械学習のプロの研究者ではない私の独自の解釈が
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT(を支えるTransformerという仕組み)をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 (1)大まかな背景と概要:本記事 (2)GPTの能力と可能性:実際の使用例とTransformerの仕組みを踏まえて説明 (3)GPTの限界と未来展望:Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い: トークン長とは何か? まずここから話を始めます。GPT-3は、パラメータ数が750億個(850GBの容量を食う)でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
人工知能の進歩が目覚ましいですね。とくに最近発表されたChatGPT、ホント凄いですよね。 人間にしか出来ないと思われていたようなことが次々と人工知能によって実現されていくのを目の当たりにして、今、そして、この先の技術的な進歩が、我々をどのような社会へ導いていくのか期待と不安が入り混じる今日この頃であります。 人工知能の個々の研究成果それ自体は、科学技術的に実現された100%の再現性のある客観的ファクトですが、そのファクトを見て「何を思うか」は人それぞれでしょう。未来に不安を感じる人もいれば、ワクワクする人もいる。そして少数の天才たちは、それらを「作りだす側」つまり「技術開発の担い手」として大いなる希望のもとに仕事に取り組んでいることでしょう。 ここで本記事の主題を提示しましょう。それは、理系人間が陥りがちな思考パターン、すなわち、「人それぞれなこと」に関する解像度の低さについて、です。
本エントリは、僕の10代~30歳手前くらいまでに直面し対処した(僕にとっては)割と大きな人生の課題についてです。*1 小中学生時代から雑談が出来なかった(今でも苦手) 僕は小学校~中学校に掛けて、「自分から話しかける」ことが出来ない人間だった。話しかけて無視されたら怖いし(たぶん傷ついて2週間くらい誰とも話せなくなる)、そもそも話しかけるキッカケすらない。 だから、その頃の僕の「友達のできかた」は、もっぱら「何かの拍子に僕に話しかけてくれる親切なやつ」をアリジゴクのように待つ、という感じだった。 こういってはなんだが、コミュニケーション能力が壊滅的でありながら僕は「じぶんの『友達づくりのスタンス』がアリジゴク的であること」を自覚できるくらい頭が良かった。それが自己嫌悪に拍車をかけ、ますます「自分から他人に話しかけられない病」が重症化していった。 そういうコミュ障男子でも中学生時代になると、
Web3、バズりまくってますねぇ~。 一言でいえば、「真に分散システム化したWeb」ってことになると思うのですが、「じゃあ分散システムがどうビジネスに結びつくのか?」というのがまた分かりにくい。 ブロックチェーンやNFTという基盤技術がこなれてきたこともあり、「真に分散システムとしてのWeb」が技術的には現実味を帯びてきました。 しかし、何か人や企業を大きく動かす強烈なインセンティブ構造を持った(ビジネス)モデルがあるのかといえば、今のところ無さそうに思います。 Twitterの創業者ジャックドーシーは以下のようにツイートしています。 You don’t own “web3.” The VCs and their LPs do. It will never escape their incentives. It’s ultimately a centralized entity with
はじめに プログラムを書けるレベルの論理的思考力を持った人(全世界の5~6割くらいの人が当てはまると思われる)に対しては、数学や物理学等における概念を容易に説明できるはずだ、という信念がいつの日からかふつふつと湧き上がってきた。 本ブログによる一連のシリーズはそれを実際にやってみようという試みである。 熱力学の動機 19世紀頃、それまで人類は馬や牛などの動物を働かせて少々のラクをすることは出来ていたものの、基本的には人の労働力によって多くの仕事をこなしていた。 しかし、蒸気機関のような「燃料を労働力に変える技術」が実用レベルに達したことにより、産業革命が起こった。人類全体の富は爆増した。 そんな時代に多くの物理学者たちが、「燃料(すなわち熱)」と「力」の関係を体系的に説明する物理法則を整備しようと、実験および理論的考察を繰り返した。 そうして完成したのが熱力学という理論である。 熱力学の成
「AIブーム」もこなれてきて、いろんなソフトウェアベンダが「もう少し突っ込んだテーマ」を探しているように見えます。 本記事では2020年代のビジネスモデルとソフトウェアをどう作りどう使ったらよいか、その考え方について5箇条という形で書いてみます。 第一条 ドメイン知識を「APIを組み合わせるノウハウ」に変換すべし GAFA(Google, Apple, Facebook, Amazon)がグローバルプラットフォームの上で安価なAPIを提供してくれるようになったおかげで、ソフトウェアを作ることはAPIを組み合わせてインタフェースを作ることとほぼ同義になりました。 もはや、世の中の99%の企業にとって「AIは作るものではなく使うもの」になりました。「AIを使うノウハウが大事」な時代になったことは自明でしょう。それはすなわち「APIを組み合わせるノウハウ」のことです。 APIの裏側で動く高度な数
もりあがってますね 今週のメディア報道は稀にみる混戦模様となっている米大統領選関連でもちきりだった。11/5現在はバイデン氏がかなり優勢とのことで、個人的にはそのまま大統領交代になるんじゃないかと思う。 そもそもトランプ氏が4年前に大統領になった背景には、もともと白人のフロンティア集団が作ったアメリカという国において、その基本政治経済基盤である自由資本主義経済のシステムが極度に強まった結果、国内外のグローバル化・多民族化が猛スピードで進行し、白人同士の競争社会として十分成長余地のあった時代が終わり、一部の(といっても少なくない)没落する白人たちの経済を支え切れなくなった反動というパワーが主要因としてある、というのがいくつかの解説記事を読んだ限りの自分の理解だ。(人種のるつぼといわれるアメリカだけど、依然として白人が70%超を占めている。) 資本主義と自由競争という経済システムは、生産性の拡
このページを最初にブックマークしてみませんか?
『conceptualization』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く