Googleの機械学習モデル「Transformer」は、データを時系列に処理しなくても、自然言語などのデータを翻訳やテキスト要約することが可能で、ChatGPTなどの自然な会話が可能なチャットAIのベースとなっています。また、Transformerの手法を画像分野に応用したモデルが「Vision Transformer」です。ソフトウェアエンジニアのデニス・タープ氏が、「Vision Transformer」のコンポーネントがどのように機能し、データはどのような流れをたどるのか、ビジュアル化して解説しています A Visual Guide to Vision Transformers | MDTURP https://blog.mdturp.ch/posts/2024-04-05-visual_guide_to_vision_transformer.html 0：はじめに 前提として、T

さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transformer」構造の心臓部「Attention(アテンション)」についての解説が行われています。 3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning https://www.3blue1brown.com/lessons/attention AIの中身と言える大規模言語モデルのベースとなる仕事は「文章を読んで次に続く単語を予測する」というものです。 文章は「トークン」という単位に分解され、大規模言語モデルではこのトークン単位で処理を行います。実際には単語ごとに1トークンという訳ではありませんが、3Blue1Brownは単純化して

チャットAI「Claude」は人間の学者に匹敵する能力を持つとされるほどの性能を備えており、ChatGPTのライバルとみなされています。そんなClaudeが日本でも利用可能になったので、実際にClaudeを使う方法や性能をまとめてみました。 Now users in all supported countries can access both our free experience and Claude Pro to boost their productivity and get more done.— Anthropic (@AnthropicAI) ◆Claudeのアカウント作成手順 Claudeを使うには無料のアカウントを作成する必要があるので、まずは以下のリンクをクリックしてアカウント作成画面にアクセスします。 Claude https://claude.ai/login アカ

RLHFとは「人間の評価による強化学習」のことで、大規模言語モデルをChatGPTなどの実用レベルに至る品質にまで高めた実績のある手法です。RLHFでは教師データを作成したり、大規模言語モデルの回答を評価したりする際に人間がデータを入力する必要があり、特に複数人で作業する場合にデータの管理が大変になってしまうものですが、そうしたRLHF用データの入力や管理を行ってくれるプラットフォームが「Argilla」です。 Bringing LLM Fine-Tuning and RLHF to Everyone https://argilla.io/blog/argilla-for-llms/ 大規模言語モデルを作成する時の手順を示したのが下の図です。まず大量のテキストを用いて事前学習を行います。こうして作成されたモデルが事前学習済みモデルで、GPTやPaLM、LLaMAなどのモデルがこのカテゴリに

2022年11月にChatGPTが公開され、たった1週間で100万ユーザーを超えたのをきっかけに、GoogleのBardやMicrosoftのBing AI Chatなど、大規模言語モデルを利用したチャットAIが続々とリリースされています。チャットAIを研究しているセバスティアン・ラシュカさんが、チャットAIが実用化されるまでの研究の軌跡を重要な論文24個に絞って要約しています。 Understanding Large Language Models - by Sebastian Raschka https://magazine.sebastianraschka.com/p/understanding-large-language-models ◆目次 ・主要なアーキテクチャとタスク ・スケーリングと効率性の向上 ・言語モデルを意図した方向へ誘導する ・人間のフィードバックによる強化学習(

一見すると普通のUSBケーブルですが、実際にPCに挿すと悪意のある挙動をしてハッキングの手助けをするというのが「O.MGケーブル」です。これまでも通常のUSBケーブルと見分けがつかないO.MGケーブルが発表されていたのですが、新たにPCのキーボードに打ち込んだ内容を保存するキーロガーを内蔵し、Wi-Fi経由で入力内容を外部に送信してしまうという新バージョンが登場しています。 O.MG Keylogger Cable https://mg.lol/blog/keylogger-cable/ This Seemingly Normal Lightning Cable Will Leak Everything You Type https://www.vice.com/en/article/k789me/omg-cables-keylogger-usbc-lightning Security R

ネットワークの構成を視覚的に把握しやすいアイソメトリック図で表現でき、作成した図面を共有して相手に見せることができるオンラインサービスが「Isoflow」です。 Isoflow https://isoflow.io/ まずはお試しですぐに図面の作成画面に行くことができます。「CREATE A DIAGRAM」をクリック。 表示されたキャンバス上の好きな位置のマス目をクリックするとノード部品が設置されます。 ノードが設置されると左側にダイアログが出現するので、Label入力欄で名前を付けます。ノードのアイコンを変更するため「Node icon」をクリック。 アイコン一覧が表示されるので目的のアイコンの絵をクリックして変更します。 さらにノードを増やした後、ノードアイコンをクリック。 ノードのサブメニューが表示されるので「Connect」をクリック。 ノードを接続するためのポインタをマウスで動

「地球温暖化」は人類を脅かす大きな課題であり、各国や大企業が化石燃料の使用量の削減を掲げて取り組みを行っています。地球温暖化の影響としては、海面上昇、熱波などの異常気候の頻発、砂漠の拡大などが挙げられますが、さらに「感染症の流行」も挙げられるべきだと専門家が指摘しています。 How climate change could expose new epidemics https://phys.org/news/2020-08-climate-expose-epidemics.html 地球温暖化で永久凍土が解けることによって、海面が上昇するだけでなく、永久凍土に含まれる温室効果ガスが解放されて地球温暖化が加速することが問題視されています。 永久凍土が解けることが地球環境に与える影響は「これまでの推定の2倍」との研究結果 - GIGAZINE これらの問題に加えて、スウェーデンのウメオ大学で臨

OpenAIが開発する「GPT-3」は、ほとんど違和感のないブログ記事を生成できてしまうほど高い精度を誇る言語モデルです。そのGPT-3がテキストを生成する仕組みについて、オンライン学習プラットフォーム「Udacity」でAIや機械学習関連の講座を持つJay Alammar氏が解説しています。 How GPT3 Works - Visualizations and Animations – Jay Alammar – Visualizing machine learning one concept at a time. https://jalammar.github.io/how-gpt3-works-visualizations-animations/ The Illustrated GPT-2 (Visualizing Transformer Language Models) – Ja

AmazonのクラウドサービスであるAWSは、コンピューティングやデータベース、ストレージなど、膨大で複雑なサービスで構成されています。こうした豊富なサービス群をうまく組み合わせて利用する「ビルディングブロック」がAWSのメリットでもありますが、サービス数が多すぎてなかなか全体像を把握できないのも事実。フリーランスのエンジニアでありコンサルタントでもあるジョシュア・テイセン氏が自身のブログで、AWSのすべてのサービスを「たった1行」で説明しています。 Amazon Web Services https://adayinthelifeof.nl/2020/05/20/aws.html テイセン氏によると、Amazon Dashboardから利用可能なAWSのサービスは記事作成時点で163あるとのこと。そのすべてを正確に理解する必要はありませんが、基本を押さえておくことはいいことであり、問題の

コンピューターにパスワードを設定することは、セキュリティの観点から非常に大切なことですが、そのパスワードを失念してしまったり、前の持ち主からパスワードを聞きそびれてしまったりした場合、コンピューター内のデータにアクセスできなくなってしまう事態に陥ってしまいます。「chntpw」はWindowsのパスワードを強制リセットし、そうした事態を回避することができるコマンドです。 chntpw | Remove, bypass, unlock and reset forgotten Windows password http://www.chntpw.com/ Windowsのパスワードを忘れてしまい、誤ったパスワードを入力すると、画像のように「パスワードが正しくありません。入力し直してください。」と表示され、ログインができなくなってしまいます。 chntpwはLinux上で動作するコマンド。今回は

電車やバスが遅延でなかなか来なかったり、乗れてもすさまじく混んでいたりした時に、「これならいっそ歩いた方が良かったな」と思った経験がある人も多いはず。イギリス第2の都市マンチェスターを擁するグレーター・マンチェスターでは、そんな交通の悩みを解決する先進的な取り組みが始められています。 Tired of packed trains? Here's how smart cities can make your commute less painful | ZDNet https://www.zdnet.com/article/tired-of-packed-trains-heres-how-smart-cities-can-make-your-commute-less-painful/ TfGM using cloud-based data platform to analyse crucia

2019年2月16日、地主のYさんとパワーエステート株式会社が突然GIGAZINE第一倉庫をショベルカーで破壊。法的な正規の手続きを一切無視して破壊するのは「建造物損壊」ではないのか？ということで警察が被害届を受理したその翌日、3月28日に新たな地主「日新プランニング株式会社」が2回目のショベルカーによる破壊を強行。そして4月1日、日新プランニング株式会社はさらに3回目の破壊をしに来ることがわかりました。 ◆2019年03月29日 23時00分 ある日突然自分の建物を他人がショベルカーで破壊しても「建造物損壊」にはならないのか？ - GIGAZINE ◆2019年03月31日 20時02分 続・ある日突然自分の建物を他人がショベルカーで破壊しても「建造物損壊」にはならないのか？ - GIGAZINE ◆ショベルカー、三度登場 日新プランニング株式会社による2回目の破壊が行われる前日夜の間に

大阪市西淀川区にあるGIGAZINE旧本社へ編集長たちが自動車で荷物を取りに行ったところ、なんと斜め前にあるGIGAZINE第一倉庫がショベルカーでぶっ壊されている真っ最中の現場に偶然遭遇しました。 ◆所有している倉庫が見知らぬショベルカーに破壊されていた 現場はココ、2019年2月16日のことです。現場到着して確認直後からすぐ録音開始しているため、以降の様子はすべて音声データが存在していますが、記事執筆時点で警察が捜査中とのことなので、支障が出ないように専門的で詳細な部分はあえて省略し、被害届や供述調書に沿った事実関係のみで記事化しています。 上記の倉庫がこんな感じに。 解体業者がショベルカーで破壊中。もちろんすぐに「ここはうちの名義になっているし、登記して権利を所有している。火災保険もかけているし、税金も払っている。何かの間違いではないか」と伝えたところ、「上の不動産会社の社長から取り

第三次産業革命(デジタル革命)ではPCやインターネットが急速に普及し、その技術を用いてワールドワイドウェブやEメールが登場しました。2019年になった今、そのデジタル革命の延長線として「第四次産業革命」が起きていると言われています。この第四次産業革命を通して「データ」、すなわち情報の取り扱いが大きく変わりつつありますが、その基盤となっているのがIoTや人工知能といった技術です。例えばIoTは「インターネット・オブ・シングス」の略称で、「すべてのものをインターネットに繋げる」ことを意味しますが、そのIoTでは冷蔵庫の中身を外出先から確認したり、帰宅する少し前にエアコンを付けておくなどさまざまな活用が考えられています。 上記のような、2019年も注目の技術をいち早く身に付けておくことで成長産業にポジションを取ることができ、自身のキャリア形成にその産業の成長という追い風を受けることができるように

Microsoftの創業者として知られるビル・ゲイツ氏は、ウェブブラウジング中にOur World in Dataというさまざまな統計を表示するウェブサイトを見つけ、世界の生活状況がどのように変化してきたかを知ることになったそうです。同氏は自身が確認したグラフの中で誰もが知っておくべきものがあるとして、3つのグラフを紹介しています。 Memorizing these three statistics will help you understand the world | Bill Gates https://www.gatesnotes.com/Development/Max-Roser-three-facts-everyone-should-know ◆1：1960年以降、児童の死者数は年間約2000万人から約600万人に減少している 以下のグラフは、1960年～2016年までの児童の

予備知識ゼロからiOSアプリを開発できるようにしよう！というのがこの「ゼロから始めるiOSアプリ開発」です。今回はリストを表示するのにぴったりなTableViewを使いつつ、実際にiPhone上でアプリを起動してみます。かつてはiPhone上でアプリを動かすには年間1万1800円を支払ってApple Developer Programの会員になる必要がありましたが、2015年からは無料で行えるようになっています。 「コードを書かずにアプリを作ってみる」という第1回の記事は以下より。 ゼロから始めるiOSアプリ開発「ボタンで画面を切り替えるアプリ」 - GIGAZINE 前回までと同様に新規プロジェクトを作成していきます。プロジェクトには「tableView」と名付けました。 「Main.storyboard」を開き、右下から「Table View」をドラッグ＆ドロップで画面に配置し、「Co

予備知識ゼロからiOSアプリを開発できるようにしよう！というのがこの「ゼロから始めるiOSアプリ開発」です。今回は「Swift」という言語を使ってプログラムを書き、プログラムから画面を操作してみます。なお、この記事は公式の解説記事を参考にして作成しています。 Start Developing iOS Apps (Swift): Jump Right In https://developer.apple.com/library/content/referencelibrary/GettingStarted/DevelopiOSAppsSwift/ 第1回だった前回はストーリーボードの設定だけで画面遷移を実現しました。 ゼロから始めるiOSアプリ開発「ボタンで画面を切り替えるアプリ」 - GIGAZINE まずはXcodeを起動し、「Create a new Xcode project」をクリ

GoogleのAI開発を行うGoogle Brainチームが、2017年の活動を振り返る「The Google Brain Team — Looking Back on 2017 (Part 1 of 2)」を発表しました。パート1では、2017年に行われた機械学習のためのオープンソースソフトやハードウェアアップデートなどのテーマについて、成果が報告されています。 Research Blog: The Google Brain Team — Looking Back on 2017 (Part 1 of 2) https://research.googleblog.com/2018/01/the-google-brain-team-looking-back-on.html Google Brainシニアフェローのジェフ・ディーン氏は、Google Brainチームが重要視しているのは、「機

by Marcus 電柱(電信柱)が地面から伸び、電線がクモの巣のようにあちこちに伸びる姿は日本人にとっては当たり前の風景です。アニメのワンシーンにそういった電線の姿が登場しても特に気にとめることなくスルーしてしまう人が多いはず。しかし、海外では電線を地下に埋めている場所が多く、日本のような電線を珍しいと感じる人も多くおり、「どうしてこんなにいろんなアニメで電線が登場するんだろう？」と疑問に思う人が多くいるようです。 Why Is Anime Obsessed With Power Lines? - Atlas Obscura https://www.atlasobscura.com/articles/why-power-lines-anime-electrical-infrastructure Tumblr上には映画やドラマの食事シーンだけを延々と集めるブログや誰でも使ってOKな写真素材