GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
音声だけで完全な長文が書ける技術、東大教授が開発 ささやき声で“改行”や“修正”などコマンドを入力
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 ソニーコンピュータサイエンス研究所（CSL）フェロー・副所長であり東京大学大学院情報学環の暦本純一教授が開発した「DualVoice: A Speech Interaction Method Using Whisper-Voice as Commands」は、キーボードやマウスなどを使用せず、音声入力だけで長い文章が書ける技術だ。文字入力以外のコマンド入力と音声認識ミスによる修正は、通常の声とは別に「ささやき声」で操作する。通常の声とささやき声を使い分ける方法で、ハンズフリーの完全な音声入力を実現する。 音声による文字入力はタイピングに比べて格段に速いため、アイデアを書き留めたり、原稿を素
IPA のけしからん技術が再び壁を乗り越え、セキュアな LGWAN 地方自治体テレワークを迅速に実現
IPA のけしからん技術が再び壁を乗り越え、セキュアな LGWAN 地方自治体テレワークを迅速に実現 2020 年 11 月 3 日 (火) 独立行政法人情報処理推進機構 (IPA) 産業サイバーセキュリティセンター サイバー技術研究室 登 大遊 独立行政法人 情報処理推進機構 (IPA) 産業サイバーセキュリティセンター サイバー技術研究室は、このたび、できるだけ多くの日本全国の地方自治体 (市町村・県等) の方々が、LGWAN を通じて、迅速に画面転送型テレワークを利用できるようにすることを目的に、J-LIS (地方公共団体情報システム機構) と共同で、新たに「自治体テレワークシステム for LGWAN」を開発・構築いたしました。 本システムは、すでに 8 万ユーザー以上の実績と極めて高い安定性 を有する NTT 東日本 - IPA 「シン・テレワークシステム」をもとに、LGWAN
フランス人発明家 “空飛ぶ装置”でドーバー海峡横断に成功 | NHKニュース
小型のジェットエンジンを使って立った状態で宙に浮くことができる装置を発明したフランス人の男性が、フランスとイギリスとの間のドーバー海峡の横断飛行に成功し話題になっています。 海沿いに設定された台では、多くの観客が見守るなか、黒いヘルメットとスーツに身を包み装置を着けたザパタさんがゆっくりと浮き上がり、その後、前傾姿勢になってイギリスに向かって飛んでいきました。 地元メディアなどによりますと、動力は５つの小型ジェットエンジンで、ザパタさんは燃料を背負って飛び、一度、海の上でボートにおりて燃料を補給したうえで、およそ35キロのドーバー海峡を22分で横断したということです。 観客の１人は「本当にうれしい。彼を誇りに思います」と話していました。 横断後、記者会見を開いたザパタさんは「夢がかないました。非常に感激です」と述べたうえで、支えてくれた家族に感謝したということです。
「ずっとむなしい、なにもなく終わる･･･」 マツダの天才エンジン技術者、大逆転の軌跡（前編） | 日経 xTECH（クロステック）
日本の自動車技術者で、最も有名な一人が人見光夫だ。エンジン一筋38年。マツダ躍進の中核を担う、「スカイアクティブ（SKYACTIV）」エンジンの開発を率いてきた。世界シェアが2％に満たない“小兵”のマツダが、世界のエンジン開発競争で先頭を走る――。10年前、誰が想像しただろう。 人見がマツダに入社したのが1979年。スカイアクティブの実用化が2011年だ。57歳になっていた。会社人生の最終コーナーで、華々しい成果を生み出した。天才技術者とも称される。だが入社して長い間、ふてくされていた。 モチベーションなんて、なかったですよ。ずっとむなしいだけ。金くれるんだからまあいいわ、くらいに思って働いてました。 ひとみ・みつお。1954年生まれ。岡山県出身。1979年東大院修了後、東洋工業（現マツダ）に入社。一貫してエンジン開発に携わり、2000年パワートレイン先行開発部長。2011年執行役員、20
Engadget | Technology News & Reviews
Xbox Series X/S storage expansion cards from WD and Seagate are discounted right now
ディープラーニングで既存の映像をありとあらゆる絵画テイストに自動で変換できる驚異のアルゴリズム
技術の進化が著しい「ディープラーニング」を使うことで、著名な画家の作風を認識し、別の映像をそのテイストに変換してしまうというアルゴリズムの開発が進められています。ドイツ・フライブルク大学コンピューターサイエンス学部のManuel Ruder氏らによる研究で行われた実際の変換の様子がムービーで公開されているのですが、その様子は驚きを禁じ得ないレベルに達しています。 Supplementary video for "Artistic style transfer for videos" - YouTube このアルゴリズムは、コンピューターサイエンティストのLeon A. Gatys氏らが2015年に発表していた論文の内容をさらに発展させたもので、素材となる映像に著名な画家の作風を反映させることができます。例えば、CGアニメ映画「アイス・エイジ」に、ゴッホの作品「星月夜」のテイストを掛け合わせ
カスペルスキー、社員にマイクロチップを埋め込む。 - すまほん!!
ロシアのセキュリティ企業Kasperskyは、独ベルリンで開催中のIFA2015にて、同社の社員が手をかざしてスマートフォンのロックを解錠して見せました。 ガラスに封入された米粒ほどの大きさのインプラントチップを手に埋め込んでいるそうです。 RFID技術を使用したチップにより、スマートフォンのロック解除、ドアの鍵の解錠などの用途に使用できます。Kasperskyは現時点では用途が限られていることを認めつつも、将来的には電車の改札通過や商品購入など決済にも利用できることを示唆。さらに体温など健康管理にも活用できるとしており、将来性の高さを伺わせます。 こうした用途は今後ウェアラブルデバイスで実現されていきそうな分野ではありますが、身に付けるのではなく、身体に埋め込んでしまうというのは、時代の一歩も二歩も先を行く発想です。ディストピアSF作品にありがちなアイデアです。 今後はチップとBluet
まさに悪夢、Googleの人工知能「DeepDream」でムービーを作成したらとんでもないことに
「神経回路網はどのような働きをしているのか？」ということを解明するため、Googleが新たに開発した人工知能が「DeepDream」です。画像から少しでも見覚えのある物体を見つけ出し、それを再構成して出力するというものなのですが、実際に作られた画像が「悪夢のようだ」と話題となっており、ムービーが公開されたところ、ホラー映画どころではないとんでもない仕上がりになっていました。 Deep Dreaming Fear & Loathing in Las Vegas: the Great San Francisco Acid Wave - YouTube クラブのような場所で踊る人々。何か様子がおかしいと思いつつも映像を見ていると…… ぐにゃりと人が変形して動物が現れたり、心霊写真のようにあり得ない場所に人の顔が現れたりします。 エイリアンのような姿が並び…… 「パシフィック・リム」のギレルモ・デ
技術力の低い人が作ったロボット大集合
技術力の低い人の祭典、「技術力の低い人限定ロボコン（通称：ヘボコン）」。技術力の低い人が技術力の低い人たちだけで集まってぬるま湯に浸かるためのこのイベント、いよいよ本戦が今週土曜日に迫ってまいりました！ 主催者の僕は今週は粛々準備を進めるつもりでしたが、しかし集まったロボットたちがあまりに魅力的であったため、急遽ここで、出場する技術力の低いロボット32体を一挙ご紹介したいと思います。 8/4 イベントレポートを公開しました 9/4 興奮を再び！ダイジェスト映像公開中。 インターネットユーザー。電子工作でオリジナルの処刑器具を作ったり、辺境の国の変わった音楽を集めたりしています。「技術力の低い人限定ロボコン（通称：ヘボコン）」主催者。1980年岐阜県生まれ。 本『雑に作る ―電子工作で好きなものを作る近道集』（共著）がオライリーから出ました！ 前の記事：禁止事項クイズ ＞ 個人サイト nom
人間の表情をリアルタイムでトラッキングして2次元のキャラクターになりきるとこうなる
手描きの「絵」をもとに変形可能な立体二次元モデルを構築し、絵をそのまま自由自在に動かせるようになる「Live2D」が、現在「Live2D Creative Award 2014」というコンテストを開催しており、Live2Dを使って制作されたオリジナルムービーを2014年3月27日から6月1日までの期間募集していました。 これの応募作品のひとつである「リアルタイムで表情トラッキングしてLive2Dキャラになりきる！【Live2D_2014】」では、リアルタイムに人間の顔をトラッキングすることでLive2Dで作成したキャラクターの表情を人間の表情の変化に合わせて変え、2Dキャラクターになりきることに成功しています。 リアルタイムで表情トラッキングしてLive2Dキャラになりきる！【Live2D_2014】 - YouTube これはLive2Dを使って作成されたキャラクター。このキャラクターは
■ - 偽日記@はてなブログ
●ETV特集「よみがえる色彩 激動の20世紀アーカイブ映像の可能性」というテレビ番組を観た。なにかヤバい、見てはいけないものを見てしまったという感じがする。過去を冒涜するかのような鮮やかさというか、現前の暴力というものの(あまりに魅惑的な)力を見せつけられたようだ。キリスト教的な復活という概念のもつ感触の端っこに触れてしまったようでもあった。 (はじめてメガネをつくってかけた時の「こんなに見えちゃうのか」という感じにも近い。) 番組を観て判断する限り、技術的には大したものではなく、資料を調べて想定される色をデジタル的に塗り絵するという程度のもので、モノクロ映像のデータから直接的に色彩を読み取ることが出来るということではないようだ。だから、映像が撮られた当時の色彩が再現されたというより、多分に見世物的な演出効果(恐竜の皮膚の色は分かっていないのに恐竜の復元図には色がついている、というのに近い
SankeiBiz（サンケイビズ）：自分を磨く経済情報サイト
サービス終了のお知らせ SankeiBizは、2022年12月26日をもちましてサービスを終了させていただきました。長らくのご愛読、誠にありがとうございました。 産経デジタルがお送りする経済ニュースは「iza! 経済ニュース」でお楽しみください。 このページは5秒後に「iza!経済ニュース」（https://www.iza.ne.jp/economy/）に転送されます。 ページが切り替わらない場合は以下のボタンから「iza! 経済ニュース」へ移動をお願いします。 iza! 経済ニュースへ
なぜ？“磁気テープ”が復活 - NHK 特集まるごと
データ保存の専門家 「いま、磁気テープが非常に脚光を浴びている。 復活したといってもいい状態だと思う。」 阿部 「そう、われわれの時代は、カセットテープですよ、青春の思い出と共に。 なかなか処分できないんですよ、かさばっていても。」 鈴木 「そういう方、多いと思うんですよね。 使いやすさの面でも、記録できる情報量の面でも、ＣＤやＤＶＤにとって代わられた磁気テープなんですが、日本のメーカーが性能を飛躍的に高めた結果、今、再び記録媒体として、復活のきざしを見せています。 新しい磁気テープは、１本でＤＶＤ５００枚分という、大量のデータを記録できるようになっているんです。」 阿部 「なぜ今、磁気テープが注目を集めるのか、取材しました。」
ロームが世界最小の半導体を開発 シャーペンの芯より小さい、小さすぎて粉っぽい（画像あり） : まとめたニュース
2013年09月20日 Tweet ロームが世界最小の半導体を開発 シャーペンの芯より小さい、小さすぎて粉っぽい（画像あり） コンピュータ│11:30│コメント(12) 1 ： ベガスφ ★ ：2013/09/19(木) 23:09:40.26 ID:??? "ローム、世界最小の半導体開発 スマホの小型化に応用も" ロームは１９日、世界最小の半導体や抵抗器の開発に成功したと発表した。砂粒程度の大きさしかなく、スマートフォンの小型化などが期待できるという。補聴器や内視鏡などの医療分野にも展開したい考えだ。 開発した抵抗器は縦０・３ミリ、横０・１５ミリで、従来品よりサイズを５６％小さくした。さらに小さい縦０・２ミリ、横０・１ミリの抵抗器の開発も進めている。半導体は縦０・４ミリ、横０・２ミリで体積を８２％小さくした。 抵抗器は電流を制御するのに不可欠な部品で、スマホには約２００個使われている。サ
世界初 折りたたみ式の橋を開発 NHKニュース
災害で橋が壊れた場合も、物資の輸送に支障を来さないよう、わずか１０分で完成する折りたたみ式の橋が開発され、静岡県富士市で強度を確かめる実験が行われました。 この橋は、広島大学大学院の有尾一郎助教が、静岡県富士市にある施工技術総合研究所などと開発しました。 橋はアルミ合金製で鉄製の橋と比べると軽く、骨組みには世界で初めてとなる構造の折りたたみ式が取り入れられ、長さはたたんだ状態の３メートルほどからおよそ２１メートルにまで伸びます。 この間にかかる時間はわずか１０分で、国が災害復旧のために使っている仮設の橋の設置にかかる４０時間から大幅に短縮されています。 １２日に富士市で行われた実験では、１台当たりおよそ１トンの車が３台同時に通過しましたが、異常は見られませんでした。 開発したグループによりますと、設計上は、物資や資材を積んだトラックが走行できるように１２トンの重さまで耐えられるということで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Imagicを理解する
エピソード - 視点・論点
3Dプリンターで違法な物を出そうとすると作動停止させるプログラム開発 
Ring