【Day 3】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】 - Qiita
Transformer 深層学習モデル以前の言語モデルの課題 言語モデルでやりたいことは、「今まで生成した単語列を元に、次の単語を予測する」ことで、その単語は今まで生成した単語列を条件とし、次にある単語がくる条件付き確率を求め、その確率が最大のものを選ぶということだった。（LLM資料p.8参照） ただ、これだと単語列が長くなったときや、類義語の処理に課題が生じてしまっていた。 ニューラル言語モデル しかし、計算したい条件付き確率をNNで推定することにより、対処できた。 Encoder-Decoder型のRNN（Recurrent Neural Network)が最も基本的なモデルにはなるが、これでは長文に対応できなかった。（勾配消失＆単語間の長距離依存性の把握が困難） RNNが勾配消失するのは、活性化関数のtanhが1未満の値を取るため、BPTT時に掛け算されるとだんだん値が小さくなってし
任天堂が1980年代に発売した光線銃ゲーム「ダックハント」のブラウン管画面をスローモーション撮影してわかる驚きの仕組みとは？
任天堂が1984年に発売したファミコン用ゲーム「ダックハント」は、海外では「ZAPPER」とも呼ばれる光線銃を使用して、テレビ画面の中で飛ぶカモを撃つというゲームです。そんなダックハントを当時使われていたブラウン管でプレイし、スローモーションで撮影するとどう見えるのかをYouTubeチャンネルのThe Slow Mo Guysが解説しています。 How the Nintendo Zapper worked in Slow Motion - The Slow Mo Guys - YouTube The Slow Mo Guysのメンバーであるギャブ氏が登場。背後にあるブラウン管テレビには「ダックハント」のホーム画面が映っており、右手には光線銃を持っています。 日本などで発売されたオリジナルの光線銃は灰色でしたが、海外向けに発売されたニンテンドー・エンターテインメント・システム(NES)用の光
ケンブリッジ・アナリティカ - Wikipedia
ケンブリッジ・アナリティカ（英語: Cambridge Analytica Ltd : CA ）は、かつて存在したデータマイニングとデータ分析を手法とする選挙コンサルティング会社である。 事務所は米国とイギリスに置いていた。スティーブン・バノンは、かつて役員会のメンバーであった。 2016年6月に実施されたイギリスの欧州連合離脱是非を問う国民投票や、2016年11月に実施されたアメリカ合衆国大統領選挙において、いずれも勝者側が利用した選挙コンサルティング会社として注目された。しかし一方で効果を疑問視する声があり、さらにデータ収集や広告の手法についてプライバシーや情報操作の懸念も指摘されている[要出典]。 フェイスブックの個人情報流出問題で情報の不正取得が疑われていたが、2018年5月2日、関連会社とともに破産手続きを申請したことを発表し、同日付で全ての業務を停止した。同社は声明で「この数カ
ノルウェーの企業 砂漠の砂をわずか7時間で肥沃な土壌に変える方法を編み出す
https://cdn1.img.sputniknews.jp/img/07e6/07/08/11883836_0:0:1920:1080_1920x0_80_0_0_3ecdaaa33498712a51dba8587e67f5e2.jpg ナノクレイは2000年代初頭にノルウェーの研究者クリスティアン・オレセン氏によって開発されたが、砂漠を花咲く谷に変えるという方法は、同社のみが考え出した方法だという。その方法によると、ナノクレイは、わずか7時間で砂の粒子と活発に結合し、保湿性の高い土壌を形成する。同メディアによると、この方法では1平方メートルの砂漠をナノクレイを使って保湿性の高い土壌に変えるのに2〜5ドル（約298〜745円）がかかり、広大な砂漠を農業向きの土壌に変えていくことを考えると、かなり高額になるという。そこで同社では、肥沃な土壌をつくるプロセスをできるだけ安価にするための工夫
ドリンクのフタについてるポッチをドローンの翼につけてみた。米大の研究
ドリンクのフタについてるポッチをドローンの翼につけてみた。米大の研究2022.10.31 14:00102,409 岡本玄介 コーヒー買ったら思い付いたのかな？ ファストフード店でシェイクやコーヒーなどを頼むと、必ずといって良いほどプラスチックのフタが付いてきますよね。星型や半円状のポッチを凹ませて、中身が視覚的にわかるような仕組みになっています。 インディアナ州にあるパデュー大学とテネシー大学ノックスビル校では、そのポッチにヒントを得て、ドローンが飛行中に危険を察知するセンサーを開発しています。 Unlike humans, drones lack ways to filter out info they don’t need, which slows down their response time to changes in their environment. Learn how
「MIRAISE TREND 2022」 フルバージョン
MIRAISEはソフトウェアエンジニアが起業した会社へ投資する日本で唯一のベンチャーキャピタルです。日本、US、エストニアなどに拠点を置く、ソフトウェアスタートアップ36社に出資を行っています。(2021年12月時点) 普段より国内外のソフトウェアスタートアップを調査し、テック企業の方と交流し情報交換を行っています。 MIRAISEからスタートアップに関わる方へ向け今年2022年のトレンドを発表したいと思います。是非お役立てください。 また、今年は各コンテンツの音声コンテンツも順次配信しますので、お楽しみください。 目次クリエイティブ制作のクラウドへのシフトが加速 Webの3D技術がついに日の目を浴びる オープンソースのマネタイズ手法が多様化 ユニコーン企業のプラットフォーム化が進む パーソナルサーバー2.0 VRアプリが急増 クラウドサービスの多層化 1. クリエイティブ制作のクラウドへ
Google DeepMindの新発表はバイオ領域のロゼッタストーンになる | Coral Capital
先日、バイオや医療の世界に革命を起こすであろう大成果をDeepMindが発表しました。同社はタンパク質の立体構造をDNA情報から高精度で予測できるAIを完成させ、それを活用することでヒトのプロテオーム（ヒトを構成する全てのタンパク質）を最も完全かつ正確に網羅したデータベースを完成させたのです。言うなれば、バイオ界の長年の謎を紐解く「ロゼッタストーン」を作り出したようなもので、ヒトゲノムの完全解析に成功して以来の飛躍的な進展です。 タンパク質はアミノ酸から作られていて、筋肉などの組織や酵素、抗体など、生物にとって重要な様々な部分を構成しますが、その設計図となるのがDNAです。個々のタンパク質の機能を理解するためには、その構造の解明が欠かせません。しかし、DNA情報からどのような形のタンパク質が作られるのかを理解し、予測するのは非常に難しく、科学者たちにとって長年の課題となっていました。従来の
ガートナー、2020年の先進技術に関する5つ動向を発表
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 米Gartnerは、先進的な技術の最新動向をまとめた「先進テクノロジのハイプ・サイクル：2020年」を発表した。注目すべき30の先進テクノロジーを取り上げ、この中には「コンポーザブルエンタープライズを実現するもの」「テクノロジーに対する社会の信頼回復を目指すもの」「人間の脳の状態を変化させるもの」が含まれている ハイプ・サイクルは、同社がテクノロジーやアプリケーションなどについて、時間の経過とともに進化している状況を視覚的に説明しているもの。テーマによりさまざまなハイプ・サイクルがあるが、「先進テクノロジのハイプ・サイクル」は1700以上の技術を分析し、「本質的に破壊的なもので、競争力はまだよく知られていないか、市場で証明されていない。
エスパーになれる……この｢EMGリストバンド｣があれば！
エスパーになれる……この｢EMGリストバンド｣があれば！2021.03.20 15:1514,602 西谷茂リチャード 脳に埋め込まずとも意図を汲み取ってくれるガジェットあるんだね。 スマホの次はコレ！と名高いのが空間コンピューティングです。スマートグラス/ARグラス/MRゴーグルなど色々な形の提案がありますが……要はメガネ/ヘッドセット型のガジェットを装着することで現実世界の上にデジタル表示を重ねて視認し、両世界をよどみなく行き来しようぜという近未来像。これが実現すると、生活がひじょーーーに楽になります。 説明がちょっと難しいですが、たとえるならあらゆるボタンが押したい時にスッと現れては消えていくような感じです。 いま家にいて、テレビ前のソファーに座ったとしましょう。すると、｢テレビを点けますか？｣などといった表示が視界にスッと現れるわけです。ここで｢はい｣のバーチャルボタンを選択すれば
写真の人物にAIで命を吹き込む｢Deep Nostalgia｣、誰でも無料でお試し可能
写真の人物にAIで命を吹き込む｢Deep Nostalgia｣、誰でも無料でお試し可能2021.03.06 21:0034,926 Andrew Liszewski - Gizmodo US ［原文］ （ mayumine ） ディープラーニングで、故人の顔の表情を蘇らせます。 祖先検索やオンライン家系図を作成サービスを提供するイスラエルの企業｢MyHeritage｣は、先祖などの古い写真の顔を、ディープラーニングの技術で動かすことができるサービス｢Deep Nostalgia｣をリリースしました。まるで、写真を撮られる前のポーズの準備をしているような感じで、AIとはわかっていても、まるで故人がそこで生きているように感じます。 カメラのシャッターを切った前後の1.5 秒ずつの動画が記録される、iOSやiPadOSのLive Photosっぽくもありますね。Live Photosは、シャッタ
『全固体電池』が電気自動車普及の切り札？〜基礎知識から最新情報まで整理してみた - EVsmartブログ
電気自動車（EV）の課題を解決する可能性が高いとして『全固体電池』への注目が高まっています。全固体電池とは何か。それによってEVがどう変わるのかなど、基礎知識から最新情報まで、わかりやすく整理してみることにしました。 今後、全固体電池についてのニュースなどをチェックしながら、よりわかりやすく役立つ記事となるよう、追記や改訂を重ねていきたいと思います。 全固体電池とはどんな電池？ 『全固体電池』とは「電解液を使わず電極間を固体で繋ぐ電池」のことです。電解液というのは、正極と負極（電極）間で電気をやりとりするための電気を通す液のこと。自動車の12Vバッテリーなど鉛蓄電池には希硫酸液が使われているのは、長く自動車に乗っている方ならご存じですよね。現在の電気自動車のほとんどで動力用蓄電池として使われているリチウムイオン二次電池の多くに「有機溶媒（非水）系電解液」と呼ばれる電解液が使われています。
邪悪なGAFAから世界を救うには ビッグテックは素晴らしい理念と私たちを裏切った 後編 | JBpress (ジェイビープレス)
「邪悪になるな」──グーグルが以前行動規範として掲げていた有名な一文だ。だが、現実にはグーグルをはじめ、アマゾン、フェイスブック、アップル（GAFA）に代表される「ビッグテック」企業は、さまざまな問題を世界に投げかける「邪悪な存在」となっている。 どうしてこうなってしまったのか？ そして、どうするのが望ましいのか。前編では、邪悪になってしまった経緯と背景について触れた。後編となる本記事では、ビッグテックに振り回されないため、私たちがとり得る方策について検討する。（JBpress） 前編 GAFAはなぜ邪悪に堕ちたのか https://jbpress.ismedia.jp/articles/-/63732 （※）本稿は『邪悪に堕ちたGAFA ビッグテックは素晴らしい理念と私たちを裏切った』（ラナ・フォルーハー著、長谷川圭訳、日経BP）より一部抜粋・再編集したものです 不完全な規制でも無規制よ
日本では5Gが「過度な期待のピーク期」の頂点に--ガートナー ジャパンが発表
ガートナー ジャパンは、さまざまな新興技術に対する関心の高さや普及度合いなどをまとめたグラフの日本向けバージョン「日本における未来志向型インフラ・テクノロジのハイプ・サイクル：2020年」を公開した。 ハイプサイクルは、何らかの技術が登場して期待が高まり、次第に普及していく過程を（1）黎明期（Innovation Trigger）、（2）過度な期待のピーク期（Peak of Inflated Expectations）、（3）幻滅期（Trough of Disillusionment）、（4）啓蒙活動期（Slope of Enlightenment）、（5）生産性の安定期（Plateau of Productivity）という5つのフェーズに分類するもの。特定の技術が成熟するまでのどの段階にあるかを見極める助けになる。Gartnerは、企業経営者や投資家、マーケター、研究開発チームなどが技
AIのさらに先へ。世界が注目するブレインテック市場は2020年以降どう動くのか | AMP[アンプ] - ビジネスインスピレーションメディア
多くの日本人にとって、ブレインテックはまだ耳慣れない言葉かもしれない。読んで字のごとく、脳（Brain）とテクノロジー（Technology）を組み合わせた言葉だが、その意味するところは、「脳神経科学とITを融合させることによって、脳波や脳の血流などから脳の状態を解析し、脳の働きの物理的なメカニズムを明らかにすること」である。 加えて、科学的に判明したメカニズムを、さまざまなアプリケーションやサービスに生かしていく活動・ビジネス領域のことを指す。ブレインテックは、2024年には5兆円規模の市場を成すという予測もある。今回は、その研究・開発を行う株式会社メディアシークの平井祐希氏に、世界のブレインテックの動向と将来展望を伺った。 平井祐希氏。コンシューマー事業部でブレインテックチームを率いる。 メディアシークでは2018年より、イスラエルのブレインテック企業Myndlift社と提携し、脳の集
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
充電不要スマホ実現へ。中国、50年間発電し続ける民生向け「原子力電池」を開発
経産省が出てきた時点でアウト…日立の元技術者が｢日本の半導体の凋落原因｣として国会で陳述したこと ｢技術で勝って､ビジネスで負けた｣は大間違い
Takram
「10年後に使われていないテクノロジー」の予想記事、10年後の答え合わせが面白いと評判【やじうまWatch】
GAFAはなぜ邪悪に堕ちたのか（JBpress） - Yahoo!ニュース
《日経Robotics》グーグル出身者が創業のドローンベンチャー、ディープラーニングで3次元地図、GPSなくても自在に飛ぶ
