【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。
オードリー・タン氏が日本人のために「デジタルとITはまったく別物」と語る理由
コロナ禍で国の役割が増し、ワクチン接種をはじめとするさまざまな施策を進める中で、世界中から注目が集めたのが台湾のシステムでした。それを主導したのが、台湾のデジタル担当大臣であるオードリー・タン氏です。そのタン氏は日本人のために「デジタルとITは別物」と説明したといいます。なぜ、タン氏はこの2つを分けて語ったのでしょうか？ 『まだ誰も見たことのない「未来」の話をしよう』より一部抜粋して紹介します。 オードリー・タン 台湾のデジタル担当政務委員（閣僚）、現役プログラマー。1981年4月18日台湾台北市生まれ。15歳で中学校を中退し、スタートアップ企業を設立。19歳の時にはシリコンバレーでソフトウエア会社を起業。2005年、トランスジェンダーであることを公表（現在は「無性別」）。アップルやBenQなどのコンサルタントに就任したのち、2016年10月より、蔡英文政権でデジタル担当の政務委員（無任所
映画館が「誇張でなく死ぬ」理由、なぜ鬼滅ヒットでも“売上8割減”になったのか
新型コロナウイルスにより2020年の日本の映画興行収入（興収）は1,432億8,500万円と、2019年に比べ、ほぼ半減した。人々の外出自粛や映画館の短縮営業・休業により、客足が激減したため、売り上げが減っていることは容易に想像できるが、コロナ禍が映画館にもたらした「被害」、そして「緊急事態宣言」の影響は想像以上に大きかった。“売上8割減”に陥ったという関係者らから話を聞いた。 キネマ旬報社でDVD業界誌編集長、書籍編集者を経て2013年よりフリーランス。 著書は『セーラームーン世代の社会論』（すばる舎リンケージ）、『ドラがたり のび太系男子と藤子・F・不二雄の時代』（PLANETS）、『ぼくたちの離婚』（角川新書）、『「こち亀」社会論 超一級の文化史料を読み解く』。おもな編集書籍は『押井言論 2012-2015』（押井守・著／サイゾー）、『ヤンキーマンガガイドブック』（DU BOOKS）
AWS認定資格まとめ、どんな試験があり、どんな取得メリットがあるのか？
今や企業システムで何らかのクラウドサービスを利用するのは当たり前の時代になりました。さまざまなクラウドベンダーがひしめくなか、業界のガリバーとされるのが「Amazon Web Services（AWS）」です。AWSが2006年にAmazon S3を開始してから14年、今では数多くのサービスを提供していますが、それを使いこなすには体系だった知識が欠かせません。その一助となるのがAWS認定資格です。ここではAWSに精通した専門家たちが同資格の全体像と取得メリット、初学者向けのAWS認定クラウドプラクティショナーについて紹介します。 佐々木拓郎 NRIネットコム クラウド事業推進部 部長。専門はクラウドに関するコンサルティングから開発まで。クラウドの対象範囲拡大にともない、AIやIoTなどさまざまな領域に進出することになる。趣味は新幹線でワインを飲みながらの執筆。新幹線で、ソムリエナイフでワイ
「おっさんの認める範囲」では女性差別をなくすことはできない
──今年の東京大学学部入学式の祝辞は広く反響を呼びました。 上野氏：ある程度反響があると思っていましたが、ここまで大きいとは思っていませんでした。私と東大が、よほどミスマッチだったんでしょうね（笑）。東大当局がよく私を呼んだと思います。ただし、あの祝辞の内容は、これまで言ってきたことをくり返しただけです。 ──東京大学新聞では、祝辞に共感したのは下級生よりも上級生、そして学生よりも社会人のほうが多かったと分析しています。性別では圧倒的に女性の共感を得ています。 上野氏：東大生で多いのは男子――特に中高一貫の私立男子校出身者――ですから、彼らが私のメッセージに共感することは少ないでしょう。メッセージに共感してくれたのは40代の女性が多い。そういう反響を聞くたびに「あなたも苦労したのね～」と思います。 ──祝辞の中で「意欲の冷却効果」を取り上げられました。東大の女子学生でも「意欲の冷却効果」に
糸井重里氏に聞く、雑用をAIにやらせる未来が「ディストピアかもしれない」理由
単純で退屈な作業、あるいは危険な作業や創造的でない作業は人工知能（AI）を搭載したロボットに任せ、人間は楽しい、あるいはクリエイティブな仕事を担当すればよい──。AIやロボットに対し、こうした期待を寄せる声は少なくない。これに対し、「クリエイティブなことを単純作業の上位に置きすぎているように思うのです」と指摘するのが「ほぼ日刊イトイ新聞」主宰の糸井重里氏だ。糸井氏の考えるAI論とはいかなるものか。『僕らのAI論』を上梓し、AIの研究開発などに取り組む森川幸人氏が編著した。 糸井 重里 1948年、群馬県生まれ。「ほぼ日刊イトイ新聞」主宰。コピーライターとして一世を風靡し、作詞や文筆、ゲーム制作など多岐に渡る分野で活躍。1998年にウェブサイト「ほぼ日刊イトイ新聞」を立ち上げる。運営会社の「ほぼ日」は2017年に上場、「ほぼ日手帳」といったヒット商品のほか、近著に『他人だったのに。』、『みっ
AWSの「Nitro System」（ナイトロシステム）とは？ ベアメタルサーバ実現の裏側
Amazon Web Services（AWS）は、2017年11月に開催されたイベント「AWS re:Invent 2017」で、同社クラウド独自の基盤技術である「Nitro System」（ナイトロシステムと発音するようです）の存在を明かしました。 ITジャーナリスト／Publickeyブロガー。大学でUNIXを学び、株式会社アスキーに入社。データベースのテクニカルサポート、月刊アスキーNT編集部 副編集長などを経て1998年退社、フリーランスライターに。2000年、株式会社アットマーク・アイティ設立に参画、オンラインメディア部門の役員として2007年にIPOを実現、2008年に退社。再びフリーランスとして独立し、2009年にブログメディアPublickeyを開始。現在に至る。 Nitro Systemは仮想マシンを提供するAmazon EC2を実現するためのサブシステムです。もともと
星野リゾートの「一人情シス」がホテル運営を変革するまで ｜ビジネス+IT
1914年、星野温泉旅館を軽井沢に開業し、104年の歴史を持つ星野リゾート。「ホテル運営の変革者」をビジョンに据え、海外のホテル事業者を競合相手に、既存のホテル業界を変革しようと取り組んでいる。急速に拡大・変化するビジネスの要請に応える役割を担ったのは、グループ情報システム ユニットディレクターの久本英司氏だ。同氏は2018年8月29日に都内で開催された「BSIAシンポジウム2018」に登壇、「試行錯誤をし続ける星野リゾートのIT戦略の目指す場所」と題した講演でITの「供給力」について語った。 「ITが事業拡大の足かせになった」ことからIT戦略立案に着手 軽井沢で老舗温泉旅館を経営していた星野リゾートは、1987年施行のリゾート法を契機に現在の経営方針に移行。リゾートや旅館に新規参入が増える時代に対応しようと企業ビジョンを「リゾート運営の達人」と設定した。 当時について、久本氏は「同族経営
PFNとIBMがAIの「擬人化」に違和感を持つワケ
ITジャーナリスト。明治学院大学国際学部卒業後、週刊誌記者などを経て、2001年よりIT専門出版社に入社。「Windows Server World」「Computerworld」編集部にてエンタープライズITに関する取材／執筆に携わる。2013年6月に独立し、ITジャーナリストとして始動。専門分野はセキュリティとビッグデータ。 PFNのディープラーニング研究 2014年に設立したPFNは、ディープラーニングの研究を推進する東京大学発のベンチャー企業である。ディープラーニングをIoT（Internet of Thing）や製造業に活用したり、リアルタイム機械学習技術を、どのようにビジネスに応用するかといった研究をしている。 PFNの取り組みで有名なのが、ロボット事業を手掛けるファナックと共同で行った「バラ積みロボットの制御プログラム」である。これは、ディープラーニングを適用することで、不規
ブロックチェーン応用のビジネスモデル 「スマートコントラクト」は取引業務を革新するか
ブロックチェーンは“誰でも閲覧できる取引台帳”に例えられます。誰が誰にいくら支払ったかという取引の情報が「ブロック」に記録され、取引が発生する度に、そのブロックが「チェーン」のように連結されていきます。暗号化技術によって改ざんされないよう担保し、また、お互いに取引に間違いがないことを監視できる状態になっているため、「安全性」の高さがメリットであるといえます。 ブロックチェーン技術は2009年に運用開始された仮想通貨「ビットコイン」と共に発展してきました。ビットコインは中央銀行のような集権的な管理機関を持たず、ブロックチェーン技術によって通貨としての機能を有しています。海外送金の手数料やクレジットカードの販売手数料を節約するために、Eコマースの決済手段として利用が広まってきました。 ブロックチェーンの特徴は、前述の安全性に加えて「安定性」があります。ビットコインは、一度もシステムが停止したケ
VDIもパブリッククラウドに移行！AWS上で仮想化する「XenDesktop/XenApp on AWS」
VDIに代表される仮想デスクトップ市場は年々拡大傾向にある。これにともない多様化しているのが、その提供形態だ。クラウドコンピューティングが当たり前のようになり、オンプレミス以外にも様々なVDIソリューションが登場している。そのひとつが、AWS上でシトリックスのVDIを稼働させる「XenDesktop/XenApp on AWS」だ。業務システムをクラウド上に移行する先進的な企業が増加しているなかで、今後はこうした、VDIをパブリッククラウド上で実現する企業も増えていきそうだ。 多様化するVDIの提供形態、最適な選択肢とは 2008年頃から、仮想デスクトップやVDIというキーワードが盛んに叫ばれるようになった。電通国際情報サービスのインフラのスペシャリストを集結して設立されたISIDアドバンストアウトソーシング（以下、ISID-AO）プラットフォーム推進部 後藤 祐一郎氏は、VDIに対する顧
クラウドでSIerは不要になるのか？これからのIT関連業者との正しい付き合い方
中小企業（年商5億円以上～50億円未満）や小規模企業（年商5億円未満）にとって、「IT活用における最も身近な相談相手や購入先/委託先」は大切な存在だ。具体的には、会計や販売などといった業務システムの販社/SIerや複合機のメンテナンスを担う代理店などが挙げられるだろう。一方、昨今ではユーザー企業が自ら選択/導入できることを謳ったさまざまなクラウドサービスも登場してきている。こうした状況下において、中小企業や小規模企業は主要なIT関連業者との関係をどう捉えていけば良いのだろうか？今回はこうしたテーマについて考えていくことにする。 ノークリサーチ シニアアナリスト 博士（工学） 早稲田大学大学院理工学研究科数理科学専攻卒業後、ジャストシステム、ソニーグローバルソリューションズ、ベンチャー企業などでIT製品及びビジネスの企画/開発/マネジメントに携わる。ノークリサーチでは多方面で培った経験を生か
ソニー銀行によるアマゾンAWSのセキュリティ評価の結果は？最終的に37％コスト削減も
個人向けインターネット専業銀行のソニー銀行。同行では2011年より、ITコストの削減、ビジネスの俊敏性向上を目的に、ハイブリッドクラウドによるシステム移行を検討していた。パブリッククラウドは、セキュリティの問題から躊躇する向きもあるが、同社ではセキュリティを徹底評価。最終的に「セキュリティ・内部統制の基準をクリアした信頼性の高いシステムを構築・運用できると判断した」（ソニー銀行 システム企画部 マネージャー 基盤統括担当 大久保光伸氏）という。本稿では、大久保氏がAWS Summit Tokyo 2014で語ったソニー銀行のAWS活用について、導入の背景と目的、活用範囲や設計方式、運用方法等を紹介する。
情シス視点でみた、Windows Server 2012 R2移行の12個のメリット
ライブマイグレーションとレプリケーションがOS標準で実現できる「Hyper-V」 1．ポータビリティとしてのHyper-V Windows Server 2012 R2に移行する最大のメリットだと筆者が感じるのは、Hyper-Vによる「仮想化」だ。Hyper-Vは、Windows Server 2008から備わったため、当然Windows Server 2003には存在していない。また、Windows Server 2008のHyper-Vで発表された当時は機能も未熟だったが、Windows Server 2012 R2ではすでに第4世代を迎えており、劇的に使い勝手はよくなっている。 さて、仮想化というと、余ったCPUパワーを生かしたサーバの集積とそれによるコスト削減がよく言われているが、筆者は一番の良さを「動作環境のポータビリティ」だと感じている。Windows ServerをHyper
2016年はクラウドにとって決定的な1年、ガートナーが描く将来シナリオ
ガートナー エンタプライズ・アプリケーション＆アーキテクチャ サミット 2014に登壇したファイファー氏によれば、クラウドコンピューティングには5つの属性があるという。 1つめが、“拡張／伸縮が可能”であること、2つめが“シェアードサービス”として共有されること、3つめが“サービスベース”で、プラットフォームなど一連のものがサービスとして提供されること。 4つめが“従量課金”で、CPUの処理能力やストレージなどを月額、あるいは1ユーザー当たりの使用量をベースに課金される仕組みであること、そして5つめが“インターネット技術”で、TCP/IPやSMTPなどのインターネット技術が使われていることだ。 またクラウドサービスの提供とその利用に関連して、消費者、サービスのプロバイダ、サービスのブローカー（＝仲買人、仲介者）という3つの役割が存在する。プロバイダもしくはブローカーによって提供されるクラウ
Amazonのクラウドとは正面戦争をしない、IBMのクラウド戦略
米IBMが毎年開催しているイベント「Pulse」は、もともとTivoli製品群とその分野に焦点を当てたものでした。しかし、今年の2月23日から3日間ラスベガスで開催された「IBM Pulse 2014」ではイベントのテーマをクラウドへと大きく振っています。 ITジャーナリスト／Publickeyブロガー。大学でUNIXを学び、株式会社アスキーに入社。データベースのテクニカルサポート、月刊アスキーNT編集部 副編集長などを経て1998年退社、フリーランスライターに。2000年、株式会社アットマーク・アイティ設立に参画、オンラインメディア部門の役員として2007年にIPOを実現、2008年に退社。再びフリーランスとして独立し、2009年にブログメディアPublickeyを開始。現在に至る。 同社は昨年6月にSoftLayerの買収を発表、グローバルでデータセンター拡充に12億ドルの投資を行うな
PaaS市場のリーダーはセールスフォース。マイクロソフトが2番手、3番手以降はダンゴ
米調査会社のガートナーが、エンタープライズ向けのPaaS型クラウドベンダを分析した「Magic Quadrant for Enterprise Application Platform as a Service」を公開しています。これは市場における各ベンダの位置づけを「ビジョンの完全性」（Completeness of Vision）と「実行能力」（Ability to Execute）の2つの軸で評価するものです。 ITジャーナリスト／Publickeyブロガー。大学でUNIXを学び、株式会社アスキーに入社。データベースのテクニカルサポート、月刊アスキーNT編集部 副編集長などを経て1998年退社、フリーランスライターに。2000年、株式会社アットマーク・アイティ設立に参画、オンラインメディア部門の役員として2007年にIPOを実現、2008年に退社。再びフリーランスとして独立し、200
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
任天堂がアマゾンのクラウドAWSを採用、コストを1/10に はてなが技術支援