Appleがスマホの画面を認識できるマルチモーダルLLM「Ferret-UI」を発表、SiriがiPhoneアプリのUIを理解できるようになる可能性も
Appleの研究者が、スマートフォンのアプリUIを理解するために設計したマルチモーダル大規模言語モデル(MLLM)の「Ferret-UI」を開発したという論文を、未査読論文リポジトリであるarXivで公開しました。 [2404.05719] Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs https://arxiv.org/abs/2404.05719 Apple teaching an AI system to use apps; maybe for advanced Siri https://9to5mac.com/2024/04/09/ferret-ui-advanced-siri/ ChatGPTのようなチャットボットAIシステムのベースとなっている大規模言語モデル(LLM)は、主にウェブサイトから収
Windowsの「フォーマット」画面は1994年の暫定的なUIが使い回されており表記揺れも存在している
WindowsでSDカードやUSBメモリを使っていると、データを初期化する「フォーマット」画面を何度も目にすることになります。このフォーマット画面の誕生秘話を元Microsoft社員のデビッド・プラマー氏が語っています。 I wrote this Format dialog back on a rainy Thursday morning at Microsoft in late 1994, I think it was. We were porting the bajillion lines of code from the Windows95 user interface over to NT, and Format was just one of those areas where WindowsNT was different enough from… pic.twitter.co
未来のVision Proは脳でコントロール可能に？特許が公開 - iPhone Mania
Appleの複合現実（MR）ヘッドセットVision Proには、将来的に脳活動を検出することができるセンサーがバンド内に埋め込まれる可能性が浮上しました。特許出願が米国特許商標庁（USPTO）により公開されています。 脳で考えたことをヘッドセットで実行可能に？ 今回USPTOにより公開されたAppleの特許技術は、脳が発する信号を分析し、それに応じてVision Proにアクションを実行させることができるというもので、脳で考えるだけで特定のタスクが行えるようになる可能性を示唆しています。 このような技術はブレインコンピュータインターフェース（BCI）とも呼ばれるもので、現行のVision Proの視線追跡（アイトラッキング）とハンドジェスチャーを置き換えることができるかもしれません。 使用され得るセンサーとして、脳内で発生する電気活動のスナップショットを毎秒最大数千枚記録することができる
ベータ版iOS17.1、細かすぎるアップデート？ - iPhone Mania
Appleのベータ版ソフトウェアに詳しい人物が、iOS17.1ベータ3で変だったバッテリーアイコンが修正されている、と証拠画像を投稿しています。その変化はかなり目を凝らさないとわからないほどですが、特定のユーザーはこのようなことに気づいて指摘してくるといいます。 ■3行で分かる、この記事のポイント 1. iOS17.1ベータ3で変だったバッテリーアイコンが修正されたと、証拠画像が投稿された。 2. 角がスムーズでなくカクカクしていたが、きれいな角丸四角形に変更された。 3. 特定のユーザーはこのようなことに気づいて指摘してくるという。 バッテリーアイコンの角の不自然さが修正 アーロン・ゾロ氏（@zollotech）は、iOS17.1ベータ3で変だったバッテリーアイコンが修正された、と画像を投稿しました。 iOS 17.1 Beta 3 fixes the weird battery ico
Apple Watch、心電図の読みやすさでNo.1！ - iPhone Mania
スイスのバーゼル大学病院が、スマートウォッチで測定した心電図について、デバイスによって読み取りに差が出るのかどうかの実験を行いました。 実験の結果、心電図の精度にはデバイスごとの違いはなかったものの、読み取りやすさという点で、Apple Watchが一番人気となりました。 ■3行で分かる、この記事のポイント 1. バーゼル大学病院がスマートウォッチ5モデルで取った心電図の読み取りに違いがあるかを実験。 2. どのスマートウォッチでも心電図の精度には差はなかった。 3. 読み取りやすさと理解しやすさではApple Watchが一番に。 5モデルのスマートウォッチで比較 近年、心電図を測定可能なスマートウォッチが増えていますが、心電図の読み取りにはコツがあり、正しく読み取るには知識が必要です。 バーゼル大学病院は、Apple Watch、Fitbit Sense、KardiaMobile、Sa
iOS 17/iPadOS 17ではテキストカーソルに表示される拡大ルーペのデザインが刷新。
iOS 17/iPadOS 17ではテキストカーソルに表示される拡大ルーペのデザインが刷新されています。詳細は以下から。 Appleは2021年09月にリリースした「iOS 15/iPadOS 15」で、それまで廃止していたテキストカーソルのセレクターに表示される拡大ルーペ(Magnifying loupe/glass/bubble etc…)を復活させましたが、現地時間2023年09月18日にリリースされた「iOS 17/iPadOS 17」では、この拡大ルーペのデザインが刷新されています。 テキストカーソルの拡大ルーペは、2019年にリリースしたiOS 13/iPadOS 13で突如廃止され、その後2021年にiOS 15/iPadOS 15がリリースされるまで利用できませんでしたが、その復活した拡大ルーペはiOS 12までの旧デザインと異なり、小さく見ずらいデザインとなっていました。
ウィンドウを閉じる「×」ボタンはいつから使われるようになったのか？
Windows 11では、ウィンドウの右上にある「×」アイコンをクリックすると、そのウィンドウを閉じることができます。また、macOS Venturaでもウィンドウ左上の赤い「×」ボタンをクリックするとウィンドウが閉じられます。UIにおける「×」＝「ウィンドウを閉じる」というデザインの起源について、SFライターのローレン・ウォーカー氏が解説しています。 X to Close. The origins of the use of [x] in UI… | by Lauren Archer | re:form | Medium https://medium.com/re-form/x-to-close-417936dfc0dc 「『×』をクリックするとウィンドウを閉じる」というデザインはコンピューターにおいてはほぼ標準といっていい概念になっており、さまざまなGUIに採用されています。例えば、W
元Appleエンジニアの男性が手掛ける革新的な新インターフェースの名前が判明 - iPhone Mania
iPhoneのユーザーインターフェースとインタラクションデザインを始めとする、数々のApple製品のデザインを手掛けたイムラン・シャウドリ氏は、今年4月に革新的な次世代デバイスのデモをTEDで発表しました。このデバイスの名前が「Humane Ai Pin」であることが、今回明らかになりました。 ■3行で分かる、この記事のポイント 1. Apple製品のデザインを手掛けたイムラン・シャウドリ氏が次世代デバイスのデモを発表した。 2. このデバイスの名前が「Humane Ai Pin」であることが明らかになった。 3. 手のひらにインターフェースを照射することで、デバイスを手に持つ必要がなくなる。 シームレスでスクリーンレスな新タイプのデバイス 手のひらにインターフェースを照射することで、デバイスそのものを手に持つ必要がなくなる次世代デバイスがシャウドリ氏により披露されたのは、今年始めのことで
visionOSのヒューマンインターフェースガイドラインが公開 - iPhone Mania
visionOS向けのアプリやゲームをデザインするときは、このプラットフォームを特徴付ける基本的なデバイスの性質とパターンを理解することが重要です。Appleは、visionOSのヒューマンインターフェースガイドラインを21日付けで公開しました。 ■3行で分かる、この記事のポイント 1. Appleは21日付けで、visionOSのヒューマンインターフェースガイドラインを公開した。 2. 優れたvisionOSのアプリやゲームをデザインするためのガイダンスが示されている。 3. ベストプラクティスから、Vision Proヘッドセットがどのようなデバイスであるかが伺える。 Vision Proの機能が垣間見られるガイドライン visionOSのヒューマンインターフェースガイドラインには、優れたvisionOSのアプリやゲームをデザインするためのガイダンスが示されていますが、ベストプラクティ
HomePodに視線認識機能を追加する特許出願〜ユーザーの視線でSiriが指示を認識 - iPhone Mania
Appleが将来のHomePodにカメラを用いた視線認識機能を追加し、Siriがユーザーの視線を認識し、指示を実行する機能を搭載する特許を出願していることが確認されました。 この特許を搭載したHomePodが商品化された場合、ユーザーは操作を行いたいデバイスを見ながらSiriに指示を行うと、対象となっているデバイスをカメラが自動認識し、指示された操作を実行するようになります。 ■3行で分かる、この記事のポイント 1. 視線認識機能を搭載するHomePodに関する特許が公開された。 2. 実用化された場合、Siriへの指示をユーザーの視線に基づき認識し実行する。 3. Siriに指示しているユーザーはだれかも、搭載されたカメラで認識する。 Vision Proの視線認識機能をHomePodに応用か 今回出願された特許には、Vision Proの視線認識機能をHomePodに応用したような内容
Apple、watchOS 10やiOS/iPadOS 17、macOS 14 Sonomaに対応したHuman Interface Guidelinesを公開。日本語と简体中文翻訳も追加。
AppleがwatchOS 10やiOS/iPadOS 17、macOS 14 Sonomaに対応したHuman Interface Guidelinesを公開し、日本語と简体中文翻訳も追加しています。詳細は以下から。 Appleは現地時間2023年06月05日より開催している世界開発者会議(WWDC23)に合わせて、同イベントで発表されたwatcOS 10やiOS/iPadOS 17、macOS 14 Sonomaに対応した「Human Interface Guidelines (以下、HIG)」を公開したと発表しています。 Apple Watch developers, go check out the updated Design for watchOS page in the Human Interface Guidelines for more info! We’ve also
Appleのビンテージコンピュータに実際に触れてみた！意外と現行モデルと変わらない？ - iPhone Mania
Appleのビンテージコンピュータに実際に触れてみた！意外と現行モデルと変わらない？ 2023 5/04 ドイツ・ハンブルク大学のコンピュータ博物館が、4月23日〜28日の期間に開催されたHCI（ヒューマン-コンピュータ・インタラクション）分野の重要な国際会議CHI（カイ）の会場にて、「アイコニックなマシンたち（Iconic Machines）」と名付けられた展示を行っていました。 さまざまなApple製のビンテージコンピュータが今でも動作しており、実際に触ることができましたので、操作感や感触をお伝えしたいと思います。 ■3行で分かる、この記事のポイント 1. Appleにゆかりのある7台のビンテージコンピュータを筆者が実際に触ってみた。 2. Appleは過去に多くのデスクトップコンピュータを送り出してきた。 3. Appleコンピュータの哲学は初期のデスクトップモデルから貫かれており、
MacBook Proのカーソルはノッチでワープしたほうが良い？明治大学が研究を発表 - iPhone Mania
MacBook Proのカーソルはノッチでワープしたほうが良い？明治大学が研究を発表 2023 4/27 ドイツ・ハンブルクで4月23日〜28日の期間で開催中のHCI（ヒューマン-コンピュータ・インタラクション）の国際会議「CHI（カイ）」にて、明治大学の学生がMacBook Proのノッチに関する興味深い研究を発表しています。 HCIとは、人間（ユーザー）と計算機とのインターフェースについて着目した学問領域、研究分野の1つであり、情報科学では特に重要視されています。 ■3行で分かる、この記事のポイント 1. 明治大学の学生がMacBook Proのノッチに関する興味深い研究を発表した。 2. カーソルがノッチに触れたときに、反対側へと移動する設定を実施。 3. カーソルがワープするシステムにより、移動時間の改善はみられなかったという。 ポインティングの研究を専門とする学生が研究発表 食べ
元Appleエンジニアの男性、着信を手のひらに映し出すデモを公開 - iPhone Mania
AppleのソフトウェアデザインチームでiPhoneのインタラクションデザインなどを手掛けたイムラン・シャウドリ氏は、カナダのバンクーバーで開催されたTEDカンファレンスで、手のひらで通話の通知表示を行うデモを行いました。やがてデバイスは消失する方向へ向かうのではないか、と未来のインターフェースについての憶測が加速しているようです。 手のひらに映る妻からの着信 シャウドリ氏はTEDのプレゼンを行っている最中に、しつこいほどの着信のチャイムで中断されたそうです。しかし、同氏はポケットの中のデバイスに手を伸ばすのではなく、ただ手をひっくり返して手のひらを見つめました。 「すみません、妻です」とシャウドリ氏は手のひらに表示された着信アラートに目をやりました。 ジャーナリストのザリフ・アリ氏が公開したプレゼンの写真では、着信が手のひらに映し出されているのが確認できます。 This is @Huma
iPodのクリックホイール操作をブラウザで再現、話題のサイトを試してみた
iPodのクリックホイールを使った操作画面をブラウザ上で再現し、Apple MusicとSpotifyで音楽を再生できるWebサイトが話題になっているので、iPhoneで試してみました。 ブラウザにiPodを再現、「エモい」と話題に 最近、クリックホイール付きiPodをブラウザで再現し、音楽を聴けるWebサイトが「エモい」「楽しい」と話題になっています。 iPodの完全再現した『iPod.js』がめっちゃ楽しい…… SpotifyかApple MusicでログインするとiPod classicのUIで音楽を楽しめる。 特にクイックホイールの操作感が、グッときます。https://t.co/YvUmerknNC pic.twitter.com/MLJJda32bR — CREATIVE TANK (@creativetankk) January 6, 2023 このWebサイトを公開したのは
Dynamic Islandやアクションボタンなど〜今年インパクトのあった新機能5選
Macworldが、2022年に発表されたApple製品においてインパクトのあった新機能を5つ選び、紹介しています。 インパクトのあった新機能 5選 Macworldが選んだ、2022年に発表されたApple製品においてインパクトのあった新機能は、Apple Watch Ultraのアクションボタン、macOS Venturaの「連係カメラ」、iPhone14 ProシリーズのDynamic Island、iOS16のロック画面、iPadOS16のステージマネージャです。 Apple Watch Ultraのアクションボタン Apple Watch Ultraのアクションボタンは、その鮮やかなオレンジのカラーとも相まって、ユーザーにインパクトを与えたとMacworldは評価しています。 同メディアは、アクションボタンに対応するアプリが増えれば使い勝手も向上、Apple Watch Seri
iPhoneやiPadが「脳」で操作可能になる - iPhone Mania
障害や疾患のために手足を使えず、会話もできない人々が、考えるだけでiPhoneやiPadを操作できるようにするデバイスを、米ニューヨークの企業が開発しました。 タイプ入力や会話ができなくてもiPadが使える 米Synchronが開発したデバイス「Synchron Switch」のセンサー部分が、手術によって利用者の脳に埋め込まれます。同デバイスはすでに米食品医薬品局（FDA）より、コンピューター・ブレイン・インプラントとして臨床試験を行う認可を得ています。 Synchronによると、現在6人の被験者がデバイスを使用しており、オーストラリア・メルボルン在住のロドニー・ゴーハム氏はそのひとりです。ゴーハム氏は筋萎縮性側索硬化症（ALS）のため、タイプ入力や会話ができませんが、脳に埋め込んだセンサーとSynchron Switchを使って、現在iPadを操作可能となっているそうです。 足を踏むイ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
スマホの「フリック入力」から日本が見えてくる【西田宗千佳のイマトミライ】
WindowsにポータブルゲーミングPC向け操作モードが搭載か？【Windows Handheld Mode】
変化の時を迎えたタブレットUI。iPad「ステージマネージャ」が示す可能性【西田宗千佳のイマトミライ】
