Facebookなど、現実的な3D環境でエージェントを高速訓練できるプラットフォーム「Habitat」と写実的屋内3Dデータセット「Replica」を公開
Facebookなど、現実的な3D環境でエージェントを高速訓練できるプラットフォーム「Habitat」と写実的屋内3Dデータセット「Replica」を公開 2019-06-18 Facebook AI ResearchやFacebook Reality Labsなどによる研究チームは、写実的な3D環境でエージェントを高速で訓練できるプラットフォーム「Habitat」と写実的3Dデータセット「Replica」を発表しました。 Habitat 論文：Habitat: A Platform for Embodied AI Research Manolis Savva ¹,⁴ Abhishek Kadian ¹ Oleksandr Maksymets ¹* Yili Zhao ¹ Erik Wijmans ¹,²,³ Bhavana Jain ¹ Julian Straub², Jia Li
UCバークレーなど、スマートフォンで撮影した画像から実世界の3Dシーンをよりリアルに再構築する手法を発表
UCバークレーなど、スマートフォンで撮影した画像から実世界の3Dシーンをよりリアルに再構築する手法を発表 2019-05-12 UCバークレーやFyusion Inc.などによる研究チームは、スマートフォンで撮影した複数の画像から実世界の3Dシーンを再構築するより効率的なレンダリングパイプラインを発表しました。 論文：Local Light Field Fusion: Practical View Synthesis with Prescriptive Sampling Guidelines 著者：Ben Mildenhall,Pratul Srinivasan, Rodrigo Ortiz-Cayon,Nima Khademi Kalantari, Ravi Ramamoorthi ,Ren Ng, Abhishek Kar 所属：UC Berkeley, Fyusion Inc. T
KAISTなど、スマートフォンカメラからの撮影で現実の3D物体のSVBRDFを取得し再構築する手法を発表
KAISTなど、スマートフォンカメラからの撮影で現実の3D物体のSVBRDFを取得し再構築する手法を発表 2018-11-05 KAISTとI3Aの研究者らは、フラッシュを内蔵した既製の単一のカメラで、現実の3DオブジェクトからSVBRDF情報を取得する手法を発表しました。 論文：Practical SVBRDF Acquisition of 3D Objects with Unstructured Flash Photography 著者：GILJOO NAM, JOO HO LEE, DIEGO GUTIERREZ, MIN H. KIM a:画像取得。b~e:再構築の出力結果 本論文は、単一のハンドヘルドカメラ（既製品のスマートフォンやDSLRカメラなど）で撮影したフラッシュ写真から、3Dオブジェクトの空間的に変化するBRDFを取り込む方法を提案します。 入力には、ジオメトリなどは必
iPhoneでオブジェクトやスペースを3Dモデルに変換し共有できるアプリケーション「3D Scanner Pro」が登場
iPhoneでオブジェクトやスペースを3Dモデルに変換し共有できるアプリケーション「3D Scanner Pro」が登場 2018-09-07 Laan Labsは、iPhoneでオブジェクトやスペースを3Dモデルに変換し共有できるアプリケーション「3D Scanner Pro」の早期アクセスとデモ映像を公開しました。 iPhoneを用いて、3Dにしたいオブジェクトの周囲をスキャンし、オンデバイス3Dエディタを使用してモデルをクリーンアップすることで、数分でオブジェクトとスペースの3Dモデルを作成します。 また、3DフォーマットUSDZ形式で3Dモデルの共有もできます。スキャン処理には、6d_ai SDKを用いているとのこと。デモ映像では、 iOS 12を用いて3Dモデルを表示しています。
セントルイス・ワシントン大学やAdobeら、1枚の画像から平面深度マップをピース単位で再構築する機械学習を用いた手法を発表
セントルイス・ワシントン大学やAdobeら、1枚の画像から平面深度マップをピース単位で再構築する機械学習を用いた手法を発表 2018-07-27 セントルイス・ワシントン大学、Adobe Research、Argo AI、サイモンフレーザー大学の研究者らは、屋内シーンにおける１枚の画像からピース単位の平面深度マップを再構築する「PlaneNet」を発表しました。 論文：PlaneNet: Piece-wise Planar Reconstruction from a Single RGB Image 著者：Chen Liu, Jimei Yang, Duygu Ceylan, Ersin Yumer, Yasutaka Furukawa GitHub：art-programmer/PlaneNet （左から順に、入力画像、ピース単位の平面セグメンテーション、再構成した深度マップ、テクスチャ
元Microsoft Researchメンバーらで設立したチーム、手軽にプロジェクションマッピングができるデバイス「LF-1」販売開始。699ドル。日本はまだ
元Microsoft Researchメンバーらで設立したチーム、手軽にプロジェクションマッピングができるデバイス「LF-1」販売開始。699ドル。日本はまだ 2018-07-02 米国のスタートアップ「Lightform」は、プロジェクションマッピングが手軽にできるデバイス「LF-1」の販売を開始しました。 価格は699ドル、プロジェクタ（プロジェクタマウント、三脚等含む）付きの「LF-1kit」は1499ドル、出荷は2018年11月を予定しています。ただし、現在は、米国、EU、カナダのみの出荷になります。 Lightformは、元Microsoft Researchで仕事をしていたBrett Jones氏、Kevin Karsch氏、Raj Sodhi氏が共同で設立したカンパニーです。製品であるLF-1は、既存のプロジェクタに接続し、連動しながら現実空間のオブジェクト面に張り付くように
Facebookら、2Dの群衆動画から人間の姿勢を推定し、身体のテクチャも貼ってくれるCNNを用いたシステム「DensePose」オープンソース発表
Facebookら、2Dの群衆動画から人間の姿勢を推定し、身体のテクチャも貼ってくれるCNNを用いたシステム「DensePose」オープンソース発表 2018-06-19 Facebook AI Research（FAIR）とINRIAの研究者らは、人間の姿勢を2D画像から推定し、人体の表面にテクスチャをマッピングできる機械学習を用いたシステム「DensePose」のオープンソース化を発表しました。 論文：DensePose: Dense Human Pose Estimation In The Wild 著者：Rıza Alp Guler、Natalia Neverova、Iasonas Kokkinos GitHub:facebookresearch/DensePose: A real-time approach for mapping all human pixels of 2D R
Google DeepMind、マシンが周囲を認識するために、2D画像から3Dシーンを推定する教師なし視覚認識ニューラルネットワーク「GQN」を発表
Google DeepMind、マシンが周囲を認識するために、2D画像から3Dシーンを推定する教師なし視覚認識ニューラルネットワーク「GQN」を発表 2018-06-15 Google DeepMindは、マシンが周囲を認識するために、2D画像からシーンの3Dモデルを生成する視覚認識フレームワーク「Generative Query Network（GQN）」システムを発表しました。 GQNは、事実上何も知らないエージェントが、シーンの複数の静的2D画像を見て、それの合理的に正確な3Dモデルを再構築するシステムです。 シーンの内容を人間がラベル付けすることなく、あらゆる角度からシーンを推定しレンダリングします。マシンが、その部屋なりを動きながら収集した2D画像を基に、関係性や規則性などを学び、見えない部分も含めオブジェクトの位置や色などを推定し再現します。 以下のような単一の視点から正確な3
早稲田大学ら、1枚の画像から顔の形状と反射率をCNNを用いて推定しモデル化する手法を発表。異なる照明条件や任意の視点でレンダリング可能
早稲田大学ら、1枚の画像から顔の形状と反射率をCNNを用いて推定しモデル化する手法を発表。異なる照明条件や任意の視点でレンダリング可能 2018-05-23 早稲田大学、Pinscreen、南カリフォルニア大学、USC Institute for Creative Technologiesの研究チームは、CNN（Convolutional Neural Network）を用いて、1枚の画像から被写体の顔の形状および反射率をモデル化する手法を発表しました。 論文：High-Fidelity Facial Reflectance and Geometry Inference From an Unconstrained Image 著者：SHUGO YAMAGUCHI, SHUNSUKE SAITO, KOKI NAGANO,YAJIE ZHAO, WEIKAI CHEN, KYLE OLSZE
2枚の画像から類似したポイントを抽出し対応付けするスパース推定フレームワーク「Neural Best-Buddies」。ハイブリッド画像やモーフィングに
2枚の画像から類似したポイントを抽出し対応付けするスパース推定フレームワーク「Neural Best-Buddies」。ハイブリッド画像やモーフィングに 2018-05-20 AICFVE Beijing Film Academy、Microsoft Research、山東大学、ヘブライ大学、北京大学、テルアビブ大学の研究チームは、2枚の画像間のポイントを抽出し対応付けするCNN（Convolutional Neural Network）を用いたスパース推定フレームワーク「Neural Best-Buddies」を発表しました。 論文：Neural Best-Buddies: Sparse Cross-Domain Correspondence 著者：Kfir Aberman, Jing Liao, Mingyi Shi, Dani Lischinski, Baoquan Chen, Da
マックス・プランク研究所ら、帽子に1台の魚眼カメラを装着し自分の体をリアルタイムに3D姿勢推定するモバイルベースのアプローチを発表
マックス・プランク研究所ら、帽子に1台の魚眼カメラを装着し自分の体をリアルタイムに3D姿勢推定するモバイルベースのアプローチを発表 2018-05-17 独マックス・プランク情報科学研究所（Max Planck Institute for Informatics）、米スタンフォード大学、スイス連邦工科大学ローザンヌ校（EPFL）の研究者らは、帽子に1台の魚眼カメラを装着し自身の体をリアルタイムに3D姿勢推定するアプローチ「Mo2Cap2」を発表しました。 論文：Mo2Cap2: Real-time Mobile 3D Motion Capture with a Cap-mounted Fisheye Camera 著者：Weipeng Xu, Avishek Chatterjee, Michael Zollhoefer, Helge Rhodin, Pascal Fua, Hans-Pet
単眼カメラで撮影した映像を入力に、人の姿勢推定から着用する衣服まで再構築するマーカレスパフォーマンスキャプチャ技術を発表
単眼カメラで撮影した映像を入力に、人の姿勢推定から着用する衣服まで再構築するマーカレスパフォーマンスキャプチャ技術を発表 2018-05-16 独マックス・プランク情報科学研究所（Max Planck Institute for Informatics）とスイス連邦工科大学ローザンヌ校（EPFL）の研究者らは、1台の単眼カメラで撮影した映像を入力に、人間のポーズから着用する衣服までを3D再構築するマーカレスパフォーマンスキャプチャ技術「MonoPerfCap」を発表しました。 論文：MonoPerfCap: Human Performance Capture from Monocular Video 著者：Weipeng Xu, Avishek Chatterjee, Michael Zollhoefer, Helge Rhodin, Dushyant Mehta, Hans-Peter
Google、1,540万の手動ラベル付けバウンディングボックス含む190万画像600カテゴリのデータセット「Open Images V4」発表
Google、1,540万の手動ラベル付けバウンディングボックス含む190万画像600カテゴリのデータセット「Open Images V4」発表 2018-05-01 Googleは、1,540万のバウンディングボックス含む190万画像600カテゴリのデータセット「Open Images V4」を発表しました。 Open Images Dataset V4 同社は、2016年に約900万画像6,000カテゴリほどのデータセット「Open Images」を発表しましたが、今回はオブジェクト位置のラベルが含んだデータセットです。ボックスのラベル付けは手動です。画像ごとに平均8.4枚 上記に加えて、約3,000万画像19,000カテゴリほどのデータセットも含まれています。
Google、スマートフォン含むWebブラウザでリアルタイムに人間の姿勢推定を可能にする機械学習モデルPoseNet：TensorFlow.jsバーション発表
Google、スマートフォン含むWebブラウザでリアルタイムに人間の姿勢推定を可能にする機械学習モデルPoseNet：TensorFlow.jsバーション発表 2018-05-08 Googleは、Webブラウザでリアルタイムに人間の姿勢推定を可能にする機械学習モデル「PoseNet」TensorFlow.jsバーションを発表しました。 GitHub：tfjs-models/posenet at master · tensorflow/tfjs-models PoseNetは、映像中の人物から1つのポーズまたは複数のポーズを検出できる技術です。ToseorFlow.jsは、Webブラウザで実行できるオープンソースの機械学習ライブラリで、Googleがオープンソースとして公開している機械学習ライブラリ「TensorFlow」のJavaScript版です。 今回、その2つを組み合わせたTose
香港城市大学ら、手書きスケッチからリアルタイムに法線マップを自動生成する敵対生成学習GANを用いたインタラクティブシステムを発表
香港城市大学ら、手書きスケッチからリアルタイムに法線マップを自動生成する敵対生成学習GANを用いたインタラクティブシステムを発表 2018-04-14 香港城市大学、中国科学技術大学、大連理工大学、湖南大学の研究者らは、ニューラルネットワークを用いて、2D手書きスケッチからリアルタイムに法線マッピング（ノーマルマッピング）を生成するインタラクティブシステムを発表しました。 論文：Interactive Sketch-Based Normal Map Generation with Deep Neural Networks 著者：Wanchao Su, Dong Du, Xin Yang, Shizhe Zhou, Hongbo Fu 本稿は、手書きスケッチからリアルタイムに法線マップを自動的に推論するニューラルネットワークを用いた手法を提案します。提案手法では、入力スケッチを法線マップに変
ブラウンシュヴァイク工科大学ら、1台の単眼カメラから人体3Dアバタを4.5mm精度で生成する機械学習を用いた手法を発表
ブラウンシュヴァイク工科大学ら、1台の単眼カメラから人体3Dアバタを4.5mm精度で生成する機械学習を用いた手法を発表 2018-04-16 ブラウンシュヴァイク工科大学「Computer Graphics Lab」、マックス・プランク情報科学研究所の研究者らは、1台の単眼RGBカメラを使用して人の3Dモデルを作成する機械学習を用いた手法を発表しました。 論文：Video Based Reconstruction of 3D People Models 著者：Thiemo Alldieck, Marcus Magnor, Weipeng Xu, Christian Theobalt, Gerard Pons-Moll 本稿は、単一のカメラを用いたビデオから3D人体モデルを再構成する機械学習を用いた手法を提案します。 本提案手法は、複雑なカメラ機器や、Microsoft Kinectなどの3
投影した映像をインタラクティブに操作できるスマートフォン連動型ARプロジェクタ「Count」kickstarter登場
投影した映像をインタラクティブに操作できるスマートフォン連動型ARプロジェクタ「Count」kickstarter登場 2018-04-13 インタラクティブに操作できるスマートフォン連動型ARプロジェクタ「Count」がkickstarterに登場しました。 Countは、スマートフォンと連動して動作するように作られており、動画や画像、その他アプリをプロジェクタを通して投影することができます。また、投影した映像をインタラクティブに操作することも可能。 プロジェクタユニット自体の最大投影サイズは120インチ（約3m）で、解像度は720p、机の上に置いて机の表面に投影したり、投射口を動かして壁面に投影したり、天井に投影したりと180°の範囲で映し出させます。
Microsoft Research、物理世界とデジタル世界を融合させるセンシングマット発表。マット上の複数物理オブジェクト検出、空中ジェスチャ検知等
Microsoft Research、物理世界とデジタル世界を融合させるセンシングマット発表。マット上の複数物理オブジェクト検出、空中ジェスチャ検知等 2018-04-10 Microsoft Researchは、マット上の複数オブジェクトを同時に検知し、マルチタッチとホバージェスチャを実行することで、物理世界とデジタル世界を融合するセンシングマット「Project Zanzibar」を発表しました。 論文：Project Zanzibar: A Portable and Flexible Tangible Interaction Platform 著者：Nicolas Villar, Daniel Cletheroe, Greg Saul, Christian Holz, Tim Regan, Oscar Salandin, Misha Sra, Hui-Shyong Yeo, Will
地下と地上のインフラをARを用いて可視化する地理情報システム「vGIS」下水道管、ガス管、電線などを表示
地下と地上のインフラをARを用いて可視化する地理情報システム「vGIS」下水道管、ガス管、電線などを表示 2018-03-28 カナダに本拠を置くMeemimは、地上と地下のインフラをARを用いて可視化する地理情報システムビジュアリゼーションプラットフォーム（vGIS）を発表しました。 インフラには、水道管、下水道システム、ガス、電線などが含まれており、Microsoft HoloLensなどのデバイスを使用して、現実世界にデジタルオブジェクトとして重ねてリアルタイムに表示します。これらは、iPhone、Androidデバイス、Microsoft HoloLens、Windows Mixed Realityで見ることができます。 操作は、音声コマンドとハンドジェスチャをサポートしているため、作業する方はハンドフリーでコントロールすることができます。 すでにエンタープライズ向けに販売しており
Ikeaの家具の組み立て方をARを用いて教えてくれるコンセプトアプリ「Assemble AR」が登場
Ikeaの家具の組み立て方をARを用いて教えてくれるコンセプトアプリ「Assemble AR」が登場 2018-03-23 ARを用いてIkeaの家具の組み立て説明をしてくれるコンセプトアプリ「Assemble AR」が登場しました。 Adam Pickard氏によって提案された本アプリは、Ikeaの家具の組み立て方を、現実空間に重ねるようにアニメーションで説明してくれるアイディアです。 購入した家具のパッケージについてあるバーコードをスマートフォンを使用して読み取るところから始まります。マニュアルを読み取り、ステップ1からと順次、何をどこにどうやって組み立てていくのかといった情報を実寸大に近い3Dオブジェクトと交えながら教えてくれます。 Ikeaは、AR技術を活用し部屋の中に実寸大の家具を設置できるアプリを開発しましたが、今回のアプローチはその延長線上のサービス向上アプリと言えるかもしれ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
