【論文解説】Enhanced Multi-Relationships Integration Graph Convolutional Network for Inferring Substitutable and Complementary Items - Qiita
【論文解説】Enhanced Multi-Relationships Integration Graph Convolutional Network for Inferring Substitutable and Complementary ItemsMachineLearningDNNRecommendation論文読みGNN はじめに 出典: AAAI 2023 Enhanced Multi-Relationships Integration Graph Convolutional Network for Inferring Substitutable and Complementary Items という、AAAIに提出された論文を紹介します。 この論文は中国のMeituan Maicaiと呼ばれるオンラインスーパーマーケットの研究者が取り組んだ、商品推薦の論文です。 論文を選んだ動
グラフ信号処理におけるサンプリングと復元 - 甲斐性なしのブログ
はじめに グラフ信号処理に関する日本語の書籍が昨年発売された。 グラフ信号処理の基礎と応用: ネットワーク上データのフーリエ変換,フィルタリング,学習 (次世代信号情報処理シリーズ 5) 作者:田中 雄一コロナ社Amazon 本記事ではその中で解説されているグラフ信号のサンプリングと部分空間情報を利用した復元について簡単にまとめた上で、実際に試てみた際のコードと結果を紹介する。 グラフ信号処理の諸概念 グラフ信号 グラフ信号は下図のようにグラフの各頂点上に値を持つ信号である。 このような頂点上に値を持つグラフの例としては、空間上に配置された複数のセンサーが挙げられる。これは、近くにあるセンサー同士が辺でつなげば、その計測値はグラフ信号とみなせる。それ以外にも、路線図と各駅の人口、SNSのつながりと各ユーザの特性（年齢などの何らかの数値）等々、グラフ信号としてモデル化できる現実の事象は様々存
QiitaのGNNタグ付けレコメンドにテキスト情報を追加してみる - Qiita
前身となった記事 2つを掛け合わせたような記事です． タグ同士のリンク情報に加えて，記事内容をベクトル化したものを加えることで，さらに良い推論結果が出せるのではないかということで実践してみることにしました．Heterogeneous Graphをカスタムデータに使ってみたいという方におすすめです． 以下の流れで実装を進めていきます． データセットの用意 テキストデータをベクトル化 グラフデータを用意する 学習 評価 実装のnotebookはgithubに挙げてますので，記載していない細かい部分が気になる方はそちらを参照してください．(あまり精査してませんが) https://github.com/taguch1s/qiita-tag-recommend/tree/main いろいろ細かい部分はスルーしてとりあえず実装までこぎつけた感じなので，気になる部分がありましたらご教授いただけますと幸
グラフニューラルネットワーク(GNN; Graph Neural Network)入門 - あつまれ統計の森
前提知識 Transformerとグラフニューラルネットワーク 下記で詳しく取り扱いました。当記事は下記の副読的な内容になるように取りまとめました。 「Transformer＝グラフニューラルネットワーク＋ネットワーク分析」と大まかに解釈できるので、当記事ではグラフニューラルネットワークについて詳しく取り扱います。 集合と要素 グラフ理論では基本的に数ⅠAの「集合」で取り扱われる内容を元に立式されます。当項では「集合」の基本的な式表記の確認を行います。たとえばサイコロの出目の$1$〜$6$の集合を$X$とおくとき$X$は下記のように定義できます。 $$ \large \begin{align} X = \{ 1, 2, 3, 4, 5, 6 \} \end{align} $$ このとき$X$の要素を$x$とおくと、$x \in X$のように表すことができます。$x \in X$は$x$が$
GraphNVP: An Invertible Flow Model for Generating Molecular Graphsを読んだのでメモ - 機械学習とかコンピュータビジョンとか
はじめに GraphNVP: An Invertible Flow Model for Generating Molecular Graphsを読んだのでメモ．Generative flowを使ってmolecular graphを生成する初めての試みとのこと． GraphNVP Generative Flowの一般的な話は何度か記事にしているのでここでは割愛． 今回は，molecular graphをgenerative flowを使って生成するのが目的．ここではグラフの生成を，ノードの隣接関係の記述とノードの表現（ラベル）の二つに分けて考える． 定義として，グラフをとし，をそれぞれ，adjacency tensorとfeature matrixとする．ただし，隣接関係の種類を，ノードのラベルの種類をとした．グラフが与えられた時にとなるようなモデルを作る．今回はモデルとしてGenerati
『グラフニューラルネットワーク』を上梓しました - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
グラフニューラルネットワーク (機械学習プロフェッショナルシリーズ) 作者:佐藤 竜馬講談社Amazon 講談社より『グラフニューラルネットワーク（機械学習プロフェッショナルシリーズ）』を上梓しました。 グラフニューラルネットワークはグラフデータのためのニューラルネットワークです。化合物やソーシャルネットワークのようなグラフデータの解析に使うことができます。また後で述べるように、テキストも画像もグラフなのでテキストや画像の分析にも使えますし、それらを組み合わせたマルチモーダルなデータにも適用できます。要は何にでも使うことができます。この汎用性がグラフニューラルネットワークの大きな強みです。 本稿ではグラフニューラルネットワークを学ぶモチベーションと、本書でこだわったポイントをご紹介します。 グラフニューラルネットワークは何にでも使える 付加情報をグラフとして表現できる グラフニューラルネッ
PAKDD2023報告 - Qiita
はじめに 2023年5月25日(木)から5月28日(日)にかけてPAKDD2023が大阪で開催されました。PAKDDは、データマイニングを主とした国際会議です。この記事では、個人的に注目した発表についてポイントを整理し、読んでいただいた方に雰囲気を掴んでいただくことを目指します。 PAKDD2023 https://pakdd2023.org/ プログラム https://pakdd2023.org/program/ 会議の様子（同僚執筆のQiita記事） 国際会議PAKDD2023に聴講参加してきました チュートリアル Moving Beyond Traditional Anomaly Detection 要約：2022年くらいまでの異常検知技術を整理したチュートリアル ポイント： Shallowモデル(kNN、LOF、ヒストグラムベース、PCA、iForest)とDeepモデル（AE、
PyTorch Geometricのデータセットの自作するための簡単なまとめ - Qiita
PyGはグラフの機械学習に有用だが、データセットの自作が最初は難しかったので最低限必要な知識を記しておく。 InMemoryDataset CPUメモリに収まるデータセットを構成できる便利なクラス。 概観 最初にインスタンスを生成すると、processメソッドが呼び出されてデータセットが処理される。 torch.save()でデータがdata.ptに保存され、次回以降高速に読み込める。 最低限知っておけばよいメソッド raw_file_names 処理前の生のデータのファイルがあればここに書いておく。 processed_file_names 処理されたデータが、__init__で渡したディレクトリの下にこのファイル名で保存される。 process グラフのノード, エッジ, 重み, 特徴量の設定などを行う。基本的にtorch_geometric.data.Dataクラスでグラフを表現し、
確率モデルを使ったグラフクラスタリング
[DL輪読会]Understanding Black-box Predictions via Influence Functions Deep Learning JP
【論文紹介】E(n) Equivariant Graph Neural Networks - Pseudo Theory of Everything
対称性が課された機械学習の理論に興味があり、なんとなく探していたところ、最近出た論文に読みやすそうなものがあったので読んでみました。次の論文を紹介したいと思います。 arxiv.org イントロダクション この論文では、グラフニューラルネットワーク(GNN)に \(E(n)\) 変換のもとで同変(equivariant)性を課したモデルを構築しています。 \(E(n)\) は \(n\) 次元ユークリッド空間での等長変換群であり、回転、並進、鏡映、置換からなりますが、今回の論文では基本的に回転と並進に着目しているように思えます。このような変換を考えることのモチベーションとしてはData Augmentationなどがあるようで、著者たちの過去の関連論文では arxiv.org などがあります。後に紹介しますが、グラフニューラルネットワークに対称性を課した研究は、点群(point cloud
論文解説: P-Companion: A Principled Framework for Diversified Complementary Product Recommendation - Qiita
論文解説: P-Companion: A Principled Framework for Diversified Complementary Product RecommendationMachineLearningDNNRecommendation論文読みGNN はじめに P-Companion: A Principled Framework for Diversified Complementary Product Recommendation というAmazonがCIKM2020に投稿した論文について解説します。 論文を選んだ動機 E-Commerceサイトの推薦では、ユーザーが見ている商品詳細ページに対して、以下2種類の商品を推薦することが多いです。 substitute: 現在見ている商品と代替関係にある商品 complementary: 現在見ている商品と合わせて買われるよう
【論文紹介】 Node2Vecでネットワークのベクトル埋め込みを学習する。 - Qiita
卒論のためにNode2Vecの論文を読んだので、この手法でネットワークの構造を学習する方法について解説します。数式を追わなくてもある程度理解できるようになっていると思います。 参考元 元論文: node2vec: Scalable Feature Learning for Networks PyTorch GeometricのNode2Vecモデル: torch_geometric.nn.models.Node2Vec 再現実装の際にPyTorch Geometric(PyG)のモデルを用いたので、論文に明記されていない学習方法などはこちらを参考にしました。 Node2Vecとは Node2Vecは、 ランダムウォークによってグラフの特徴が乗った系列を生成する 生成したウォークの系列をWord2VecのSkip-Gramモデルの入力とし、目的関数を最適化する という手順でグラフの分散表現を
【KDD2020 Workshop採択論文紹介】GCNで時系列予測！？ - Qiita
明示的にグラフ構造でないデータに対してもGraph Convolution Network(GCN)が使える！？ ドコモの久保田です。この記事では、データマイニングの国際会議であるKDD2020で開催されたThe Second International Workshop on Deep Learning on Graphs: Methods and Applications (DLG-KDD’20)に採択された私たちの論文"Time-aware GCN: Representation Learning for Mobile App Usage Time-series Data"を紹介します。論文はKDDのリンクのページからダウンロードできます。 KDD2020の投稿傾向 KDD2020のOpening1でResearch Trackのトピックごとの投稿論文数が報告されていましたが、上位2
【論文読み】画像をグラフ構造として特徴抽出するVisionGNN - Qiita
以下の論文の内容をまとめた。 Vision GNN: An Image is Worth Graph of Nodes 2022/06 https://arxiv.org/abs/2206.00272 Kai Han, Yunhe Wang, Jianyuan Guo, Yehui Tang, Enhua Wu パッチ化した画像でグラフを構築し、グラフニューラルネットワークで特徴抽出、画像分類や物体検出タスクに利用する。TransformerやMLPを使った画像処理の研究とコンセプトは似ている。 まとめ 前提/課題 CNN, transformer, MLP, 等を利用してコンピュータビジョンモデルが改善されている 画像中の物体は通常、形状が不規則で四角形ではないため、ResNetやViTなどの従来のネットワークで一般的に使われているグリッドやシーケンス構造は、冗長で柔軟性がなく、処理しに
[DL輪読会]GraphSeq2Seq: Graph-Sequence-to-Sequence for Neural Machine Translation
[DL輪読会]GraphSeq2Seq: Graph-Sequence-to-Sequence for Neural Machine Translation
![[DL輪読会]GraphSeq2Seq: Graph-Sequence-to-Sequence for Neural Machine Translation](https://cdn-ak-scissors.b.st-hatena.com/image/square/77c5b20f6dafae1d27bfc73c66fdc0b6f7ada9a5/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20181117graphseq2seqkayama-181116022737-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Graph Neural Networkの処理と効果を理解する: How Powerful are Graph Neural Networks?
Graph Neural Networkはどんな処理を行っていて、それによりどんな識別が可能になるのか？という点を検証した論文”How Powerful are Graph Neural Networks?”があったため、読んでみました。本論文はICLR 2019にOralでAcceptされています。 本論文の主張をまとめると、以下のようになります。 Graph Neural Networkの処理は3段階に分けられる。隣接ノードの集約(AGGREGATE)、集約結果による更新(COMBINE)、そしてグラフ全体の性質を得るためのノード特徴の集約(READOUT)の3つである。グラフの類似性を比較するために、ノードの接続種別ごとにラベルを振り、その個数を数え上げ比較する手法がある(Weisfeiler-Lehman Graph Isomorphism Test)。この文脈においては、同じ接続
論文メモ：Representation Learning on Graphs with Jumping Knowledge Networks - Qiita
論文メモ：Representation Learning on Graphs with Jumping Knowledge Networksグラフ深層学習GNNJKNet この論文を読んだ理由 この論文の手法を取り入れた論文を数多く見かけたため． 読んだところ 全体 解いている課題 GNNにおける集約において，近傍ノードがグラフ構造に強く依存してしまっている問題．具体的には，中心のノードは近傍が多く，端のノードは近傍が少ない． ノードごとに適当的に近傍の範囲を定めたい． 提案手法のアプローチ 各層の出力を集めてきた後，Concat/Max-pooling/LSTM-attention 演算を行う． Concat...この場合は適応的ではない．Concatのあと線形層に通すことで全てのホップ数を考慮することが出来る． Max-pooling...各層の出力のうち，一番情報が多い要素（値が大き
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
グラフデータの分析と DSOC の取り組みを俯瞰する / Overview of graph data analysis and DSOC initiatives
Graph U-Nets
Improving "People You May Know" on Directed Social Graph
