画像生成AIのStable Diffusionは、ノイズを除去することで画像を生成する「潜在拡散モデル」で、オープンソースで開発されて2022年8月に一般公開されたため、学習用のデータセットを変えることで特定の画像を生成するのに特化したフォークモデルが多数存在します。そんなStable Diffusionから派生して生まれた特化型モデルとその特徴や生成例をまとめてみました。 Stable Diffusion Models https://rentry.org/sdmodels 実際に複数のモデルとシード値で、同一のプロンプト・ステップ数・CFGスケールで画像を生成した結果をまとめてみました。 モデルは左からStable Diffusion v1.4、Waifu-Diffusion v1.2、Trinart Stable Diffusion、Hentai Diffusion、Zack3D_K

はじめに DynamoDBは上手く使えば非常に強力なDBMSですがRDBとの違いは大きく、「RDBの代わりにDynamoDBを使おう！」と深く考えずに提案/採用することが難しいことから、その理由についてみていきます。 DynaomoDBの難しさ DynamoDBの利点と表裏一体である、DynaomDBの主要な難しさについて順番に見ていきます。 1. 提供されているクエリモデルでできることが非常に限定されている DynamoDBは次の公式サイトに記載がある通り、どんな規模でも数msの一定のパフォーマンスを発揮でき、無尽蔵にスケールできるという特徴があります。 Fast, flexible NoSQL database service for single-digit millisecond performance at any scale この特性を上手く活用すると次の実例のように高可用性、

最近勉強を始めたコンテナ技術に関する基礎的な知識をまとめました。 [訂正と注釈] p.27-30: 「Deployment」内の「Version: 1」 => 「Version: 2」 p.37: 「終了コードをから」 => 「終了コードから」 p.39: 「HTTPSが利用できない」=> AWS上では、SSL終端するLBがサポートされています。https://kubernetes.io/docs/concepts/services-networking/service/#ssl-support-on-aws p.40: 「ユーザがingress controllerをmaster上にセットアップする必要」 => master上にセットアップしなければならないという制約はありません。例えばGCEのingress controller(GLBC)はPodとして動作します。https://gi

「ネットを使うほど、人は極端になる」は本当か 「現代社会で進む分断の大きな原因は、インターネットやSNSである」というクリシェがある。しかし、そうした直感に真っ向から反する「ネットは社会を分断しない」という研究結果が話題だ1。 慶應義塾大学の田中辰雄氏らの実証研究によると、FacebookやTwitterなどのソーシャルメディア利用は、ユーザの「意見の極端化」に影響を与えていないという。一方で田中氏らは、「テレビニュースの視聴者は極端な意見を持つようになる」とも指摘しており、興味深い。 この研究では、それだけでなく、ネットユーザが自分と意見の異なるユーザも少なからずフォローする傾向にあることが分かった。具体的には、フォローしている人の3割以上は、自分と反対の主張をしている人で占められているとのことである。実は、このような研究結果は、海外の実証研究でも示されている2。 つまり、従来から言われ

5ch(旧2ch)ではここ数年はTwitterを使用するようになってしまいましたが、ネットのミームの発信地点であって、様々なスラングを生み、様々な文化を作ってきたと思います。 学生時代、2chまとめとか見ていたので、影響を受けてきたネット文化で、感覚値からすると、どうにも流行り廃りがあるようです。 5chの過去ログを過去18年ほどさかのぼって取得する方法と、懐かしいネットスラングのドキュメントに占める出現具合を時系列でカウントすることで、時代の変遷でどのように使用の方法が変化したのか観測することができます。 文末に「orz」って付けたら若い人から「orzってなんですか？」と聞かれて心身共にorzみたいになってる— ばんくし (@vaaaaanquish) October 19, 2018 図1. 今回集計したorzの結果 例えば、今回集計した5chの書き込み500GByte程度のログからで

「Yahoo!知恵袋」の不快な投稿、見えないところへ　わずか1日で6億件を処理　ヤフー社内で何が起きたのか（1/2 ページ） Q＆Aサービス「Yahoo!知恵袋」は長い間、不快な内容だが規約違反ではなく削除できない「グレーな投稿」に悩まされてきた。解決するための処理には約9カ月かかると思われていたが、わずか1日強で完了したという。何が起きたのか。 老舗Q＆Aサービス「Yahoo!知恵袋」は、長い間あるものに悩まされてきた。規約違反ではないため削除できないが、見る人を不快にさせる内容の“グレーな投稿”である。これまで社内でパトロールを行うなど対応してきたが、同サービスの投稿は約6億件にものぼり、全てのグレーな投稿を見つけ出すことは難しかった。スーパーコンピュータ「kukai」（クウカイ）が導入されるまでは。

米フェイスブックの情報流出問題を巡り、利用者数が約2800万人（月間1回以上のアクセス、2017年秋時点）にのぼる日本でも余波が広がってきた。同社の日本法人は6日、外部のデータ収集会社2社との広告での連携を停止すると明らかにした。膨大な個人情報をもとにマーケティングの精度を高めてきたネット広告が試練に直面している。フェイスブックは情報流出と世界で強まる世論の逆風を受け、抜け穴になりやすい仕組み

ビデオリサーチは、元SMAPの3人が出演したAbemaTV「ホンネテレビ」の視聴者数が207万人だったと推計したニュースリリースを取り下げた。「AbemaTVの視聴人数を適切に表現する上で不十分と判断した」という。 ビデオリサーチはこのほど、元SMAPの3人が出演したAbemaTVの番組「72時間ホンネテレビ」の視聴者数が207万人だったと推計した調査結果のニュースリリースを取り下げ、同社サイトのトップページで謝罪した。「AbemaTVの視聴人数を適切に表現する上で不十分と判断した」という。 このリリースをめぐっては、発表翌日の11月29日、AbemaTV・サイバーエージェント社長の藤田晋氏がマイクロブログサービス「755」に「昨日のビデオリサーチの記事酷かったな。元記事は削除してもらった筈だけど」と投稿しており、AbemaTV側からのクレームを受けて削除されたようだ。 72時間ホンネテレ

SONY『深層学習モデルの開発ハードル無くそう』 TensorFlow、Keras、Theano、Caffeなど。これまでディープラーニング向けライブラリといえば、海外勢が圧倒的…という状況でした。 が、そんな状況が いきなりひっくり返る かもしれません。 なんとあの SONY がGUI&プログラミングいらずなAI開発ツールをリリース。突如無料で開放してくれたんです。 関連記事：ディープラーニングとは｜AI・人工知能・歴史・仕組み・学習手法・活用事例 関連記事：ニューラルネットワークとは｜AI・人工知能・仕組み・歴史・学習手法・活用事例 その名も『Neural Network Console』 ざっと紹介するとつまり “簡単にディープラーニングを行えるGUIツール” ということなんですが、なにより『ヤバイ』のが下記の特長点。 Windows対応！！ というわけで伝えるべき点が多すぎるリリー

Amazon S3って？ 追記: 以下の記事で紹介したS3互換環境を使って，サムネイルサーバーを作ってみました！！ サーバーレスの入門に！自宅サーバーレス+自宅S3環境で作るサーバーレス・サムネイルサーバー！ ざっくりというとAmazonが提供している"ファイルサーバーのようなもの"です． 公式ドキュメントによると Amazon Simple Storage Service はインターネット用のストレージサービスです。また、ウェブスケールのコンピューティングを開発者が簡単に利用できるよう設計されています。 引用：Amazon S3 とは何ですか？ 厳密にはAmazon S3はオブジェクトストレージの一種で， オブジェクトストレージはデータをファイル単位やブロック単位ではなく、オブジェクトという単位で扱います。オブジェクトにはストレージシステムのなかで固有のID（URI）が付与され、データと

PaaSサービスの簡単な説明 各ベンダーの提供サービスには予め学習されたモデルの翻訳や画像・動画認識などが用意されています。 Google Cloud Platform Google社が提供する機械学習プラットフォームになります。 サイズを問わず、あらゆるデータの機械学習モデルを簡単に構築できるマネージド サービスです。 クラウド上に用意されたTensorFlowも使えます。 ※サイトより抜粋 機械学習の内容 ・Cloud Machine Learning Engine 教師ありの回帰・分類、教師なしのクラスタリングなどさまざまなデータから学習ができます。 使用アルゴリズムは非公開。 Azure Machine Learning Azure Machine Learning は、クラウドの予測分析サービスであり、分析ソリューションとして予測モデルを迅速に作成し、デプロイできるようにします。

- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ

こちらの本をご恵贈いただきました。 ビッグデータ分析・活用のためのSQLレシピ 作者: 加嵜長門,田宮直人出版社/メーカー: マイナビ出版発売日: 2017/03/27メディア: Kindle版この商品を含むブログを見る 一般的なSQLの本というのはDB管理の一環としてのインフラエンジニア向けの技術書であることが多く、意外にもデータ分析を主目的としたSQLの使い方やクエリの工夫の仕方について書かれた本というのはあまり多くないんですよね。故に、多くのデータ分析者は難解なテーマを実現するクエリを書きたくても参考になる資料が乏しく、途方に暮れるわけです。僕もHive / Redshift / BigQueryのクエリを書きながら「こんな分析がしたいんだけど、それを実現できるクエリってないよなぁ。。。」と何度天を仰いだことか。 そんなところに突然降って湧いてきたのがこちらの新刊書。もう目次を見ただ

先日開催されたAWS Summit Tokyo 2017、わたしもいくつかセッションを聴講してきたのですが、「DevSecOps on AWS - Policy in Code」というセッション1にてgit-secretsというツールが紹介されていました。 awslabs/git-secrets: Prevents you from committing secrets and credentials into git repositories これ以外にも、いくつかのセッションで言及されていたと思います。 git-secretsのことは以前から聞いてはいたのですが、自分自身があまりコードを書く環境にいなかったので、良くないとは思いつつも今まであまり気にしていませんでした。 ただ、AWSアクセスキーの漏洩が原因と思われる話を聞く機会はなかなか減りませんし、考えてみれば自分でも、AWSクレデ

IEEE Internet Computingの2017年5・6月号に "Two Decades of Recommender Systems at Amazon.com" という記事が掲載された。 2003年に同誌に掲載されたレポート "Amazon.com Recommendations: Item-to-Item Collaborative Filtering" が Test of Time、つまり『時代が証明したで賞』を受賞したことをうけての特別記事らしい 1。 「この商品を買った人はこんな商品も買っています」という推薦で有名なAmazonが1998年にその土台となるアルゴリズムの特許を出願してから20年、彼らが 推薦アルゴリズムをどのような視点で改良してきたのか 今、どのような未来を想像するのか その一端を知ることができる記事だった。 アイテムベース協調フィルタリング 20年前も

ブックマークしました ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください Twitterで共有

[レベル: 上級] amp-analytics を用いた AMP ページのアクセス解析には大きな問題があることを Christian Oliveira（クリスチャン・オリヴェイラ）氏が自身のブログで指摘しました。 具体的には、次のレポートが非常に信頼性に乏しいデータになっています。 ユニーク ユーザー セッション 直帰率 ページ/セッション 参照元 そもそもの原因はCookie どんな問題が出てくるかはこの後説明するとして、問題が発生するそもそもの理由は Cookie に起因します。 AMP コンテンツは、その AMP ページを実際にホストしてるドメイン（僕たちのサイト）ではなく、AMP CDN のキャッシュから返されます。 AMP CND サーバーのドメイン名は、cdn.ampproject.org です（現在は、各サイト固有のサブドメインが割り当てられている）。 キャッシュされたAMP

Private content!This content has been marked as private by the uploader.

以下では自分が運用しているトレンド解析システムで使用しているスパムフィルターの実装方法について解説していきます。 スパムフィルターで用いる機械学習 スパムフィルターの実装では機械学習の中でも「教師あり学習」と言われるものを用います。これはラベルと特徴量からなるデータから、どのような特徴を持つものがどのようなラベル（カテゴリ）に当たるかを自動的に学習するものです。 具体的に見ていきましょう。例えばTwitterには以下の様なツイートがあります。 1.眠い……でも起きなきゃ 2.同点から中田の3ランホームラン！ 3.[無料でカンタン]に魔法石ゲット♪ ⇒http://xxx.xyz/999 4.相互フォローで繋がれる人募集中です！すぐフォロー返しますのでよろしくお願いします！ リツイートもしてほしいな♪ #followme #refollow #followback #相互フォロー #soug