Sky | Moon | Mars See sky in Google Earth | Help | About Google Sky Sky Link to this page Print Loading Sky Maps...
Sky | Moon | Mars See sky in Google Earth | Help | About Google Sky Sky Link to this page Print Loading Sky Maps...
これはFujitsu Advent Calendar 2017の18日目の記事です。 掲載内容は富士通グループを代表するものではありません。ただし、これまでの取り組みが評価されて、富士通がQiitaに正式参加することになりました[リンク]。なお、内容の正確性には注意を払っていますが、無保証です。 はじめに この記事では今年発表されたディープラーニング論文(ArXivでの発表時期、発表された国際会議が2017年開催またはジャーナル掲載が2017年のもの)から私が個人的に重要だと思った論文を収集しています。また、2016年末ごろの論文も重要なものは採用しています。 以下の投稿も合わせてご覧ください。 2016年のディープラーニング論文100選[リンク] ディープラーニングにとっての2017年 2017年のディープラーニング技術は主に画像系技術で革新的な進歩がありました。それをけん引したのは敵対
実践マイクロサービス ─ コンポーネント分割やトラブル回避の考え方をLINEの導入事例に学ぶ マイクロサービスとは、小さいサービス同士をつないで連携し、ひとつのサービスを構成する手法のことです。そのメリット・デメリットなどマイクロサービスの本質と、LINEでの導入事例から実運用とトラブル回避について、LINE Shopチームの佐藤春旗さんが解説します。 はじめまして、佐藤春旗です。 前職でソーシャルサービスやOSの開発を経て、2013年にLINEに入社。スタンプショップやLINE Payの開発に参加したのち、現在はスタンプショップなどを担当するLINE Shopのチームに所属し、マネージャーを務めています。 本稿では、マイクロサービスを軸に、2つのテーマを取り上げていきます。 1つ目は、マイクロサービスの概要解説です。あわせて、実際に運用して見えたメリット・デメリットを紹介しながら、マイク
比較的読みやすい本を中心に紹介します。今後は毎年このページを更新します。 微分積分 高校数学をきちんとやっておけばそんなに困ることないような。偏微分とテイラー展開は大学演習のような本でしっかりやっておきましょう。ラグランジュの未定乗数法のような、統計・機械学習で必要になる部分は、ネット等で学べばいいかなと思っています。 線形代数 tensorflowなどのおかげで順伝播部分(行列積および行列とベクトルの積)さえ書ければ線形代数の知識はそこまでいらないんじゃないかという流れを感じます。しかし、主成分分析やトピックモデルなどの行列分解や、ガウス過程などのカーネル法のような様々なデータ解析の手法に一歩踏み込むと、きちんとした勉強が必要になります。理解しやすくて使いやすくて、統計や機械学習への応用を主眼においた線形代数の本はまだ見たことないです。機械学習シリーズとかで基礎から「The Matrix
厳しい暑さが続いている。比較的過ごしやすい日の多かった昨年とは異なり、今年は最高気温が35度を超える「猛暑日」が7月に入ってから各地で相次ぐ。気温は下がる気配を見せず、18日には岐阜県多治見市で気温が40.0度まで上がった。 全国的に見ても40度以上を記録するのは2013年以来。7月の記録となると実に14年ぶりだ。気象庁は7月下旬まで気温の高い状態が続くとして、熱中症などに注意を呼びかけている。 昔と比べて暑くなっているのか さて、夏になるとしばしば話題に上るのが「昔と比べて夏は暑くなっているのか」という疑問だ。気象庁が今年6月に公表した「ヒートアイランド監視報告2017」によると、過去100年間で日本の気温は着実に上がってきた。その中でも特に温暖化の傾向が強いのが東京をはじめとする都市部だ。100年前と比べると、東京の年間平均気温は3.2度上昇した。天候に関するニュースでは夏の最高気温が
はじめに はじめまして。 プラットフォームサービス本部 データプラットフォームサービス部門の森分です。 もともと私は、NTT Comのクラウドサービスをベースにした法人向けソリューションの個社別運用やインフラ関連のプロジェクトマネージャ業務を担当しておりました。 最近はSmart Data Platform(以下、SDPF)アーキテクトなる、お客様課題の解決やNTT Comのビジネスの中でSDPFの活用を推進する部隊に参画しています。 データ利活用を支えるSDPFのアーキテクトがデータ利活用に詳しくなければ立つ瀬がありません。 そうならないように日々研鑽を積んでいるわけですが、その中で作ったTwitter分析システムっぽいもののご紹介が本稿の趣旨となります。 本来のデータ利活用プロジェクトでは、課題および仮説をまず明確にして、それに応じたデータ解析を進めていくのですが、本稿では堅苦しいもの
Webページに実装されているHTML要素の構造を可視化し、header, nav, main, articleなどセマンティック要素が正しく実装されているか検証できるスタイルシートを紹介します。 デバッグ機能も備えており、不正なマークアップや問題のあるマークアップを表示することもできます。 Construct.css Construct.css -GitHub Construct.cssはセマンティックHTMLの使い方をより身近にするために、スタイルをフックとしてクラス名を使用するのではなく、直接タグをスタイルするCSSのライブラリです。目に見えないセマンティックのタグであることを視覚的に確認することができます。 ブラウザで簡単に利用できるブックマークレットも用意されています。 ブックマークレット Construct.cssのブックマークレット ブックマークレットを使用すると、以下のCSS
Project Description: Please provide a description of the project.
2021年3月19日 一面に広がるキレイなお花に思わずうっとり!春に訪れたい全国のカラフルな花畑10選
『はてな村』のアナロジーを本当に地図にできたら面白いだろうなと思って、週末を潰して作ってみました。TopHatenarが蓄積しているDBを一部活用したサービスになっています。 Blogopolis このサービスを簡単に説明すると、はてなダイアリーのユーザに、獲得ブクマ数に応じた領土面積を割り当て、さらに似た者同士の領土を隣接させるという試みです。 地図の全体を見渡すことで、はてダの大まかなトレンドを掴むこともできるし、スケールを拡大していけば個別記事に到達することもできます。さらに、Google Mapsで検索するような感覚ではてなidやキーワードを入力して地図を探索したり、「去年と今年で勢力図がどう変わったか」を調べることもできます。 HatenarMapsはTopHatenarと同様、Javaで開発しました。フレームワーク構成もTopHatenarと一緒で、Cubby+Mayaa+S2
組織のセキュリティ対策 2018.9.15 セキュリティに役立つツールを10個教えてくれと言われたら、あなたはどんなツールが思い浮かびますか? 迅速な対応が求められるセキュリティ分野だからこそ、手早く解決の手助けをしてくれるツールの活用は必須とも言えるでしょう。個々の状況に応じたセキュリティ診断や対策、体制の構築は専門家と共に自組織にカスタマイズされた内容で実施・構築していくことをお勧めします。ですが自分で手軽にチェックしたり、調べられたりするツールが手元にあると便利ですよね。 そこで、ここでは無料で利用できるセキュリティ関係のツールを10種類ご紹介します。 ・パスワードの強度を調べる「Password Checker Online」 ・ソフトウェアのバージョンが最新か確認する「MyJVN バージョンチェッカ」 ・脆弱性対策情報データベース「JVN iPedia」 ・攻撃兆候検出ツール「i
ATRと京都大学、fMRIで測定した人間の脳活動のみから、その人が見ている画像を機械学習を用いて再構成する提案を発表。心の中でイメージした内容の画像化にも成功 2018-01-14 ATR(国際電気通信基礎技術研究所)と京都大学の研究者らは、fMRI(機能的磁気共鳴画像法)によって測定された人間の脳活動のみから機械学習を用いて視覚像を再構成する提案を論文にて発表しました。 Deep image reconstruction from human brain activity 著者:Guohua Shen, Tomoyasu Horikawa, Kei Majima, Yukiyasu Kamitani (左が見ている画像、右が再構成された画像) 本稿は、人間が見ている画像を、fMRIで測定した脳活動パターンのみで知覚内容を視覚化する機械学習を用いた手法を提案します。 提案手法では、画像を見
こんにちは、技術部開発基盤グループの id:hogelog です。 RubyKaigi 2018 楽しかったですね。僕はおそらく RubyKaigi 2010 以来の久しぶりの参加でした。ああいう場の楽しさを思い出し、また今回はスポンサーブースから RubyKaigi に参加するという学生の頃は知らなかった楽しみも新たに知り、RubyKaigi を満喫させていただきました。 さて今回はそんな RubyKaigi で取り戻した Ruby に対する感情と関係あるようなないような、最近自分が取り組んでいるお台場プロジェクトとプロジェクト内で実施している計測と可視化について紹介します。 お台場プロジェクトの発足 クックパッドの開発といえば数年前までは cookpad_all という一つのリポジトリの中に詰め込まれた巨大なモノリシック Rails アプリケーションを社内のエンジニアが寄ってたかって開
Microsoft、Excelでインタラクティブな3D地図上グラフを作れるアドイン「GeoFlow」を発表 営業所別の売り上げ実績やインフルエンザの流行などをBing Mapsの3D地図上のグラフでビジュアル化できるExcel 2013用アドイン「"GeoFlow" Preview for Excel 2013」が無料で公開された。 米Microsoftの研究部門であるMicrosoft Researchは4月11日(現地時間)、Microsoft Excelのアドイン「GeoFlow」のプレビュー版を公開したと発表した。Excelのデータを地図上の3Dグラフに視覚化し、データを視覚的に分析したり、地図上を移動したり時間軸を移動したりできる“インタラクティブなツアー”を作成できる。 「"GeoFlow" Preview for Excel 2013」はMicrosoftのDownload
こんにちは、開発基盤の Taiki です。今回は、マイクロサービスで必須のコンポーネントとなりつつあるサービスメッシュについて、クックパッドで構築・運用して得られた知見についてご紹介できればと思います。 サービスメッシュそのものについては以下の記事や発表、チュートリアルで全体感をつかめると思います: https://speakerdeck.com/taiki45/observability-service-mesh-and-microservices https://buoyant.io/2017/04/25/whats-a-service-mesh-and-why-do-i-need-one/ https://blog.envoyproxy.io/service-mesh-data-plane-vs-control-plane-2774e720f7fc https://istio.io/
機械学習モデルにおいて、人間によるチューニングが必要なパラメータをハイパーパラメータと呼ぶ。 ハイパーパラメータをチューニングするやり方は色々とある。 例えば、良さそうなパラメータの組み合わせを全て試すグリッドサーチや、無作為に試すランダムサーチなど。 今回は、それとはちょっと違ったベイズ最適化というやり方を試してみる。 ベイズ最適化では、過去の試行結果から次に何処を調べれば良いかを確率分布と獲得関数にもとづいて決める。 これにより、比較的少ない試行回数でより優れたハイパーパラメータが選べるとされる。 Python でベイズ最適化をするためのパッケージとしては Bayesian Optimization や skopt、GPyOpt などがある。 今回は、その中でも Bayesian Optimization を使ってみることにした。 使った環境は次の通り。 $ sw_vers Produ
あるいは、論文 "Best Practices for Scientific Computing" および "Good Enough Practices in Scientific Computing" について。 TL;DR 標題の件について、未だに答えは見えていないのだけど、自分の現状と他の人の例を文字で残しておく。 こういう話で「あーその手があったかー!」と知ったときの興奮はすごいので、みなさんもっとオープンにいきましょう。 大切なのは、ソフトウェア開発と同じ要領でデータサイエンスのプロジェクトを捉えて、分析と言う名の“開発”を行うつもりでディレクトリを掘ること。 必要なものリスト ナウいデータサイエンス/機械学習プロジェクトの中には(経験上、ぱっと思い浮かぶだけでも)次のようなファイル群があって、僕たちはそれらを良い感じに管理したい。 ソースコード 役割がいろいろある: 前処理(こ
このエントリは全9回を予定する18卒新人ブログリレーの第5回です。 はじめまして。リクルートテクノロジーズ新卒1年目の西野拓馬です! 入社後の研修を経て、7月からリクルートテクノロジーズのプロダクト開発のチームに配属されました。 今回は、新卒エンジニアとしてプロダクト開発現場に配属され約3ヶ月の間何に取り組み、そこから何を学んだかについて紹介したいと思います。 リクルートテクノロジーズの新卒エンジニアは何を経験し、何を学ぶのか? 新人はチームにジョインした時にどういうことを感じ、何に苦戦するのか? こういった問いを持つ読者に、少しでも参考になれば幸いです。 以下が本記事の構成になります。 はじめに 私がプロダクト開発者として参考にしているものの1つに「プロダクトマネジメントトライアングル」と呼ばれるグラフィックモデルがあります。 出典:https://productlogic.org/20
NRNB and Cytoscape Introduction to the National Resource for Network Biology How to Cite Cytoscape Cytoscape project needs your support! Please cite the original Cytoscape paper when you use Cytoscape. This is critical to sustaining our federal funding. Shannon P, Markiel A, Ozier O, Baliga NS, Wang JT, Ramage D, Amin N, Schwikowski B, Ideker T. Cytoscape: a software environment for integrated mod
データ分析ガチ勉強アドベントカレンダー 24日目。 当サイトでも、Pythonを使ったデータ分析や機械学習について、勉強しながらそれをアウトプットとして出すと言うかたちで、何個も記事を書いてきました。 記事数で言えば50とかそのくらいあるような気がします。 カレンダーも完成しつつあるので、個々では当サイトの総まとめとして、機械学習やデータ分析に触れたいという人がゼロから始めて触れられるように、記事をまとめていきたいと思います。 何か面白いことを勉強したい学生、就職までの勉強に、急に機械学習を使わなければならない社会人方々は、読んで見てください。 0. 環境構築 0.1. Pythonの導入 (Anaconda) 0.2. エディタ (Pycharm/VSCode) 0.3. バージョン管理 (Git) 1. Pythonの使い方(基本ライブラリ) 1.1. 数値計算 : numpy 1.2
- はじめに - 以下、MANABIYA techなるイベント内のAIセッションにて登壇させて頂きました。 manabiya.tech 大きなスペースでフザけたタイトルで発表するという最悪さでしたが、満員になり立ち見状態でした。 ありがとうございました。 正当な方向性でいけば登壇スライドを公開して終わりなのですが、会社のアカウントでSlideShareにアップロードするという行為に宗教上耐えきれそうにないため、会社情報を含まない範囲でここに思い出と共に書き残す形にしようかと思います。 - 登壇内容 - 登壇では、以下3つをテーマに話をしました。 AI屋さんの定義、分類は? 実際AI屋さんって何やってるの? 上手くAIプロジェクトを回すには? AI屋さんの定義と分類 AI屋さんとは、「セッションタイトルが ‘AI’ だったので私が仕方なく付けた名称」です。 そもそも私は、機械学習や統計モデル
はじめに 今回はElasticsearchとKibanaを使った、Twitterダッシュボードの作成方法についての解説しています。Elasticsearchに関する前提知識はなくても、最後までたどり着ける構成になっている(はず?)なので、是非参考にして頂ければと思います。 単につぶやきデータを収集したいという場合は、TwitterのAPIを好みのスクリプトで呼び出して取得すれば良いのですが、今回の場合はつぶやき数の推移を追いたい、踏み込んだ分析も行いたいなどという目的もあったので、データがストックされていき、ドリルダウン分析も可能な環境を構築する形で対応する事にしました。 Redash / Googleスプレッドシートのアドインなど色々と実現手段は考えられたのですが、Elastic Stackで構成するのが1番手軽かつ、要件を満たせると考え実装しました。同じように特定のキーワードを含むつぶ
はじめに 以下のコードはすべてGoogle Colab ノートブックで共有していますので、実際に1つ1つ実行して試すことができます 重要なこと 時系列データを取り扱う対象として日経平均株価を用いています。株価をプロットして遊んでみるなどしますが、その図を見て投資しろとか言うつもりは全くありません。投資は自己責任で行ってください。 目的 主にDataCampで学んだことの自分のためのまとめとして、Quandl APIを用いた株価推移の観察をやってみます。なお、僕は株は詳しくありません。 Qiitaアカウントを作ってアウトプットするのが一番の勉強になるって話を聞いたので、アウトプット練習も兼ねてます。やさしい先輩方いろいろ教えて下さい この記事を読んで得られると思われるもの Pythonを用いたAPIの叩き方 時系列データの処理 時系列データの図示 日経平均に対する感覚 参考元 DataCam
何かデータ分析を行わなければいけないとき、手軽に分析環境を用意したいというニーズがあります。 Jupyter Notebook上でnumpy、pandas、matplotlib、scikit-learnあたりが使えれば十分でしょうか。XGBoostやLightGBMといったライブラリも使えるようにしておきたいという人もいるかと思います。 一方、ローカルにいろいろなライブラリをインストールしていくと、次第に環境が汚れていってライブラリの衝突などが起こりやすくなってしまいます。 KaggleにはKernelという計算環境があり、そこには主要な機械学習ライブラリが予めインストールされています。データ分析をやっていく上で不自由はありません。今回はDockerとdocker-composeを使ってKaggle Kernelを手元に再現し、ポータブルな分析環境として使う方法を紹介します。 データ分析界
pandas は可視化のための API を提供しており、折れ線グラフ、棒グラフといった基本的なプロットを簡易な API で利用することができる。一般的な使い方は公式ドキュメントに記載がある。 Visualization — pandas 0.17.1 documentation これらの機能は matplotlib に対する 薄い wrapper によって提供されている。ここでは pandas 側で一処理を加えることによって、ドキュメントに記載されているプロットより少し凝った出力を得る方法を書きたい。 補足 サンプルデータに対する見せ方として不適切なものがあるが、プロットの例ということでご容赦ください。 パッケージのインポート import matplotlib.pyplot as plt plt.style.use('ggplot') import matplotlib as mpl m
株式会社ANOBAKAは、直近の大規模言語モデル(LLM:Large Language Models)の開発競争の激化を受け、Generative AI領域で起業を考えている人への参考情報として「大規模言語モデル(LLM)カオスマップ」2023年度6月版を公開したと発表した。 大規模言語モデル(LLM:Large Language Models)とは、大量のテキストデータを使ってトレーニングされた自然言語処理のモデルだ。2022年11月に発表され大きな話題となったChatGPTも、2022年初頭にトレーニングした「GPT-3.5シリーズ」を対話向けにファインチューニングしたものであり、大規模言語モデルの応用例の一つだ。 米国同様、日本でも今後アプリケーションレイヤーのGenerative AIスタートアップが多数勃興することが予測されるという。アプリケーションレイヤーのGenerative
バックエンドエンジニアのKazです。 昨今では、エンジニアにとってほぼ必須ツールとなった、ソースコードのバージョン管理ツール「Git」。今回はGitについて、ちょっと上級ですが、使いこなせばとても便利なコマンドを集めてみました。 なお、記事中のコマンドはすべて最新版のGitを想定しています。一部古いバージョンでは動作しないものも含まれていますので、バージョンの差異で非対応の場合はご容赦ください。 用例 任意指定オプションについて コマンド例の角カッコ ([])で囲まれたオプションは任意指定となります。 git log [-p] ↑この角カッコ内は任意指定 プレースホルダについて コマンド例の山カッコ(<>)で囲まれた値はプレースホルダとなります。下記に沿って適宜置き換えてください。 <branch>: ブランチ名 <path>: ファイルのパス <pattern>: 検索したい文字列やパタ
こんにちは、データグループのマネージャーをやっています beniyama と申します。 先の記事『プロダクトの「負債」を「機能」と呼び直す 〜A/Bテストを用いた"価値"の定量化〜』でも触れられていますが、データグループではデータ分析基盤の構築(参考資料)からデータ分析、あるいは学習データを活用した研究開発までスタディサプリのデータに関わることほとんど全てを担当しています。 プロダクトや事業 KPI の社内向けモニタリング環境の構築・整備も行なっているのですが、今回、既存の環境を刷新して Looker というまだ日本ではほとんど無名?のツールを導入することにしましたのでその経緯をお話ししつつ、今後国内でもユーザーが増えていくといいなという願いを込めて1エンジニアとして興奮したポイントを書き連ねていこうと思います。 最初の1年間は DOMO を導入して運用 スタディサプリではもともと各種 K
ロボットビジネスを専門に行うロボットスタート株式会社は、日本で購入が可能なIoTデバイスを可視化した「IoTデバイスマップ2018」を本日より公開しました。 フルサイズのPDFファイルが以下ロボットライブラリから無料でダウンロード可能です。(ダウンロードにはロボットライブラリのアカウントが必要です。アカウントの登録は無料です。) 昨年IoTデバイスマップ2017を公開し大きな反響を頂いたため、2018年版を作成いたしました。掲載数は昨年の122デバイスから、330デバイスへとその数を増やしています。 世界中で数多くのIoTデバイスが発表されているにも関わらず、実は日本ではその内のごく一部しか購入することができません。そして、IoTデバイスは、プロダクトのコンセプトムービーが発表されたタイミングや、クラウドファンディングに掲載されたタイミングが最も注目を集めてしまい、肝心の発売情報が広く報じ
世界中でデータがどんどん増えていく中でデータをうまく扱うことはとても重要になってきています。そんな中、New York Timesが積極的に活用していたり、Githubのwatch数ランキングで上位にランクインしていたりと最近人気急上昇中のデータをビジュアライズする為の「d3.js」というライブラリがあります。 本日はこの「データxデザイン」をwebサイト上で実現する為のjavascriptライブラリ”d3.js”について紹介したいと思います。 このライブラリを使うことで、今までなかなか難しくてできなかったウェブ上での「データの可視化」が手軽にできるようになり、複雑なデータを直感的に理解できるようなサイトが作りやすくなります。早速ですがこのd3.jsというものがどういうものかをなんとなく感じるには実際に動いているデモを見て頂くのが早いので以下をご覧下さい。 オバマ大統領の国家予算案詳細 (
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く