ローカルリポジトリにおけるGitの動作を可視化する「git-sim」がリリース
git-simは、Pythonで記述されたコマンドラインツールで、gitコマンドがローカルリポジトリに与える影響を示す画像（またはアニメーション）を、すばやく簡単に生成できる。 同ツールの利用によって、実際にコマンドを実行する前に、ユーザーがコマンドの処理内容を確認することが可能になり、リセット／マージがローカルリポジトリにどのように影響するかが、確実にわかるようになる。なお、動作のビジュアル化はJPEG形式の静止画のほか、MP4形式の動画としても出力できる。 同ツールのおもな目標は、開発者ワークフローの中断を最小限に抑えつつ、gitコマンドの効果をすばやく簡単に作成して視覚化することであり、今後の機能強化としては、 コマンドラインインターフェイスを提供して、開発者がローカルGitリポジトリ内のターミナルで直接git-simを実行可能にする gitコマンド（サブコマンドおよびオプション／フ
RustではじめるWebAssembly入門～JavaScriptを超える高速なWebアプリ開発を実践しよう
本連載では、Webブラウザー上でJavaScriptとともに動作できるバイナリ形式のプログラムファイル「WebAssembly」を、Rustプログラミング言語で実装する方法について、順を追って説明していきます。初回となる今回は、WebAssemblyの概要を説明するとともに、Rustを利用した簡単なサンプルで、実装方法のイメージを紹介します。 はじめに 現在、Webフロントエンド開発においては、ページ構造を表すHTML、スタイルを表すCSSとともに、挙動を実装するためにJavaScriptが利用されます。JavaScriptの登場当初はWebページに動きをつける程度の扱いでしたが、その後の言語仕様の拡張や、WebブラウザーでのJavaScript実行速度の向上、Node.jsなどWebブラウザー以外でJavaScriptを動作させる環境の登場などにより、本格的なプログラミング言語としてその
「Amazon Redshift ML」プレビュー公開、SQLで機械学習モデルの作成・トレーニング・デプロイが可能に
Amazon Redshift MLを使用することで、データウェアハウスユーザーが使い慣れたSQLコマンドで機械学習モデルを作成、トレーニング、デプロイ可能で、データの移動や新たなスキルの習得なしで、SQLによってAmazon SageMakerを活用できる。 Amazon Redshift MLを用いて、SQLで作成・トレーニングされたモデルは、クエリやレポートで直接チャーン予測や不正リスクスコアリングなどが可能で、Amazon SageMaker Autopilotでトレーニングデータに基づき、回帰、バイナリ、マルチクラス分類、線型モデルの中から最適なモデルを自動検出して調整を行う。 ほかにも、Xtreme Gradient Boosted tree（XGBoost）などのモデルタイプ、回帰や分類などの問題タイプ、プリプロセッサやハイパーパラメータを選択でき、パラメータを使用して、Am
米AWS、サーバレス時系列データベースサービス「Amazon Timestream」の提供を開始
Amazon Timestreamは、高速でスケーラブルなサーバレス時系列データベースサービスであり、1日あたり数兆もの時系列イベントを最大1000倍高速に、リレーショナルデータベースの10分の1のコストで簡単に収集、保存、処理できる。 すべてのデータは、同じAWSリージョン内の複数のアベイラビリティゾーン（AZ）に常に複製され、新たなデータはメモリストアに書き込まれ、操作の成功を返す前に3つのAZ間でデータが複製される。 データレプリケーションは、クォーラムベースなのでノードまたはAZ全体が失われても、耐久性や可用性は損なわれない。また、メモリストア内のデータは、追加の予防措置としてAmazon Simple Storage Service（S3）へ、継続的にバックアップされる。 クエリは、保存場所を指定することなく、階層全体の最近のデータと履歴データに自動でアクセスして結合し、時系列固
「Python 3.9」ベータ版リリース、Python 2からの脱却が加速
2020/08/04 17:00 今回発表されたリリースにつきまして、当初「『Python 3.9』が、8月2日（現地時間）にリリースされた」としていましたが、今回リリースされたバージョンは、「Python 3.9.0b5」のリリースとなります。「Python 3.9」の正確なリリース日は未定です。訂正しお詫び申し上げます。（編集部） 「Python 3.9」では、Python 2のサポートを削除するとともに、Pythonを利用した各種プロジェクトのメンテナに時間的猶予を与えるべく、一部の下位互換性レイヤーの保持が決定されており、それらは今後リリース予定の「Python 3.10」にて削除される。 新機能としては、dictクラスに新たな演算子としてマージ（|）と更新（|=）が加わったほか、不要なプレフィックスまたはサフィックスを文字列から簡単に削除するためのstr.removeprefix
データエンジニアの必須スキルとそれをサポートするGCPを一望する『スケーラブルデータサイエンス』
分業化が進むことで個別分野のエキスパートは増え、各問題に対する即応度は高まった感はあるものの、膨大なデータを背景にした意思決定のさらなる高速化が求められる現代においては、独立性の高い分業形態では追いつかないケースが増えています。翔泳社から6月5日に発売した『スケーラブルデータサイエンス』は、そのようなニーズに応えられるデータエンジニアとして、GCPを援用することで自身をスケールアップする方法を解説しています。 『スケーラブルデータサイエンス データエンジニアのための実践Google Cloud Platform』は、理論的な側面だけではなく、実際に利用できるサービス構築をも視野に入れられる“エンジニア”を目指す方のためのガイドです。 もちろん、全エンジニアが本書に描かれているような、意思決定のためのデータ収集からクレンジング、ビジネスサイドからの要求に対応した分析向け各種アルゴリズムの選定
機械学習アルゴリズムのしくみを解説 「サポートベクトルマシン」と「k-means法」とは
本記事は『見て試してわかる機械学習アルゴリズムのしくみ 機械学習図鑑』からの抜粋です。掲載にあたり、一部を編集しています。 サポートベクトルマシン（カーネル法） ディープラーニングが登場する少し前には、カーネル法を用いたサポートベクトルマシンは大変人気がありました。 サポートベクトルマシンにカーネル法というテクニックを導入することで、複雑なデータに対して人手で特徴量を作らなくとも扱えるようになったためです。もちろん、今もさまざまな分類・回帰の問題に使われるアルゴリズムです。 概要 本節ではサポートベクトルマシンにカーネル法を導入することで、複雑な決定境界を学習できることを説明します。ここでは分類を例にとって説明していますが、回帰にも同様にカーネル法を利用できます。 線形サポートベクトルマシンではマージン最大化により、データからなるべく離れた「良い」決定境界を得ることができます。しかし、決定
複雑なゲームサービス基盤の刷新でgumiが直面した壁――マイクロサービス化実現の鍵とは？【デブサミ関西2017】
2007年に設立され、世界各国でソーシャルゲームを開発、提供しているgumi。同社ではゲームに必要な「認証」「課金」などの機能を、モノリシックな設計からマイクロサービスに移行し、基盤を新しく設計している。マイクロサービス化するメリットとしては、疎結合であるため、適した技術を選択できることや再利用しやすいこと、障害を限定的にできること、置き換えしやすいこと、少人数で開発でき、品質が良くなることなどが挙げられる。しかし、デメリットもある。gumiではマイクロサービス化するにあたり、数々の地雷を踏んできたという。マイクロサービス化する際の落とし穴とは？ また気をつけるべきポイントなどについて、株式会社gumi CTOの幾田雅仁氏が解説を行った。 株式会社gumi CTO 幾田雅仁氏 講演資料：gumiのゲームを支えるアーキテクチャ設計思想～モノリシックからマイクロサービスへの変遷 gumiがマイ
内閣府、地域経済分析システム「RESAS」のAPIを公開、産業構造や人口構成などのデータがAPIから利用可能に
RESASは、産業構造や人口動態、人の流れなどに関するデータを集約し、地図上に可視化したシステム。地方自治体がデータを活用し、地方創生のための戦略立案ができることを目的に2015年4月に公開された。 今回公開されたRESAS-APIは、RESASに搭載されているデータを自由に取得・利用することのできるAPI。これにより、RESASに搭載されているデータの加工や、別データとの組み合わせ、最新データの自動での取り込みが可能になる。 公開されるデータは以下のとおり。 11月1日提供データ 産業マップ 稼ぐ力分析 特許分布図 輸出入花火図 海外への企業進出動向 農林水産業マップ 農業花火図 農産物販売金額 農地分析 農業者分析 林業総収入 海面漁獲物等販売金額 観光マップ 外国人訪問分析 商業マップ 商業花火図 商業の地域間比較 人口マップ 人口構成 人口増減 人口の自然増減 人口の社会増減 将来
データサイエンティストを育成する試み ～PyData.Tokyo Tutorial & Hackathon #1 イベントレポート
PyData.Tokyo第1回チュートリアルイベント開催！ PyData.Tokyoオーガナイザーのシバタです。 PyData.Tokyoは「Python＋Dataを通じて、世界のPyDataエクスパートと繋がれるコミュニティーを作る」ことを目的として設立され、これまでに行ってきた勉強会は、質の高い登壇者と参加者が「濃い」議論をできる場として、広く知られるようになりました。イベントを管理しているconnpass上では500人を超えるメンバー登録があり、CodeZineでの連載もたくさんの方に読んでいただいております。 PyData.Tokyoで当初目標としていたのは、レベルの高いデータサイエンティストの集まる会を作ることに加え、これからデータサイエンティストになることを目指している方々の育成です。データサイエンティストの不足はあらゆるところで聞かれ、一方で幸いにも多くの方が今後データサイエ
「エンジニアは初見の敵にやられてはいけない」DBエンジニアのミックさんが語るデータベースとSQLの学び方
IT業界において数十年もの間、大きな仕様変更がなく主流の技術であり続けているのがリレーショナルデータベースとSQLです。『SQL 第2版 ゼロからはじめるデータベース操作』の著者でデータベースエンジニアのミックさんは、SQLを学べば長く役立つものの、データベースの魅力はそれ自体の面白さだとおっしゃいます。今回、ミックさんにデータベースの役割や魅力、そしてSQLの学び方についてうかがいました。 いろいろなシステムを見ることができるのが面白い ――ミックさんは『SQL 第2版 ゼロからはじめるデータベース操作』のほかにも、翔泳社から多数出版されています。データベースとSQLの書籍が主ですが、普段はどういった仕事をされているのでしょうか。 ミック：私はSIerに勤めていて、システム開発というよりは、システム開発でトラブルが起きたとき支援を行なうチームに所属しています。パフォーマンスを高めることが
【IBM Datapalooza Tokyo】リクルートのデータサイエンス部門立ち上げで得られた、データ分析事業の3つのポイント
人間の意識と行動の違いを定量化するデータサイエンス このように新しい市場を生み出すとして注目されるデータサイエンス。企業が自社の事業やサービスに生かす場合、どうすればいいのだろうか。この疑問に答えるべく「IBM Datapalooza Tokyo」は開催された。その基調講演に登壇したリクルートライフスタイルの原田氏は、2015年のデータサイエンティスト・オブ・ザ・イヤーにも選ばれたデータ分析のプロフェッショナルだ。元はシンクタンクで生体認証、電子ペーパー、非接触ICチップの調査などを行っていた。IT業界に移った時、画面上の視線の移動、視点のヒートマップといった分析を手がけ、やがてデータサイエンスの分野を扱うようになったという。 株式会社リクルートライフスタイル ネットビジネス本部 アナリスト 原田博植（はらだひろうえ）氏 その原田氏によれば、近年のデータサイエンスは言語と非言語、表面的な振
【デブサミ2016】18-D-3レポート データ分析グループを抱える組織の失敗例と、正しい運用へ導くポイント
講演資料：失敗から学ぶデータ分析グループのチームマネジメント変遷 Emotion Intelligence 中山ところてん氏 データ分析グループの仕事の範囲と、そこで見てきた"失敗例" 中山氏はまず前提として、氏が所属する企業のデータ分析グループのデータ分析の流れについて説明を行いました。大きく分けると「研究」「開発」「システム運用」「アプリ運用」「営業活動」の5つの流れに大別することができ、データ分析グループは研究からアプリ運用まで、広い範囲においてデータを解析し改善していくことでビジネスにその価値を活かしていく、という責務を負っています。 しかしこの位置付けで業務を行っていく中で、さまざまな失敗例を中山氏は見てきたと語ります。以下6つの失敗例がその内容です。 失敗例その1 プロセス毎に会社が切れている「大企業」 データ分析においてデータを手に入れることはまず何よりの前提条件となるが、プ
Apache Sparkをベースにした、無償で使えるクラウドプラットフォーム「Databricks Community Edition」のベータ版が発表
米Databricksは、「Apache Spark」をベースにしたクラウドプラットフォーム「Databricks」の無償版「Databricks Community Edition」のベータ版を、2月17日（現地時間）にサンフランシスコで開催されたイベント「Spark Summit East」で発表した。 「Databricks Community Edition」は、開発者やデータサイエンティスト、データエンジニア、およびSparkを学びたいと考えているユーザーを対象にしており、マイクロクラスタやクラスタマネージャー、シンプルなアプリケーションの開発が可能なプロトタイプ作成環境を利用できる。また、IPython notebooksとの互換性を備えており、既存のIPython notebooksのインポートにも対応する。 このほか、76000人以上が参加したオンライン学習コース「Intr
写真共有SNSのユーザーの性別を機械学習で推定するWebアプリケーションをPythonで作ってみよう
機械学習（ほぼ）初心者が、Webアプリケーションを作ったキッカケ 本記事では、機械学習の（ほぼ）初心者である筆者が、TIS株式会社の5daysインターンシップ「機械学習を用いたWebアプリケーション開発」に参加した際に開発したWebアプリケーションについて紹介します。筆者は、学部で情報工学の基礎を学び、現在は都内国立大学大学院に通う大学院生です。これまでにWebアプリケーションの開発経験はなく、機械学習も「なんとなくイメージはできる」程度の理解でした。今回は、開発にPythonを用いました。Pythonの使用経験は2年弱でしたが、機械学習を実装するのは初めてでした。 開発したアプリケーションのソースコードは、GitHubで公開していますので適宜参照してください。 5daysインターンシップとテーマ設定 今回のインターンシップでは、機械学習技術を活用したWebアプリケーションを開発するという
「Amazon Redshift」を使ってみた ～使いどころと、つまずきがちなポイント
はじめに Amazon Redshiftは、Amazon Web Services（AWS）が提供するデータウェアハウス（DWH）サービスで、2013年2月に正式リリースされ、同6月4日には東京リージョンでも利用可能になりました。既存のDWHと比較しても安価で、PostgreSQLベースで容易に高速なデータ分析が可能であることなどが知られており、注目も高まっています。 ところが、日本国内では「使ってみた」という情報は非常に少ないです。幸運にも筆者は、限定プレビューの段階からRedshiftに触れる機会に恵まれました。そこで、今回は「こんな使い方をしてみました」「こんなところでつまずいた」といったことを中心に紹介したいと思います。 なお、本記事は限定プレビュー～サービス開始当初の米国東部リージョンでの使用結果を元に執筆しており、当時のAPIバージョンは2012-12-01です。東京リージョン
デブサミ2012、講演スライド資料まとめ
翔泳社主催のソフトウェア開発者向けカンファレンス「Developers Summit 2012」（以下、デブサミ2012）が先週末に2日間かけて開催されました。ご参加いただいた皆様、ありがとうございました。現在Web上で一般公開されている講演スライドの入手先をまとめましたので、ぜひご参考ください。 2月16日（木）：A会場 【16-A-1】見る前に翔べ ～ギークの工夫で社会を変えよう～ 【16-A-2】大規模ソーシャルゲーム「ドラゴンコレクション」 ～ そのシステム運用の最前線を語る！ 【16-A-3】デブサミをきっかけに転職したエンジニアの歩き方 【16-A-4】Effective Smartphone UX at GREE 【16-A-5】node.jsテクノロジースタック for ソーシャルアプリケーション 【16-A-6】いまどきのi18nのはなし 【16-A-7】あの人の自分戦略
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ROSとRaspberryPiで遠隔みまもりロボットを作ろう（「Tech-Sketch」出張所／番外編）一覧
IoTに挑戦したいAndroid開発者にオススメ！ センサーとAndroidアプリを連携できるデバイス「Waffle」を使ってみよう
Apache、データフローオーケストレーションツール「Apache NiFi 1.0.0」をリリース