基幹システムのデータ移行(Data Migration)とは SAP導入プロジェクトは、要件定義 → 設計・開発 → テスト → トレーニング → 移行 → 本番稼働 の流れで進みます。 このうち移行(Data Migration)は、基幹システムを稼働させるために必要なデータを投入する作業を指します。 スマホを機種変更したときに電話帳のデータを移行するのと本質的には変わりありません。 個人が使うスマホと比べて、基幹システムはシステムの規模が桁違いに大きいため、導入プロジェクトの中でも相当大きな工数を占めます。 投入するデータ全体の依存関係を把握し、各データごとの状況を見渡す必要があるため、データ移行専任のチーム・担当者を設置する必要があります。 データ移行は本番稼働の直前に行う作業であるため、遅延した場合に顧客業務に与えるインパクトが大きく、導入のタスクの中でも特に神経を使う作業と言えま
ソフトウェア開発において、ソフトウェア成果物(注1)の品質向上を目的に、その作成者が主体となって開催するレビューのこと。インスペクションに準じる公式なソフトウェアレビュー(注2)に位置付けられることが多い。 ウォークスルーは、レビューを希望する作成者が数人のレビューアを招集、成果物の内容を順に説明する形式をとる。それに対してレビューアは、説明を通じて対象を追跡・検証し、その誤りや矛盾、抜け漏れなどを指摘するというのが大まかな流れである。カジュアルなグループディスカッションから公式レビューまで、幅広いバリエーションが存在する。 ソフトウェア分野でいうウォークスルーはもともと、プログラムの机上チェックを指していたが、やがてレビュー対象やレビューア人数が広がり、より拡張された意味でも用いられるようになった。そのため、ピアレビューの同義語として使われることもある。 ウォークスルーの基本的な進め方は
はじめに 前回は、データ分析の高度化ステップにおける第2ステップ「定型的な分析」と第3ステップ「非定型な分析」の違いを解説しました。 「非定型な分析」で使用される分析手法である多次元分析を可能にするためには、データウェアハウス(DWH)と呼ばれる大規模データベースの構築が必要です。また、多次元分析で行われる軸の入れ替え、スライス、ドリルダウン&ドリルアップといった操作を可能にするには、スタースキーマと呼ばれる特別なデータベース構造を持たせる必要があります。今回は、このデータウェアハウスとスタースキーマについて解説します。 データウェアハウスのアーキテクチャ データウェアハウスとは、データ分析システムで利用可能とするデータを一元的に格納するデータベースのことです。データウェアハウスに格納されたデータは、BIツールを通じてさまざまな分析に利用されます(図1)。 しかし、データウェアハウスは、単
はじめに こんにちは!ABEJAでプロダクトマネージャーをしている栗林です! ABEJAでは小売店舗での顧客行動を分析するInsight for Retailというプロダクトや、オフィスDX事業をはじめとして、物理世界の現象を機械学習などが適用可能なデジタルに変換する部分にも強みがあります! 本日のTech Blogでは、安価かつ小型な加速度・角速度センサーを用いて製造業や物流業における作業者の行動や状態を推定する手法についてまとめました。 背景 みなさんは製造業や物流などにおける、正味作業時間という言葉をご存知でしょうか? 正味作業時間とは実際の作業に充てられた時間を差します。 例えば、組み立て作業の際に必要となる道具や在庫が近くに無く、作業者がものを探したり歩行して取りに行ったとします。このときの準備や段取りにかかる時間は準備時間や付帯作業時間と言われ、作業工程において生産をおこなえて
G-genの杉村です。Google Cloud (旧称 GCP) の誇るデータウェアハウスサービスである BigQuery には、パフォーマンスの向上に当たり パーティション と クラスタリング という重要な概念があります。 それぞれの仕組みや使い分けを解説していきます。 パーティション パーティションとは パーティションフィルタ要件 (Partition filter requirements) メリット パーティションの分割基準 時間の列 取り込み時間 整数範囲の列 パーティションの管理 クラスタリング クラスタリングとは クラスタ化に指定する列 自動再クラスタリング パーティション VS クラスタリング パーティションとクラスタリングの違い パーティションとクラスタリングの使い分け パーティション・クラスターのレコメンデーション その他 注意点 参考情報 パーティション パーティショ
こんにちは、DI部の川崎です。 DI部内で、データウェアハウス(DWH)の勉強会を行いました。その中から、データウェアハウス(DWH)の4つの要件についてご紹介します。 テキストはいつものこちらの本です。 「10年戦えるデータ分析入門」青木峰郎 著 http://www.sbcr.jp/products/4797376272.html DWHの4つの要件: サブジェクトごとに編成されていること(subject oriented) データが統合されていること(integrated) 時系列データを持つこと(time variant) データが永続すること(non-volatile) それぞれの項目について、詳しくみていきます。 1. サブジェクトごとに編成されていること(subject oriented) サブジェクト(subject)とは「顧客」とか「商品」のようにデータとしてまとまりのあ
始めに 私は8年ほど前に情報処理試験でデータウェアハウスというものがあるということを知りました。当時は4択問題で問題文に 意思決定支援 というキーワードが出てきたら何なのかよく分かんないけど選択してました。それからずっと興味がありながら実物に触ったことはなかったのですが、クラウド型のデータウェアハウスが登場し触る機会を得ることができました。以前に比べデータウェアハウスはかなり身近なものになってきたのではないでしょうか。弊社でもAmazon RedshiftというAWSのサービスを利用した案件が増えてきています。 クラスメソッド、POSデータ数十億件をリアルタイム分析する基盤を「Amazon Redshift」「Tableau」で開発 この記事ではデータウェアハウスの知識から分析ツールを使ってAmazon Redshiftに接続するところまで簡単にまとめています。実際にどんなものか、触ったこ
データ モデルを活用した データ ウェアハウスの設計 Joshua Jones, Eric Johnson 目次 はじめに.................................................................................................................................. 2 データ ウェアハウスの設計.................................................................................................... 2 データ ウェアハウスのモデリング..........................................................................
静かなお盆でおめでとうございます。 記録的な暑さが続く中、みなさんはいかようにお過ごしでしょうか。 こう暑いと部屋の中から一歩も出たくないというのが人情 しかし、部屋でエアコンをつけっぱなしにしていても暑かったり寒かったりしませんか? 私は今の家に引っ越してから特に感じていて、 というのも築50年代のリノベ物件のため基本的な断熱や密閉がとれていない家に引っ越したためです。 そこで、「実際にエアコンの運転ってどうなってるの?」というのを調べてみました。 それでは簡単に我が家の環境と、調べてみた内容を紹介したいと思います。 いつも仕事は、2階建ての2階、南西向きのめちゃくちゃ日当たりのいい部屋で行っています。 エアコンをつけずに外出すると、夏場は40℃を超える日もしょっちゅうです。 書斎の間取り エアコンは南側の壁に設置されており、仕事机はエアコンとは反対の廊下側に置いてます。 この部屋の、A
「Google Colab」で「NEUTRINO」を試してみました。 ・NEUTRINO Electron v1.2.0 1. NEUTRINO とは「NEUTRINO」は、「楽譜」から発声タイミング・音の高さ・声質・声のかすれ具合などをニューラルネットワークで推論して、「歌声のwavファイル」を出力するツールです。2022年4月22日より「NEUTRINO-Electron」として正式リリースが開始されました。 2. NEUTRINO-Online版の準備以下のサイトから「NEUTRINO-Online版」をダウンロードして解凍してください。「NEUTRINOフォルダ」が生成されます。 フォルダ構成は、次のとおりです。 ・score : 入力ファイル ・musicxml : 楽譜ファイル ・sample1.musicxml ・sample2.musicxml ・sample3.music
ER図(Entity Relationship Diagram)とはデータベース設計における代表的な設計図のことです。 システムを設計する手法としては他にもUMLなどの技法がありますが、ER図はDOA(データ中心アプローチ)の技法であり、作成したER図がそのまま物理データベース上に変換できることから、データベース設計手法におけるデファクトスタンダードとなっています。 大規模なシステム開発においてはER図は必要不可欠です。そこで、これからはじめてER図を書くという方向けに、ER図の概要や書き方、テクニックなどについてご紹介します。 ER図のEはエンティティ(Entity)の略で、Rはリレーションシップ(Relationship)の略です。つまりER図は「エンティティ=モノ」と「リレーションシップ=関係」の組み合わせでシステムのデータやデータ間の処理構造を設計します。例として「顧客が商品を注文
はじめに RDBMSのデータベース設計(論理)の進め方について、設計をする際、こんなことを考えながら進めているなというのを出来るだけ分かり易く記載したいと思います。ただDB設計には「これが正解」というものはあまりなく、要件の必要条件を満たしているDB設計が正解となります。とは言え、考慮した方が良い点や注意点などはありますので、何から始めたら良いの?という方の参考になれば幸いです。 ※論理設計の話しなのでカラムの型やサイズ、パフォーマンス(INDEX(索引))などは割愛しますが、実際にDB設計をする際は、使用するDBの型・キー・制約の種類は事前にインプットを入れておいた方が良いです。 DB設計におけるポイント 先にDB設計を行う上で重要だと思うポイントをあげます。 要件・仕様を理解しているか(要件を満たすテーブル/カラムが揃えられるか) 要件にない(見えにくい)システムの仕様を想像できるか
こんにちは、今回はデータ基盤構築を担当しているmarushoがお送りします。 今日はestieで実践しているデータベースのドキュメント管理方法をご紹介します。 はじめに 独自成長していくデータベースたち 失われたドキュメント どうすれば低コストなドキュメント管理ができるのか そして生まれた、schema collectorという自動化ツール SchemaSpy Mysql diff Priv Page ECS タスクスケジューラ ドキュメントを腐らせない おわりに はじめに estieはオフィスを中心とした不動産データを取り扱うスタートアップ企業です。 estie(オフィス探しサービス)とestie pro(不動産事業者向けデータプラットフォーム)の2つのサービスを運営しています。 詳しくは、こちらの記事をご覧ください。 inside.estie.co.jp estieでは、不動産に関する
Get Started Welcome in SchemaSpy we will do the best to simplify documentation process of your database. When you start using SchemaSpy you can build your documentation in continuous process > java -jar schemaspy.jar -t mssql05 -dp C:/sqljdbc4-3.0.jar -db DATABASE -host SERVER -port 1433 -s dbo -u USER -p PASSWORD -o DIRECTORY Installation Process of installation is very simple because SchemaSpy i
はじめに 先日開催された「技術書典6」にサークル参加してきました。 技術書典自体には一般参加もしたことがなかったので、完全に初めての参加でした。 以下のような本を出させていただきました。 BOOTHにて、PDF版も販売しています。 https://booth.pm/ja/items/1317078 本記事では、技術書典で初めてこの本を作るときにやったことをまとめてみました。 印刷所を決めて、締切日を確認する サークル参加受付の締切日に突発的に申し込んでから、まずは締切がいつになるのかを確認しました。締切というのは具体的には、印刷所に本のデータを入稿する日(入稿日) のことを指します。 入稿日は印刷所によって変わってくるので、まずは印刷所を決める必要があります。 今回は ポプルス に決めました。理由は、技術書以外の同人誌を作るときにいつも利用していたからです。 http://www.inv.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く