〔電子〕改訂新版［エンジニアのための］データ分析基盤入門＜基本編＞　データ活用を促進する！ プラットフォーム＆データ品質の考え方

◆ユーザーが集まる！ データ分析が活性化する！ データエンジニアリングの基本を学ぼう。◆ システムとデータの両面にスポットを当て、データ分析基盤の整備/運用/活用の指針をまとめた入門書。データ分析の中心にある「データ分析基盤」を取り巻く環境は、大きく変わりました。機械学習/ディープラーニング、マーケティング、需給予測、不正検知を筆頭にデータ利用が多角化し、データ分析基盤に求められる役割も多様化が進んでいます。 本書では、データ分析基盤の「今」に焦点を合わせ、基本用語の整理から歴史、クラウドをはじめとしたインフラ、主要な技術スタック、システムモデル、データドリブンのための可視化＆測定術まで徹底解説。合わせて、長期視点に立ったユーザー中心の運用に欠かせない「セルフサービス」「SSoT」に基づいたルール作り、それらを実現するためのゾーン/タグ管理、メタデータ管理、データの品質管理も平易にまとめました。 今回の改訂では新たに第0章「［速習］データ分析基盤と周辺知識」＆第9章「［事例で考える］データ分析基盤のアーキテクチャ設計」を収録。より基本に忠実にかつ実践への道しるべとなる入門書を目指し解説を強化しました。広くデータ分析基盤に関わるエンジニア/ユーザーの方々へ、ユーザーが自然と集まり、データ活用を促進するシステムの実現のために、実践で活かせる考え方をお届けします。 ■こんな方におすすめ ・データ活用のために、データ分析基盤の開発に携わっているエンジニア ・データ分析基盤を利用して分析を行い、より良いデータ活用環境を実現したいとお考えのユーザーの方々 ・データ分析基盤に関心をお持ちのインフラエンジニア、プログラマ、データ分析者 ■目次 ●第0章 ［速習］データ分析基盤と周辺知識　データ分析基盤入門プロローグ 　　0.1 データ分析基盤とサービスの提供先　サービスの提供先は4つに分類される 　　0.2 データ分析基盤と周辺技術　データ開発以外でも利用するツールも活躍 　　0.3 データ分析基盤と外部との接点を理解しよう　データ分析基盤もユーザー接点が大事 　　0.4 データ分析基盤開発とサポートツール　データ開発以外でも利用するツールも活躍 　　0.5 本章のまとめ ●第1章 ［入門］データ分析基盤　データ分析基盤を取り巻く「人」「技術」「環境」 　　1.1 データ分析基盤の変遷　多様化を受け入れるために進化する 　　1.2 処理基盤/クラスターの変遷　よりマネージレスにしてコストを減らし、より本来の業務へ集中する時代 　　1.3 データの変遷　ExcelからWeb、IoT、そして何でもあり（!?）へ 　　1.4 データ分析基盤に関わる人の変遷　データにまつわる多様な人材 　　1.5 データへの価値観の変化　データ品質の重要度が高まってきた 　　1.6 データに関わる開発の変遷　複雑化するプロダクトと人の関係 　　1.7 本章のまとめ ●第2章 データエンジニアリングの基礎知識　4つのレイヤー 　　2.1 データエンジニアリングの基本　ポイントと本書内の関連章について 　　2.2 データの世界のレイヤー　データ分析基盤の世界を俯瞰する 　　2.3 コレクティングレイヤー　データを集める 　　2.4 プロセシングレイヤー　データを変換する 　　2.5 データ分析基盤におけるデータの種別とストレージ戦略　プロセスデータ、プレゼンテーションデータ、メタデータにおける保存先の選択 　　2.6 ストレージレイヤー　データやメタデータを貯蔵する 　　2.7 アクセスレイヤー　データ分析基盤と外の世界との連携 　　2.8 セマンティックレイヤーとヘッドレスBI　アクセスレイヤーを拡張して外部へのデータ提供をより効率的に行う 　　2.9 本章のまとめ ●第3章 データ分析基盤の管理＆構築　セルフサービス、SSoT、タグ、ゾーン、メタデータ管理 　　3.1 セルフサービスの登場　全員参加時代への移行期 　　3.2 SSoT　データは1ヵ所に集めよう 　　3.3 データ管理デザインパターン　ゾーンとタグ 　　3.4 データの管理とバックアップ　データ整理と、もしものときの準備 　　3.5 データのアクセス制御　ほど良いアクセス権限の適用 　　3.6 One Size Fits All問題　デカップリングで数々の問題を解決しよう 　　3.7 データのライフサイクル管理　不要なデータを残さないために 　　3.8 メタデータとデータ品質による管理　データを知る基本ツール 　　3.9 ハイブリット構成　柔軟に技術を選択しよう 　　3.10 データ分析基盤とSLO/SLA　データ分析基盤の説明書を作る 　　3.11 本章のまとめ ●第4章 データ分析基盤の技術スタック　データソースからアクセスレイヤー、クラスター、ワークフローエンジンまで 　　4.1 データ分析基盤の技術スタック　全体像を俯瞰する 　　4.2 データ分析基盤のためのクラスター選択　無理な利用にも耐えられる必要がある 　　4.3 コレクティングレイヤーの技術スタック　セルフサービス時代のデータの取り込み 　　4.4 プロセシングレイヤーの技術スタック　データ変換を行うレイヤー 　　4.5 ワークフローエンジン　データ取り込みと変換を統括する 　　4.6 ストレージレイヤーの技術スタック　データの保存方法 　　4.7 プレゼンテーションデータを扱う技術スタック　効果的なデータ参照のための設計戦略 　　4.8 アクセスレイヤー構築の技術スタック　セルフサービス時代のユーザーへのデータ提供 　　4.9 セマンティックレイヤー　統一的なデータを提供しよう 　　4.10 アクセス制御　アクセスレイヤーに対するアクセス制御 　　4.11 コーディネーションサービス　分散システムを支える影の立役者 　　4.12 本章のまとめ ●第5章 メタデータ管理　データを管理する「データ」の重要性 　　5.1 データより深いメタデータの世界　データは氷山の一角 　　5.2 メタデータとデータ　3つのメタデータを整理/整備しよう 　　5.3 データプロファイリング　データの状態を知る 　　5.4 データカタログ　手元にないメタデータはカタログ化しよう 　　5.5 データアーキテクチャ　メタデータの総合力としてのリネージュとプロバナンス 　　5.6 本章のまとめ ●第6章 データマート＆データウェアハウスとデータ整備　DIKWモデル、データ設計、スキーマ設計、最小限のルール 　　6.1 データを整備するためのモデル　DIKWモデル 　　6.2 データマートの役割　「Data」を整備して知恵の創出をサポートする 　　6.3 スキーマ設計　データに関するルールを設計する 　　6.4 データマートの生成サポート　コミュニケーションの省略＆活用 　　6.5 データマートのプロパゲーション　メタデータやルールの作成 　　6.6 ストリーミングとデータマート　瞬時にKnowledge化する 　　6.7 本章のまとめ ●第7章 データ品質管理　質の高いデータを提供する 　　7.1 データ品質管理の基礎　データ蓄積から次の段階へ進む 　　7.2 データの劣化　データは放置するだけで劣化する 　　7.3 データ品質テスト　劣化に気づくための品質チェック 　　7.4 メタデータ品質　生産性を向上させるために 　　7.5 データ品質を向上させる　品質テストの結果を活かす 　　7.6 本章のまとめ ●第8章 データ分析基盤から始まるデータドリブン　データ分析基盤の可視化＆測定 　　8.1 データ分析基盤とデータドリブン　エンジニアもデータドリブンに行こう 　　8.2 データドリブンを実現するための準備　データ分析基盤のPDCAと数値 　　8.3 KPIをどのように開発に活かすのか　データ分析基盤の「コスト削減KGI」の例 　　8.4 データ分析基盤観点のKGI/（CSF）/KPI　改善の着眼点 　　8.5 本章のまとめ ●第9章 ［事例で考える］データ分析基盤のアーキテクチャ設計　豊富な知識と柔軟な思考で最適解を目指そう 　　9.1 テーマとゴールを考えてみよう　基本的な要件で思考の順番を掴もう 　　9.2 データ分析基盤の骨格を考えよう　まずは大きなデータの流れについて考慮しよう 　　9.3 データ分析基盤構築における不確実性に備えよう　ソフトスキルも大事にしよう 　　9.4 データ分析基盤に必要な機能を揃えよう　非機能についても目を向けよう 　　9.5 本章のまとめ ●Appendix ［ビッグデータでも役立つ］RDB基礎講座 　　A.1 データベースとは何か？　検索、更新、制約機能を持った入れ物 　　A.2 RDBの基本　データベースの基本を振り返る 　　A.3 RDBにおけるアーキテクチャ　RDBの設計 　　A.4 Appendixのまとめ ■著者プロフィール 斎藤 友樹：SIerで官公庁、年金、広告などのシステムの要件定義〜保守運用まで、SEやマネージャーとしてフロントエンド〜サーバーサイドまでひととおり経験。現在は、事業会社にてビッグデータ分析に関するシステムの構築、蓄積したデータの活用を行う仕事に従事している。直近では利用者が数千万を超える環境で、ストリーミングデータの処理や一日あたり5000超のETLジョブを捌くデータ分析基盤のアーキテクチャ設計やデータ活用のためのしくみ作りを担当。また、AWSなどのパブリッククラウドイベントの登壇などを通して積極的に情報発信を行っている。