Data Platformチームについて
分散したデータストアから、データを収集、整理をします。
社内のデータを出したい、分析したい人が安心、安全にデータを扱えることを目指しています。
集めたデータの分析自体は、データ戦略本部という別のチームが担当しているため、
Data Platformチームの役割は、データ基盤の安定した運用にあります。
高品質なデータ基盤を整えると他部署がデータに基づく施策を安心して自信を持って実行できるようになるため非常に重要な仕事であり、
サービスの成長を支える堅牢な土台作りです。
様々な施策を実施しているため、データが分散していることもありますが、企業カルチャーとして、
皆データの重要性を強く認識しており、周囲の協力も得やすいです。
またそういった行動を通して、社内でも広いネットワークを構築でき、皆の信頼も得られます。
よくあるような、データは出せて当たり前、感謝もされないといった風潮はなく、しっかりとした評価を得られます。
自分で整備したデータを使って、さらに分析まで担当されたい方、
データ基盤、データ分析は未経験だが、チャレンジしてみたいという方も歓迎します。
データ戦略本部とも連携し、データ分析のスキルやノウハウの習得、優れた分析の視点を得ることも可能です!
▼マクアケ開発本部紹介資料はこちら
https://speakerdeck.com/makuake_saiyou/kai-fa-ben-bu-shao-jie-zi-liao
業務内容|SQL, ETLでデータ基盤の開発・運用
①Data Lakeの構築
現在社内ではモノリスなシステムからmicro serviceへの移行を進めてます。
データが分散し始めているため、それらのデータをData Lakeに集めます。
データソースとして、AWS Aurora(MySQL)、各種ログ、外部のサービスなどがあります。
②Data WareHouseの構築
Data Lakeに集めてきたデータを、クリーニング、マスキング、場合によっては集計をします。
安心、安全に使用できるようにするため、データ量、転送、集計時間、エラーの監視なども行います。
また、エンジニア以外の人が見ても分かるデータカタログの作成を目指します。
③Data Martの構築の相談
Data Martに限らずですが、他の部署、プロダクトでデータの集計や転送をしたいといった場合、Data Platformチームが持つノウハウを提供し、技術的アーキテクチャのアドバイスをします。
開発環境
ETLツール: Embulk, Google Apps Script, AWS及びGCPのサービス
その他ツール: Digdag, Docker, 外部のデータ転送SaaS, RPAなど
言語:
* MySQL,PostgreSQL,BigQuery(Standard)の各種SQL
* Ruby: embulkがjRuby依存のため
* JavaScript(TypeScript): Google Apps Scriptで使用するため
* Go,PHP: 社内システムがGo,PHP製のため
ソースコード管理: Git / GitHub
CI・CD: GitHub Actions / CircleCI
コミュニケーション: Slack / Discord / Zoom
プロジェクト管理: JIRA
ドキュメント管理: esa / Confluence / FigJam(Figma) / Googleドキュメントなど
構成管理ツール: Teraform
モニタリング: Datadog
こんな方を求めています
・SQLを使った実務経験をお持ちで、indexや外部キーなどの概念を理解し、実行計画などを気にすることができる方
・事業に興味があり、バックエンド経験を持つエンジニアで、データ基盤の作成、運用、分析に興味のある方
・チームメンバーやステークホルダーと課題の解決に向けたコミュニケーションを積極的に行うことができる方
※言語:Ruby, JavaScript(TypeScript), Go, PHPの実務経験は必須ではありません
【歓迎条件】
・ETLやフロー管理ツールを使用してデータ基盤などを構築、または運用されていた方
・大規模なデータの取り扱いをしたことがある方
・AWS,GCPの各種データ転送周りのツールをプロダクトレベルで運用されていた方
会社名 | 株式会社マクアケ |
---|---|
代表者 | 代表取締役社長 中山亮太郎 |
設立年月 | 2013年5月 |
本社所在地 | 東京都渋谷区渋谷2-16-1 Daiwa渋谷宮益坂ビル 10F |
事業内容 | 「Makuake」を中心とした各種支援サービスの運営、研究開発技術を活かした製品プロデュース支援事業 |