Data Engineer - Japan's Leading E-Commerce

[Company Details]
One of Japan's largest and growing e-commerce sites.
Good work life balance + international environment + above-market rate salary

[Location]
Hybrid, 2 days from the office.
Office is located in Minato-ku, Tokyo

[Job Type]
Full-time, permanent

[Salary range]
10 million yen ~ 15 million yen (mid-level to senior)

[Job Content]
•Collecting data from microservices
-Developing batch-based data pipelines
-Developing streaming-based data pipelines
-Developing SDK for logging within microservices

•Data Lake, DWH
-Constructing Data Lakes for storing collected data
-Managing partial permissions and resources on DWH

•Data utilization
-Developing tools to support use of data in Data Lakes and on DWH
-Developing a platform to provide stream data processing function

•Company-wide
-Improving performance, aiming for low latency/high throughput according to application and middleware development, operation, and requirements
-Developing tools to automate operations and/or lower costs
-Identifying and solving technical issues with the system caused by engineering

[会社詳細]
日本最大規模で成長を続けるeコマースサイトのひとつ。
ワークライフバランス良好、国際的な環境、市場価格を上回る給与

[場所]
ハイブリッド、オフィスから2日。
オフィスは東京都港区にあります。

[職種]
フルタイム、正社員

[給与範囲]
1,000万円～1,500万円（中堅～シニア）

[仕事内容]
•マイクロサービスからのデータ収集
-バッチベースのデータパイプラインの開発
-ストリーミングベースのデータパイプラインの開発
-マイクロサービス内でのログ記録用SDKの開発

•データレイク、DWH
-収集したデータを格納するためのデータレイクの構築
-DWH上の部分的な権限とリソースの管理

•データ活用
-データレイクとDWHでのデータの利用を支援するツールの開発
-ストリームデータ処理機能を提供するプラットフォームの開発

•全社
-アプリケーションやミドルウェアの開発、運用、要件に応じて、低レイテンシ/高スループットを目指したパフォーマンスの向上
-運用の自動化やコスト削減のためのツールの開発
-エンジニアリングに起因するシステムの技術的問題の特定と解決

[Required Skills]
•Experience designing, developing, and operating large-scale services and/or distributed systems

•At least two of the following:
-Experience developing in the cloud with AWS, GCP, etc.
-Experience developing systems utilizing container technologies such as Kubernetes
-Development experience using message queues like Cloud Pub/Sub and Apache Kafka
-Experience in data processing development using distributed processing frameworks like Apache Flink and Apache Spark
-Experience with ETL system using workflow engines like Airflow and Digdag
-Experience designing application logs for large-scale services

[必須スキル]
•経験大規模サービスや分散システムの設計、開発、運用

•以下の 2 つ以上:
-AWS、GCP などを使用したクラウドでの開発経験
-Kubernetes などのコンテナ技術を活用したシステムの開発経験
-Cloud Pub/Sub や Apache Kafka などのメッセージ キューを使用した開発経験
-Apache Flink や Apache Spark などの分散処理フレームワークを使用したデータ処理開発の経験
-Airflow や Digdag などのワークフロー エンジンを使用した ETL システムの経験
-大規模サービスのアプリケーション ログの設計経験