データエンジニア

日本最大級の位置情報系IoTプラットフォーム"Beacon Bank(ビーコンバンク)"というプラットフォームにかかわるデータの処理・分析基盤の設計、開発、運用をしていただきます。 具体的な業務内容 外部とのデータ連携 取引先あるいは社内フロントメンバーとデータ仕様や処理のスキームについて要件を議論し決める。 AWS S3, Google Cloud Storage, Google Drive と言った各種ストレージと BigQuery 間でのデータの転送処理を Cloud Functions と Airflow を用いて実装・管理する。 IAM の発行・管理、データのアクセスコントロールを行う。 データサイエンティストと意見交換しながら、データの取得や前処理、予測モデル・予測値生成、および抽出のバッチ化・運用を行う。 データ処理に係るコストのモニタリング、最適化施策を行う。 データ連携に係るプライバシーマークへの対応を行う。 （業務内容の変更範囲）各事業部に係る業務全般 仕事の魅力 市場で誰も見たことのない新サービス・新データプロダクトに携わることが可能です 最新のデータ分析/インフラ技術にキャッチアップし、自社サービスやプロジェクトに反映することが奨励されます 自身で物事を推進する文化のため、自身のスキルを活かして上記業務内容にとどまらず活躍いただくことが奨励されます 必須要件 ビジネスレベルの日本語力（日本語を母国語としない方はJLPT N1取得必須） 社内外と的確かつ迅速に物事を相談して進めるためのコミュニケーションスキル データベース、処理スキームの設計、運用 ビッグデータの処理スクリプト開発（大量ファイル・大容量データにおける文字コード変換、文字置換、一括解凍・圧縮等） Python, Java, Go, Rのいずれかの言語による簡易なデータ分析スクリプト開発 歓迎要件 クラウドサービス（特にGoogle Cloud, AWS）の利用経験 Google Cloud : Cloud Storage | Cloud Functions | Dataflow | BigQuery | Compute Engine | AI Platform | Monitoring AWS : S3 | Lambda | Data Pipeline | Redshift | E2 | SageMaker | Cost Explorer Snowflakeとそれに組み合わせる各種SaaSなどデータ製品群 Airflow を使ったバッチ処理の実行、運用 REST API によるデータの GET|POST の経験 統計検定２級以上の知識 統計モデル・機械学習の構築経験 こんな方と一緒に働きたいです 自ら進め方を考え、他人と調整し、失敗を恐れず実行ができる方 周囲と適切にコミュニケーションをとりながら的確な処理を定義し実行することができる方 データの種類・ボリューム・活用方法は常に変動している中で、最適なソリューションを自発的かつ積極的に提案・実行できる方 データアナリストやデータサイエンティストのご経験をお持ちでデータエンジニア領域に幅を広げたい方も大歓迎