职位发布者
职位描述
-设计和维护我们数据仓库、数据湖和数据管道的增强功能,以提高其可靠性和一致性
-通过行业标准工具、技术和业务部门的精心数据表示和聚合,提高大型历史数据集的可查询性
-确保可以实施和执行数据治理和安全/保留策略
-确保由数据堆栈驱动的操作系统集成正在运行、监控和可用
-不断审查数据平台,以确保其适合用途并满足业务需求
-支持和维护来自我们数据湖的下游集成,例如商业智能和可视化工具以及第三方系统
要求:
-在数据工程领域拥有丰富的经验,并展示过数据仓库的设计和技术实施
-具有 OLAP 数据库的经验,了解它们与 OLTP 数据库的区别,以及数据结构/建模,从商业意义上理解关键数据点,以权衡存储/性能和可用性
-具有构建、部署和故障排除可靠、幂等和一致的数据管道的经验,可与不同的内部和外部合作数据源,例如使用 Airflow DAG
-具有使用 AWS Redshift、Glue Data Catalog、S3、PostgreSQL、Parquet、Iceberg、Trino 的经验,以及如何使用 Terraform 和 Kubernetes 管理它们
-具有数据加载、提取、操作和准备数据以供提取和与 Tableau 等可视化平台集成的经验。
特别申明:
- 熊猫招聘严禁企业和招聘者用户做出任何损害求职者合法权益的违法违规行为,包括但不限于扣押求职者证件、收取求职者财物、向求职者集资、让求职者入股、诱导求职者异地入职、异地参加培训、违法违规使用求职者简历等。 若发布的职位存在违法等恶意内容的情况, 请立即举报
工作地址
中国大陆-其他市