项目背景
客户运营一个面向企业的位置情报平台，需要把手机基站统计人口、App 位置数据、车辆探测数据等多种来源的人流数据统一整合，按楼宇、店铺、网格和自定义区域计算停留人数与停留时间，并以 API 的形式提供给下游的零售、物流和城市规划等业务。
我们的工作
- 使用 Scala + Spark 开发大规模人流聚合批处理，处理多源异构的位置数据
- 基于 AWS Lambda 设计父子分发结构，实现外部位置数据的并行导入
- 参与数据平台由 AWS 向 GCP 的迁移，采用 BigQuery + Cloud Run + Cloud Workflows 的 Serverless 架构重建数据管道
- 开发月度汇总 API、自定义区域汇总 API（含面积上限校验）与地物查询 API
- 实现数据到货检查、入库失败自动重试、工作流错误通知等运维机制
项目成果
平台稳定支撑了选址预测、商圈分析、智慧城市等多个下游商用服务。迁移到 Serverless 架构后，基础设施运维负担显著降低，数据处理能力可随业务量弹性扩展。