Resume

发表于 | 更新于

联系方式

个人信息

  • 孙豹/男/1987
  • 硕士/浙江工业大学
  • 工作年限：8年
  • 期望职位：大数据相关
  • 期望城市：武汉

自我评价

  • 8年工作经验，3年大数据相关，熟悉使用Java/Python/C++/Scala
  • 具有大数据架构和大数据，熟悉 Flume/Kafka/HDFS/YARN/HBase/Hive/Spark/Spark Streaming/Flink
  • 爱跑步，每年至少一个马拉松

工作经历

初创公司（ 2018年3月 ~ 至今）

大数据平台

项目描述

集数据采集，数据存储，离线计算，实时计算，数据报表，实时查询等功能的大数据平台

责任描述

  • 项目负责人：平台架构、规划、搭建和维护
  • 平台开发和数据分析开发
  • 新技术的调研和落地
  • 指导新人开发

使用技术

  • Flume/Kafka/HDFS/YARN/Hive/HBase/Spark/Flink

百纳信息 （ 2014年12月 ~ 2018年2月 ）

大数据平台

项目描述

为实现海量数据的存储与分析，基于成熟的Hadoop/Spark大数据解决方案，根据业务特点构建的多数据源接入、分布式可高用性的存储、离线计算、实时计算、告警通知等为一体的大数据平台

责任描述

  • 大数据平台架构优化，技术选型、技术方案研究
  • 大数据平台相关系统开发和二次开发
  • 平台系统维护，优化，扩容等

使用技术

  • Flume/Kafka/HDFS/YARN/Spark Streaming/Hive/HBase/Sqoop/Canal/ES

游戏数据分析

项目描述

基于大数据平台，将公司所有的游戏数据接入到大数据平台，实现的可视化游戏数据分析平台，包括用户分析，收入分析，运营系统，客服系统，查询系统等

责任描述

  • 异构的数据接入大数据平台
  • 相关业务的离线数据分析和实时计算分析
  • Spark 计算任务的优化

使用技术

  • Java/Scala/Spark/Spark Streaming/Hive/HBase

游戏通用服务框架

项目描述

为方便新游戏快速上线，将游戏中除了游戏逻辑相关外的公共基础服务，以微服务的形式提供，包括：用户中心、配置中心、支付系统、排行榜、邮件服务等

责任描述

  • 项目负责人，需求分析，开发进度管理
  • 系统架构设计、容量设计、安全设计、模块开发
  • 微服务方案设计，系统高可用性

使用技术

  • Java/SpringMVC/Mybatis /MQ/Redis/Dubbo/Tomcat/Python/Django

爱奇艺（ 2011年7月 ~ 2014年12月 ）

流媒体框架

项目描述

直播编码服务, 直播收录服务

责任描述

  • 采集和上传模块开发，支持的协议有http，udp，tcp，rtmp等
  • 解封装和封装模块开发，包括TS，FLV，MP4等
  • 编解码模块，解码使用ffmpeg，mpeg2，ac3，编码使用x264，Faac
  • h.265技术在直播中的应用研究

使用技术

  • C++ /TS/FLV/UDP/Http/Rtmp/VLC/FFmpeg/x264/aac/x265

工作业绩

  • 所有直播频道都使用此编码器替换掉第三方编码器
  • 平台现所有综艺节目的原素材都使用直播收录服务器收录，无需从第三方购买节目素材
  • 实直播快速转点播，一分钟完成点播上线

流媒体服务器

项目描述

Rtmp流媒体服务器，TS流解复用，串流工具

责任描述

  • 使用开源软件搭建rtmp流媒体服务器
  • TS流解封复用，实现多节目流的分解
  • TS串流工具，udp转http，udp单播和udp组播相互转换等

使用技术

  • C/UDP/单播/组播/Http/TS/DVB

工作业绩

  • 实现RTMP集群的搭建
  • 完全淘汰掉VTime，powermart等设备
  • 实现了地面频道信号在北京，上海，重庆三地间中转

视频 CDN

项目描述

节点服务实现带宽复用，视频回原下载的同时给用户提供服务，避免同时回原时的带宽浪费

责任描述

  • 参与自建视频CDN系统的架构和设计
  • 节点服务器的与CDN调度交互模块开发
  • 节点服务器的视频下载模块开发

使用技术

  • C++/Http/libev/Linux

Oracle 实时数据同步

项目描述

通过读取Oracle 的归档和在线Redo log的二进制文件，从中提取出必要的信息，还原成DML语句，按照事务顺序，在目标数据库中执行相应的DML语句，实现数据的实时同步，对源数据库没有任何影响。

责任描述

  • 研究和分析Oracle Rodo log文件的格式，分析可性
  • Redo log解析：堆表，索引组织表，分区表，行连接和行迁
  • 独立完成整个系统的设计、编码、测试和上线
  • 研究 MySQL 和 Oracle之间的相互同步

使用技术

  • C/Tcp/Oracle/OCI/Oracle Core/SQL/mysql

技能清单

以下均为我熟练使用的技能

  • 开发语言：Java/Scala/Python/C++
  • 大数据：Flume/Kafka/HDFS/YARN/HBase/Hive/Spark
  • 流计算：Flink/Spark Streaming
  • 数据库：MySQL/Oracle/Redis
  • 版本管理、文档和自动化部署工具：Git/Svn/Jenkins

致谢

感谢您花时间阅读我的简历，期待能有机会和您共事。