Shawn`s Blog

关于我

教育背景

  • 2008/9 – 2011/6

    • 南京师范大学，计算机科学与技术专业，硕士学位

  • 2004/9 – 2008/6

    • 南京师范大学, 公共事业管理专业，学士学位

技能总结

  • 技术

    • 熟练掌握大数据平台常用组件spark, hadoop, hbase, hive, presto, flumn, kafka, elasticsearch等。
    • 通过谷歌云平台高级大数据工程师认证，能针对不同的大数据业务场景选择适当的GCP组件完成业务需求。
    • 通过了AWS Bigdata Specialty认证， 能够熟练使用AWS组件，kinesis, dynamodb, EMR, redshift等完成数据处理以及统计分析的需求。
    • 能运用统计学模型和机器学习常用手段做异常点检测。
    • 能运用常用的数据挖掘和深度学习的方法做数据清理和进一步分析。如可以用sklearn, pytorch和pandas库做数据分类和聚类。
    • 熟练掌握Scala, Python, C/C++开发，熟悉多种Linux平台脚本语言，如Bash, Perl, Tcl, lisp, Clojure 等等。
    • 超过5年的自动化框架开发，3年系统产品平台性能调优经验。
    • 熟悉使用 Linux/Unix 操作系统，以及常用的L3-L7层的网络协议。
    • 熟悉scrapy爬虫框架以及常用的middleware。
    • 熟悉Linux平台的虚拟化技术，如Docker, Libvirt, LXC, CGroup 等等。
    • 熟悉常用的Sql和NonSql的数据库，如Mysql, Postgresql, Mongodb, hbase, dynamodb。
    • 熟悉agile开发流程以及常用的CI工具，如Jira, Bamboo, Jenkins等等。
    • 熟悉 IXIA/STC 仪表的自动化Tcl库的高层和底层接口使用。
    • 具备快速学习和问题定位的能力。

  • 英语

    • 通过英语4-6级， 能够流畅的沟通和撰写英文技术文档。

工作经历

  • 2018.05 - 现在 Satori-AI部门，资深大数据工程师, Webeye

    • 主要担任资深大数据工程师职务，负责大数据平台的搭建和数据ETL, 完成数据的实时离线分析，生成报表对业务部门决策提供数据支撑。
    • 负责搭建大数据分析平台, 根据不同的分析场景，开发相应的大数据查询接口。
    • 负责搭建DMP平台和用User Profile系统, 并提供接口给业务部门用于用户的查询和过滤。
    • 通过了谷歌GCP高级大数据工程师认证，能根据不同的业务需求选择适当的GCP组件来做数据处理。
    • 通过了AWS bigdata specialty认证，能熟练运用AWS大数据组件完成数据处理，统计分析等需求。
    • 负责从elasticsearch kibana平台通过RESTFUL接口拿到业务数据，通过统计学模型(AR, MA, ARIMA等)和机器学习模型做异常点检测以及异常报警。

  • 2015.12 - 2018.05 自动化框架开发部门， 高级自动化开发工程师， 凯易讯

    • 主要从事Python自动化测试框架的后台开发。负责优化已有的框架，并且从事框架核心模块traffic generator的开发。
      Traffic Generator模块是跟第三方仪表交互的模块，也是凯易讯产品业务涉及最为密切的部分。
      Traffic generator主要用来产生各种网络协议流如常见的DHCP,PPPoE协议等，并且对流做统计。
    • 负责了将已有的库拓展支持robotframework。很大程度上降低测试工程师写自动化用例的成本。并且培训测试工程师如何使用keywords编写用例。
    • 开发keyword文档管理工具，自动生成文档并部署到文档服务器。
    • 开发结果统计工具，对迭代执行结果做横向分析。
    • 开发自动化部署脚本，与Bamboo CI集成。

  • 2013.4 - 2015.11 TMSMW部门, 高级软件工程师，趋势科技

    • TMSMW是基于Linux的虚拟化手机安全平台。手机客户端通过App登陆TMSMW, TMSMW通过虚拟 Mobile 基础架构（VMI）创建独立的workspace，用户在虚拟Mobile里的数据和app可以安全的保存在服务器端。
    • 设计和开发自动化测试框架，维护测试数据和脚本。
    • 基于Jmeter和LoadRunner设计开发系统性能测试工具。
    • 在深入理解VMI架构的基础上，设计开发系统测试工具。该工具被广泛应用在多种测试场景中。
    • 模拟大规模并发客户端连接服务器端的行为，分析系统瓶颈，并对系统进行调优。
    • 设计编写TMSMW各个模块的测试用例。并对功能做function和regress测试。

  • 2011.4 - 2013.4 MDM部门, 软件工程师， 趋势科技

    • MDM(Mobile Device Management)产品是移动设备管理平台,分为服务器端和手机客户端。客户端app注册连接到服务器之后，服务器对该设备能进行安全管控。
    • 为了适应产品需求变更，基于robotframework设计构建了新的测试框架用于自动化测试。
    • 优化了Volume测试和性能测试脚本，模拟大规模并发客户端连接服务器端的行为。更贴近真实场景， 尽可能的发现产品的性能问题，并进行调优。
    • 分析错误日志，追踪错误，验证错误，编写测试报告。
    • 深入分析了两家竞争对手的同类型产品，给出详细对比报告。并且在部门内分享了报告内容。

  • 2009.7 - 2011.4 IMSS/IWSS 部门， 实习生， 趋势科技

    • 从Linux平台移植邮件病毒扫描引擎到IBM AIX Unix系统。并且修复bug。
    • 维护产品heartbeat测试套。

其他兴趣爱好

  • 兴趣
    • 几个开源项目的作者，破解了早期的 WebQQ协议。用Boost/C++库实现了交互代码，并依托emesene前端提供了python的插件。
    • 喜欢音乐，看书，折腾Linux和emacs。