Wenlong is available for hire

Wenlong Dong

验证专家 in Engineering

数据库开发人员

Location

澳大利亚悉尼

至今成员总数

2022年1月21日

Wenlong是一名高级数据工程师，拥有超过五年的经验，主要使用SQL和Python构建数据和ETL解决方案. 他在构建数据管道方面有丰富的经验，并且熟悉DBT等各种工具, Snowflake, Redshift, Python, Airflow, Power BI, Excel VBA, 和PowerShell. Finally, 他领导的项目包括Python中的模糊映射, 端到端数据管道与Dataiku和Anaplan, Salesforce数据迁移, 以及DBT中的全渠道模型, Redshift, and Airflow.

Portfolio

AstraZeneca

Microsoft Power BI, Snowflake, Apache气流, Python 3, SQL, DBeaver, Dataiku...

IBM

Python, Salesforce, SQL, IBM Cloud, GitHub，数据分析，数据工程...

新南威尔士大学

STATA, R, Excel VBA，数据分析，仪表板，SQL，数据工程...

Experience

SQL Server 2016 - 5年 SQL Server集成服务(SSIS) - 5年 Python 3 - 2年 GitHub - 2年 Visual Studio Code (VS Code) - 2年 STATA - 2年 Excel VBA - 2年 R - 2 years

Availability

Part-time

首选的环境

PyCharm, Windows, SQL Server 2016, Visual Studio Code (VS Code), SQL Server集成服务(SSIS)

最神奇的...

...我独立设计并完成的项目是一个使用Excel VBA内置验证规则的复杂医疗数据验证平台.

工作经验

Data Engineer

2022年至今

AstraZeneca

支持Microsoft Power BI报告的分析团队.
创建Power BI数据流并构建报告模板.
通过DBT开发和维护基于snowflake的数据仓库.
管理Snowflake数据仓库并为数据用户提供故障排除问题的支持.
建立和维护Apache气流计划. 完成BAU和故障排除任务.

技术:Microsoft Power BI, Snowflake, Apache气流, Python 3, SQL, DBeaver, Dataiku, 数据可视化, 数据构建工具(dbt), 数据分析, Data Analysis, Redshift, Analytics, 数据管道, t - sql (transact - sql), SQL DML, Data Queries, SQL性能, 性能调优, 自动化数据流, 亚马逊网络服务(AWS), CI / CD管道, ETL Tools, 商业智能(BI)平台, SQL存储过程, 存储过程, JSON, PostgreSQL, Amazon S3 (AWS S3), Excel 2010, Excel 365, Excel 2016, MySQL, ELT, BI Reporting, Databases, 数据转换, 数据概要分析, 仪表板发展, 数据清理, 信息收集, 关系数据库, 数据操作, 查询优化, 数据仓库设计, 微软文字处理软件, Windows

Data Engineer

2021 - 2022

IBM

作为主要数据工程师参与了一个使用Python的Salesforce数据迁移项目, SQL, 和Salesforce APEX.
完成Hadoop和MongoDB的培训和学习活动.
在实现了CI/CD开发方法的敏捷团队中工作.
作为一个基于python开发的数据迁移项目的主要数据工程师.

技术:Python, Salesforce, SQL, IBM Cloud, GitHub，数据分析，数据工程, SQL Server DBA, SQL存储过程, ETL, Microsoft SQL Server, MongoDB, 数据库管理(DBA), t - sql (transact - sql), Docker, ETL开发, 数据仓库, 数据架构, Pandas, Data Modeling, ETL Testing, 数据库建模, Schemas, Microsoft Excel, 数据分析, Analytics, 数据管道, SQL DML, Data Queries, SQL性能, 性能调优, 专用SQL池(以前称为SQL DW), Azure SQL数据仓库, CI / CD管道, ETL Tools, 存储过程, PostgreSQL, Excel 2010, Excel 365, Excel 2016, MySQL, BI Reporting, Databases, 数据转换, 数据概要分析, 数据清理, 信息收集, 关系数据库, 数据操作, 查询优化, 数据仓库设计, MacOS, 微软文字处理软件

数据管理主任

2020 - 2021

新南威尔士大学

利用STATA设计并开发了一个完整的数据解决方案, 包括数据清理模块, 数据验证, 生成统计报告.
使用Excel VBA独立设计开发医疗数据采集验证平台.
为数据清理和生成学术报告构建了一个基于r的模型.
设计开发基于SQL server的数据库及相关存储过程.
使用SQL SERVER数据源构建PowerBI仪表板，使用交互式报告而不是多个电子表格分析历史基因测试数据.

技术:占据, R, Excel VBA，数据分析，仪表板，SQL，数据工程, SQL Server DBA, SQL存储过程, Microsoft SQL Server, 数据库管理(DBA), t - sql (transact - sql), ETL开发, Data Science, 商业智能(BI), 数据架构, Pandas, Data Modeling, 数据库建模, Schemas, Microsoft Power BI, Reports, Reporting, Microsoft Excel, 数据分析, Analytics, SQL DML, Data Queries, SQL性能, 性能调优, ETL Tools, 商业智能(BI)平台, 存储过程, PostgreSQL, Excel 2010, Excel 365, Excel 2016, BI Reporting, Databases, 数据转换, 数据概要分析, 仪表板发展, 数据清理, 信息收集, 关系数据库, 数据操作, 查询优化, 数据仓库设计, Visual Basic for Applications (VBA), Visual Basic, MacOS, 微软文字处理软件, Windows

PowerShell开发人员

2019 - 2020

麦格理银行

设计并构建SSIS解决方案，在中央数据仓库和财务分析平台之间创建ETL管道.
利用Control-M作业流和基于powershell的功能开发了文件加载系统和数据处理作业.
参与Hive数据仓库数据湖项目.

技术:Windows PowerShell, SQL Server 2016, Control-M, SourceTree, Jira, SQL Server集成服务(SSIS), JSON, YAML, SQL, 工程数据, SQL Server DBA, SQL存储过程, ETL, Microsoft SQL Server, t - sql (transact - sql), ETL开发, 数据仓库, Data Modeling, ETL Testing, 数据库建模, Schemas, Microsoft Excel, Data Analysis, Analytics, 数据管道, SQL DML, Data Queries, SQL性能, 性能调优, 亚马逊网络服务(AWS), CI / CD管道, ETL Tools, 存储过程, PostgreSQL, Amazon S3 (AWS S3), Excel 2010, Excel 365, Excel 2016, ELT, Databases, 数据转换, 数据概要分析, 数据清理, 信息收集, 关系数据库, 数据操作, 查询优化, 数据仓库设计, Visual Basic, 微软文字处理软件, Windows

数据开发人员

2018 - 2019

CoreLogic AU

基于澳洲房产数据业务规则提升，完成大规模数据仓库和数据加载管道升级.
支持整个数据团队和物业数据平台的所有BAU流程, 包括对SQL代理作业进行故障排除, AWS环境, 和SSIS包.
对地理数据项进行详细分析. 在SQL Server中为地理数据类型构建了一个数据加载和验证过程.
创建动态SQL进程，以优化SQL Server在超过100万条记录的大型数据表上的性能.

技术:SQL Server 2016, BIML, XML, Jira, Confluence, Agile, Python, Unit Testing, SQL Server集成服务(SSIS), Data Analysis, Dashboards, SQL, 工程数据, SQL Server DBA, SQL存储过程, ETL, Tableau, Microsoft SQL Server, t - sql (transact - sql), ETL开发, 数据仓库, 商业智能(BI), Pandas, Data Modeling, ETL Testing, 数据库建模, Schemas, Reports, Reporting, Microsoft Excel, 数据分析, Analytics, 数据管道, SQL DML, Data Queries, SQL性能, 性能调优, 亚马逊网络服务(AWS), CI / CD管道, ETL Tools, 存储过程, PostgreSQL, Amazon S3 (AWS S3), Excel 2010, Excel 365, Excel 2016, ELT, Databases, 数据转换, 数据概要分析, 数据清理, 信息收集, 关系数据库, 数据操作, 查询优化, 数据仓库设计, 微软文字处理软件

系统热线和系统支持主任

2017 - 2018

乐麦澳大利亚集团

设计和维护Infor SyteLine ERP系统.
设计Crystal报表，编写相关SQL Server存储过程.
通过SQL Server和Excel数据透视表分析生产成本数据并进行数据计算.

技术:SQL Server 2016, 水晶报表, SyteLine ERP, C#, Pivot Tables, SQL Server DBA, SQL存储过程, Microsoft SQL Server, 数据库管理(DBA), t - sql (transact - sql), 数据库建模, Schemas, Microsoft Excel, SQL DML, Data Queries, SQL性能, 性能调优, SQL, 存储过程, PostgreSQL, Excel 2010, Excel 365, Excel 2016, Databases, 数据转换, 数据概要分析, 仪表板发展, 数据清理, 信息收集, 关系数据库, 数据操作, 查询优化, 微软文字处理软件, Windows

Experience

客户模糊匹配项目在Python和Dataiku

该项目旨在通过有限的可用字段-名称将客户数据映射到政府发布的数据集, occupations, 以及公司地址. 数据源包括Redshift、CSV文件和XML文件. 该项目的第一阶段完全是用Python构建的, 哪一个完成了总客户映射的60%. 该项目的第二期建设在大台地区, 并且实现了总客户映射的额外20%. 我是一个项目解决方案设计师和建设者.

anplan数据集成

基于redshift的数据模型，由通过dbt构建的销售数据的几个表和视图组成. “气流”中数据对象按日或按月刷新. 作为项目的设计者和建设者, 我参与构建了dbt宏，将表和视图作为CSV文件导出到S3存储桶. 我们还创建了anplan CloudWorks作业来定期使用CSV文件.

SalesForce数据迁移项目

Oversaw, 作为团队的一员, 将Salesforce数据从源环境迁移到目标环境. 客户希望将其业务的一部分分离到独立的Salesforce环境中.

我设置了主要的Python框架，并构建了数据提取过程的初始版本——从Salesforce到Python DataFrame. 我为重复记录识别和合并dup记录创建了完整的解决方案. 我设计并开发了用于海量数据比较的并行计算流程以及基于图论的分组逻辑. 我还设计和构建了许多SQL Server对象，包括视图、存储过程和函数.

基于Excel vba的医疗数据验证平台

使用Excel VBA独立设计并完成了一个医疗数据验证平台. 我在Excel模块中实现了复杂的验证规则，这样用户就可以在Excel中自动地完全验证数据.

该平台已被全球接受并用于数据收集过程.

更新现有房地产数据的ETL解决方案

一个属性数据ETL解决方案项目，旨在操纵现有的ETL数据流以适应新的政府需求. 我是主要的SQL Server和SSIS解决方案开发人员之一，完成了大约50%的开发任务.

Skillset

Languages

Python 3, Python, SQL, Excel VBA, t - sql (transact - sql), Snowflake, SQL DML, 存储过程, Visual Basic for Applications (VBA), Visual Basic, R, SAS, Java, C, YAML, BIML, XML, C#

库/ api

大熊猫,NetworkX

Tools

STATA, Microsoft Power BI, Jira, Confluence, Spreadsheets, Microsoft Excel, Excel 2010, Excel 2016, 微软文字处理软件, PyCharm, MATLAB, GitHub, Tableau, Apache气流, MySQL工作台, Control-M, SourceTree, 水晶报表, CloudWorx

Paradigms

ETL，商业智能，多维建模，数据科学，敏捷，单元测试

Platforms

Visual Studio Code (VS Code), MacOS, Windows, 亚马逊网络服务(AWS), Azure SQL数据仓库, 专用SQL池(以前称为SQL DW), Salesforce, Docker, Azure, Azure PaaS, Azure IaaS, Salesforce SOQL / SOSL, Linux, Windows Server 2016, Amazon EC2, Dataiku, Anaplan

Storage

SQL Server 2016, SQL Server集成服务(SSIS), Databases, SQL存储过程, SQL Server DBA, MySQL, Microsoft SQL Server, 数据库管理(DBA), 数据库建模, Redshift, 数据管道, SQL性能, PostgreSQL, Amazon S3 (AWS S3), 关系数据库, JSON, 数据库性能, Azure SQL, Azure Blobs, MongoDB, DBeaver

Other

工程数据, 数据仓库, Data Analysis, Data Cleaning, ETL开发, Data Modeling, ETL Testing, Schemas, 数据分析, Analytics, Data Queries, 性能调优, CI / CD管道, ETL Tools, Excel 365, BI Reporting, 数据转换, 数据概要分析, 仪表板发展, 数据清理, 信息收集, 数据操作, 查询优化, 数据仓库设计, Statistics, Dashboards, 数据架构, Reports, Reporting, 数据构建工具(dbt), 自动化数据流, 商业智能(BI)平台, ELT, MRP, 知识管理, Minitab, Calculus, 线性代数, IBM Cloud, IT服务管理(ITSM), Web Scraping, SyteLine ERP, Pivot Tables, 多处理, 数据可视化, Fuzzy Logic

Frameworks

Windows PowerShell

Education

2020 - 2021

健康数据科学研究生证书

新南威尔士大学-悉尼，新南威尔士，澳大利亚

2013 - 2014

信息系统硕士学位

墨尔本大学-墨尔本，维多利亚，澳大利亚

2007 - 2011

物流与供应链管理专业本科以上学历

华中科技大学-中国湖北武汉

认证

2022年3月至今

微软认证:Azure基础

Microsoft

2017年3月至今

ITIL IT服务管理基础证书

AXELOS

有效的合作

如何使用Toptal

在数小时内，而不是数周或数月，我们的网络将为您直接匹配全球行业专家.

分享你的需求

在与Toptal领域专家的电话中讨论您的需求并细化您的范围.

选择你的才能

在24小时内获得专业匹配人才的简短列表，以进行审查，面试和选择.

开始你的无风险人才试验

与你选择的人才一起工作，试用最多两周. 只有当你决定雇佣他们时才付钱.

对顶尖人才的需求很大.

Start hiring