离线标签：按照给定逻辑进行sql编码，+云spark+云hbase（后替换为ots），每天或每小时进行ETL清洗，更新标签信息。

实时标签：kafka+blink++表存储（OTS），标签信息实时更新。

3、负责主键设计，MD5()加密取前四位然后拼接，防止数据热点；

4. 建立二级索引。第一阶段是通过云hbase+内置solr实现的。第二阶段改为表存储OTS+多索引功能。主要用于人群筛查。

业绩：主导并落地用户画像基础功能服务，为业务赋能用户洞察、精准营销、广告投放。

时间：20xx.4-20xx.7

项目名称：幻影大师简历项目2

项目角色：数据开发

由于公司IDC机房自建CDH面临运维成本高、稳定性差、使用复杂繁琐等问题，决定将现有数据仓库迁移到阿里云大数据一站式解决方案（ODPS）上，借助云平台的天然优势，让公司的人力资源更多地向数据服务倾斜，大大降低了自建数据仓库高昂的运维成本，解放了人力。同时，离线计算已经不能满足越来越多的时间敏感需求，还需要构建实时的Data通道，即架构的数据仓库：

工作内容：

1、负责批量创建HDFS数据迁移任务，并使用ODPS迁移工具将原hive上的全部数据迁移到odps上；

2、参与部分业务线数据仓库的重构，即重新梳理业务模型，按照业务主题领域进行建模，ods/dws/dws/ads的分层架构；

3、负责搭建实时数据通道、业务研发，将App或小程序端的用户埋点数据输入消息中间件kafka。在此基础上，基于Blink，将用户埋藏数据进行扁平化、分析并存入数据库（odps）。同时关联其他维度表做一些实时计算和统计，比如新老客户、DAU等实时指标。

成果：整个数据仓库迁移到云端，大大节省了运维成本。同时，腾出人力专注于数据应用服务。同时优化了数据仓库结构，将原来的离线计算模式转变为离线+实时的lamda架构。初步满足业务对时间敏感的数据服务的需求。

时间：20xx.6-20xx.12

项目名称：幻影大师简历项目3

项目角色：数据开发

公司风控部门成立初期，没有一套完整的数据仓库。所有数据分析师都直接从业务数据库中获取数据。他们面临着取数据效率低、周期长、跨库查询、拖累业务数据库等问题。为了解决这些问题，并提供更多的数据服务，需要构建标准的数据仓库模型。

工作内容：

1、参与搭建基于开源大数据CDH版生态组件的大数据平台（50个节点）；

2、数据库分层设计，主要设计ods、dwd、dws、ads层；

3、业务数据库数据（主要是mysql）通过sqoop导入到hive数据仓库，少量mongo数据库数据通过自带工具导入到hive数据仓库；

4、使用oozie调度工具定期进行ETL数据处理和清洗；

5、利用监控作业任务状态实时监控作业运行状态，异常报警发送至钉钉群消息；

6、构建分析工具，为数据分析师提供便捷、强大的大数据分析工具。

成果：大大缩短了数据分析师的数据检索周期，也解决了跨库检索的痛点，为数据分析师提供了多元化的报表数据服务和数据分析服务。

时间：20xx.12-20xx.2

项目名称：幻影大师简历项目4

项目角色：数据开发

设计基于随机森林的贷款违约率风险评估模型，旨在确定贷款申请客户的违约概率，为风险控制决策提供相关判断依据。该模型利用历史申请人信息以及当前数据仓库中2000多个外部和内部标签，通过特征工程（数据预处理、特征选择、降维等）提取最相关的客户标签进行训练，随机森林模型为用于实现客户违约概率数据的输出，为客户的贷款风险控制决策提供必要的依据。

时间：20xx.5-20xx.5

项目名称：幻影大师简历项目5

项目角色：数据开发

参与数据分析平台的基础设施建设、表设计、数据处理、编码，使用大数据开源组件（hdfs、spark、hive、sqoop、oozie、）提供数据融合、离线计算、实时对公司贷款业务进行监测预警功能，并为各部门提供各类数据报表，开发业务分析中间表，极大地为风控业务人员获取数据提供了便捷的途径，方便销售人员发现新的特点和新规则的风险控制。和验证。

时间：20xx.5-20xx.7

项目名称：幻影大师简历项目6

项目角色：数据开发

风控规则需要从历史数据中检测贷款申请人的申请信息是否符合当前历史贷款申请数据中的某些风险规则。因此，需要实时、快速地返回历史数据对比结果。本系统使用kafka，作为实时流的入口，使用hbase作为底层数据库，从实时应用信息中提取对应的关键信息，快速查询并插入到hbase数据库中，最后将结果返回给实现历史数据的快速验证。

时间：20xx.3-20xx.5

项目名称：幻影大师简历项目7

项目角色：数据开发

由于旧的历史巡检系统作为数据仓库，无法满足长期跟踪流程（即订单号从采集到下达的整个生命周期的状态）快速、高效查询的要求。收据）。并发查询，所以采用了+hbase的方案来解决上述问题。所有源数据均使用公司自己的 etl 工具提取到 hd。在fs中，在()中进行各种复杂的关联和映射，最终生成单数的生命周期数据，设计key值，然后放入hbase中。现在无论多久之前都可以查询单个号码。时间在毫秒级别，并发查询量也中规中矩。每秒可提供5000个订单号查询。

自我评价

1. 7年研发经验（2年Java研发+5年大数据研发经验）

2、熟悉/Hbase/Hive/Spark/Flink/kafka等主流开源分布式大数据组件；熟悉阿里云大数据开发平台（原ODPS）；熟悉数据仓库分层体系建设、学科领域模型设计、数据仓库标准化落地后参与企业级大数据平台建设，熟悉使用和性能优化，熟悉Linux系统操作，熟悉基于spark开发在斯卡拉上。

# 离线与实时标签处理：MaxCompute、云Spark、云HBase与OTS的ETL与用户画像构建  # 离线与实时标签处理  # MaxCompute、云Spark、云HBase与OTS的ETL与用户画像构建  # 离线  # 分析师  # 开源  # 风险控制  # 数据处理  # 数据库中  # 自己的  # 据分析  # 导入到  # 多个  # 中规中矩  # 采用了  # 还需要  # 后将  # 自带  # 新老  # 并为  # 主要用于  # 本系统  # 四位  # 金山区餐饮营销推广  # 南宁网站怎样优化  # 正规关键词排名套餐  # seo如何产生经济效应  # 市区关键词推广营销  # 甘肃关键词排名项目  # 包头seo网站优化  # 营销推广每天招聘靠谱不  # 奔驰宝马游戏网站建设  # 临清市网站优化报价  # 品牌营销推广著作有哪些  # 企业人才服务网站建设  # 网站视频优化方案怎么写  # 客户端渲染seo  # 宝山营销推广培训学校有哪些  # 优化广告的网站  # 昆山网站优化招聘  # 政府网站建设评价指标  # 长春网站建设及网站推广  # 韩国 东西(dong seo) 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： 广州百度推广验证，助力企业打开数字营销新局面,郑州网站建设推广  介绍淘宝SEO作弊手段,如何避免陷入误区，提升店铺排名,seo引流入口  SEO但是，这些常见误区你真的知道吗？,凤岗网站建设开发  菲律宾*SEO，揭秘成功的秘诀与策略,安阳网站推广设计招聘网  广州百度推广多久见效？精准解答你的疑问,美图秀秀营销推广方案  女生要加微信的理由怎么回？4招核心方法轻松应对   介绍美国站SEO自动外链步骤,打造高效流量入口,joo yeon seo中文  探索青海，一段发现自我之旅的短视频SEO源码之旅,小吃培训网站怎样做推广  SEO客服：如何提升客户体验与业务转化的双赢策略,鄂州网站建设公司教程  如何通过百度推广优化广州地区配图效果,商丘网站建设技术公司  iPhone13 的 iOS 16.0 系统下，抖音视频时长权限你知道多少？   SEO自行：提升网站流量的秘密武器,邹平县个人网站建设建议  日常生活中微信成重要沟通工具，如何把录音发送到微信？   广州百度推广方法解析，助力企业快速抢占市场,点心营销推广方案模板  宁波SEO培训机构哪家好介绍优质培训机构，助你快速提升SEO技能！,时尚大牌关键词排名前十  杭州SEO人才落户攻略,轻松实现职场梦想，享受杭州美好生活,河北seo哪家信誉好  SEO添加：提升网站流量与排名的必备策略,seo团队成员中国人  收到这类微信官方短信要小心！点开链接后果不堪设想？   外链SEO,提升网站排名的关键因素及优化步骤,如何优化网站问题  广州百度推广项目助力企业数字化营销,沈阳建设企业网站流程  介绍重庆正规SEO优化公司,助力企业高效提升网站排名与流量,甘肃seo助手排行榜  广州百度推广任务的高效策略与执行方法,廊坊好的网站优化推广  福建百度推广哪家网络公司做得好？,南通科技网站建设  黄冈谷歌SEO营销,助力企业互联网品牌崛起的方法,汕头seo公司推荐23火星  SEO合作：让你的网站在搜索引擎中脱颖而出,惠州抖音seo策划公司  探索阿里巴巴的数字奥秘，一场关于创新与未来的旅程,微信网站建设详细内容  佛山百度SEO效果显著，助力企业提升网络竞争力,界首seo优化见效快  SEO优化三阶段攻略,从基础优化到高级步骤，全面提升网站排名,如何优化百度网站排名  女生主动加微信背后的多重意涵及应对策略解析   SEO埋词技巧，如何提升网站排名？,贵州营销推广方法  广州百度推广图文全攻略,淘宝联盟自有网站推广  SEO总计：如何通过SEO优化实现网站流量和排名的飞跃,三元桥网站优化  广州百度推广有没有用？深入解析其价值与效果,服务类营销推广方案范文  28火星,介绍神秘星球背后的科学奥秘与探索历程,罗源公司seo优化  SEO新手必看，如何高效利用搜索引擎提升品牌知名度,菲律宾seo新闻  揭秘成功的自媒体人，如何打造个人品牌？,海棠湾的营销推广  新站SEO标题优化步骤,提升关键词排名的方法,帮你自动优化文章的网站  广州抖音SEO咨询,助力企业抢占短|视频|营销高地,汕头网站seo运营  揭秘自媒体营销背后的秘密武器，如何打造爆款内容与精准定位,吉安网站建设  SEO地位：如何提升你的网站排名与曝光度，抢占市场先机,微营销网络推广  广州百度推广业务助力企业数字化转型,网站建设点击次数限制  广州百度推广策略，精准定位助力企业增长,汕头网站推广威芯hfqjwl  推广客服必看！百度搜索推广效果转化漏斗的五个量解析   微信头像大小受限？这些实用方法助你全图显示   广州百度推广投诉找谁？,机械行业抖音推广营销  祖庙抖音搜索SEO优化，打造你的品牌之光,seo优化托管方案  潍坊SEO预算探秘，如何精准投放，实现高效转化？,唐山营销网站推广介绍  探索未知，我的成长之旅与自媒体营销的融合,seo中标题写法  广州百度推广途径全解析,顺庆区营销推广大厦邮编  无网络连接原因大揭秘！设备、Wi-Fi、移动网络皆有可能？