高手问答第 308 期 —— 程序员如何入门大数据?

OSC哒哒 发布于 2023/10/31 12:14
阅读 13K+
收藏 11
市面上不少公司都在做用户画像的相关工作,无论是电商行业、金融行业、视频行业等等,都有这样的产品。那到底怎么去定义用户画像呢?
 
OSCHINA 本期高手问答 (10 月 31 日 - 11 月 6 日) 我们请来 了嘉宾  诸葛子房老师  来和大家一起探讨关于从0到1入门用户画像掌握大数据技术的问题。
 

可讨论的问题包括但不限于:

  • 想入门用户画像需要掌握哪些技术栈?
  • 没有企业的大量用户或者行为数据,普通用户该如何真实地模拟企业级的画像项目?
  • 程序员如何入门大数据?
  • 大数据行业都有哪些职位,以及在公司中发挥的作用如何
  • 大数据行业未来的发展如何,以ChatGPT 为代表的AI浪潮是否会让大数据行业走向没落

有其他相关问题,也欢迎大家积极提问!


嘉宾介绍

段小秋,网名:诸葛子房,先后就职于京东和BAT,在大数据领域有多年工作经验,也是多个Apache 项目的贡献者。蓝桥杯蓝桥云课《用户画像案例精讲》专栏作者,也是开源项目DataCompare 作者。微信:zhugezifang001,欢迎交流沟通。

个人主页:https://gitee.com/ZhuGeZiFang

为了鼓励踊跃提问,会在问答结束后从提问者中抽取 2 名幸运会员赠予《用户画像案例精讲》专栏电子版!


用户画像概念

用户画像,即:用标签的方式去描述一个人或者一台手机、一台电脑,有些公司称之为”用户画像“,有一些公司称之为”用户特征“,其实是一个意思。

举个简单的例子:

袁小青,性别:女,年龄:22岁,职业:时尚编辑,爱好:音乐、拍照,居住地:北京,消费情况:年薪10w,喜欢的app:抖音

因此我们概念中描述的用户画像,其实是用标签的方式对于一个用户、一个账号、一部手机进行描述。

用户画像常见标签

既然上面讲到了对于用户进行标签化,那究竟要给用户打哪些标签呢?如何对标签进行分类呢?

用户画像核心标签以及其分类:

用户画像的作用

1. 个性化推荐

在使用一些社区产品、电商产品、短视频app、音乐app的时候,经常会遇到推荐的场景,根据不同的人推荐不同的内容或者商品。

这其实是用户画像其中的一个应用,根据用户查询用户的标签数据,来进行推荐用户感兴趣的内容

2. 营销圈选(短信营销、PUSH营销)

相信不少用户收到过类似的营销短信,或者一些app 弹窗,这个也是用户画像常见的应用场景

3. 策略引擎

根据用户的标签展示不同页面,比如说:北京地区的用户能才能领取北京的优惠券,以及只有高消费值的用户才有淘宝上奢侈品Luxury入口的界面。

4. 算法模型

算法模型的训练,比如说:推荐模型、广告模型,需要用到画像数据来优化推荐模型。

5. 画像报告

不少商业公司会出一些行业报告,比如说下图的小红书、锁屏app 的行业画像报告;还有我们经常看到的一些个人年度榜单。

大数据技术在用户画像中的实际应用

由于画像涉及到的一些行为数据,包括用户购物行为、观影行为,一些较为大型一些的公司数据日均都涉及PB,因此需要处理的数据量非常大。在其中就会用到一些大数据的处理和存储技术,比如说:Hadoop、Spark、Hbase 等等。

同时随着业务发展,一些广告和推荐场景对于实时需求也更加明显,所以实时数据处理领域,Flink、Kafka等实时相关技术领域也越来越重要了。


OSChina 高手问答一贯的风格,不欢迎任何与主题无关的讨论和喷子。

下面欢迎大家就用户画像和大数据技术相关问题向 诸葛子房老师 提问,直接回帖提问既可。

加载中
0
赤脚小子
赤脚小子

@诸葛子房 你好,请问
1-用户画像如果基于用户id,那比较准确,但是如果用户一直是没有登录的状态呢?

2-如果一直是一个人用也ok,如果一家多个人用一个设备或者账号,搜索的内容偏差较大,这时候的画像会是什么样子的?

3-我们可以发现在某个平台搜索的内容,到了其他平台也会被自动推荐,是否是通过输入法共享的这个信息,是什么样的流程呢?

0
iman123
iman123

@诸葛子房 你好,人物画像里面主要是涉及到哪些算法以及模型,可以详细展开介绍一下他们各自的适应场景

诸葛子房_
诸葛子房_
一般的话,性别、年龄这种,如果 当前公司场景的话,收集不到用户的身份信息,就需要结合算法来预测,比如说:常用的 逻辑回归 算法
0
zerolemon
zerolemon

@诸葛子房  你好,我们公司是做物业管理行业的ERP软件的,但是经常想根据这些数据进行衍生,促进业主的消费和客户的组成成分。现在基本都是靠基础数据做的简单分析,其实个人感觉没什么特别好的分析方向,都是看领导想要啥就是啥,这种局应该怎么破?

诸葛子房_
诸葛子房_
第一种,熟悉业务之后,关注一些对于公司比较重要的指标数据,看看每天收支等情况和钱相关的指标等等,这种是掌握业务之后提炼一些核心的指标做一些大屏或者报表 第二种,就是看看能不能通过贴近一些赚钱的业务去做,通过数据提升收入之类的。
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部