我投了份简历接到了十八个骚扰电话
2019-03-30 19:16

  都说金三银四,最近打算换工作的苏大强(蹭热点式化名)在各大招聘平台挂上了自己的简历。谁知道刚过两天就接到了十八个骚扰电话,其中只有两个来自猎头。

  在接起第十八个贷款推广骚扰电话后,苏大强崩溃了,谁!又是谁TM泄露了我的信息,没钱不贷款还不起还不行吗!

  先说一起新闻。不久前网上有爆料称简历大数据公司北京巧达科技被查封,全员被抓,随后有部分员工被放出。

  3月24日,三言财经也实地走访了巧达位于中关村办公室,发现大门现已被封条封住,办公室内空无一人。该封条由中钢国际广场保安部张贴,时间为2019年3月14日。

  根据公开信息,巧达科技号称拥有中国最大的简历数据库,其主要数据来源是“乔大招”。乔大招旗下则拥有“爱伙伴”、“简历时光机”等在内10多款招聘相关产品。

  “乔大招”可以做到通过一款工具汇总多家招聘网站账号信息,企业客户可以统一发布职位、收取简历;其次,该工具可以抓取简历的修改历史,可以查看到对应简历被查阅次数、修改记录等信息;不仅如此,还可以将简历上传至平台,供其他企业、猎头使用。

  爱伙伴是一款提供“员工离职预测”的工具软件,该软件可以检测到员工投递简历、员工简历更新情况以及员工简历被查看次数等信息。企业用户购买爱伙伴后,即可查看其收集汇总的简历数据,依此判断公司员工的离职倾向。

  简单说,这个一款给老板打小报告的软件,哪个员工有离职的想法都可能被提前知道。

  截至2015年6月30日,在乔大招的数据库中,以人为计算,收入自然人的简历超过1.6亿人。以版本来计算,简历超过18亿个版本,超过25亿行为轨迹。说不准你精心准备的简历就在其中!

  这些数据都被这家公司用于牟利,甚至涉及违规收集个人信息。封条一帖,巧达凉凉。

  不过,一家“巧达”倒下了,还有其他“巧达”站起来,打着智能招聘SaaS系统的简历公司披着伪善外衣,暗地做着吸血勾当。

  其中,爬虫技术运用最为广泛,因为不需要网站有任何漏洞,只需要模拟正常用户访问操作,就可以抓取。

  瑞数信息CSO马蔚彦告诉雷锋网,一般黑产会通过脚本、自动化框架、手机等工具去访问招聘网站平台,通过分析招聘网站的接口,这些工具可以自动的进行搜索关键字输入、翻页,对招聘网站内容进行抓取,然后通过脚本程序,将抓取到的原始数据进行格式化处理,转换成可阅读的简历。后期爬虫还可以同过定时机制,来进行简历数据的定时获取更新。

  这种爬虫技术与爬各大网站低价机票本质是一个套路,不同点在于:机票是全公开的,谁都可以看。但部分简历数据需要登录或者付费后查看的,这时候就需要爬虫组织囤积大量账号进行简历抓取。

  这些账号从何而来?于是打着智能招聘SaaS系统的简历公司出现了,声称该SaaS产品可以“帮助一个HR管理多个平台上发布的职位和收到的简历”,只需要登录一个平台就能管理所有渠道的简历信息。

  (注:目前很多招聘网站的商业模式都包括付费下载简历进行收费,花几万元可以下载几千份简历,可以查看该招聘网站的无限量个人简历。)

  笔者询问了某做爬虫技术的好友,对方称,通过爬虫技术抓简历一般要解决四个问题:

  4. 控制好爬虫的速度,因为登录后,一般网站后台都会存有日志记录,抓的太快的话,会被封。

  而一套卖给HR的智能招聘SaaS系统就能解决前三个问题,把非法的变成合法的,破解账户变成买卖服务。这操作,这脑洞,编辑叹为观止。

  有了账号,之后的操作就更简单了。利用HR的账号托管,SaaS方可以去爬取各大招聘平台的简历信息,并做到实时翻新。

  实时的:有HR来招聘网站上进行简历检索的时候,除了会显示自己本地的数据,还会将搜索请求转发给其他招聘网站的搜索接口进行数据获取,并且可以将爬来的数据进行智能比对,更新简历。

  准实时:每个简历在招聘简历上都一个唯一的ID,爬虫可以定时的,以ID为参数进行简历数据获取。也就是只要你更改简历,对方就会收到数据,同步更改。

  你的简历上都有什么信息?生日、电话、地址、身份证信息、工作经历……这些详细得不能再详细得数据被分销出去,可能卖给大数据分析公司,卖给猎头,卖给贷款公司、卖给诈骗组织,这些都是黑产中的某一环节。

  不一定,邦盛科技产品总监焦林俊向雷锋网透露,某国内top级别的招聘平台曾表示,有些大商户(付费大企业)利用在招聘平台的账号密码,登录后台通过爬虫刷新数据,爬取简历。

  之后将爬取下来的简历放进自己的数据库,在合适时机将这些简历数据出售给需要的机构,相当于二道贩子。

  “目前也有多种反爬虫的技术,如验证码,IP黑名单,频率限制,IP限制,单一账号可阅读量、需要购买,通过User-Agent控制等手段都能进行一定限制。但越来越多的高级爬虫,利用大量代理IP,并且与真实浏览器访问的环境相似度很高,传统的反爬技术在面对高级爬虫时已经基本无能为力。”马蔚彦说道。

  焦林俊也表示,招聘网站确有采取一些反爬虫技术,比如前端进行加密,后端加入了大数据分析,机器学习等技术。但对大商户爬取数据的行为招聘网站也有些头疼,迫于营收压力,他们不会采取直接拦截的措施。而且先通过后台数据分析谁爬取了数据,再针对不同对象采取相应的反爬措施。

  目前来说,爬虫技术仍处于灰色地带,对于利用爬虫技术获取公开数据这一行为的正误,在认知上也各有不同。目前更多的还是在道德层面,而非法律,比如:遵循robots,尽量放慢爬取速度,从而减少对提供数据查询网站的压力,不要造成拒绝服务,不要公开爬虫程序源码,不要分享爬虫数据等等。

  (注:robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。)

  随着涉及个人、企业的数据资源越来越多,提供这些数据的平台、系统也越来越多,非常需要通过建立正确的爬虫观念、提升反爬技术手段、建立合理的爬虫相关法律规定等都多方面的综合努力,才能更好地提供对于恶意爬虫的防御,保护企业和客户数据资源。

  焦林俊表示,用户应该避免在不安全的招聘网站发布简历,遇到打电话称自己是猎头需要提供本人完整信息的说法也不要轻信。而对于招聘网站,应该从业务方面进行规范,搭建自己反爬虫平台,利用前沿的反爬虫技术,如大数据分析,根据访问行为提取特征,通过设备指纹,人机识别,环境检测等技术识别出人还是机器。这样即可以去掉验证码等降低用户体验的操作,也避免了用户有价值的信息被爬取。

  做反爬不能误伤正常用户,这是反爬虫技术的关键点。爬虫与反爬虫永远在对抗,没有胜负。

  人人都是产品经理(是以产品经理、运营为核心的学习、交流、分享平台,集媒体、培训、社群为一体,全方位服务产品人和运营人,成立8年举办在线+期,线+场,产品经理大会、运营大会20+场,覆盖北上广深杭成都等15个城市,在行业有较高的影响力和知名度。平台聚集了众多BAT美团京东滴滴360小米网易等知名互联网公司产品总监和运营总监,他们在这里与你一起成长。

      任你博,任你博娱乐,任你博官网