大数据生死时刻:七成数据接口被切断,数万员工离开行业

 智能家居产品     |      2019-12-02 17:10

导读:在过去的三个月里,许多数据公司受到了调查,数据行业一直处于动荡之中。该行业继续收紧,70%的数据接口被切断。一些大数据公司的爬虫团队都被解雇了,许多人自愿离开。据统计,最近

在过去的三个月里,许多数据公司受到了调查,数据行业一直处于动荡之中。

该行业继续收紧,70%的数据接口被切断。

一些大数据公司的爬虫团队都被解雇了,许多人自愿离开。据统计,最近至少有数万名员工外流,该行业的流失率超过50%。

每家大数据公司的首席执行官每天都“打卡”朋友圈,证明“我没被抓住,我的公司还在”。

另一方面,合规且拥有国有背景的大数据公司玩得很开心。一些公司在短短三个月内“每月业务翻一番”。

有人说这是行业面临的最大“生死抢劫”:有人死了,但也有生命...

工业抢劫

大数据行业突然刹车。

在过去的三个月里,大数据公司人员被逮捕和调查的消息不断传播,行业中的每个人都处于危险之中。

几家金融机构表示,他们合作的大部分数据接口都被切断了,“70%的接口都被切断了,还有许多接口不稳定,一周更换三次。”

首先要停止的是各种爬行动物产品。

一家大数据公司的创始人于建瑞在发现第二家爬虫公司被抓后,在公司召开了紧急会议。

爬网程序部门的业务被暂停,数据库和服务器上的所有爬网程序数据都将被删除,即使它们不再敏感于剑瑞决定“折断一个壮汉的手臂”。

删除数据后的第二天,爬行动物部门立即“解雇了十几个人,并将他们调到其他岗位。”

"第三天,整个爬行动物部门完全从公司消失了."于建瑞花了三天时间“抹掉”爬虫业务。

“三因素验证”立即被切断。

过去,许多代理都是由主要运营商接收的,他们将提供数据接口来验证电话号码、姓名和其他要素。

"电信最近停止了许多代理,现在基本上不接受他们."于建瑞表示,电信是第一个暂停的,现在联通和移动也在“缩减代理”

各种多头贷款产品也已经下架。

天创和屏蔽多头贷款产品都已停止,市场上基本没有多头贷款产品于剑瑞说道。

金融监管开始需要自我检查。

11月6日,中国互联网金融协会向会员机构发出《关于加强个人信息保护意识和依法开展业务的通知》,要求会员机构对数据合作伙伴进行调查。

“许多接受调查的公司或有风险业务的公司都是直接被点名的,监管需要对它们是否合作过进行自我检查。”于建瑞说,“这包括一些公司,如红心宝、白骑士、天吉数据和木利信用信息。”

10月24日,一张截图在网上流传。截图显示,中国人民银行要求全国各地的银行检查与第三方数据公司的合作。

几家金融机构的工作人员也证实了这一点:“尽管不同地区的要求可能略有不同,但它们都要求暂停与风险公司的合作。”

在商业停滞的同时,这个行业充满了恐慌。

接近于建瑞的人每天都失去他们的联盟。"那些出国的人,那些被抓住的人都被抓住了."

“最近,大数据公司的首席执行官们每天都在朋友圈打卡,比体育钟更勤奋。”于建瑞说,这里的潜台词无非是“我很好,我们公司也很好”

两天前,现场舞台的人力资源部安排了一次采访。结果,求职者没有出现,“后来我听说他被抓了”。

大数据突然成为高风险行业,引发了一波辞职潮。

"在此期间,我们收到了来自数据行业的大量简历."上述人力资源表明。

大数据公司也开始裁员。

"名单上几乎所有的数据公司都在裁员。"一家金融机构的风力控制主管表示,几乎一半被解雇的员工是技术人员。

“这些公司的裁员率和更替率至少达到50%,技术部门甚至达到70%。”

成本激增

事实上,金融科技发展的基础和营养是大数据。

整个数据行业的停滞对金融业务产生了巨大影响。

“80%的金融公司已经缩水。”于剑瑞说道。

有些平台只能借钱给老顾客,不会再增加了。一个稍微激进一点的平台开始凭感觉放贷。

“更有经验的从业者对用户的肖像有一个概念,并且可能知道谁是高质量的人。”风控主任李阳为一个场景搭建平台,说道。

他们比过去好的客户肖像和逾期客户肖像借给,“逾期利率也是可控的。”

但是如果你想保持以前的业务量,那就意味着各种成本的增加。

首先,数据成本的增加。

“正式的数据公司和央行实际上可以满足该行业70%至80%的数据需求。”第三方信贷机构的创始人王海峰说。

然而,金融业需要支付更高的合规成本——合规数据,价格自然会更高。

"他们的成本大约高出60% . "数据宝首席执行官唐翰林表示。

第二,核查和人力成本增加。

摩托车集结地服务提供商白起科技的风力控制专家姚毅表示,由于履带事故,他们对第三方数据的访问减少了50%至70%。

为了维持业务的运行,他们只能要求用户提交更多的纸质材料,并增加人工验证用户信息的人员数量。

“以前,只需要一两秒钟就能查询到一条信息,成本在几美分到几美元之间。现在手动验证需要几分钟甚至十分钟。”

审计之前只需要大约10分钟,现在需要30分钟。"此外,劳动力成本增加了30%到50% . "

面对当前的数据困境,一些平台试图建立自己的风力控制和爬虫。

“要构建一个爬虫系统,保守估计需要6个人,至少3个月,开发成本将为200万。”于剑瑞说道。后期维护成本较高。

“例如,为了对抗爬虫,运营商的官方网站将随时改变页面,爬虫系统将不得不相应地改变。”俞建瑞表示,后期每月的维护费用仍为50万元。

然而,自建风力控制系统的困难也意味着劳动力成本高。

“据保守估计,整个金融系统的成本增加了约50%,而人力和数据成本大幅增加,效率也将大幅下降。”于剑瑞说道。

未来是什么样的?

这不是数据行业的第一次大改组。

数据行业最早的从业者都记得,早在2012年左右,中国的数据行业就经历了一次重大重组。

2012年,中央电视台的“3月15日”晚会揭露,劳·邓白非法获取和出售公民个人信息。罗·邓白的所有工作人员都被上海警方带走了。

2012年,中央电视台的“3.15”派对展示了劳·邓白曝光的截图。

此后,数据行业的巨额利润链中断,大多数员工离开了。

留下来的人也害怕,不敢越过边境。

“上一次实际上是为了捍卫数据的主权,但这次与上一次有着本质的不同。这是为了保持稳定——金融和数据的结合太深,暴力收集和日常贷款引发了许多极端情况。”丁毅是一名在数据行业有15年工作经验的资深从业人员,他说。

然而,市场上大多数主流大数据公司都是在2012年后成立的。他们没有经历过最后一次改组或历史教训。

“他们中的大多数人不知道数据行业是什么样的行业,底线是什么。”丁一说。

这一次和上次一样,大量的人离开了,牟取暴利的链条被打破了。

历史如此相似,以至于数据行业似乎已经完成了另一个周期。

丁毅认为,这次改组可能不是一件坏事——该行业已经回到了一个新的起点,一个新的底线已经划定。

在这场血战中幸存下来的合规公司也逐渐出现。

“过去,合规数据公司根本无法生存,因为我们必须支付更高的合规成本。”唐翰林说道。

他举了一个例子,他们没有缓存任何数据。

然而,该行业的大多数玩家秘密存储检索到的数据。当数据积累越来越多时,数据公司可以直接使用缓存中的数据,而不是从接口中检索数据。

因此,他们的销售价格可以降低到极低,“多一个订单就能赚到”。

“它们很便宜,而且因为它们已经被缓存,所以响应时间会比我们的快。”唐翰林说道。

在激烈的市场竞争中,坏硬币会淘汰好硬币。

现在,合规数据公司已经成为“热门蛋糕”

一家有国企背景的数据公司的创始人透露:“在过去三个月里,我们的业务量每月都翻了一番。”

一些巨头拥有的大数据平台突然变得拥挤不堪。

"排队等候接受我们的服务,查询数量也激增。"一家巨头拥有的云平台销售部门表示,他们最近正准备扩大团队。

关于大数据行业的未来,从业者认为“许可”将是一个关键词。

“或许第三方大数据公司将获得许可。”一家数据公司的负责人夏瑞预测,到那时,该行业应该只有少数几家领先公司,小公司存活的可能性很小。

合规性和许可可能成为未来大数据行业的主题。

丁毅认为,一个行业必须经历几个从鲁莽到顺从的周期,“只有当暴利链被中断时,这些遵守规则的人才能再次运行”。

"你还会留在大数据行业吗?"最近,很多人问于剑瑞。

“市场和需求仍然存在,但在新跑道竣工后,我仍然会在那里。”他说。

只有这一次,他才会更加敬畏。