今年9月以來，多家知名公司相關(guān)人員被抓或被調(diào)查，這些機(jī)構(gòu)均涉及大數(shù)據(jù)風(fēng)控業(yè)務(wù)和爬蟲技術(shù)的應(yīng)用。據(jù)悉，這波針對爬蟲業(yè)務(wù)的強(qiáng)監(jiān)管由打擊“套路貸”牽扯出，爬蟲被發(fā)現(xiàn)是導(dǎo)流獲客和暴力催收兩個幫兇的主要工具，為這些“套路貸”平臺爬取通訊錄、地址定位等個人敏感信息，從而引發(fā)了惡性事件及行業(yè)整頓。

今年以來，大數(shù)據(jù)風(fēng)控行業(yè)頗不平靜，9月份以來，杭州的魔蝎科技和公信寶運(yùn)營公司、杭州存信數(shù)據(jù)科技有限公司以及貸款超市“信用管家”、上市互金公司51信用卡先后被警方調(diào)查。此外，香港服務(wù)器，還有多家大數(shù)據(jù)風(fēng)控公司人士“協(xié)助調(diào)查”，涉及同盾科技等多家機(jī)構(gòu)。一時風(fēng)聲鶴唳，大數(shù)據(jù)行業(yè)的從業(yè)者人人自危，多家大數(shù)據(jù)公司表態(tài)暫停爬蟲業(yè)務(wù)。

網(wǎng)絡(luò)爬蟲，是一種按照一定規(guī)則，自動抓取互聯(lián)網(wǎng)信息的程序與技術(shù)。如果通過爬蟲抓取網(wǎng)絡(luò)公開信息，并不違法；但如果抓取的是未公開、未授權(quán)的個人敏感信息，就屬于違法行為。在爬蟲技術(shù)抓取的信息中，比較受歡迎的都是覆蓋度高、標(biāo)準(zhǔn)化較強(qiáng)的通用類數(shù)據(jù)，比如身份驗證、逾期黑名單信息等，一般是通過爬取淘寶、社交網(wǎng)絡(luò)、網(wǎng)上銀行等獲取數(shù)據(jù)，而上述信息通常是不公開的。

對于互聯(lián)網(wǎng)行業(yè)而言，判斷爬蟲行為合法性， robot協(xié)議不可或缺。robot協(xié)議是互聯(lián)網(wǎng)搜索引擎與網(wǎng)頁持有者之間達(dá)成的“行業(yè)規(guī)范”，該協(xié)議會告知網(wǎng)站的“訪問權(quán)限”，如果設(shè)置了robot協(xié)議，國內(nèi)服務(wù)器，大數(shù)據(jù)公司還要突破訪問權(quán)限，那么就具有明顯的主觀惡性。互聯(lián)網(wǎng)行業(yè)里谷歌、百度、搜狗、ebay等，均設(shè)有該協(xié)議。

聚信立成立于2013年7月，是國內(nèi)“最早”專注大數(shù)據(jù)智能解決方案的服務(wù)商，其官網(wǎng)數(shù)據(jù)顯示，合作機(jī)構(gòu)3300+，覆蓋人群14億+，用戶總量1.5億+，日均查詢220萬+，總查詢10億+，黑名單庫1200萬+。據(jù)悉，只需在聚信立輸入用戶的手機(jī)號碼和服務(wù)碼，就可自動爬取用戶的通話記錄數(shù)據(jù)，形成“個人用戶報告”，包括通話號碼、次數(shù)、時長等。而對于放貸機(jī)構(gòu)來說，借款人的通訊信息是日后向借款人及其家人朋友催收的“殺手锏”。

有業(yè)內(nèi)人士認(rèn)為，此次整頓風(fēng)暴既因違法使用爬蟲的行為，也有給現(xiàn)金貸“斷糧”的意味。目前，現(xiàn)金貸公司往往充斥著各種馬甲，發(fā)展較大的容易被監(jiān)管，但一些小而散的現(xiàn)金貸，因為總量過大，產(chǎn)生的社會危害同樣不小，監(jiān)管卻無從下手。小現(xiàn)金貸公司已演變?yōu)槿后w行為，通過這些大數(shù)據(jù)公司獲得系統(tǒng)，獲客、催收都依賴于爬蟲機(jī)構(gòu)，現(xiàn)金貸馬甲公司只提供資金。因此，打擊大數(shù)據(jù)公司，也就變相整頓了現(xiàn)金貸行業(yè)。

不過需要注意的是，大數(shù)據(jù)行業(yè)風(fēng)波也會影響助貸行業(yè)，助貸行業(yè)有很大一塊也是消費(fèi)金融和現(xiàn)金貸，與現(xiàn)金貸企業(yè)的客戶群，以及為其提供服務(wù)的大數(shù)據(jù)公司有重疊。歸根結(jié)底，只有建立統(tǒng)一的標(biāo)準(zhǔn)和嚴(yán)格的監(jiān)管體系，依法、合法使用爬蟲手段，尊重且保障公民的個人隱私，大數(shù)據(jù)行業(yè)才能撕下灰色產(chǎn)業(yè)的標(biāo)簽，成為驅(qū)動社會財富快速增長的新技術(shù)。