文字版精華總結！你寫的爬蟲到底違不違法？
閱讀本文大概需要 8 分鐘。
雖然虞律師在直播中已經(jīng)舉了一些例子，也分析了一些案例，但從直播時的評論、問題以及后續(xù)的反饋上來看，似乎還是有些朋友沒能理解到虞律師直播中所說的「用來判斷自己做的事情是否會出問題的關鍵點」，也就是核心的三要素：動機（采集數(shù)據(jù)的目的）、行為（用的什么方式采集）、結果（對目標群體或平臺造成了什么后果）。既然如此，那我們就來結合一些常見的情況以及有朋友問到的那些看起來虞律師講的案例中沒有的情況再來看看，把這核心的三個要素給搞清楚，避免出現(xiàn)學完法律知識還是一臉懵的現(xiàn)象。
在開始之前還是要強調(diào)一下，這三個要素非常重要！根據(jù)虞律師直播中的講解，我國的法律條文有些是以結果為導向、有些是以動機為導向，且實際判罰中也需要結合多個要素一起來看的，不同情況的事情不能一概而論。
也就是說，即使是同樣的、實際并不算惡劣的行為，也會因為結果或動機的不同，結合之后構成違法或犯罪，一定要注意！
另外，執(zhí)法也是有成本的，會受限于取證難度、造成損失大小等因素。但不被追究也并不代表做的事情就沒有問題了，這一點也需要注意！
下面我們來看一些具體的情況（故事為半虛擬，只表述判斷方法，不代表真實情況一定如此）：
動機單純、行為簡單、結果影響?。荷倭坎杉诵≌f網(wǎng)站上的書籍自己看
某天張三想要看小說，但又不想一個平臺一個平臺地換著看多本分散在多個平臺上上架的書，于是他弄了個通用的閱讀器，并用爬蟲把這些要看的書都采集了下來放到自己的閱讀器里看，采集頻率只是一天一次追個更新而已，沒有造成啥影響，平臺方甚至都沒有發(fā)現(xiàn)有這回事。
那么這種情況，只要他沒有把采集下來的東西進行傳播，就不會有問題。
原因很簡單，他本來就只是為了看這幾本小說而去采集，既沒有采集無關的書籍內(nèi)容，又沒有達到毫無節(jié)制、超出他看小說所需的必要限度的程度，沒有對平臺或者作者造成什么損失。
而且他采集下來之后也確實就只是自己看而已，沒有進行傳播，整個事情的動機和結果都沒啥問題，那當然不會被認為是違法/犯罪，也不會有人去追究責任。
動機不是特別單純、行為簡單、給別人造成了一定損失：在非必要限度下大量采集了短期免費開放的資源以至于平臺癱瘓
去年（2020年）年初的時候，由于疫情很嚴重，大家都在家里無法出門，于是有些出版社、學校出于好心，將自家平臺上原本收費或僅供內(nèi)部查閱的書籍和視頻開放了出來，目的是讓大家能消磨時間、學習一些有用的知識。
但張三在看到了這個情況后卻想著：這事過了之后這些東西我不就看不了了？我得采集下來，這樣以后就也能看了。而平臺之前都是付費、登錄后才能查看內(nèi)容的，所以并沒有對這種行為做出任何的防護措施，張三只使用了個下載工具中（比如IDM）的網(wǎng)站下載器就把所有內(nèi)容都采集了下來。
但由于張三未對下載器作出任何限制，采集時的并發(fā)量極大，直接導致平臺癱瘓了一段時間，對其他正常學習的用戶造成了一定影響。
那么這種情況，即使他只是為了自己看，也確實是自己看，并且這些東西在這段時間都是公開的，他也確實能直接看到也沒用。因為他在采集時對平臺造成了過大壓力，使網(wǎng)站陷入癱瘓狀態(tài)，結果影響較大，那這肯定是有問題的。
這種情況只要平臺方要追究，那么法院在這個結果并不好的情況下結合上前面的采集所有內(nèi)容這個操作，就可以將其判定為是毫無節(jié)制地采集、沒有在必要限度內(nèi)使用，要求賠償損失、賠禮道歉之類的可以說是肯定會發(fā)生的事情。
動機不純、行為惡劣、給別人造成了非常大的損失：大量、高頻采集正版小說平臺，并搭建盜版小說平臺
張三覺得：小說網(wǎng)站就不應該收費，不管是啥小說都應該免費。于是，他準備弄一個免費的小說平臺。
但小說來源哪來呢？作者又不會給他免費寫文，那顯然得從其他平臺那弄。于是他寫了一個爬蟲程序，每天24小時地對其他小說平臺進行輪詢，一旦有小說更新就付費買下來，然后搬到自己的平臺上供人免費閱讀。
那么這種情況，首先他的動機就已經(jīng)有問題了，作者的小說又沒有給他授權搬運，平臺也沒有說可以做這種事情，并且原本需要付費的東西他搬過來免費供人閱讀，這肯定會給別人造成經(jīng)濟損失。
而且，他的行為也很惡劣，他是每天一直在輪詢別人平臺的，遠遠超出了正常人使用的限度，肯定會對平臺造成一些不必要的壓力，也會浪費一些平臺方花在帶寬上面的費用，會造成一定的經(jīng)濟損失。
最后，他造成的結果也存在對別的平臺造成替代的情況，用戶在不需要付費的情況下就能直接在他的平臺上看，原本的平臺沒人去了，作者也賺不到錢了，這也實際造成了經(jīng)濟損失。
那么只要平臺方或者作者要追究，他這必然是會出現(xiàn)數(shù)罪并罰的情況的，在賠償損失的同時進去坐個幾年毫無問題。
動機單純、行為惡劣、對別人的服務造成了一定影響：大量、高頻采集工商數(shù)據(jù)，并搭建數(shù)據(jù)分析平臺方便大眾
張三某天在分析工商數(shù)據(jù)時發(fā)現(xiàn)，雖然相關部門已經(jīng)將數(shù)據(jù)都公開出來了，但由于數(shù)據(jù)較為零散，且查詢工具做得沒那么完善，做起分析來還是不太方便，便想著自己把這些數(shù)據(jù)聚合起來搭建一個數(shù)據(jù)分析平臺方便大眾。
于是，張三拉了一伙人開始寫爬蟲，為了能做到數(shù)據(jù)很實時，他們每天都要全量采集好幾次目標的幾個平臺，且由于數(shù)據(jù)量較大，他們的爬蟲并發(fā)量也很大，對平臺的服務造成了一定影響，偶爾會出現(xiàn)加載緩慢的現(xiàn)象。
這種情況的話，其實如果爬的是幾個商業(yè)平臺，他們肯定是會被直接抓起來的，畢竟對別人的服務造成影響了。但由于政府部門在這方面相對較為寬容，而且本身工商數(shù)據(jù)也都是公開信息，他們做的事情也確實能方便大眾，所以也就放任他們這么做了。
動機不純、行為惡劣、在社會上造成了一定的負面影響：給詐騙信息刷量，讓信息看起來很可信，導致有人被騙
張三某天在群里接外包，碰到李四問他能不能給微博刷熱度，而張三恰好對微博很熟悉，于是就接下了這個活。
過了沒多久，張三寫出來的刷量程序被李四用來給詐騙信息刷了量，最終影響范圍很廣，導致很多人被騙購買了李四所說的物品，李四賺得盆滿缽滿。
好景不長，由于受害者報了警并通知了記者，這件事火了，于是由于是有意給詐騙信息刷量以提高可信度，并且有人被騙了，還在社會上造成了一定的負面影響，所以張三和李四都被抓了。
這就是一個將技術用在了歪門邪道上，幫助了詐騙分子進行犯罪的典型情況。這種情況由于張三和這個事件是有直接關系的，所以至少會是這個詐騙案件的從犯，很慘。
動機不純、行為簡單、在社會上造成了一定的負面影響：在排名活動中給某個特定的人刷贊，使其排名很高，以至于最終得獎
某天，一平臺在做排名活動，點贊最高者能有特別的獎品，于是張三就開始動起了歪腦筋，決定參與這個活動，然后給自己刷贊，這樣就能直接拿到獎品了。
于是在這場活動中，張三把自己的排名給刷到了第一，而且平臺方還沒第一時間發(fā)現(xiàn)是刷出來的贊，把獎品給發(fā)出去了。
事后，平臺方接到投訴，排名第二的參與者拿出證據(jù)公開指出李四的贊是刷出來的，要求收回這些獎品轉而發(fā)給他，引起了社會輿論的關注。但由于獎品已經(jīng)發(fā)出了，難以追回，且獎品價值還沒有高到一定程度，所以只好作罷，平臺只能是重發(fā)一份第一名的獎品。
這就是典型的由于執(zhí)法成本過高，導致最終惡意使用技術的人沒有出事的情況。但這并不代表這么做就是對的，不被追究不代表沒有問題，也不代表不違法，勿以惡小而為之！
動機單純、行為簡單、沒有給別人造成明顯損失且還產(chǎn)生了一定的收益：大量采集各種網(wǎng)站的數(shù)據(jù)，并搭建搜索引擎方便大眾
在平行世界中，互聯(lián)網(wǎng)上還沒有出現(xiàn)搜索引擎這個東西，而張三某天突然靈機一動，想到了可以將各種網(wǎng)站收集起來進行索引，然后建立一個名為搜索引擎的東西來方便大眾在互聯(lián)網(wǎng)上檢索自己需要的東西。
于是張三寫了一個爬蟲程序，把全互聯(lián)網(wǎng)所有能看到的東西都給爬了下來，并搭建出了一個搜索引擎。
而一些小網(wǎng)站的站長那邊，從這一天開始突然發(fā)現(xiàn)自己的服務器壓力突然劇增，但訪問人數(shù)也突然有所增長。通過查看日志發(fā)現(xiàn)，是有一個叫某條的搜索引擎爬蟲造成了過大的壓力，但由于搜索引擎的引流效果還是挺好的，所以站長們最終還是沒有說什么，只是默默地對爬蟲做了一點頻率限制，以及升級了一下服務器的配置。
這就是典型的給被采集方帶來的利益大于損失，且產(chǎn)品本身對社會有一定價值的情況。在這種情況下，不但不會有人表示反感，同時也不會有人認為這種行為有什么問題，可以說是皆大歡喜。
動機單純、行為簡單、在社會上造成了一定的負面影響：采集黃色平臺并搭建自己的平臺供朋友查看，但最終實際構成了一個公開的黃色平臺
張三在與朋友聊天時，發(fā)現(xiàn)大家都有一個共同的需求，那就是看一些黃黃的東西。于是為了方便分享，張三在采集了一個黃色平臺后，自己也搭建了一個平臺，和朋友們一起使用。
但好景不長，由于張三沒有給這個平臺做任何限制，某天一朋友無意中將平臺的地址給傳播出去了，影響極大，以至于被警方發(fā)現(xiàn)。最終，張三由于傳播淫穢物品被抓。
這就是個典型的在需要做好限制時沒有做限制的情況，私下自己研究、觀看，或者是限定朋友圈小范圍傳播沒人管你，哪怕你再怎么搞花樣都行。但如果你沒做限制變成公開傳播，不管你是有意還是無意的，那就是違法了。
動機單純、行為簡單、但間接性地給別人造成了非常大的損失：提供接碼服務，但被人利用來詐騙
張三發(fā)現(xiàn)，有很多人出于隱私的考慮，會更傾向于用一些臨時的身份標識（比如郵箱、手機號）去注冊賬號，于是他收集了一批手機卡，在這基礎之上構建了一個接驗證碼的工具，用來給大眾提供隱私注冊的服務。
而李四發(fā)現(xiàn)了張三的這個產(chǎn)品后，想到的不是用來提供隱私注冊，而是用來注冊一些小號，這樣他就可以用這些小號去詐騙了。
于是李四大量購買了張三產(chǎn)品的使用額度，利用張三這個產(chǎn)品提供的服務注冊了非常多的某信賬號，用來實施詐騙，兩人都賺得盆滿缽滿。
但好景不長，隨著公安機關的深入調(diào)查，李四這個利用大量小號實施詐騙的犯罪分子最終被逮捕了，而為他提供服務的張三，也因為未在提供此類具有風險的服務時對自己的用戶進行用途上的判斷，被認為是實際知情的從犯，于是被連帶著判了刑。
這就是典型的雖然想做的事情是好的，但由于事情本身有一定風險，且做的時候沒有去控制這個風險，導致被人濫用于其他非正當用途，最終形成連帶關系，被認為是從犯的情況。
動機單純、行為簡單、沒有給別人造成多少損失：在平臺提供優(yōu)惠活動時，少量薅羊毛自己使用或轉手賺了點小錢
張三某天在某多多平臺上購物時發(fā)現(xiàn)，某多多的搶購活動可以通過程序頻繁請求的方式提高搶購成功率，于是便寫了一個程序用來幫助自己搶購，每次都能搶到那么一兩件，不管是自己用還是轉手賣掉都挺好。
而某多多平臺發(fā)現(xiàn)，有部分張三用戶的行為不太正常，不像是正常人能做到的操作。但由于這部分用戶相互之間并無能產(chǎn)生關聯(lián)的信息，應該只是一個個的個體用戶。而且，由于這部分用戶搶購涉及的金額實際并不高，通過法律手段來處理的成本太高，也太過麻煩，于是就只是在后臺對他們做了點限制，讓他們即使使用程序也難以搶到低價商品，以減少損失。
這就是典型的個體用戶少量薅羊毛被發(fā)現(xiàn)后的情況，一方面是量不大，一方面是薅出來的利益也不多，平臺方難以一一使用法律手段進行處理，所以最后大家相安無事。
動機不純、行為惡劣、給別人造成了較大的損失：在平臺提供優(yōu)惠活動時，大量薅羊毛并單純以此來獲利
與前面的張三不同，李四在發(fā)現(xiàn)這個事情后，想到的是注冊大量賬號，然后使用程序批量地將某多多上的優(yōu)惠商品全都搶下來，而且他也確實這么做了，也通過轉手銷售賺了不少錢。
但某多多在分析后發(fā)現(xiàn)不對勁了，有部分賬號看起來都是一個人控制的，而且每次活動都能搶占掉大量正常用戶的福利資源，明顯是在惡意薅羊毛謀利，得干掉他！
于是，某多多在收集好證據(jù)后提交給了警方，警察蜀黍經(jīng)過一段時間的調(diào)查，鎖定了李四的位置，將其抓獲。
這個情況與前面的那個不同之處就在于：李四搶購的量遠超正常人能使用的限度，顯然不是買去自己使用的。并且，李四也確實是在惡意薅羊毛謀利，行為本身又直接導致平臺方投入的大量成本無法落到正常用戶的手上，這不搞他搞誰呢？
動機不純、行為相對不算太惡劣、給別人造成了一定的損失：在平臺出現(xiàn)漏洞時，大量利用漏洞薅羊毛自己使用
某天王五發(fā)現(xiàn)，某多多平臺出現(xiàn)了一個漏洞，可以以1元不到的價格充值100元的話費或某幣，于是他心生一念，可以利用這個漏洞給自己充個幾萬元，這樣以后都不用充值了。
而發(fā)現(xiàn)這個漏洞的實際不止王五一個，還有很多人也發(fā)現(xiàn)了這個漏洞，并且弄得比王五狠得多，最終對某多多平臺造成了幾千萬元的損失。
但某多多發(fā)現(xiàn)了這個情況，并嘗試開始追回，但為時已晚，只追回了充值話費的那部分，某幣已經(jīng)追回不了了。而且，由于利用這個漏洞薅某多多羊毛的人很多，難以一個一個地使用法律手段進行處理，所以對于那些實際造成的損失相對不大的人，某多多只能是封號泄憤，沒有進行更多的操作，轉而專心對付那些薅了非常多的人。
這個情況也是典型的由于執(zhí)法成本過高，導致無法追究，但同樣不代表這么做就是沒問題、不違法的，更何況這實際也不算小惡了。
動機單純、行為惡劣、在社會上造成了極大的負面影響的同時也給別人造成了非常大的損失：采集個人信息用于風控，并給合作方提供個人信息進行識別，且出現(xiàn)隱私泄露事件
張三某天發(fā)現(xiàn)，借錢的公司那么多，大大小小的都有，但他們的風控做得都不咋地，這方面似乎有利可圖？
于是張三就做了一整套風控體系，從用戶注冊時的各種信息提交到注冊后的提供各平臺賬號授權應有盡有，將用戶的風險控制得死死的，他的客戶們也都非常滿意。
但好景不長，由于他的某個客戶在追款時動用的手段太過惡劣，導致這個行業(yè)的情況被媒體爆了出來，在社會上造成了極大的負面影響，也引起了警方的關注。
經(jīng)過警察蜀黍調(diào)查發(fā)現(xiàn)，張三提供的風控體系中存在違規(guī)采集個人信息的情況，且這些信息并沒有被良好的管理，導致被部分客戶用來販賣或做了其他更惡劣的事情，影響極大。
于是張三的后果，大家也應該都知道了。
這就是典型的碰了不該碰的東西（個人信息），而且在操作一些高風險的東西時沒有嚴格管理（出現(xiàn)販賣個人信息的情況），導致最終出事的情況。
總結
講了這么多故事，想必大家應該都能搞明白了吧？判斷一件事情是否違法，并不是只看行為的，而是要結合動機（目標）和結果，多個要素一起來看。行為再簡單的事情，只要動機和結果有問題，那就一樣會有問題！
如果你做的事本身是好事、是正當?shù)氖?，而且也沒有對別人造成什么損失，那你只要沒有用一些很惡劣的手段去做、沒有影響其他的人，行為也沒有超出做這事的限度，那就肯定沒問題！
而如果你做的事情本身就有問題、不是什么好事，比如說會使別人的利益受到損失，又或者是不符合公序良俗，那就肯定會有問題！說白了就是看最終造成的結果影響有多大，值不值得別人花費時間或金錢成本去弄你罷了。即使暫時沒弄你也并代表沒有問題，只是時候未到而已。
當然，自己依靠三要素來判斷也并不是絕對就對，凡事都會有特殊情況。比如萬一在你的認知中，你做的這事情就是好事，但實際卻是壞事呢？所以如果你無法判斷你做的事情是否會有問題，或者是你覺得沒問題的事情，身邊的人在對三要素進行判斷后都覺得有問題，那你就最好還是找專業(yè)的律師咨詢一下，以防萬一！
順便提醒一下，律師這個職業(yè)也并不是所有法律都懂的，不同法律適應的情況要找不同專精的律師，非專精于對應法律的律師在解決問題時一樣得查資料、研究法條含義。所以自己了解一下大概范圍再去找對應的專精律師吧，這樣效率會高很多，也不容易出錯。
另外，虞律師在直播中并不僅僅講了如何判斷一件事情是否是違法的，還講了像生產(chǎn)環(huán)境中的常見法律問題、《數(shù)據(jù)安全法》的解讀、《勞動法》的解讀和常見勞動糾紛問題以及很多法條細節(jié)，建議大家有空還是看看直播的回放深入了解一下，多了解點法律知識不會錯的！（回放地址見文末）
最后再次感謝支持與協(xié)辦這次公益活動的朋友們，這些熱心的朋友值得我們表示尊敬與感謝，排名不分先后：
?企業(yè) - 圖靈教育?企業(yè) - 博文視點?技術社區(qū) - 華為云社區(qū)?技術社區(qū) - 思否社區(qū)?技術社區(qū) - iTesting?技術社區(qū) - VIPTEST?公眾號 - NightTeam?公眾號 - 進擊的Coder?公眾號 - 菜鳥學Python編程?公眾號 - Python編程參考?公眾號 - Crawlab漫游指南?公眾號 - Python進擊者?公眾號 - 咸魚學Python?公眾號 - 未聞Code?公眾號 - Python爬蟲與JS逆向?公眾號 - 妄為寫代碼?公眾號 - 你丫才禿頭?公眾號 - 統(tǒng)計與數(shù)據(jù)分析實戰(zhàn)?公眾號 - Python學習開發(fā)?公眾號 - xchaoinfo?公眾號 - Python亂燉?公眾號 - guguji?公眾號 - Python編程與實戰(zhàn)?公眾號 - 雪山凌狐教程?公眾號 - 搞點逆向778?公眾號 - 知識多一點?公眾號 - 爬蟲逆向與數(shù)據(jù)分析?公眾號 - Fluentd學習交流?公眾號 - 逆向lin狗?公眾號 - 小白技術社?公眾號 - 爬小蟲聯(lián)盟?知識星球 - 安卓應用安全學習?知識星球 - AST入門與實戰(zhàn)?個人站點 - 靜覓丨崔慶才的個人站點?個人站點 - 大魚的魚塘?個人站點 - 韋世東的技術專欄?團體站點 - 夜幕爬蟲安全論壇
完整名單請參考：https://www.kdocs.cn/l/ce0hVPUoPr52
閱讀原文查看原直播回放。
注：文中圖片來源于網(wǎng)絡，如有不妥請聯(lián)系我們進行調(diào)整。