爬蟲技術應用合法性引爭議 亟待規制非法爬取數據行為
爬蟲技術應用合法性引爭議
保障數據安全亟待規制非法爬取數據行為
核心閱讀
在大數據時代的背景下，愈來愈多的市場主體投入巨資收集、整理和挖掘信息。如果任由網絡爬蟲任意使用他人通過巨大投入獲取的數據資源，將不利于鼓勵商業投入、產業創新和誠實經營，甚至可能直接違背了數據來源用戶的意願和知情權，最終勢必損害健康的競爭機制。
□ 本報記者 張 維
□ 法制網見習記者 邢國涵
隨著社會經濟的快速發展，數據的價值日益凸顯，已然成為企業科技創新的必備要素。但企業通過技術手段獲取數據時，數據抓取技術的應用行為是否合理合法，是一個值得深思的問題。
近年來，網絡爬蟲“爬取數據”成為熱詞，相關司法案例不斷出現。據不完全統計，近些年涉及網絡爬蟲的司法案件達十余起，其中既包括民事案件，還包括刑事案件。這類案例甚至還有愈演愈烈之勢。
在近日于上海舉行的長三角數據合規論壇(第三期)暨數據爬蟲的法律規制研討會上，上海市人民檢察院研究室副主任陳超然透露，檢察機關正在積極推動企業合規改革試點工作，數據合規正是其中重點。“目前爬蟲爬取數據案件非常普遍，當網絡平臺或者個人通過技術手段抓取別的平臺數據時，這種行為是否合法，平臺數據主體是誰，歸誰使用，值得深入研討。”
杭州長三角大數據研究院副院長郭兵認為，數據爬蟲作為中立性的技術，已在互聯網產業領域得到廣泛應用。需要注意的是，如果爬蟲技術不當應用，會對其他競爭者的合法權益造成損害，甚至涉嫌違法或者犯罪，也將對產業的健康發展產生非常大的負面影響。
爬取數據涉嫌侵權
從技術角度看，爬蟲是通過程序去模擬人類上網或者瀏覽網頁、App行為，讓其高效地在網上抓取爬蟲制造者所需要的信息。
歐萊雅中國數字化負責人劉煜晨說，大多數網站拒絕爬蟲訪問，其中的原因既包括商業利益考量，也包括自身網站運營安全的考量。除了爬蟲可能爬到網站不願被爬取的數據以外，網站經營者往往還會擔心爬蟲幹擾網站正常運營。
而非正規爬蟲自動持續且高頻地對被爬取方進行訪問，服務器負載飆升，也會給服務器帶來“難以承受”之重：應對經驗不足的網站，尤其是中小網站可能會面臨網站打不開、網頁加載極其緩慢、有時甚至直接癱瘓的情況。
新浪集團訴訟總監張�暑﹛A無論是爬蟲還是實現其他目的的技術，就其本身而言，都是中立的，但爬蟲技術的應用不是中立的，技術應用都帶有應用者的目的。這時候不應該評價技術原理，而是需要評價技術用來幹什麼，這一行為手段是否具有正當性。
提及網絡爬蟲，robots協議是繞不開的話題。robots協議(也稱爬蟲協議)的全稱是“網絡爬蟲排除標準”，網站通過robots協議明確警示搜索引擎哪些頁面可以爬取，哪些頁面不能爬取。該協議也被行業稱為搜索領域的“君子協定”。
劉煜晨說，當網絡爬蟲訪問一個網站，robots協議像立在自己房間門口的一個牌子，告訴外來者誰可以過來，誰不可以過來。但是，這只是一個君子協議，只能起到告示作用，起不到技術防范作用。
實踐中，惡意爬蟲爬取時不遵守網站的robots協議，並可能爬取到不該爬的數據，這種情形並非孤例。小紅書法務負責人曾翔說，惡意爬蟲案例經常發生在內容平臺和電商平臺。在內容上被爬取的更多是視頻、圖片、文字、網紅互動數據、用戶行為等，在電商領域則多為商家信息和商品信息。
“內容平臺一般約定了相關內容知識產權歸發布者或者發布者和平臺共同所有，這些爬蟲沒有簽訂協議就獲得用戶授權，涉嫌對知識產權人權利的侵犯。”曾翔說。
或應明確網站權利
這就涉及到數據的權屬及是否能開放的問題。
上海市浦東區人民法院知識產權庭法官徐弘韜認為，數據是內容產業的核心競爭資源，內容平臺經過匯總分析處理後的數據往往具有極高的經濟價值。
“如果要求內容平臺經營者將其核心競爭資源向競爭對手無限開放，不僅有違‘互聯互通’精神的實質，也不利于優質內容的不斷更迭和互聯網產業的持續發展。”徐弘韜說。
惡意爬蟲爬取數據案件頻發的背後，是數據的價值增加，以數據為核心的市場競爭愈發激烈。
華東政法大學教授高富平說，進入大數據時代，數據價值再次凸顯，現在的爬蟲技術已經從原來的網頁爬蟲進入到底層數據的爬取。數據爬蟲問題會變得越來越嚴重。
在大數據時代的背景下，愈來愈多的市場主體投入巨資收集、整理和挖掘信息，業內人士對此表示擔憂：如果任由網絡爬蟲任意使用或利用他人通過巨大投入所獲取的數據資源，將不利于鼓勵商業投入、產業創新和誠實經營，甚至可能直接違背了數據來源用戶的意願和知情權，最終勢必損害健康的競爭機制。
高富平認為，如果網站合法積累數據資源，那麼這些數據資源就應該屬于網站的資產。“允許數據生產者、控制者基于商業目的開放數據是有好處的，通過許可使用、交換交易等方式，可以讓更多人享用數據服務。期待在未來確認數據所有合法生產者對數據的控制權、使用權。”
有序流轉同等重要
目前，網站雖然可以去指定相應策略或技術手段，防止爬蟲抓取數據，但爬蟲也有更多技術手段來反制這種反爬策略。
劉煜晨說，反爬和爬取的技術一直在迭代，在技術領域，沒有爬不了的網站和App，只有願不願意爬和多難爬的問題。
據了解，現實中惡意網絡爬蟲制造者抗辯時，往往將robots協議限制爬取與數據流轉聯係起來。徐弘韜認為，在“互聯互通”的語境下，“有序”和“流轉”同等重要、缺一不可，需排除假借“互聯互通”妨礙公平競爭、危害用戶數據安全的行為。
“對于非搜索引擎爬蟲的正當性判別，要考慮是否足以保障用戶數據的安全性。包括身份數據、行為數據等在內的用戶數據，從屬性來講不僅僅是經營者的競爭資源，同樣具有用戶的個人隱私屬性，而此類數據的集合更涉及社會公共利益。”徐弘韜說。
據了解，近年來有關數據安全的法律規范正在不斷完善中。數據安全法作為數據安全的基本法，承載著解決我國數據安全核心制度框架的重要任務。此外，還有2019年通過的密碼法，工信部擬出臺《工業和信息領域數據安全管理辦法(試行)》等，一些地方如深圳、上海等也在探索制定數據管理相關規范。
