DIV:python爬取區塊鏈瀏覽器上的交易列表數據

前言

2022年6月3日端午節安康。

今天主要分享如何利用爬蟲爬取區塊鏈瀏覽器上的交易列表數據。

原因

dune上沒有bsc鏈上的轉賬明細數據表。FootprintAnalytics上現有的bsc_transactions表transfer_type粒度不夠。

環境

python3.7

數據存儲：mysql5.7

緩存：redis6.2.6

開發工具：pycharm

思路

所有協議、合約、swap地址轉賬信息全爬不太實際，對存儲要求比較高。所以針對需要分析的協議，專門去爬取對應智能合約轉賬是個不錯的選擇。

區塊鏈瀏覽器肯定是有反爬機制的。所以在代理選擇上，要選擇國外的代理。國內的代理都訪問不到，具體原因你懂的。本文中不涉及代理部分，因為國外的代理廠家之前沒有了解過。不過即使是上代理，對代碼層面改動也比較小

采用了urllib同步請求+范圍內隨機時長程序休眠。減少了被風控的概率。但是也降低了爬蟲的效率。

后面再研究用scrapy或異步請求

同步：請求發送后，需要接受到返回的消息后，才進行下一次發送。異步：不需要等接收到返回的消息。

實現

史玉柱：用12個月把《原始征途》做到理想狀態，再做個元宇宙游戲:金色財經報道，近日在2023征途嘉年華上，巨人網絡董事長史玉柱稱，《原始征途》目前公測的版本仍是個半成品，將用12個月時間把產品打磨好，再推出一個正式版。據他透露，未來在完成《原始征途》正式版的研發工作后，計劃做一個帶元宇宙元素的游戲。他還稱，不光是《征途》，目前巨人網絡幾乎所有的項目都在使用人工智能作為一個工具來研發游戲。小財注：《原始征途》于今年3月24日全平臺上線，首月流水突破3億元。[2023/6/18 21:45:48]

找到需要爬取合約的具體地址：

第一頁

http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8

第二頁

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=2

第三頁

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=3

....

可以知道p=？就代表頁數。

然后F12點擊“網絡”，刷新界面，查看網絡請求信息。

當前DeFi協議總鎖倉量跌至410億美元附近:金色財經報道，defillama鏈上數據顯示，當前DeFi項目總鎖倉量（TVL）為413.3億美元，24小時內跌幅為0.7%。鎖倉量資產排名前五：MakerDAO（65.7億美元），Lido（58億美元），Aave（36.6億美元），Curve（35.8億美元），UniswapV3（35.4億美元）。[2022/11/26 20:47:10]

主要查看，網頁上顯示的數據，是哪個文件響應的。以什么方式響應的，請求方法是什么

如何驗證呢，就是找一個txn_hash在響應的數據里面按ctrl+f去搜索，搜索到了說明肯定是這個文件返回的。

查看響應的數據，是html的格式。在python里面，處理html數據，個人常用的是xpath

在python里面安裝相關的依賴

pip?install?lxml?‐i?https://pypi.douban.com/simple

CFTC起訴Ooki利用DAO逃避監管，并處以25萬美元罰款:金色財經報道，美國商品期貨交易委員會（CFTC）在美國加利福尼亞州北區地方法院對Ooki DAO提起訴訟，并對Ooki DAO處以25萬美元罰款。目前CFTC與bZeroX,LLC及其創始人Kyle Kistner和Tom Bean達成和解。

在其投訴中，CFTC指控Ooki DAO利用其結構逃避監管，并將Ooki DAO認定為“由Ooki代幣持有人組成的非法人協會，并從未以任何身份在委員會注冊過。bZeroX將bZx協議（現為Ooki協議）的控制權轉移給Ooki DAO，試圖通過其去中心化的性質使bZx DAO具有強制執行能力。”

據悉，Ooki由DeFi借貸協議bZx更名而來，bZx協議在2020年遭遇黑客攻擊導致數十萬美元的加密損失。Ooki社區通過質押OOKI代幣和在Ooki DAO中投票來治理協議。（The Block）[2022/9/23 7:15:34]

同時在瀏覽器上安裝xpath插件，它能更好的幫助我們獲到網頁中元素的位置

XPathHelper-Chrome網上應用店(google.com)

然后就可以通過插件去定位了，返回的結果是list

**注：**瀏覽器看到的網頁都是瀏覽器幫我們渲染好的。存在在瀏覽器中能定位到數據，但是代碼中取不到值的情況，這時候可以通過鼠標右鍵-查看網頁源碼，然后搜索實現

數據：近24小時余額大于1萬BTC的地址流入約1.68萬枚比特幣:9月10日消息，數據顯示，當前余額大于10000的比特幣地址總持有295.8萬枚BTC，在最近24小時內，這些地址累計流入16753枚比特幣。這或表明比特幣“鯨魚”投資者的增持情緒有所上升。[2022/9/10 13:21:42]

#?請求和xpath定位具體實現代碼：

def?start_spider(page_number):

????url_base?=?'http://bscscan.com

/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&'

????#?請求頭

????headers?=?{

????????'User-Agent':?'Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/92.0.4515.159?Safari/537.36',

近3億枚XRP在主要加密交易所之間轉移，其中Ripple發送5000萬枚XRP:8月13日消息，Whale Alert數據顯示，在過去兩天里，近3億枚XRP在主要加密交易所之間轉移。Ripple直接參與了這些資金的轉移，該公司繼續發送大量的XRP，并將其兌換成數百萬美元。

Ripple發送了5000萬枚XRP，以當前價格計算，價值18777694美元。Bithomp分析平臺顯示，這5000萬枚代幣被Ripple移動到其RL18-VN錢包，然后2000萬枚XRP被發送到Bitstamp交易所。

需要注意的是，作為Ripple眾多ODL走廊之一的Bitstamp打算在8月晚些時候下線XRP/PAX交易對。（U.Today）[2022/8/13 12:23:09]

????????'referer':?'https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8'

????}

????#?需要傳入的參數

????data?=?{

????????'p':?page_number

????}

????#?將參數轉為Unicode編碼格式

????unicode_data?=?urllib.parse.urlencode(data)

????#?拼接網址

????#?http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8

????url?=?url_base?+?unicode_data

????#?自定義request對象

????request?=?urllib.request.Request(url=url,?headers=headers)

????#?模擬瀏覽器發送請求

????response?=?urllib.request.urlopen(request)

????#?將返回的數據利用lxml轉為

????tree?=?etree.HTML(response.read().decode('utf‐8'))

????#?//div//tbody//td//span/a/text()

????txn_hash_list?=?tree.xpath("//div//tbody//td//span/a/text()")

????#?//div//tbody//td//span/text()

????method_list?=?tree.xpath(

????????"//div//tbody//td//span/text()")

????#?//div//tbody//td//text()

????block_list?=?tree.xpath("//div//tbody//td//text()")

????#?//div//tbody//td/span/@title

????age_list?=?tree.xpath("//div//tbody//td/span/@title")

????#?//div//tbody//td/span/@title

????from_list?=?tree.xpath(

????????"//div//tbody//td/span/@title")

????#?//div//tbody//td/span/text()

????transfer_type_list?=?tree.xpath("//div//tbody//td/span/text()")

????#?//div//tbody//td/span/span//text()

????to_list?=?tree.xpath("//div//tbody//td/span/span//text()")

????#?//div//tbody//td/span/text()

????transfer_free_list?=?tree.xpath(

????????"//div//tbody//td/span/text()")

然后就是利用redis，對txn_hash去重，去重的原因是防止一條數據被爬到了多次

def?add_txn_hash_to_redis(txn_hash):

????red?=?redis.Redis(host='根據你自己的配置',?port=6379,?db=0)

????res?=?red.sadd('txn_hash:txn_set',?get_md5(txn_hash))

????#?如果返回0，這說明插入不成功，表示有重復

????if?res?==?0:

????????return?False

????else:

????????return?True

#?將mmsi進行哈希，用哈希去重更快

def?get_md5(txn_hash):

????md5?=?hashlib.md5()

????md5.update(txn_hash.encode('utf-8'))

????return?md5.hexdigest()

最后一個需要考慮的問題：交易是在增量了，也就是說，當前第二頁的數據，很可能過會就到第三頁去了。對此我的策略是不管頁數的變動。一直往下爬。全量爬完了，再從第一頁爬新增加的交易。直到遇到第一次全量爬取的txn_hash

最后就是存入到數據庫了。這個沒啥好說的。

以上就可以拿到轉賬列表中的txn_hash，后面還要寫一個爬蟲深入列表里面，通過txn_hash去爬取詳情頁面的信息。這個就下個文章再說，代碼還沒寫完。

今天就寫到這里。拜拜ヾ(?ω?`)o

來源：Bress

作者：撒酒狂歌

來源：金色財經

Tags：DIVPANODYSPADivergence ProtocolPANGO幣ODY價格SPAZ

Pol幣