RAM:完全基于Transformer的目標檢測器，ICLR匿名論文視覺、檢測統一

機器之心報道

編輯：陳萍

一種新的集成視覺和檢測Transformer的目標檢測器ViDT。

Transformer在NLP任務中取得不錯的發展，許多研究將其引入到計算機視覺任務中。毫不夸張的說，Transformer正在改變計算機視覺的格局，尤其是在識別任務方面。例如Detectiontransformer是第一個用于目標檢測的、端到端的學習系統，而visiontransformer是第一個完全基于transformer的圖像分類架構。在本文中，一篇被ICLR2022接收的匿名論文集成了視覺和檢測Transformer(VisionandDetectionTransformer，ViDT)來構建有效且高效的目標檢測器。

ViDT引入了一個重新配置的注意力模塊，將SwinTransformer擴展為一個獨立的目標檢測器，之后是一個計算高效的Transformer解碼器，該解碼器利用多尺度特征和輔助技術，在不增加計算負載的情況下提高檢測性能。

Binance：已對一站點未完全關閉CYBER提現功能采取措施:9月1日消息，Binance針對“某用戶在Binance禁止以太坊主網上CYBER提幣期間仍能夠從該網絡中提出CYBER”傳聞在社交媒體上回應表示，由于ETH網絡余額不足，Binance已于08月31日03:14:52（東八區時間）暫停CYBER代幣的提現業務。目前，Binance正在積極與項目方團隊溝通合作，將代幣跨鏈以提高流動性。

由于系統配置原因，某一地區的本地站點并沒有完全關閉提現功能，導致該地區站點的一位用戶在Binance關閉提現之后，仍然從主站提取了27,000枚CYBER代幣。Binance已經以最快速度定位到該問題，并已采取對應措施，后續將會持續優化各個地區站點的系統配置流程，以避免今后再發生此類情況。[2023/9/2 13:12:48]

在MicrosoftCOCO基準數據集上的評估表明，ViDT在現有的完全基于transformer的目標檢測器中獲得了最佳的AP和延遲權衡，其對大型模型的高可擴展性，可達49.2AP。

前FTX高管斥資數百萬美元資助與加密貨幣或Web3完全無關的項目:金色財經報道，前FTX高管斥資數百萬美元資助與加密貨幣或Web3完全無關的項目，其中包括一個獨特命名的價值180萬美元的菠蘿屋。

根據6月26日發布的一份報告，這包括該交易所的聯合創始人Sam Bankman-Fried和其他前高管在非營利的FTX基金會下進行的\"慈善\"捐款。報告稱，其中有價值70萬美元的FTX基金會贈款，其中40萬美元給了一個在YouTube上發布與'理性主義和有效利他主義材料有關的動畫視頻的實體。另一筆30萬美元的資助給了一個人，讓他\"寫一本關于如何弄清人類效用函數的書\"。[2023/6/27 22:02:59]

論文地址：https://openreview.net/pdf?id=w4cXZDDib1H

ViDT：視覺與檢測Transformer

Cardano區塊生產已完全由社區控制:金色財經報道，世界標準時間21:44:51（北京時間4月1日5:44:51），Cardano背后開發公司Input Output Global的核心節點已永久關閉，從而使該網絡實現完全去中心化。Cardano的區塊生產現在完全由社區控制。IOHK產品總監Aparna Jue稱其為Cardano發展的一個重要里程碑，因為這是將控制權移交給社區的過程中的第一個組成部分，這一過程將在今年余下時間繼續進行。他補充說，Cardano計劃在2021年增加實施對等網絡去中心化以及高級治理功能。[2021/4/1 19:35:26]

ViDT架構如下圖2(c)所示：

首先，ViDT引入了一種改進的注意力機制，名為ReconfiguredAttentionModule(RAM)，該模塊有助于ViT變體處理附加的和token以進行目標檢測。因此，ViDT可以將最新的帶有RAM的SwinTransformer主干修改為目標檢測器，并利用其具有線性復雜度的局部注意力機制獲得高可擴展性；

現場 | 徐明星：區塊鏈完全可以通過超級私鑰來管理:金色財經現場報道，12月1日，海南國際離岸創新創業示范區建設暨區塊鏈?數字資產交易技術創新高端論壇在三亞舉行。會上，歐科集團創始人徐明星就“區塊鏈技術的現在與未來”發表了演講。徐明星提到，去中心化其實是去中間環節，區塊鏈是一種技術，分布式賬本可以作為一個底層的共享數據庫，他是加密的，不屬于任何人，但完全可以通過超級私鑰來管理。

據了解，海南國際離岸創新創業（三亞）試驗區在會上正式揭牌，歐科集團擬在三亞崖州灣科技城成立區塊鏈離岸數字資產交易實驗室，后續將配套建設區塊鏈大數據研究院、區塊鏈創新應用研發中心等，同時設立歐科集團亞太總部。[2019/12/1]

其次，ViDT采用輕量級的無編碼器neck架構來減少計算開銷，同時仍然在neck模塊上啟用額外的優化技術。請注意，neck編碼器是不必要的，因為RAM直接提取用于目標檢測的細粒度表示，即token。結果，ViDT獲得了比neck-free對應物更好的性能；

朝韓宣言力求完全實現半島無核化，避險情緒回落致數字貨幣集體走強:朝鮮最高領導人金正恩與韓國總統文在寅會談結束后，雙方簽署了《板門店宣言》，韓朝將爭取在今年內宣布結束戰爭狀態，實現停和機制轉換。這一消息公布后，市場避險情緒回落，美元兌韓元短線下跌，主流數字貨幣集體加速走強，比特幣上破9300美元，24小時漲近7%，EOS、XLM、ADA等數字貨幣24小時漲幅均超10%。[2018/4/27]

最后，該研究引入了用于知識蒸餾的token匹配新概念，它可以在不影響檢測效率的情況下從大型模型到小型模型帶來額外的性能提升。

RAM模塊

該研究引入了RAM模塊，它將與和token相關的單個全局注意力分解為三個不同的注意力，即×、×和×注意力。如圖3所示，通過共享和token的投影層，全部復用SwinTransformer的所有參數，并執行三種不同的注意力操作：

ENCODER-FREEneck結構

為了利用多尺度特征圖，ViDT結合了多層可變形transformer解碼器。在DETR家族中，其neck部分需要一個transformer編碼器，用于將從骨干中提取的用于圖像分類的特征轉換為適合目標檢測的特征；編碼器通常在計算上很昂貴，因為它涉及×注意力。然而，ViDT只保留了一個Transformer解碼器作為其neck，因為帶有RAM的SwinTransformer直接提取適合目標檢測的細粒度特征作為獨立的目標檢測器。因此，ViDT的neck結構在計算上是高效的。

解碼器從帶有RAM的SwinTransformer接收兩個輸入：從每個階段生成的token從最后階段生成的token，如圖2(c)的Neck所示。在每個可變形的transformer層中，首先執行×注意力。對于每個token，應用多尺度可變形注意力以生成一個新的token，聚合從多尺度特征圖

中采樣的一小組關鍵內容：

用于目標檢測的token匹配知識蒸餾

雖然大型模型具有實現高性能的高容量，但在實際使用中它的計算成本可能很高。因此，該研究還提出了一種簡單的知識蒸餾方法，可以通過token匹配從大型ViDT模型中遷移知識。

匹配每一層的所有token在訓練中非常低效，因此，該研究只匹配對預測貢獻最大的token。兩組token直接相關：P：用作多尺度特征圖的token集合，由body中的每個階段生成，D：token的集合，它們是從neck的每個解碼層生成的。因此，基于token匹配的蒸餾損失公式為：

評估

表2將ViDT與DETR(ViT)和YOLOS的AP、FPS等進行了比較，其中DETR(ViT)有兩個變體：DETR和DeformableDETR。

實驗結果表明：ViDT實現了AP和FPS之間的最佳權衡。憑借其高可擴展性，其性能優于1億個參數的Swin-base，在相似的AP的下，FPS比DeformableDETR快2倍。此外，ViDT參數為16M，得到40.4AP，比DETR(swin-nano)和DETR(swin-tiny)高分別高6.3AP、12.6AP。

表3對比了不同空間位置編碼與ViDT的結果。結果表明：pre-addition比post-addition帶來的性能提升更高，即sinusoidalencoding優于learnable編碼；因此，正弦空間編碼的2D歸納偏置在目標檢測中更有幫助。特別是，與不使用任何編碼相比，使用正弦編碼的預加法將AP增加了5.0。

表4總結了使用不同選擇策略進行交叉注意力時的AP和FPS，其中SwinTransformer總共包含四個階段。有趣的是，只要在最后階段激活交叉注意力，所有策略都表現出相似的AP。由于在各個階段中以自下而上的方式提取特征，因此在低級別階段很難直接獲得有關目標對象的有用信息。因此，研究者想要獲得較高的AP和FPS，只使用最后階段是最好的設計選擇，因為token的數量最少。

為了徹底驗證輔助解碼損失和迭代框細化的有效性，該研究甚至對YOLOS等neck-free檢測器進行了擴展。表5顯示了兩種neck-free檢測器YOLOS和ViDT(w.o.Neck)性能。實驗結果證明在ViDT中使用Neck解碼器來提高目標檢測性能是合理的。

下圖表明：教師模型的規模越大，學生模型的收益越大。從系數來看，系數值越大，性能越好。模型蒸餾將AP提高了1.0-1.7，而不會影響學生模型的推理速度。

研究者將所有提議的組件結合起來，以實現目標檢測的高精度和速度。如表8所示，有四個組件：(1)RAM將SwinTransformer擴展為獨立的目標檢測器，(2)neck解碼器利用多尺度特征和兩種輔助技術，(3)從大模型中獲益知識蒸餾，(4)解碼層drop進一步加快推理速度。結果表明：當使用Swin-nano作為其主干時，它僅使用13M參數就達到了41.7AP和合理的FPS。此外，當使用Swin-tiny時，它僅損失了2.7FPS而表現出46.4AP。

Tags：DETETRRAMDET幣是什么幣ETR價格ETR幣RAM幣RAM價格

比特幣