MPT:兩大可商用開源大模型同時發布！性能不輸 LLaMA，羊駝家族名字都不夠用了

來源：量子位

從Meta的LLaMA發展出的羊駝家族一系列大模型，已成為開源AI重要力量。

但LLamA開源了又沒全開，只能用于研究用途，還得填申請表格等，也一直被業界詬病。

好消息是，兩大對標LLaMA的完全開源項目同時有了新進展。

可商用開源大模型來了，還一下來了倆：

MosaicML推出MPT系列模型，其中70億參數版在性能測試中與LLaMA打個平手。

Together的RedPajama系列模型，30億參數版在RTX2070游戲顯卡上就能跑。

鏈上ChainUP張姨：安全和流動性是交易所的兩大命門:7月20日晚，在牛市財經X阿波羅交易所舉辦的《登陸月球日》的活動上，來自鏈上ChainUP的張姨表示：在交易所運營過程中，安全和流動性是交易所最重要的因素，也是最核心的命門。自交易所誕生以來，接連發生的安全事件無不昭示一點：交易所的資金和系統安全得以保障，才是能夠持久運營的基礎，建議交易所前期選擇和有資質、有實力的技術服務商進行合作。

鏈上ChainUP旗下的鏈上云，提供的不僅僅是一套交易系統，更是整合了其運營過程中所需的流動性和風控策略，底層技術WaaS聯盟以及衍生品等為一體的系統服務。通過硬核的技術手段為交易所提供更多優質的服務，同時鏈上流動性平臺還聚合了整個市場的流動性，給客戶提供高質量的流動性水平。此外還可以通過公開的接口為第三方交易所提供主流幣對、平臺幣對、交叉幣對的流動性解決方案，并提供對應風控管理。[2020/7/21]

對于這些進展，特斯拉前AI主管AndrejKarpathy認為，開源大模型生態有了寒武紀大爆發的早期跡象。

動態 | 券商中國：兩大因素刺激避險資金進入加密貨幣市場:據券商中國消息，市場人士認為，兩大因素刺激避險資金進入加密貨幣市場，一是部分資金判斷A股公司一季度業績受疫情影響較大，對節后A股市場短期走勢持謹慎態度；二是疫情影響礦機芯片廠商開工，部分廠商已延遲礦機發貨、維修以及取消訂單，減少比特幣、以太經典、萊特幣等在二級市場的供應量，其效果可視為停發新股。[2020/2/2]

MPT，與LLaMA五五開

MPT系列模型，全稱MosaicMLPretrainedTransformer，基礎版本為70億參數。

MPT在大量數據上訓練，與LLaMA相當，高于StableLM，Pythia等其他開源模型。

嘉御基金衛哲：資本市場存在兩大泡沫 我完全不看好ICO和比特幣:從2011年嘉御基金成立之后，衛哲一直以投資人的身份出現。在近日的采訪中，衛哲也表達了關于投資和區塊鏈等熱門技術的看法。他表示，商業的本質上是有一個產品/項目給公開市場，國內有專門的監管部門，國外有分析師把控項目質量，ICO不管用什么技術，請問它將用什么技術評估項目質量，所有ICO無法解決項目的質量判斷，這也會造成企業和投資人之間巨大不對稱。在這種情況下，99.99%的ICO項目都是不成立的。我完全不看好。[2018/3/13]

支持84ktokens超長輸入，并用FlashAttention和FasterTransformer方法針對訓練和推理速度做過優化。

在各類性能評估中，與原版LLaMA不相上下。

美國國會再次呼吁兩大監管機構：為鑄就美國成為“加密貨幣的搖籃”:本周三，美國國會區塊鏈核心小組（CBC）成員和三位立法者在寫給美國證券交易委員會（SEC）和商品期貨交易委員會（CFTC）的公開信中寫道：“加密貨幣不僅僅只是美元或支付機制的替代品。”信中感謝兩大監管機構之前在聽證會上提供有利證詞的同時，建議道：“美國應該成為這一創新技術（加密貨幣）的搖籃。為了使這些努力更有成效，我們必須采取審慎、靈活和統一的方式進行監管。”[2018/2/22]

除了MPT-7BBase基礎模型外還有三個變體。

MPT-7B-Instruct，用于遵循簡短指令。

MPT-7B-Chat，用于多輪聊天對話。

MPT-7B-StoryWriter-65k+，用于閱讀和編寫故事，支持65ktokens的超長上下文，用小說數據集微調。

MosaicML由前英特爾AI芯片項目Nervana負責人NaveenRao創辦。

該公司致力于降低訓練神經網絡的成本，推出的文本和圖像生成推理服務成本只有OpenAI的1/15。

RedPajama，2070就能跑

RedPajama系列模型，在5TB的同名開源數據上訓練而來。

除70億參數基礎模型外，還有一個30億參數版本，可以在5年前發售的RTX2070游戲顯卡上運行。

目前70億版本完成了80%的訓練，效果已經超過了同規模的Pythia等開源模型，略遜于LLamA。

預計在完成1Ttokens的訓練后還能繼續改進。

背后公司Together，由蘋果前高管VipulVedPrakash，斯坦福大模型研究中心主任PercyLiang，蘇黎世聯邦理工大學助理教授張策等人聯合創辦。

開源模型發布后，他們的近期目標是繼續擴展開源RedPajama數據集到兩倍規模。

OneMoreThing

來自南美洲的無峰駝類動物一共4種，已被各家大模型用完了。

Meta發布LLaMA之后，斯坦福用了Alpaca，伯克利等單位用了Alpaca，JosephCheung等開發者團隊用了Guanaco。

以至于后來者已經卷到了其他相近動物，比如IBM的單峰駱駝Dromedary，Databricks的Dolly來自克隆羊多莉。

國人研究團隊也熱衷于用古代傳說中的神獸，如UCSD聯合中山大學等推出的白澤。

港中文等推出的鳳凰……

最絕的是哈工大基于中文醫學知識的LLaMA微調模型，命名為華駝。

參考鏈接：

https://www.mosaicml.com/blog/mpt-7b

https://www.together.xyz/blog/redpajama-models-v1

https://twitter.com/karpathy/status/1654892810590650376?s=20

Tags：AMALlamaLAMAMPTBAMA幣BABYLLAMACalamari NetworkPAMPTHER

酷幣