熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣，引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
steve hsu
物理學家、AI 創始人、Manifold播客
對於非專家來說：Frontier 模型已經在大量人類知識上進行了訓練——包括高級數學、物理學、醫學和編程。它們擁有巨大的潛在能力。
相對便宜的「微調」過程（在這種情況下是 LoRA）能否使模型適應特定的使用案例，使其更有用？
這正是 Thinking Machines 正在探索的內容。請注意，這依賴於對開源 Frontier 模型的訪問。
2025年9月30日
約翰·舒爾曼與思考機器：無悔的LoRA
LoRA用修改過的版本W’=W+γBA替換原始模型中的每個權重矩陣W，其中B和A是矩陣，這兩者的參數總數遠少於W。
當以下情況發生時，LoRA的表現與完全微調相似：
1. LoRA應用於網絡的所有層，特別是包含大多數參數的MLP/MoE層。
2. LoRA不受容量限制，即可訓練的參數數量超過要學習的信息量，這可以根據數據集大小進行估算。
影響：大型（例如萬億參數）基礎模型可以以訓練新模型的少量成本進行定制。
3.75K
是的，中國政府故意低報經濟數據。這是之前「隱藏與忍耐」時代的遺留物。
對此，我們不能責怪西方經濟學家，除了他們應該有更多的常識去仔細檢查數據，以確保其現實性。
（情況相當複雜，因為有時他們的增長數據可能被誇大，而在官方GDP數據中，他們則低報了更重要的事情，如服務業的價值、住房等。）
2025年9月30日
國內政府應該不想在官方聲明的GDP上超越美國。
現在這個位置很好。
美國政府也不想中國在GDP上超越美國。
現在這個位置很好。
24.13K
熱門
排行
收藏