幣界網消息，即將發布的Astra模型採用了一種循環推理架構，稱為recurrent depth，也稱爲looped transformer。與普通的transformer每生成一個token固定穿過層層網絡不同，Astra允許同一段信息反複經過同一組層，多次計算後再輸出。這一架構在去年已公開，Seed團隊發布的Ouro模型同樣採用了looped language model，使得一組transformer層循環運行，增加推理計算量。較小的模型因此能用更多計算，達到接近更大模型的效果。然而，這種架構也帶來了安全問題，部分推理發生在內部隱藏狀態中，人類無法看到完整文字記錄，難以檢查模型是否違規。因此限制了Astra使用recurrent depth的程度，以保留可讀的思維鏈，并準備加入額外的監控措施。