プロフィール名
AwakeningOS
AI・機械学習分野での関心
独自の小規模言語モデルを開発しています。研究対象は、データ効率の高い事前学習、因果言語モデル、家庭用GPUによる実験、再現可能な性能評価、AIとの共同作業によるアーキテクチャ設計です。
ARO — Asymmetric Relational Operator
非対称関係演算子と「究極の現在」
AROは、Asymmetric Relational Operator（非対称関係演算子）の略称です。Asymmetricは、関係を一つの対称的な値へまとめず、順方向と逆方向を区別することを表します。Relationalは、現在の状態と複数の内部情報源との関係を、学習可能な潜在モードとして形成することを意味します。Operatorは、その関係が状態の説明にとどまらず、FFNの働き方と次の現在状態の方向を実際に変えることを示しています。
AROの着想は、臨死体験の中で語られた「0次元」のヴィジョンと、仏教の縁起から生まれました。
そのヴィジョンでは、時間が一つの風景として開け、観測者が立つ現在を中心に、後方へ過去が続き、前方へ未来が広がっています。過去・現在・未来のすべてが一つの現在へ集まる。この時間像が、AROの中心概念である「究極の現在」になりました。
縁起は、現在の状態を複数の条件と関係の連鎖から生じるものとして捉えます。AROはこの見方を、十二の学習可能な関係モードと、同じ関係を順方向・逆方向から読む計算構造へ置き換えました。十二という幅は十二縁起に由来し、各モードの具体的な働きは学習によって形成されます。
AROが更新し続ける中心状態は一本だけであり、それが「現在」に当たります。Attentionは過去から必要な情報を正確に取り出し、GatedDeltaNetは長い流れを圧縮して記憶し、Depth Routerは層を進む過程で生じた変化を現在へ届けます。Relation-FiLMは、それらの証拠がどのような関係にあるかを読み取り、現在の更新方法を変えます。
最終層のDeep Presentは二回動きます。一回目では、過去の証拠から現在を形成します。二回目では主要な過去側の証拠を固定し、更新された現在から新しい問いを作って、同じ過去をもう一度読み直します。固定された過去に対し、変化した現在が新しい解釈を引き出します。
Future Coneは学習中に、近い未来、中くらいの未来、遠い未来を現在から予測させます。これにより、一本の現在状態が、過去を受け取りながら未来の予測にも役立つ情報を保持するよう促します。推論時は、現在までに見えている文脈だけを使う因果言語モデルとして動作します。
現在のARO-BabyLMは1億1,660万パラメータを持ち、BabyLM 2026 Strictの公式100M語コーパスだけを使ってゼロから学習しました。総学習露出は1B wordsです。500M words時点の公式高速評価では、英語の文法獲得能力を測るBLiMPで78.45を記録しました。現在、1B wordsまで学習した最終モデルを公式フルベンチマークで評価しています。
このアカウントでは、AROのモデル本体、トークナイザー、訓練データ、再現性を担保する検証資料、ベンチマーク結果、そしてモデルを形づくった設計思想と実験の記録を公開していきます。