検索、分類、安全性フィルタリングの立役者であるエンコーダーモデルには、ひとつの課題がある。入力長が数千トークンに達すると、CPU上の推論レイテンシは数分にまで膨らむ。Liquid AIの最新リリースは、CPUハードウェアでの効率的な長文推論に特化して設計された2つの小型エンコーダーモデルで、この課題の解決を目指す。
LFM2.5-Encoderシリーズは、パラメータ数2億3,000万と3億5,000万の2つのバリエーションでリリースされており、CPU上で同等のModernBERT-baseモデルより約3.7倍速く8,192トークンを処理する。この長さでは、ModernBERT-baseは1回のフォワードパスに90秒以上かかる。LFM2.5-Encoder-230Mはそれを約28秒で完了する。
性能向上の源泉は、基盤となるアーキテクチャにある。両モデルはLiquid AIのLFM2.5デコーダーバックボーンから初期化され、3つの変更を経て双方向エンコーダーに変換される。すなわち、トークンが両側を参照できる双方向アテンションマスク、対称パディングを備えた非因果的ショート畳み込み、そして30パーセントのトークンマスキングによるマスク言語モデリング訓練である。2段階の訓練プロセスは、まず短いコンテキスト長で一般的な言語能力を構築し、その後、事実、法律、多言語データを混在させたコーパスで8,192トークンまで拡張する。
ベンチマークは、このモデルのサイズクラスについて明確な結果を示している。350Mバリアントは、GLUE、SuperGLUE、多言語分類タスクでテストされた14のエンコーダーモデル中4位にランクされ、パラメータ数35億のモデルを含むより大型のモデルにのみ敗れた。230Mバリアントは、ModernBERT-baseとすべてのEuroBERTモデルを上回り、しかもそれらのほとんどより小型である。
本番環境にデプロイする開発者にとって、CPU上の速度優位性が見出しとなる。多くのエンコーダーワークロード（インテントルーティング、ポリシーリンティング、PII検出、スペルチェック）は、GPUではなくサーバーCPU上で継続的に実行されており、長い入力長でのレイテンシはスループットに直接影響する。Liquid AIは、ゼロショットプロンプトルーティング、ポリシーリンティング、多言語PII検出がすべてCPU上で動作するライブデモをHugging Face Spacesで公開している。
モデルは寛容なオープンソースライセンスの下で利用でき、標準のHugging Face Transformersパイプラインを通じて統合できる。Flash Attention 2はGPUアクセラレーション用のオプションだが、設計思想は明確だ。エンコーダーは、リクエストあたり数千トークンを処理する場合でも、実用のためにはGPUを必要とするべきではない。
雅子 訳
Sources: Hugging Face Blog (Jul 28, 2026); Liquid AI models