VISION-LANGUAGE-ACTION / CALL FOR PARTNERS
「左手で赤いブロックを右のトレイに置いて」。自然言語の指示だけでヒューマノイドロボットが歩き、掴み、置く。 Vision-Language-Action(VLA)モデルを軸に、安全ガード・学習パイプライン・運用機能まで動く状態の制御AIシステムを、 ロボット実機を持たない環境で実装・検証しました。実機・現場データ・学習基盤をお持ちの企業・研究機関との共同開発に取り組みます。
SUMMARY
株式会社Technology Frontier(本社:日本)は、視覚情報と自然言語の指示からヒューマノイドロボットの全身行動を生成する 制御AI(VLAモデル)システム「TF-VLA(ティーエフ ブイエルエー)」の検証環境を公開するとともに、 本システムを実機・実運用へ展開するための共同開発パートナーの募集を開始します。
日本語・英語の指示をそのまま受け取り、歩行・両手の把持・配置までを一つの制御AIが生成します。使う手や歩く距離、旋回角も指示に含められます。
作業域・速度・自己衝突・トルク・作業者との距離を実行前と実行中に検査し、違反時は 200 ms 以内に停止します。復帰は明示的なリセットが必要です。
ロボット・頭部カメラ・安全PLC・作業環境をソフトウェア治具(シミュレータ)として実装。PC 1 台で全機能の評価と受け入れ試験ができます。
BACKGROUND
RT-2、π0、GR00T N1、SmolVLA など、視覚・言語・行動を一つに統合した VLA モデルの公開が相次ぎ、 オープンウェイトモデルを自社データで学習させる道が開けました。一方、実際に工場や物流の現場へ持ち込もうとすると、 モデルそのものとは別のところに壁があります。当社はその周辺をあらかじめ作り込んだ状態を用意し、 「実機で何をさせるか」の検討からご一緒したいと考えています。
AI が生成した動作は、作業域や速度、人との距離の制約を知りません。TF-VLA は AI を「提案役」に置き、ソフト安全ガードと安全PLCの 2 層が毎回「許可」する構成にしています。
ロボット・エッジGPU・ROS 2 が揃うまで待つと、設計の検証が後回しになります。TF-VLA は治具上で設計書の全機能(F-01〜F-12)を先に動かし、実機は同じインターフェースに差し替える前提で作っています。
シミュレータ上の収録だけでは、実機の見え方や失敗からの回復を学べません。実機・現場データ・GPU 学習基盤をお持ちの企業と組むことで、この壁を越えたいと考えています。
モデルの版管理・配信・切替・ロールバック、監査ログ、アクセス制御は後付けが難しい領域です。TF-VLA は運用系を最初から含めて設計しています。
PLATFORM
現在 https://www.tf-vla.net/ で公開している内容は下表のとおりです。 いずれも構想ではなく、シミュレータ治具上で実際に動作している機能です。
| 指示理解 | 日本語・英語の自然言語をタスク定義に変換します。使用する手(左手/右手)、歩行量(m・cm・度)、個数、「ゆっくり」などの条件を解釈し、曖昧な指示は確認を求め、危険な指示は拒否します。 |
|---|---|
| 行動生成 | 頭部カメラ画像と全身状態から、10 Hz で 1 秒分(10 ステップ)の行動チャンクを生成し、0.5 秒ごとに再推論します。行動は左右の手先移動・グリッパ開閉・歩行速度の 11 次元です。 |
| 全身動作 | Unitree G1 モデル(腕 7 軸×2・脚 6 軸×2・3 指ハンド)を対象に、歩行して作業台へ接近、片手で把持、必要なら横歩きして反対側のトレイへ配置するまでを通しで実行します。手指のプリセットやしゃがみ・足踏みも操作できます。 |
| 安全機能 | 実行前に速度・作業域・両手間隔・関節速度・トルク・接触力を検査し、実行中は 8 ms ごとに監視します。違反時は腕を固定し歩行を止め、安全PLCにラッチをかけます。E-Stop とゲート開は AI を介さず動力を遮断します。 |
| 学習 | 遠隔操作治具によるデータ収集、品質フィルタと分割、LeRobot 形式への変換、SmolVLA のファインチューニング、分布内/分布外の成功率・推論時間・安全イベントによる合否判定までを一本のパイプラインで提供します。 |
| 運用 | モデルのレジストリ登録(SHA-256)、分割配信と再開、健全性チェック付きのオンライン切替、スモークテスト失敗時の自動ロールバック、非同期の JSONL ログ、メトリクス、優先度付きアラートを備えます。 |
| 操作パネル | Web ブラウザから指示入力・ロボット視点の映像・全身状態・非常停止・モデル切替を行えます。閲覧は認証不要、操作はトークン認証。TLS 終端・監査ログ付きで https://hmi.tf-vla.net/ に公開中です。 |
| 技術構成 | Python 3.10+、MuJoCo(運動学・描画)、PyTorch、LeRobot(SmolVLA)、FastAPI + WebSocket(操作パネル)、nginx + systemd(公開構成)。外部モデルは commit を固定して取得し、依存の脆弱性検査を定期実施しています。 |
※ 現在公開している環境はシミュレータ治具上の動作であり、実機での動作・安全認証は本発表の範囲外です。 ※ 検証基準となるスクリプト方針では歩行〜把持〜配置の全身タスクが 12 試行中 12 回成功していますが、学習済み VLA モデルの閉ループ性能は改善途上であり、共同開発で取り組む主題の一つです。
THEMES
ブロックのピック&プレースは検証のための出発点にすぎません。 「人の言葉で仕事を頼み、ロボットが見て判断して動く」仕組みが役に立つ領域であれば、分野を問わずご相談を歓迎します。
貴社のヒューマノイド/協働ロボット・カメラ・安全PLCを ROS 2 ドライバで接続し、治具で検証済みの実行系をそのまま動かす。
現場での遠隔操作データの収集、GPU サーバでの継続学習と評価、合格モデルのみを配信する運用の確立。
品種変更時のティーチング代替、部品の供給・仕分け、複数工程をまたぐ搬送と組付けの補助。
ピッキング・仕分け・棚入れの部分自動化、人と同じ通路・作業台をそのまま使う運用。
社内サーバへの展開、監視基盤との接続、アクセス制御と変更管理、リスクアセスメントの共同実施。
VLA モデルの比較評価、失敗からの回復学習(DAgger 等)の共同研究、実習環境としての利用。
WHAT WE BRING
※ 費用負担・知的財産の扱い・成果の公表可否など、共同開発の条件は個別にご相談のうえ取り決めます。
HOW IT WORKS
まずは公開中の操作パネルで動作をご覧いただき、そのうえで実機・データ・用途をご相談いただく流れです。
https://hmi.tf-vla.net/ をブラウザで開くと、ロボット視点の映像と全身状態、実行中のタスクを閲覧できます。操作は招待制のトークンで行います。
下記の宛先へ、お持ちのロボット・センサ・学習基盤と、想定される用途をお送りください。技術的なご質問だけでも構いません。
オンラインまたは対面で 60 分程度のデモと技術説明を行い、実機の仕様・安全要件・データ・ネットワーク構成を整理して、実現方法と範囲をすり合わせます。
貴社環境に評価用の治具を導入して受け入れ試験を行い、合意した範囲で実機接続の試作へ進みます。そのうえで本格的な共同開発へ進むかを判断します。
FAQ
Vision-Language-Action モデルは、カメラ画像と自然言語の指示を入力とし、ロボットの行動(手先の動き・グリッパ開閉・歩行速度)を直接出力する基盤モデルです。認識・計画・制御を個別に作り込む従来方式に対し、単一のモデルで指示から行動までを扱います。
はい。TF-VLA はロボット・頭部カメラ・安全PLC・作業環境をソフトウェア治具(シミュレータ)として同一のインターフェースで提供しており、PC 1 台で全機能の動作確認と受け入れ試験ができます。公開中の操作パネルでは実際の動作を閲覧できます。
ヒューマノイドや協働ロボットの実機をお持ちの製造業・物流業、ロボットSIer、GPU 学習基盤をお持ちの企業、および VLA モデルの研究機関を想定しています。実機・現場データ・学習基盤のいずれか一つをお持ちであればご相談いただけます。
共同開発の費用負担、成果物(ドライバ・学習済みモデル・運用文書)の帰属、公表の可否は、個別にご相談のうえ協業契約で取り決めます。
CONTACT
件名に「TF-VLA 共同開発の件」とご記載のうえ、下記までご連絡ください。
貴社名・ご担当者名・ご連絡先・お持ちの設備(ロボット/GPU)・想定される用途を添えていただけますと、ご案内がスムーズです。
まずは公開環境をご覧ください → https://www.tf-vla.net/ / https://hmi.tf-vla.net/
COMPANY
| 会社名 | 株式会社Technology Frontier(Technology Frontier Co., Ltd.) |
|---|---|
| 対象システム | TF-VLA(制御AI(VLAモデル)ヒューマノイド制御システム/検証公開版 v0.9) |
| 公開URL | https://www.tf-vla.net/(製品紹介・英語版あり)/ https://hmi.tf-vla.net/(操作パネル) |
| Webサイト | https://www.technologyfrontier.co.jp |
| お問い合わせ | info@technologyfrontier.co.jp |