LLMを活用したWebブラウザ自動操作に関する論文を発表
アミフィアブル株式会社は、Webアプリの自動テストにおいて、大規模言語モデル(LLM)を活用したSeleniumベースのWebブラウザ自動操作によるテストフレームワークに関する新たな論文を発表しました。この研究は、ソフトウェアテストの自動化における長年の課題解決を目指すものです。
発表論文の概要
発表された論文のタイトルは「Finetuning LLMs for Automatic Form Interaction on Web-Browser in Selenium Testing Framework」です。著者は北陸先端科学技術大学院大学グエン・ミン研究室とアミフィアブルAI研究部の共同研究者たちです。この論文は、2025年11月6日から8日にベトナムで開催された知識工学とシステム工学分野の国際会議「KSE2025」(https://kse2025.kse-conferences.org/)で発表されました。
論文の詳細はこちらで確認できます。
https://arxiv.org/abs/2511.15168
研究の背景と目的
現代のWebアプリ開発では、SeleniumのようなWebブラウザ自動操作フレームワークがテスト自動化に不可欠です。しかし、テストスクリプトの手動作成は、時間と手間がかかるという課題がありました。近年、高いコード生成能力を持つLLMがこの課題の解決策として期待されていますが、実際のWebフォームに対して「構文的に正しく、実行可能で、入力フィールドの意図に適合した」Seleniumスクリプトを自動生成することは容易ではありません。また、Webブラウザ自動操作に特化したオープンなデータセットやベンチマークも存在しないのが現状です。
本研究は、このギャップを埋めることを目的としており、LLMが高品質なWebブラウザ自動操作用のSeleniumテストケースを自動生成できるよう訓練する新しい手法の構築を目指しました。特に、構文の正確さ、実行可能性、入力フィールドのカバレッジという3つの基準を満たすデータセットと学習パイプラインの確立に注力しています。

本研究のポイント
本研究は、LLMを用いたWebブラウザ自動操作に対し、これまでにない体系的なアプローチを提示し、既存の指標評価を大幅に上回る性能を示しています。
-
初のWebブラウザ自動操作テスト専用データセットを構築
多様な実世界のウェブフォームを対象に、人手によるアノテーション例とLLM生成例を組み合わせた、フォームに特化した初の「Webブラウザ自動操作テスト用専用データセット」が公開されました。 -
実行可能性を重視したデータ生成パイプライン
GPT-4oを中心に複数の生成パイプラインが設計されました。生成された複数のSeleniumコードを実際に実行し、失敗したスクリプトはすべて削除することで、最終データには「構文的に正しい」「実行可能である」「入力フィールドの意図に適合している」といった有効なサンプルのみを残す仕組みとなっています。 -
既存の指標評価を大幅に上回る性能
Qwen2.5、Qwen3、およびLlama3.1といった最先端のOSS-LLMに対し、独自に作成した訓練用フォームの合成HTMLでファインチューニングが施されました。実在するフォーム画面および合成フォーム画面の両方における性能比較の結果、本手法によりチューニングしたLLMは、GPT-4oを含む強力な商用LLMと比べ、すべての評価指標(構文の正確さ、実行可能性、入力フィールドカバレッジ)で従来よりも約10%向上するという優れた性能を示しました。特に、複数のデータ生成パイプラインから実行不可能なコードを除外するフィルタリング戦略が、生成スクリプトの信頼性向上に非常に効果的であることが確認されています。
今後の展望
本研究で構築されたベンチマーク、データセット、そして方法論は、「フォーム中心のWeb自動化」に取り組む基盤として機能します。これらは今後、LLMベースのWebブラウザ操作自動化の応用研究を促進し、ソフトウェアテストが完全自動化する基礎となることが期待されます。
アミフィアブル株式会社について
アミフィアブル株式会社は、「差別化されたAIテクノロジーから世界に新しい価値を提供する」をミッションに掲げ、AI搭載テスト工程自動化プラットフォーム「Esplat」の開発及び運用を手掛けています。労働集約性の高いソフトウェア開発のテスト工程をAIテクノロジーで自動化し、2021年6月に特許を取得した自社開発の「Esplat」を通じて、多くの企業のソフトウェア開発効率化と品質向上に貢献しています。
-
会社名:アミフィアブル株式会社
-
代表者:代表取締役 河村 隆一
-
事業:AI搭載テスト工程自動化プラットフォーム「Esplat」の開発及び運用
AI Workstyle Lab編集部コメント
今回の論文は、Webブラウザ自動操作テストにおける長年の課題であったスクリプト作成の手間と、それに特化したデータセットの不足に対し、画期的な解決策を提示しています。特に、GPT-4oを含む強力な商用LLMをも上回る性能を実現した専用データセットの構築と、実行可能性を重視したデータ生成パイプラインは、技術的なブレイクスルーと言えるでしょう。これにより、AIによるテスト自動化の信頼性が飛躍的に向上し、ソフトウェア開発の現場に大きな効率化をもたらす基盤が築かれたと評価できます。今後のAIテスト技術の進化を牽引する重要な一歩です。
「AIニュースは追っているけど、何から学べばいいか分からない…」 そんな初心者向けに、編集部が本当におすすめできる無料AIセミナーを厳選しました。
- 完全無料で参加できるAIセミナーだけを厳選
- ChatGPT・Geminiを基礎から体系的に学べる
- 比較しやすく、あなたに合う講座が一目で分かる
ChatGPTなどの生成AIを使いこなして、仕事・収入・時間の安定につながるスキルを身につけませんか?
AI Workstyle LabのAIニュースをチェックしているあなたは、すでに一歩リードしている側です。あとは、 実務で使える生成AIスキルを身につければ、「知っている」から「成果を出せる」状態へ一気に飛べます。
講師:栗須俊勝(AI総研)
30社以上にAI研修・業務効率化支援を提供。“大阪の生成AIハカセ”として企業DXを牽引しています。
- 日々の業務を30〜70%時短する、実務直結の生成AI活用法を体系的に学べる
- 副業・本業どちらにも活かせる、AI時代の「稼ぐためのスキルセット」を習得
- 文章・画像・資料作成など、仕事も趣味もラクになる汎用的なAIスキルが身につく
ニュースを読むだけで終わらせず、
「明日から成果が変わるAIスキル」を一緒に身につけましょう。
本記事は、各社の公式発表および公開情報を基に、AI Workstyle Lab編集部が 事実確認・再構成を行い作成しています。一次情報の内容は編集部にて確認し、 CoWriter(AI自動生成システム)で速報性を高めつつ、最終的な編集プロセスを経て公開しています。

