E2Eテストのフレームワーク比較4選！それぞれの特徴やメリット・デメリット、選定のポイントまでわかりやすくご紹介

ソフトウェア開発において品質向上やリリースの迅速化を図るために、テスト自動化は不可欠な要素です。その中でもE2E（End-to-End）テストは、ユーザー視点からシステム全体を評価するために重要なテストのため、自動化によるインパクトが大きいです。自動化にはフレームワークやツールが利用されますが、プロダクトの特徴やテスト工程、運用方法によって適したフレームワークは異なります。このような悩みを解決するために、主要なE2Eテストのフレームワークの比較や選定のポイント、自動化によるメリットについて解説します。

E2Eテストとは

E2Eテスト（End-to-Endテスト）とは、システム全体の機能をユーザーの視点から確認するテスト手法です。特定の機能やモジュールだけでなく、アプリケーションに至るまでくまなく問題がないかテストします。システム同士が正しく連携するか、ユーザー操作のフローに問題がないかといったテストフェーズのひとつです。

E2Eテストの定義

E2Eテストはユーザー操作の開始から終了まで、一連の操作フローをテストします。システムが一貫して正常に動作・機能するかを検証するため、アプリケーションのUI（ユーザーインターフェース）からコンポーネントとの連携、データベースやサーバーといったシステム全体がテスト範囲の定義となります。

E2Eテストの目的

E2Eテストの目的は、システム全体が期待通りの動作を確認することです。ユーザー目線でさまざまなアプリケーションが適切に機能するかを検証して、モジュール間の連携やコンポーネントの依存関係によるエラーの早期発見が目的です。

なぜE2Eテストが重要なのか

E2Eテストが重要とされている理由には、ユーザーの操作フローを網羅的にテストする点にあります。個々のユニットテストや統合テストでは見つからない、システム間の連携不備や依存関係によるバグを発見できるためです。実際のユーザー環境に近い環境で動作確認することは、品質の保証や信頼性向上にもつながるでしょう。

他のテスト手法との違い

E2Eテストはシステム全体を通して動作確認を行うため、リリース直前に近いテスト工程にあたります。ユニットテストや結合テストは開発フェーズに近いテスト工程のため、単一処理の結果や関数の汎用性など開発者目線での検証が必要です。テスト担当者が異なる目線で評価することが、他のテスト手法との大きな違いといえます。

‍

主なテスト手法と一連の流れ

1.ユニットテスト: 単一のモジュールや関数単位でのテスト技法

2.統合テスト: 複数のモジュールやコンポーネントの連携を確認するテスト技法

3.E2Eテスト: システム全体を通して、ユーザー目線での動作確認するテスト技法

‍

E2Eテストの自動化

E2Eテストは重要ですが、一方で人手で実施するには時間や金銭面でのコストがかかります。そのため、ツールによる自動化が一般的になっています。自動化することで、コスト削減だけでなく、テストからのフィードバックを迅速かつ頻繁に受けられるようになり、開発プロセス全体の速度向上や最適化もあわせて期待できます。

‍

テスト自動化が真価を発揮するケース3選についてもこちらで解説しておりますのでぜひご確認ください。

‍

フレームワークを選定する際のポイント

E2Eテスト自動化の際には、テスト対象のアプリケーションを自動操作するためのフレームワークを用いるのが一般的です。選定の際にはいくつかポイントがあり、プロジェクトやチームの編成、テストの目的、テスト対象の特性などによって使うフレームワークが異なってきます。ここでは、選定の際に押さえておくべきいくつかのポイントについて説明します。

対応言語

フレームワークによって対応している言語は異なります。一般的には、JavaScript（TypeScript含む）、Python、Java、Ruby、C#といった言語がサポートされていることが多いです。たとえば「Cypress」ではJavaScriptを用いてテストコードを書きますが、PlaywrightはJavaScript、Python、.Net、Javaに対応しています。また「Selenium」はJava、Python、C#といった複数の言語に対応しています。開発チームが習熟しているものを選ぶと良いでしょう。

また、この記事ではプログラミングでテストコードを記述する方法のみを紹介していますが、プログラミング不要でテスト自動化を実現するためのノーコードソリューションもいくつか存在します。

‍

サポートブラウザ

フレームワークによっては、複数種類のブラウザの自動操作に対応しているものがあります。テストで必要なブラウザを全てサポートしているかどうかをチェックしておきましょう。

最近のフレームワークであれば、ほとんどの場合Chrome、Firefox、Edge (Chromium) についてはサポートしていることが多いです。古いバージョンのEdgeやInternet Explorer、Safariなどのテストが必要な場合は、フレームワーク選定の段階で考慮しておきましょう。

‍

どのブラウザのテストをすべきかは、テスト対象のソフトウェアのサポート方針に依存してきます。これらはプロジェクトマネージャーなどに確認する他、Google Analyticsなどでエンドユーザーがどのようなブラウザを利用しているのかを調べることもできます。

学習コスト

学習コストの高低は、フレームワークの複雑さと、ドキュメントの充実度によっておおよそ判断できます。シンプルでわかりやすいAPI設計であれば、学習コストが比較的低いといえるでしょう。一方で、柔軟性が高いゆえに設定や環境構築がやや複雑なものもあります。また、分かりやすく包括的なドキュメントが準備されているかどうかも学習コストに大きく寄与します。

大抵のドキュメントには、クイックスタートガイドが用意されています。これを参考にしながら、やりたいテストを1〜2個実装してみるのが、学習コストを測る一番良い指標になるでしょう。

実行速度

テストの実行速度は、Webブラウザとの命令のやり取りや、待機処理のアルゴリズムなどによって大きく変わってきます。テスト対象のWebサイトとフレームワークとの相性も多少出てくる部分なので、実際に試してみるのが良いでしょう。

また、テストケースの数が多くなってくると、実行速度だけでなく並列実行による最適化なども必要になってきます。ほとんどのフレームワークが並列実行をサポートしていますが、並列実行のセットアップのやりやすさなども念頭に置いておくと良いでしょう。

コミュニティとサポート体制

フレームワークに関するコミュニティやサポートの充実度も、選定する際には重要な要素となります。フレームワークのネームバリューが高く、ユーザー数が多いほど、活発なコミュニティが存在したり、多くの情報やプラグインが提供されていたりするケースが多いです。有償でサポートが提供されているフレームワークもあるので、テストの重要度や予算によっては検討すべき点といえます。サポートの手厚さやコミュニティの成熟度によっては、得られる情報量が大きく異なるため事前に調べておきましょう。

‍

E2Eテストのフレームワーク4選

フレームワークの選定基準について学んだところで、現在多くの開発現場で利用されている主なフレームワークを4つご紹介します。それぞれの特徴やメリット・デメリットに加えて、環境構築や情報収集の難易度、フレームワークごとに適した運用例などを解説します。

Seleniumの特徴

SeleniumはWebブラウザの操作を自動化できるフレームワークで、オープンソースなので無料で利用できます。長年多くのユーザーに利用されているフレームワークなので書籍も豊富で、ネット上の情報や公式のサポートも充実しているのでサポートが充実しているといえるでしょう。

‍

Java・Python・C#・ Ruby・JavaScriptなど主要な言語はサポートされており、Google Chrome・Firefox・ Edge・Safariといった主要ブラウザでも動作します。大規模で複雑なマルチブラウザテストが必要となるような、エンタープライズレベルのプロジェクトでの運用にも対応可能です。

Seleniumのメリット・デメリット

複数の言語とブラウザに対応しているため、汎用性の高さが挙げられます。他のテストツールやフレームワークとの統合も簡単で、クロスプラットフォームでのテストも可能です。

‍

汎用性が高い反面、初期セットアップが複雑なため導入ハードルが高くなることが懸念されます。非エンジニアであればメンテナンスコストを考慮すると、結果的にテストフェーズの工数削減につながらないかもしれません。

‍

Cypressの特徴

Cypressはテストコードをブラウザから直接テストを作成・実行できる点が最大の特徴です。インストール方法はnpm、yarn、直接ダウンロードから選択でき、セットアップの際もガイドに従って操作しながら設定ができます。

‍

テストコードはJavaScriptで記述するので、学習コストや導入へのハードルが低く自動化テスト初心者でも馴染みやすいツールです。こちらもマルチブラウザ対応で、同一コードで異なるブラウザのテストも可能です。Cypressと同じブラウザ上でアプリケーションを表示しながら、テストプログラムを実行できる機能（ビジュアルデバッグ）も備わっています。

‍

Cypressは比較的新しいツールですが、フロントエンド開発者などの間で急速に人気を集めています。公式ドキュメント以外のコミュニティでも情報が活発に発信されており、ブログやフォーラムなども充実していることが特徴です。単一ブラウザでテストを行う小規模のプロジェクトや、フロントエンド開発者がJavaScriptでE2Eテストを行うプロジェクトでの運用に向いているでしょう。

Cypressのメリット・デメリット

JavaScriptに特化しているので、フロントエンド開発者にとって使いやすいことが最大のメリットです。高速なテスト実行とリアルタイムのフィードバックができ、内蔵ダッシュボードを利用することでテストの状態やエラーを即時に確認できます。

‍

JavaScriptに特化していることもあり、他の言語をサポートしていないことはデメリットになるかもしれません。また、オープンソースではありますが、テスト回数やユーザー数が増加した場合は有料の拡張機能（Cypress Cloud）が必要になる点は注意が必要です。

‍

Playwrightの特徴

PlaywrightはMicrosoftが開発したE2Eテスト自動化ツールで、TypeScript、JavaScript、Python、.NET、Javaといった開発言語に対応しています。こちらも主要ブラウザ（Chromium、WebKit、Firefox）、クロスプラットフォーム（Windows、Linux、macOS）でのテストが可能。さらにChromeやVS codeの拡張機能や、Android・Mobile Safariといったモバイル端末のエミュレーション機能といったツールも充実しています。

‍

Playwrightは比較的新しいツールですが、急速に普及しており、ドキュメントやコミュニティのサポートが非常に充実しています。。

Playwrightのメリット・デメリット

クロスブラウザ・クロスプラットフォームのテストに対応しており、かつセットアップが非常に容易なのが最大の特徴です。npmなどのパッケージ管理システムからコマンド一つで各ブラウザがセットアップされ、すぐに自動テストを実装できるスピード感が最大の魅力です。また、Cypressと同様、自動テストのメンテナンスのためのダッシュボードやログ確認のためのツールが含まれており、テストの失敗時に何が起きたのかを詳細に確認できます。

‍

カスタマイズ性が高くプログラミングの知識が必要になるため、導入時の学習コストはメンバーのスキルによって個人差が生じることでしょう。一方、特にフロントエンドエンジニアにとっては非常に有用な選択肢となるはずです。

Puppeteerの特徴

‍

Puppeteerはプログラムを利用して、APIからChromeまたはFirefoxを制御するJavaScriptライブラリです。デフォルトではChromeのヘッドレスで起動されますが、設定でヘッドフルでの起動も可能になります。npmからインストールすると動作保証されているChromiumもインストールされるので、手軽に環境を構築できる点も特徴です。

‍

PuppeteerはGoogleが開発したツールであり、主にNode.jsを利用する開発者の間で広く使われています。Gitで公開されているオープンソースということもあり公式ドキュメントは豊富で、コミュニティも活発なので情報収集も容易です。

‍

技術的な面では、Puppeteer は Chrome DevTools Protocol と WebDriver BiDi Protocol を扱いやすくするための高レベルなラッパーです。自動テストのためのライブラリというよりは、ブラウザ自動操作のためのライブラリなので、スクレイピングやPDF生成など、ブラウザ自動操作によりさまざまなユースケースを実現したい場合に向いています。

Puppeteerのメリット・デメリット

自動テスト向けの味付けがほとんどされていないので、複雑なユースケースに柔軟に対応したいケースで特に力を発揮します。一方で、自動テスト向けの公式なインストラクションは少なく（※1）、入門には少しハードルが高いかもしれません。ブラウザAPIに既に習熟したフロントエンド開発者が、高度なテストを実施する際に最大限に力を発揮するでしょう。

‍

（※1: https://pptr.dev/guides/getting-started 2024-10-19 参照）

‍

また、対応ブラウザがGoogle ChromeまたはFirefoxに限定されているため、マルチブラウザテストが必要なシーンでは少し力不足かもしれません。ただし、上述の通り WebDriver BiDI Protocol をサポートしており、各種ブラウザの対応状況次第で変わってくる可能性もあります。

各フレームワークを比較

ここまで解説した主なフレームワーク4選を比較して、それぞれの特徴を見てみましょう。プロジェクトや開発環境、ユースケースに合わせて選定してください。

‍

そのほかの選択肢

‍

本記事では、主にオープンソースのE2Eテストフレームワークを紹介しましたが、商用、プロプライエタリなものも含めると選択肢が大幅に広がります。特に、近年急速に成長しているノーコード・ローコードのテストツールは、ツール導入につきものの学習コストを大きく減らしてくれる他、スキルの問題でこれまで自動テストに関わるのが難しかった人たちの参加も促進し、開発プロセスそのものを大きく変えてくれる可能性があります。

‍

まとめ

E2Eテストはシステム全体をユーザー目線で動作・検証して、モジュール間連携の不具合などを早期に発見する重要なテスト工程です。これらの作業を自動化できれば、品質向上と効率的な開発プロセスを実現できます。プロジェクトの規模やニーズに合ったフレームワークを選定して、最適なE2Eテスト自動化の導入を検討してください。

‍

参考: いずれも 2024-10-19 参照

https://www.selenium.dev/ja/documentation/webdriver/browsers/

https://www.cypress.io/app

https://docs.cypress.io/guides/guides/launching-browsers

https://github.com/puppeteer/puppeteer

https://pptr.dev/faq#q-what-is-the-status-of-cross-browser-support

‍