User Tools

Site Tools


testing

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
testing [2015/10/01 12:11]
Maryam Tahhan
testing [2015/12/17 14:37] (current)
Frank Brockners [Test Dashboard]
Line 30: Line 30:
 Based on the information collected on the pad, we create a [[Feature & Test Project matrix| matrix to identify the dependencies between the feature and the test projects]]. Based on the information collected on the pad, we create a [[Feature & Test Project matrix| matrix to identify the dependencies between the feature and the test projects]].
  
 +[[Brahmaputra testing page| Brahmaputra testing page]]
  
 ===== OPNFV Test ecosystem ​ =====  ===== OPNFV Test ecosystem ​ ===== 
Line 50: Line 51:
 We consider the projects referenced on the wiki main page: We consider the projects referenced on the wiki main page:
  
-^ Project name                                                                         ^ Scope                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  ^ R2 main goals                                                                                                                                                                                                                                                                                          ^ R2 deliverables ​                                                                     ^ +^ Project name                                                                         ^ Scope                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  ^ R2 main goals                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  ^ R2 deliverables ​                                                                     ^ 
-| [[opnfv_functional_testing| Functest ]]                                              | Functest will provide comprehensive testing methodology,​ test suites and test cases to test and verify OPNFV Platform functionality that covers the VIM and NFVI components. ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          | - Automation of vIMS \\ reference testcases in a reference OPNFV global testcase doc \\ - Work on testcase auto declaration ​                                                                                                                                                                           | User guide, Installation guide + common testcase reference guide                     | +| [[opnfv_functional_testing| Functest ]]                                              | Functest will provide comprehensive testing methodology,​ test suites and test cases to test and verify OPNFV Platform functionality that covers the VIM and NFVI components. ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          | - Automation of vIMS \\ reference testcases in a reference OPNFV global testcase doc \\ - Work on testcase auto declaration ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   | User guide, Installation guide + common testcase reference guide                     | 
-| [[pharos|Pharos*]] ​                                                                  | The Pharos project deals with the creation of a federated NFV test capability that is geographically and technically diverse and hosted by different companies in the OPNFV community. This requires developing a baseline specification for an OPNFV "​compliant"​ test environment along with tools, processes and documentation to support integration,​ testing and collaborative development projects with needed infrastructure and the tooling. ​                                                                                                                                                                                                                   |                                                                                                                                                                                                                                                                                                        |                                                                                      | +| [[pharos|Pharos*]] ​                                                                  | The Pharos project deals with the creation of a federated NFV test capability that is geographically and technically diverse and hosted by different companies in the OPNFV community. This requires developing a baseline specification for an OPNFV "​compliant"​ test environment along with tools, processes and documentation to support integration,​ testing and collaborative development projects with needed infrastructure and the tooling. ​                                                                                                                                                                                                                   |                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |                                                                                      | 
-| [[policytest|PolicyTest]] ​                                                           | PolicyTest adds network policy testing to the existing suite of OPNFV functional tests. ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               | [[https://​jira.opnfv.org/​browse/​POLICYTEST-5?​jql=project%20%3D%20POLICYTEST|PolicyTest tickets in Jira]] ​                                                                                                                                                                                              ​|                                                                                      | +| [[policytest|PolicyTest]] ​                                                           | PolicyTest adds network policy testing to the existing suite of OPNFV functional tests. ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               | [[https://​jira.opnfv.org/​browse/​POLICYTEST-5?​jql=project%20%3D%20POLICYTEST|PolicyTest tickets in Jira]] ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      ​|                                                                                      | 
-| [[storperf|STOREPERF]] ​                                                              ​| ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |                                                                                                                                                                                                                                                                                                        |                                                                                      | +| [[storperf|STOREPERF]] ​                                                              ​| ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |                                                                                      | 
-| [[opnfv_platform_characterization|Qtip]] ​                                            | Qtip project is a "​Bottom-Up"​ approach in characterizing and benchmarking OPNFV Platform. Proper characterization of OPNFV platforms is a critical component to understand how well OPNFV (and by implication upstream components) perform in realistic deployment scenarios, to provide feedback to design teams, to provide platform level performance data to higher layer developers, users, and community at large. Qtip also aims to build necessary testing and benchmarking tools that will be needed to fulfill its goals, to automate when possible, and to provide these tools and automation software to upper layer and other testing projects in OPNFV. ​ | Benchmark suite to provide quantitatve performane metrics for OPNFV platform'​s compute, networking and storage components ​                                                                                                                                                                             |                                                                                      | +| [[opnfv_platform_characterization|Qtip]] ​                                            | Qtip project is a "​Bottom-Up"​ approach in characterizing and benchmarking OPNFV Platform. Proper characterization of OPNFV platforms is a critical component to understand how well OPNFV (and by implication upstream components) perform in realistic deployment scenarios, to provide feedback to design teams, to provide platform level performance data to higher layer developers, users, and community at large. Qtip also aims to build necessary testing and benchmarking tools that will be needed to fulfill its goals, to automate when possible, and to provide these tools and automation software to upper layer and other testing projects in OPNFV. ​ | Benchmark suite to provide quantitatve performane metrics for OPNFV platform'​s compute, networking and storage components ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |                                                                                      | 
-| [[transformer_-_carrier_grade_requirements_for_network_transformation|Transformer]] ​ |                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |                                                                                                                                                                                                                                                                                                        |                                                                                      | +| [[transformer_-_carrier_grade_requirements_for_network_transformation|Transformer]] ​ |                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |                                                                                      | 
-| [[[characterize_vswitch_performance_for_telco_nfv_use_cases|VSPERF]] ​                | develop a generic and architecture agnostic vSwitch testing framework and associated tests, that will serve as a basis for validating the suitability of different vSwitch implementations in a Telco NFV deployment environment ​                                                                                                                                                                                                                                                                                                                                                                                                                                      | Our goals for the VSPERF test framework this release are: \\ Support our 3 base deployment scenarios: P2P, PVP and PVVP \\ CI Support and integration for VSPERF \\ Support Vanilla OVS and OVS with DPDK. \\ Support all RFC2544 defined tests. \\ Support IMIX traffic testing with RFC 2544. \\ Support IXIA, Spirent, Moongen and Xena. \\ Participate in opnfv_test_dashboard \\ **Stretch Goal:** \\ Support IP routing on the switch, as well as simple port forwarding \\ RFC2544 Scalability tests (Implementation) \\ LTD.Throughput.RFC2544.Profile (Implementation) \\ LTD.Throughput.RFC2544.SystemRecoveryTime (Implementation) | https://​jira.opnfv.org/​issues/?​jql=project%20%3D%20VSPERF%20AND%20labels%20%3D%20R2 ​ | +| [[[characterize_vswitch_performance_for_telco_nfv_use_cases|VSPERF]] ​                | develop a generic and architecture agnostic vSwitch testing framework and associated tests, that will serve as a basis for validating the suitability of different vSwitch implementations in a Telco NFV deployment environment ​                                                                                                                                                                                                                                                                                                                                                                                                                                      | Our goals for the VSPERF test framework this release are: \\ Support our 3 base deployment scenarios: P2P, PVP and PVVP \\ CI Support and integration for VSPERF \\ Support Vanilla OVS and OVS with DPDK. \\ Support all RFC2544 defined tests. \\ Support IMIX traffic testing with RFC 2544. \\ Support IXIA, Spirent, Moongen and Xena. \\ Participate in opnfv_test_dashboard \\ **Stretch Goal:** \\ Support IP routing on the switch, as well as simple port forwarding \\ RFC2544 Scalability tests (Implementation) \\ LTD.Throughput.RFC2544.Profile (Implementation) \\ LTD.Throughput.RFC2544.SystemRecoveryTime (Implementation) ​ | https://​jira.opnfv.org/​issues/?​jql=project%20%3D%20VSPERF%20AND%20labels%20%3D%20R2 ​ | 
-| [[yardstick|Yardstick]] ​                                                             | The goal of the Yardstick Project is to verify the infrastructure compliance when running VNF applications. ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           | - Methodology for Infrastructure verification from VNF perspective,​ aligned with ETSI-NFV TST001 \\ - Generic test cases for Compute, Storage and Networking areas \\ - OPNFV Infrastructure verification from VTC and SFC perspective \\ - Mobility Traffic Profile as Test Stimuli ​                  ​|                                                                                      |+| [[yardstick|Yardstick]] ​                                                             | The goal of the Yardstick Project is to verify the infrastructure compliance when running VNF applications. ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           | - Methodology for Infrastructure verification from VNF perspective,​ aligned with ETSI-NFV TST001 \\ - Generic test cases for Compute, Storage and Networking areas \\ - OPNFV Infrastructure verification from VTC and SFC perspective \\ - Mobility Traffic Profile as Test Stimuli ​                                                                                                                                                                                                                                                                                                                                                          ​|                                                                                      | 
 +| [[bottlenecks|Bottlenecks]] ​                                                         |                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |                                                                                      | 
  
  
Line 109: Line 112:
  
 A test dashboard shall give a good overview of the different tests on the different PODs. A test dashboard shall give a good overview of the different tests on the different PODs.
-See [[opnfv_test_dashboard|dedicated page]]+See [[opnfv_test_dashboard|Test Dashboard wiki]]
    
  
 ===== References ===== ===== References =====
testing.1443701504.txt.gz · Last modified: 2015/10/01 12:11 by Maryam Tahhan