User Tools

Site Tools


pharos_testing

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
Next revision Both sides next revision
pharos_testing [2015/03/19 07:21]
Morgan Richomme [status regarding installers]
pharos_testing [2015/04/03 07:44]
Morgan Richomme [Test automation]
Line 6: Line 6:
   * Installation and configuration of the tools   * Installation and configuration of the tools
   * Automate test with CI    * Automate test with CI 
 +
 +Pad dedicated to func test: https://​etherpad.opnfv.org/​p/​functiontestrelease1activities
 +
 +IRC chan: #​opnfv-testperf
  
 Procedure shall be independant from the installer. ​ Procedure shall be independant from the installer. ​
Line 15: Line 19:
   * [[http://​robotframework.org/​|Robot framework]]   * [[http://​robotframework.org/​|Robot framework]]
   * [[http://​sipp.sourceforge.net/​|Sipp]] (for SIP related test e.g vIMS)   * [[http://​sipp.sourceforge.net/​|Sipp]] (for SIP related test e.g vIMS)
 +
 +Intel POD2 (contact Trevor Cooper) is dedicated to functional testing.
 +
 +Functional tests shall be
 +  * independant from the installer (Fuel, Foreman/​Puppet,​ Juju,​..) ​
 +  * automated and integrated in CI
  
 TODO: shall we be more prescritive on the toloing environment (creation of the VM, installation of the tools)? TODO: shall we be more prescritive on the toloing environment (creation of the VM, installation of the tools)?
Line 28: Line 38:
   * vIMS (Sipp VM trigering basic calls (REGISTER, INVITE) to clearwater compact vIMS VM)   * vIMS (Sipp VM trigering basic calls (REGISTER, INVITE) to clearwater compact vIMS VM)
   * ODL scenario?   * ODL scenario?
 +
 +List of testcases can be found [[https://​wiki.opnfv.org/​doku.php?​id=opnfv_functional_testing/​functest_test_cases|here]]
  
 === Rally ===  === Rally === 
Line 67: Line 79:
 ===== Test automation ​ ===== ===== Test automation ​ =====
  
-To be discussed with CI team asap +Octopus etherpad: [[https://​etherpad.opnfv.org/​p/​octopus]]
  
 +Community platforms connected to CI
 +  * Ericsson
 +  * Intel (in progress)
 +  * Huawei
 +  * Orange (TBDone)
  
 ===== status regarding installers ===== ===== status regarding installers =====
  
-"​Experiment" ​                       ​#1 - "​Foreman-Quickstack" ​                                                   ​#2 "​Fuel" ​                                                                #3 "​OpenSteak" ​                                        #4 "​[[slapstick|SlapStick]]" ​                                                                                                              #5 "​Juju" ​+ 
-| Installation of tools                   | Rally natively integrated in Fuel                                                           ​| ​                                                               |  Rally installed manually on a de dedicated tooling VM                            |                             ​| ​                      | +             Jira ref                                  ​Documentation ​                                                                                        Manual test  ​Result analysis  ​Automated test  ^ BGS link                                                                                                           ^ Comments ​                                                                                                                                                                                                                            
-| Rally scenarios ​                      ​| ​                                                 |                                                                           |  ​Rally scenarios including tempest launched manually from the VM, see [[https://​github.com/​Orange-OpenSource/​opnfv/​blob/​master/​docs/​TEST.md]]                                                                 ​                                                                                             +| Rally Bench  ​| ​https://​jira.opnfv.org/​browse/​FUNCTEST-1 ​ | installation procedure described ​https://​github.com/​Orange-OpenSource/​opnfv/​blob/​master/​docs/​TEST.md ​ OK                            ​| ​                | Installed on Jump host server of Intel POD 2 #1; Rally natively integrated in Fuell #2;Tested with opensteack #3;  | Morgan. Tempest not working on POD - same issue than on #3, patch applied but seems there is a pb => contact openstack-rally. Rally Test suite can be performed but flavours, images are missing on Openstack SUT deployed on POD 2  ​
-vPing scenario ​                                                                                                                                                                 ​                                                                                                                                                                             +Tempest ​     ​https://​jira.opnfv.org/​browse/​FUNCTEST-2  ​                                                                                                      ​OK                            ​| ​                | Use of khalisi for foreman/​puppet #1; Rally natively integrated in Fuell #2;Tested with opensteack #3;                                                                                                                                                                                                                                                  
-vIMS scenario ​                                                                                                                                                                 ​                                                                                                                                                                             +vPing        ​https://​jira.opnfv.org/​browse/​FUNCTEST-3  ​                                                                                                      ​                                              |                                                                                                                    | Sama                                                                                                                                                                                                                                 
-ODL                   |                                                                          |                                                                       ​                                                                                                                                                                             +vIMS         https://​jira.opnfv.org/​browse/​FUNCTEST-4 ​ | Based on Clearwater solution ​                                                                         ​| ​                                              ​                                                                                                                   | Martin ​                                                                                                                                                                                                                              
-Automation of scripts ​                                                                                                                                                                 ​                                                                                                                                                                             +ODL          ​https://​jira.opnfv.org/​browse/​FUNCTEST-5  ​                                                                                                      ​                                              ​                                                                                                                   | Peter => https://​etherpad.opnfv.org/​p/​robotframework ​                                                                                                                                                                                | 
- + 
 + 
 + 
  
  
pharos_testing.txt · Last modified: 2015/11/05 22:16 by Trevor Cooper