User Tools

Site Tools


brahmaputra_testing_page

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
Last revision Both sides next revision
brahmaputra_testing_page [2016/01/14 09:06]
Fatih Degirmenci
brahmaputra_testing_page [2016/01/26 17:01]
Debra Scott [Table] noted dropped scenarios
Line 102: Line 102:
 ===== Available Scenarios ===== ===== Available Scenarios =====
  
-Available scenarios mean that the scenarios listed on below page are currently running on CI. Click Jenkins link to access console log of latest build. [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​|Jenkins view per PODs]]+Available scenarios mean that the scenarios listed on below page are currently running on CI. 
  
-  * bmbare metal  +Click Jenkins link to access console log of latest build. [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​|Jenkins view per PODs]]
-  * virt: virtual+
  
-Note: all the Apex scenario are based on Centos 7, all the scenario on compass, fuel and joid are based on Ubuntu 14.04 
  
-Scenario indication shall be understand as follow: [X].[Y], with  
  
-  * X installer (apex|compass|fuel|joid) +===== Candidate Scenarios ======
-  * Y scenario id as defined in the scenario section (e.g. 1 bm + odl i.e. Arno) +
  
 +NB: each scenario needs a leader..
  
-^ ID ^ Description ^ [[https://​build.opnfv.org/​ci/​view/​apex|Apex]] |^ [[https://​build.opnfv.org/​ci/​view/​compass4nfv|Compass]] |^ [[https://​build.opnfv.org/​ci/​view/​fuel|Fuel]] |^ [[https://​build.opnfv.org/​ci/​view/​joid|Joid]] | +^ ID  ^ Description ​                                                                                                                                                                                                                                                                                               ^ [[https://​build.opnfv.org/​ci/​view/​apex|Apex]] ​                                                                                     |^ [[https://​build.opnfv.org/​ci/​view/​compass4nfv|Compass]] ​                                   |^ [[https://​build.opnfv.org/​ci/​view/​fuel|Fuel]] ​                                   |^ [[https://​build.opnfv.org/​ci/​view/​joid|Joid]] ​                                        |
-| | | Owner  ​| ​ Status ​ |  Owner  |  Status ​ |  Owner  |  Status ​ |  Owner  |  Status ​  ​+    ​                                                                                                                                                                                                                                                                                                           |  ​Owner                                         |  Status ​                                                                           |  Owner                                                   ​|  Status ​                         |  Owner                                         ​|  Status ​                         |  Owner                                         ​|  Status ​                              ​
-| 1 | bm odl_l3-ha | Apex  [[https://​build.opnfv.org/​ci/​job/​apex-daily-master/ ​Master]] ​| | | Fuel [[https://​build.opnfv.org/​ci/​job/​fuel-os_odl-l3_ha-opnfv-jump-2-daily-brahmaputra/​|Stable]] \\ [[https://​build.opnfv.org/​ci/​job/​fuel-os_odl-l3_ha-ericsson-pod2-daily-master/ ​Master]] ​| Joid | [[https://​build.opnfv.org/​ci/​job/​joid-odl-intel-pod5-daily-brahmaputra/ ​Stable]] \\ [[ https://​build.opnfv.org/​ci/​job/​joid-odl-intel-pod6-daily-master/​| Master]] ​+| 1   ​| bm odl_l3-ha ​                                                                                                                                                                                                                                                                                              ​| Apex                                           ​                                                                                   Compass ​                                                 ​                                 Fuel                                                                            ​| ​                                               |                                       | 
-| virt odl_l3-ha | Apex | [[https://​build.opnfv.org/​ci/​view/​apex/​job/​apex-deploy-virtual-master/​Intel POD2]] \\ [[https://​build.opnfv.org/​ci/​view/​functest/​job/​functest-apex-intel-us-deploy-virtual-2-daily-master/​|Functest]] \\ yardstick:  ​Compass ​         ​[[https://​build.opnfv.org/​ci/​view/​compass4nfv/​job/​compass-deploy-virtual-odl-master/​|Huawei virtual odl]] | | |       +| 2   ​virt odl_l3-ha                                                                                                                                                                                                                                                                                                                                            ​| ​                                                                                   |                                                          |                                  | Fuel                                           ​| ​                                 ​| Joid                                           ​                                      | 
-| bm odl_l2-ha ​  ​ | | | Fuel | [[https://​build.opnfv.org/​ci/​job/​fuel-os_odl-l2_ha-opnfv-jump-2-daily-brahmaputra/​| Stable]] \\ [[https://​build.opnfv.org/​ci/​job/​fuel-os_odl-l2_ha-ericsson-pod2-daily-master/​ | Master]] ​ ​| ​ |  | +| 3   | bm odl_l2-ha                                                                                                                                                                                                                                                                                               | IPv6                                           ​| ​ GENESIS-72 to bypass the gap in ODL Lithium that doesn'​t support IPv6 L3 Routing ​ | IPv6                                                     ​| ​ see Apex comment ​               |                                                ​                                 | IPv6                                           ​| ​ see A.3 note; dropped for B-release  ​
-virt onos-ha ​                                                                                                           ​Compass ​       ​[[https://​build.opnfv.org/​ci/​view/​compass4nfv/​job/​compass-deploy-virtual-onos-master/|Huawei virtual onos]] ​                                                                                                                                                       ​                                                                                           ​                                            ​                                                                                                                           +4   | virt odl_l2-ha                                                                                                                                                                                                                                                                                             ​IPv6                                           ​| ​ see Apex comment on scenario 3                                                    ​IPv6                                                      see Apex comment on scenario 3  | IPv6                                           | see Apex comment on scenario 3   | IPv6                                           | see A.3 note; dropped for B-release ​  | 
-| 14 | bm onos-ha ​  ​ Compass ​[[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​job/​compass-onos-intel-pod8-daily-master/ | Stable ]] \\ [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​job/​compass-onos-huawei-us-deploy-bare-1-daily-brahmaputra/​Master]] ​Fuel [[https://​build.opnfv.org/​ci/​job/​fuel-os_onos_ha-opnfv-jump-2-daily-brahmaputra/ ​Stable]] \\ [[ https://​build.opnfv.org/​ci/​job/​fuel-os_onos_ha-ericsson-pod2-daily-master/ ​Master]] ​Joid [[https://​build.opnfv.org/​ci/​job/​joid-onos-intel-pod5-daily-brahmaputra/ ​Stable]] \\ [[https://​build.opnfv.org/​ci/​job/​joid-onos-intel-pod6-daily-master/​ | Master]] ​+9   virt ODL Beryllium with SFC, GBP, and OVSDB SouthBoundOVS with NSH                                                                                                                                                                                                                                     Apex                                                                                                                                                                                                                        Fuel/​SFC ​                                      ​| ​                                 |                                                |                                       
-15 | bm nosdn-ovs-ha |   ​ | | | Fuel [[https://​build.opnfv.org/​ci/​job/​fuel-os_ovs_ha-opnfv-jump-2-daily-brahmaputra/​|Stable]] \\ [[https://​build.opnfv.org/​ci/​job/​fuel-os_ovs_ha-ericsson-pod2-daily-master/ | Master]] ​  +10  ​| bm VSPERF ​                                                                                                                                                                                                                                                                                                 ​                                                                                                                                                                                                                            | Fuel                                           |                                  |                                                ​                                      | 
-16 | bm nosdn-kvm-ha |   ​ | | | Fuel [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​job/​fuel-os_kvm_ha-opnfv-jump-2-daily-brahmaputra/​|Stable]] \\ [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​job/​fuel-os_kvm_ha-ericsson-pod2-daily-master/​ +| 11  | bm, nosdn-dpdk_ovs * Ubuntu 14.0.4 * No ODL Backend * networking-ovs-dpdk mech driver * libvirt > 1.2.10 * Qemu 2.1+ * One NIC must be provided solely for OVS-DPDK for the private network (and I guess in case DVR is enabled two interfaces needs to be reserved – Public and private ​not sure yet).  ​| ​                                               ​| ​                                                                                   |                                                          |                                  | OVSNFV ​                                        FuncTest tests only (initially) ​ |                                                |                                       
-/|master]] ​  +12  ​bm, Ubuntu 14, ODL with VPN Service enabled, BGPVPN with ODL backend ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | Fuel/SDNVPN ​                                   ​                                                                                                                      ​| 
-17 | bm nosdn-ovs_kvm-ha   ​ | | | Fuel [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​job/​fuel-os_kvm_ovs_ha-opnfv-jump-2-daily-brahmaputra/​|Stable]] \\ [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​job/​fuel-os_kvm_ovs_ha-ericsson-pod2-daily-master/​|master]] ​  |+13  ​virt, Ubuntu ​14, ODL with VPN Service enabled, BGPVPN with ODL backend ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                Fuel/SDNVPN ​                                   ​                                                                                                                      ​| 
 +| 15  | bm nosdn-ovs-ha                                                                                                                                                                                                                                                                                            |                                                | dropped for B-release ​                                                             |                                                          | dropped for B-release ​           |                                                | dropped for B-release ​           ​                                               | dropped for B-release ​                | 
 +16  ​bm nosdn-kvm-ha                                                                                                                                                                                                                                                                                            |                                                | dropped for B-release ​                                                             |                                                          | dropped for B-release ​           |                                                | dropped for B-release ​           ​                                               | dropped for B-release ​                
 +17  ​| bm nosdn-ovs_kvm-ha                                                                                                                                                                                                                                                                                                                                       dropped for B-release ​                                                             ​                                                         dropped for B-release ​           ​                                               dropped for B-release ​           |                                                | dropped for B-release ​                | 
 +| 18  | virt os-opencontrail-nofeature-ha                                                                                                                                                                                                                                                                          | Apex                                           ​| ​                                                                                   | Compass ​                                                 | dropped for B-release ​           ​N/A                                            ​                                 JOID                                           dropped for B-release ​                
 +19  ​| bm os-opencontrail-nofeature-ha                                                                                                                                                                                                                                                                            Apex                                                                                                                              Compass ​                                                 ​dropped for B-release ​           ​N/A                                            ​                                 | JOID                                           | dropped for B-release ​                | 
 +| 20  | virt, Ubuntu 14, ONOS with OpenStack neutron-l3-agent being disabled ​                                                                                                                                                                                                                                                                                                                                                                        ONOSFW ​                                                  ​| ​                                 |                                                |                                  |                                                |                                       
 +21  ​| bm, Ubuntu 14, ONOS with OpenStack neutron-l3-agent being disabled ​                                                                                                                                                                                                                                                                                                                                                                          ONOSFW ​                                                                                                                                  ​| ​                                 |                                                |                                       | 
 +| 22  | virt, CentOS 7, with ONOS neutron-l3-agent being disabled ​                                                                                                                                                                                                                                                 ​ONOSFW ​                                        ​| ​                                                                                   |                                                          |                                  |                                                |                                  |                                                |                                       | 
 +| 23  | virt, Ubuntu 14, ONOS with OpenStack neutron-l3-agent being disabled ​                                                                                                                                                                                                                                                                                                                                                                                                                                 ​| ​                                 | ONOSFW ​                                        ​| ​                                 | ONOSFW ​                                        ​| ​                                      |
  
  
- 
-===== Candidate Scenarios ====== 
- 
-NB: each scenario needs a leader.. 
- 
-^ ID  ^ Description ​                                                              ^ [[https://​build.opnfv.org/​ci/​view/​apex|Apex]] ​                                                                                     |^ [[https://​build.opnfv.org/​ci/​view/​compass4nfv|Compass]] ​                 |^ [[https://​build.opnfv.org/​ci/​view/​fuel|Fuel]] ​                                   |^ [[https://​build.opnfv.org/​ci/​view/​joid|Joid]] ​                 || 
-|     ​| ​                                                                          ​| ​ Owner                                         ​| ​ Status ​                                                                           |  Owner                                                   ​| ​ Status ​       |  Owner                                         ​| ​ Status ​                         |  Owner                                         ​| ​ Status ​       | 
-| 1   ​| ​ bm odl_l3-ha ​                                                                 | Apex                                           ​| ​                                                                                   | Compass ​                                                 |                | Fuel                                           ​| ​                                 |                                                |                | 
-| 2   | virt odl_l3-ha ​                                                               |                                                |                                                                                    |                                                          |                | Fuel                                           ​| ​                                 | Joid                                           ​| ​               | 
-| 3   | bm odl_l2-ha ​   | IPv6                                           ​| ​ GENESIS-72 to bypass the gap in ODL Lithium that doesn'​t support IPv6 L3 Routing ​ | IPv6                                                     ​| ​ see Apex comment ​ |                                            |                      | IPv6                                           ​| ​ see Apex comment ​ | 
-| 4   | virt odl_l2-ha ​ | IPv6                                           ​| ​ see Apex comment on scenario 3                                                                      | IPv6                                                     ​| ​ see Apex comment on scenario 3  | IPv6                                           | see Apex comment on scenario 3                     | IPv6                                           | see A.3 note   | 
-| 5   | virt onos-ha ​                     | ONOSFW ​                                        ​| ​                                                                                   |                                                          |                | ONOSFW ​                                        ​| ​                                 | ONOSFW ​                                        ​| ​               | 
-| 9   | virt ODL Beryllium with SFC, GBP, and OVSDB SouthBound. OVS with NSH.   ​| ​                                               |                                                                                    |                                                          |                | Fuel/​SFC ​                                      ​| ​                                 |                                                |                | 
-| 10  | bm VSPERF ​                                                                ​| ​                                               |                                                                                    |                                                          |                | Fuel                                           ​| ​                                 |                                                |                | 
-| 11  | bm, nosdn-dpdk_ovs ​    ​| ​                                               |                                                                                    |                                                          |                | OVSNFV ​                                        | FuncTest tests only (initially) ​ |                                                |                | 
-| 12  | bm, Ubuntu 14, ODL with VPN Service enabled, BGPVPN with ODL backend ​     |                                                |                                                                                    |                                                          |                | Fuel/​SDNVPN ​                                   |                                  |                                                |                | 
-| 13  | virt, Ubuntu 14, ODL with VPN Service enabled, BGPVPN with ODL backend ​   |                                                |                                                                                    |                                                          |                | Fuel/​SDNVPN ​                                   |                                  |                                                |                | 
  
  
Line 194: Line 183:
 Underscores (_) can be used for separating the values/​words if a field contains more than one value (ie kvm_ovs). Underscores (_) can be used for separating the values/​words if a field contains more than one value (ie kvm_ovs).
  
-**This scenario naming scheme is currently in use/​followed by fuel and joid.**+**This scenario naming scheme is currently in use/​followed by compass, ​fueland joid.**
  
 ===== Jenkins Job Structure ===== ===== Jenkins Job Structure =====
  
-Jenkins jobs switched using Jenkins MultiJob plugin in order to have an easy way to see what happened with a specific execution, trigger and control related jobs together+Jenkins jobs use Freestyle project type
  
 Please take a look at the examples from [[https://​build.opnfv.org/​ci/​job/​fuel-os-odl_l2-nofeature-ha-opnfv-jump-2-daily-brahmaputra/​ | this]] or [[https://​build.opnfv.org/​ci/​job/​joid-os-ocl-nofeature-ha-intel-pod6-daily-master/​ | this]] link to see job structuring. Please take a look at the examples from [[https://​build.opnfv.org/​ci/​job/​fuel-os-odl_l2-nofeature-ha-opnfv-jump-2-daily-brahmaputra/​ | this]] or [[https://​build.opnfv.org/​ci/​job/​joid-os-ocl-nofeature-ha-intel-pod6-daily-master/​ | this]] link to see job structuring.
  
-In this new job structure, there is 1 parent ​job per scenario-pod-branch,​ controlling the executions of deploy, functest, and yardstick jobs. Parent ​jobs are used for setting triggers, triggering jobs manually or automatically, or grouping related jobs together.+In this new job structure, there is 1 main job per scenario-pod-branch,​ controlling the executions of deploy, functest, and yardstick jobs. Main jobs are used for setting triggers, triggering jobs manually or automatically.
  
 There is 1 job for each of the deploy, functest, and yardstick for pod-branch and these jobs take scenario short names from parent job and do what they are supposed to do with given scenario on the POD.  There is 1 job for each of the deploy, functest, and yardstick for pod-branch and these jobs take scenario short names from parent job and do what they are supposed to do with given scenario on the POD. 
  
-**This job structure is currently in use/​followed by compass, fueland joid.**+**This job structure is currently in use/​followed by compass, fuel and joid.**
  
 ===== Jenkins Job Naming ===== ===== Jenkins Job Naming =====
Line 244: Line 233:
   * [[https://​build.opnfv.org/​ci/​job/​functest-fuel-opnfv-jump-2-daily-brahmaputra/​|functest-fuel-opnfv-jump-2-daily-brahmaputra]]   * [[https://​build.opnfv.org/​ci/​job/​functest-fuel-opnfv-jump-2-daily-brahmaputra/​|functest-fuel-opnfv-jump-2-daily-brahmaputra]]
  
-**This Jenkins Job naming ​naming scheme is currently in use/​followed by compass**(//except the new scenario naming scheme//)**, fuel and joid.**+See all the OPNFV Platform CI jobs on [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​|this link]]. 
 + 
 +**This Jenkins Job naming scheme is currently in use/​followed by compass, fuel and joid.**
  
 ====== Brahmaputra Testing using non-CI production PODs ====== ====== Brahmaputra Testing using non-CI production PODs ======
Line 264: Line 255:
 | QTIP          | QTIP test suite                                                                              | Dell POD3      | Fuel       | Daily Jenkins Job for QTIP test suite. ​                                                                                                              | | QTIP          | QTIP test suite                                                                              | Dell POD3      | Fuel       | Daily Jenkins Job for QTIP test suite. ​                                                                                                              |
 | VSPERF ​       | VSPERF test suite                                                                            | Intel POD3     | None       | Daily Jenkins Job for VSPERF test suite. ​                                                                                                            | | VSPERF ​       | VSPERF test suite                                                                            | Intel POD3     | None       | Daily Jenkins Job for VSPERF test suite. ​                                                                                                            |
 +| bottlenecks ​  | rubbos and VSTF test suite                                                                   | Huawei ​        | Compass ​   | Daily Jenkins Job; Responsible for testing: bottlenecks;​ Responsible for documentation:​ bottlenecks ​                                                 |
brahmaputra_testing_page.txt · Last modified: 2016/02/05 19:38 by Fatih Degirmenci