User Tools

Site Tools


brahmaputra_testing_page

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
brahmaputra_testing_page [2016/01/14 09:08]
Fatih Degirmenci [Jenkins Job Naming]
brahmaputra_testing_page [2016/02/05 19:38] (current)
Fatih Degirmenci [Jenkins Job Naming]
Line 102: Line 102:
 ===== Available Scenarios ===== ===== Available Scenarios =====
  
-Available scenarios mean that the scenarios listed on below page are currently running on CI. Click Jenkins link to access console log of latest build. [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​|Jenkins view per PODs]]+Available scenarios mean that the scenarios listed on below page are currently running on CI. 
  
-  * bmbare metal  +Click Jenkins link to access console log of latest build. [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​|Jenkins view per PODs]]
-  * virt: virtual+
  
-Note: all the Apex scenario are based on Centos 7, all the scenario on compass, fuel and joid are based on Ubuntu 14.04 
  
-Scenario indication shall be understand as follow: [X].[Y], with  
  
-  * X installer (apex|compass|fuel|joid) +===== Candidate Scenarios ======
-  * Y scenario id as defined in the scenario section (e.g. 1 bm + odl i.e. Arno) +
  
 +NB: each scenario needs a leader..
  
-^ ID ^ Description ^ [[https://​build.opnfv.org/​ci/​view/​apex|Apex]] |^ [[https://​build.opnfv.org/​ci/​view/​compass4nfv|Compass]] |^ [[https://​build.opnfv.org/​ci/​view/​fuel|Fuel]] |^ [[https://​build.opnfv.org/​ci/​view/​joid|Joid]] | +^ ID  ^ Description ​                                                                                                                                                                                                                                                                                               ^ [[https://​build.opnfv.org/​ci/​view/​apex|Apex]] ​                                                                                     |^ [[https://​build.opnfv.org/​ci/​view/​compass4nfv|Compass]] ​                                   |^ [[https://​build.opnfv.org/​ci/​view/​fuel|Fuel]] ​                                   |^ [[https://​build.opnfv.org/​ci/​view/​joid|Joid]] ​                                        |
-| | | Owner  ​| ​ Status ​ |  Owner  |  Status ​ |  Owner  |  Status ​ |  Owner  |  Status ​  ​+    ​                                                                                                                                                                                                                                                                                                           |  ​Owner                                         |  Status ​                                                                           |  Owner                                                   ​|  Status ​                         |  Owner                                         ​|  Status ​                         |  Owner                                         ​|  Status ​                              ​
-| 1 | bm odl_l3-ha | Apex  [[https://​build.opnfv.org/​ci/​job/​apex-daily-master/ ​Master]] ​| | | Fuel [[https://​build.opnfv.org/​ci/​job/​fuel-os_odl-l3_ha-opnfv-jump-2-daily-brahmaputra/​|Stable]] \\ [[https://​build.opnfv.org/​ci/​job/​fuel-os_odl-l3_ha-ericsson-pod2-daily-master/ ​Master]] ​| Joid | [[https://​build.opnfv.org/​ci/​job/​joid-odl-intel-pod5-daily-brahmaputra/ ​Stable]] \\ [[ https://​build.opnfv.org/​ci/​job/​joid-odl-intel-pod6-daily-master/​| Master]] ​+| 1   ​| bm odl_l3-ha ​                                                                                                                                                                                                                                                                                              ​| Apex                                           ​                                                                                   Compass ​                                                 ​                                 Fuel                                                                            ​| ​                                               |                                       | 
-| virt odl_l3-ha | Apex | [[https://​build.opnfv.org/​ci/​view/​apex/​job/​apex-deploy-virtual-master/​Intel POD2]] \\ [[https://​build.opnfv.org/​ci/​view/​functest/​job/​functest-apex-intel-us-deploy-virtual-2-daily-master/​|Functest]] \\ yardstick:  ​Compass ​         ​[[https://​build.opnfv.org/​ci/​view/​compass4nfv/​job/​compass-deploy-virtual-odl-master/​|Huawei virtual odl]] | | |       +| 2   ​virt odl_l3-ha                                                                                                                                                                                                                                                                                                                                            ​| ​                                                                                   |                                                          |                                  | Fuel                                           ​| ​                                 ​| Joid                                           ​                                      | 
-| bm odl_l2-ha ​  ​ | | | Fuel | [[https://​build.opnfv.org/​ci/​job/​fuel-os_odl-l2_ha-opnfv-jump-2-daily-brahmaputra/​| Stable]] \\ [[https://​build.opnfv.org/​ci/​job/​fuel-os_odl-l2_ha-ericsson-pod2-daily-master/​ | Master]] ​ ​| ​ |  | +| 3   | bm odl_l2-ha                                                                                                                                                                                                                                                                                               | IPv6                                           ​| ​ GENESIS-72 to bypass the gap in ODL Lithium that doesn'​t support IPv6 L3 Routing ​ | IPv6                                                     ​| ​ see Apex comment ​               |                                                ​                                 | IPv6                                           ​| ​ see A.3 note; dropped for B-release  ​
-virt onos-ha ​                                                                                                           ​Compass ​       ​[[https://​build.opnfv.org/​ci/​view/​compass4nfv/​job/​compass-deploy-virtual-onos-master/|Huawei virtual onos]] ​                                                                                                                                                       ​                                                                                           ​                                            ​                                                                                                                           +4   | virt odl_l2-ha                                                                                                                                                                                                                                                                                             ​IPv6                                           ​| ​ see Apex comment on scenario 3                                                    ​IPv6                                                      see Apex comment on scenario 3  | IPv6                                           | see Apex comment on scenario 3   | IPv6                                           | see A.3 note; dropped for B-release ​  | 
-| 14 | bm onos-ha ​  ​ Compass ​[[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​job/​compass-onos-intel-pod8-daily-master/ | Stable ]] \\ [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​job/​compass-onos-huawei-us-deploy-bare-1-daily-brahmaputra/​Master]] ​Fuel [[https://​build.opnfv.org/​ci/​job/​fuel-os_onos_ha-opnfv-jump-2-daily-brahmaputra/ ​Stable]] \\ [[ https://​build.opnfv.org/​ci/​job/​fuel-os_onos_ha-ericsson-pod2-daily-master/ ​Master]] ​Joid [[https://​build.opnfv.org/​ci/​job/​joid-onos-intel-pod5-daily-brahmaputra/ ​Stable]] \\ [[https://​build.opnfv.org/​ci/​job/​joid-onos-intel-pod6-daily-master/​ | Master]] ​+9   virt ODL Beryllium with SFC, GBP, and OVSDB SouthBoundOVS with NSH                                                                                                                                                                                                                                     Apex                                                                                                                                                                                                                        Fuel/​SFC ​                                      ​| ​                                 |                                                |                                       
-15 | bm nosdn-ovs-ha |   ​ | | | Fuel [[https://​build.opnfv.org/​ci/​job/​fuel-os_ovs_ha-opnfv-jump-2-daily-brahmaputra/​|Stable]] \\ [[https://​build.opnfv.org/​ci/​job/​fuel-os_ovs_ha-ericsson-pod2-daily-master/ | Master]] ​  +10  ​| bm VSPERF ​                                                                                                                                                                                                                                                                                                 ​                                                                                                                                                                                                                            | Fuel                                           |                                  |                                                ​                                      | 
-16 | bm nosdn-kvm-ha |   ​ | | | Fuel [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​job/​fuel-os_kvm_ha-opnfv-jump-2-daily-brahmaputra/​|Stable]] \\ [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​job/​fuel-os_kvm_ha-ericsson-pod2-daily-master/​ +| 11  | bm, nosdn-dpdk_ovs * Ubuntu 14.0.4 * No ODL Backend * networking-ovs-dpdk mech driver * libvirt > 1.2.10 * Qemu 2.1+ * One NIC must be provided solely for OVS-DPDK for the private network (and I guess in case DVR is enabled two interfaces needs to be reserved – Public and private ​not sure yet).  ​| ​                                               ​| ​                                                                                   |                                                          |                                  | OVSNFV ​                                        FuncTest tests only (initially) ​ |                                                |                                       
-/|master]] ​  +12  ​bm, Ubuntu 14, ODL with VPN Service enabled, BGPVPN with ODL backend ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | Fuel/SDNVPN ​                                   ​                                                                                                                      ​| 
-17 | bm nosdn-ovs_kvm-ha   ​ | | | Fuel [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​job/​fuel-os_kvm_ovs_ha-opnfv-jump-2-daily-brahmaputra/​|Stable]] \\ [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​job/​fuel-os_kvm_ovs_ha-ericsson-pod2-daily-master/​|master]] ​  |+13  ​virt, Ubuntu ​14, ODL with VPN Service enabled, BGPVPN with ODL backend ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                Fuel/SDNVPN ​                                   ​                                                                                                                      ​| 
 +| 15  | bm nosdn-ovs-ha                                                                                                                                                                                                                                                                                            |                                                | dropped for B-release ​                                                             |                                                          | dropped for B-release ​           |                                                | dropped for B-release ​           ​                                               | dropped for B-release ​                | 
 +16  ​bm nosdn-kvm-ha                                                                                                                                                                                                                                                                                            |                                                | dropped for B-release ​                                                             |                                                          | dropped for B-release ​           |                                                | dropped for B-release ​           ​                                               | dropped for B-release ​                
 +17  ​| bm nosdn-ovs_kvm-ha                                                                                                                                                                                                                                                                                                                                       dropped for B-release ​                                                             ​                                                         dropped for B-release ​           ​                                               dropped for B-release ​           |                                                | dropped for B-release ​                | 
 +| 18  | virt os-opencontrail-nofeature-ha                                                                                                                                                                                                                                                                          | Apex                                           ​| ​                                                                                   | Compass ​                                                 | dropped for B-release ​           ​N/A                                            ​                                 JOID                                           dropped for B-release ​                
 +19  ​| bm os-opencontrail-nofeature-ha                                                                                                                                                                                                                                                                            Apex                                                                                                                              Compass ​                                                 ​dropped for B-release ​           ​N/A                                            ​                                 | JOID                                           | dropped for B-release ​                | 
 +| 20  | virt, Ubuntu 14, ONOS with OpenStack neutron-l3-agent being disabled ​                                                                                                                                                                                                                                                                                                                                                                        ONOSFW ​                                                  ​| ​                                 |                                                |                                  |                                                |                                       
 +21  ​| bm, Ubuntu 14, ONOS with OpenStack neutron-l3-agent being disabled ​                                                                                                                                                                                                                                                                                                                                                                          ONOSFW ​                                                                                                                                  ​| ​                                 |                                                |                                       | 
 +| 22  | virt, CentOS 7, with ONOS neutron-l3-agent being disabled ​                                                                                                                                                                                                                                                 ​ONOSFW ​                                        ​| ​                                                                                   |                                                          |                                  |                                                |                                  |                                                |                                       | 
 +| 23  | virt, Ubuntu 14, ONOS with OpenStack neutron-l3-agent being disabled ​                                                                                                                                                                                                                                                                                                                                                                                                                                 ​| ​                                 | ONOSFW ​                                        ​| ​                                 | ONOSFW ​                                        ​| ​                                      |
  
  
- 
-===== Candidate Scenarios ====== 
- 
-NB: each scenario needs a leader.. 
- 
-^ ID  ^ Description ​                                                              ^ [[https://​build.opnfv.org/​ci/​view/​apex|Apex]] ​                                                                                     |^ [[https://​build.opnfv.org/​ci/​view/​compass4nfv|Compass]] ​                 |^ [[https://​build.opnfv.org/​ci/​view/​fuel|Fuel]] ​                                   |^ [[https://​build.opnfv.org/​ci/​view/​joid|Joid]] ​                 || 
-|     ​| ​                                                                          ​| ​ Owner                                         ​| ​ Status ​                                                                           |  Owner                                                   ​| ​ Status ​       |  Owner                                         ​| ​ Status ​                         |  Owner                                         ​| ​ Status ​       | 
-| 1   ​| ​ bm odl_l3-ha ​                                                                 | Apex                                           ​| ​                                                                                   | Compass ​                                                 |                | Fuel                                           ​| ​                                 |                                                |                | 
-| 2   | virt odl_l3-ha ​                                                               |                                                |                                                                                    |                                                          |                | Fuel                                           ​| ​                                 | Joid                                           ​| ​               | 
-| 3   | bm odl_l2-ha ​   | IPv6                                           ​| ​ GENESIS-72 to bypass the gap in ODL Lithium that doesn'​t support IPv6 L3 Routing ​ | IPv6                                                     ​| ​ see Apex comment ​ |                                            |                      | IPv6                                           ​| ​ see Apex comment ​ | 
-| 4   | virt odl_l2-ha ​ | IPv6                                           ​| ​ see Apex comment on scenario 3                                                                      | IPv6                                                     ​| ​ see Apex comment on scenario 3  | IPv6                                           | see Apex comment on scenario 3                     | IPv6                                           | see A.3 note   | 
-| 5   | virt onos-ha ​                     | ONOSFW ​                                        ​| ​                                                                                   |                                                          |                | ONOSFW ​                                        ​| ​                                 | ONOSFW ​                                        ​| ​               | 
-| 9   | virt ODL Beryllium with SFC, GBP, and OVSDB SouthBound. OVS with NSH.   ​| ​                                               |                                                                                    |                                                          |                | Fuel/​SFC ​                                      ​| ​                                 |                                                |                | 
-| 10  | bm VSPERF ​                                                                ​| ​                                               |                                                                                    |                                                          |                | Fuel                                           ​| ​                                 |                                                |                | 
-| 11  | bm, nosdn-dpdk_ovs ​    ​| ​                                               |                                                                                    |                                                          |                | OVSNFV ​                                        | FuncTest tests only (initially) ​ |                                                |                | 
-| 12  | bm, Ubuntu 14, ODL with VPN Service enabled, BGPVPN with ODL backend ​     |                                                |                                                                                    |                                                          |                | Fuel/​SDNVPN ​                                   |                                  |                                                |                | 
-| 13  | virt, Ubuntu 14, ODL with VPN Service enabled, BGPVPN with ODL backend ​   |                                                |                                                                                    |                                                          |                | Fuel/​SDNVPN ​                                   |                                  |                                                |                | 
  
  
Line 194: Line 183:
 Underscores (_) can be used for separating the values/​words if a field contains more than one value (ie kvm_ovs). Underscores (_) can be used for separating the values/​words if a field contains more than one value (ie kvm_ovs).
  
-**This scenario naming scheme is currently in use/​followed by fuel and joid.**+**This scenario naming scheme is currently in use/​followed by compass, ​fueland joid.**
  
 ===== Jenkins Job Structure ===== ===== Jenkins Job Structure =====
  
-Jenkins jobs switched using Jenkins MultiJob plugin in order to have an easy way to see what happened with a specific execution, trigger and control related jobs together+Jenkins jobs use Freestyle project type
  
 Please take a look at the examples from [[https://​build.opnfv.org/​ci/​job/​fuel-os-odl_l2-nofeature-ha-opnfv-jump-2-daily-brahmaputra/​ | this]] or [[https://​build.opnfv.org/​ci/​job/​joid-os-ocl-nofeature-ha-intel-pod6-daily-master/​ | this]] link to see job structuring. Please take a look at the examples from [[https://​build.opnfv.org/​ci/​job/​fuel-os-odl_l2-nofeature-ha-opnfv-jump-2-daily-brahmaputra/​ | this]] or [[https://​build.opnfv.org/​ci/​job/​joid-os-ocl-nofeature-ha-intel-pod6-daily-master/​ | this]] link to see job structuring.
  
-In this new job structure, there is 1 parent ​job per scenario-pod-branch,​ controlling the executions of deploy, functest, and yardstick jobs. Parent ​jobs are used for setting triggers, triggering jobs manually or automatically, or grouping related jobs together.+In this new job structure, there is 1 main job per scenario-pod-branch,​ controlling the executions of deploy, functest, and yardstick jobs. Main jobs are used for setting triggers, triggering jobs manually or automatically.
  
 There is 1 job for each of the deploy, functest, and yardstick for pod-branch and these jobs take scenario short names from parent job and do what they are supposed to do with given scenario on the POD.  There is 1 job for each of the deploy, functest, and yardstick for pod-branch and these jobs take scenario short names from parent job and do what they are supposed to do with given scenario on the POD. 
  
-**This job structure is currently in use/​followed by compass, fueland joid.**+**This job structure is currently in use/​followed by compass, fuel and joid.**
  
 ===== Jenkins Job Naming ===== ===== Jenkins Job Naming =====
Line 214: Line 203:
 The jobs on Jenkins should be named according to below naming scheme. The jobs on Jenkins should be named according to below naming scheme.
  
-  * **Parent/Multi Jobs: [installer]-[scenario]-[pod]-[loop]-[branch]**+  * **Parent/Main Jobs: [installer]-[scenario]-[pod]-[loop]-[branch]**
     * [installer]:​ apex, compass, fuel, joid     * [installer]:​ apex, compass, fuel, joid
     * [scenario]: only the scenario names that fit into scenario naming scheme above.     * [scenario]: only the scenario names that fit into scenario naming scheme above.
Line 232: Line 221:
     * [branch]: master or brahmaputra     * [branch]: master or brahmaputra
  
-Example Parent/Multi Job names are+Example Parent/Main Job names are
   * [[https://​build.opnfv.org/​ci/​job/​joid-os-ocl-nofeature-ha-intel-pod6-daily-master/​|joid-os-ocl-nofeature-ha-intel-pod6-daily-master]]   * [[https://​build.opnfv.org/​ci/​job/​joid-os-ocl-nofeature-ha-intel-pod6-daily-master/​|joid-os-ocl-nofeature-ha-intel-pod6-daily-master]]
   * [[https://​build.opnfv.org/​ci/​job/​fuel-os-odl_l2-nofeature-ha-opnfv-jump-2-daily-brahmaputra/​|fuel-os-odl_l2-nofeature-ha-opnfv-jump-2-daily-brahmaputra]] ​   * [[https://​build.opnfv.org/​ci/​job/​fuel-os-odl_l2-nofeature-ha-opnfv-jump-2-daily-brahmaputra/​|fuel-os-odl_l2-nofeature-ha-opnfv-jump-2-daily-brahmaputra]] ​
Line 246: Line 235:
 See all the OPNFV Platform CI jobs on [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​|this link]]. See all the OPNFV Platform CI jobs on [[https://​build.opnfv.org/​ci/​view/​OPNFV%20Platform%20CI%20-%20Alternative%20View/​|this link]].
  
-**This Jenkins Job naming scheme is currently in use/​followed by compass**(//except the new scenario naming scheme//)**, fuel and joid.**+**This Jenkins Job naming scheme is currently in use/​followed by compass, fuel and joid.**
  
 ====== Brahmaputra Testing using non-CI production PODs ====== ====== Brahmaputra Testing using non-CI production PODs ======
Line 266: Line 255:
 | QTIP          | QTIP test suite                                                                              | Dell POD3      | Fuel       | Daily Jenkins Job for QTIP test suite. ​                                                                                                              | | QTIP          | QTIP test suite                                                                              | Dell POD3      | Fuel       | Daily Jenkins Job for QTIP test suite. ​                                                                                                              |
 | VSPERF ​       | VSPERF test suite                                                                            | Intel POD3     | None       | Daily Jenkins Job for VSPERF test suite. ​                                                                                                            | | VSPERF ​       | VSPERF test suite                                                                            | Intel POD3     | None       | Daily Jenkins Job for VSPERF test suite. ​                                                                                                            |
 +| bottlenecks ​  | rubbos and VSTF test suite                                                                   | Huawei ​        | Compass ​   | Daily Jenkins Job; Responsible for testing: bottlenecks;​ Responsible for documentation:​ bottlenecks ​                                                 |
brahmaputra_testing_page.1452762504.txt.gz · Last modified: 2016/01/14 09:08 by Fatih Degirmenci