User Tools

Site Tools


r1_rally_bench

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Next revision
Previous revision
r1_rally_bench [2015/05/13 12:31]
Morgan Richomme created
r1_rally_bench [2015/05/21 12:21] (current)
Morgan Richomme [Table]
Line 1: Line 1:
 ==== Error details ==== ==== Error details ====
 +
 +=== Error categories ===
 +  #1. Issues due to bugs in the test itself
 +  #2. Issues due to installation of the system/​component
 +  #3. Issues due to configuration of the system/​component
 +  #4. Issues due to failures/​bugs/​etc. in a component
 + 
  
 === POD 1 ===  === POD 1 === 
 +
 +authenticate,​ keystone, quotas => all tests OK
 +
 +^ ID            ^ Module ​            ^ Test                                                  ^ Error                                                                                                                                                          ^ Error rate           ^
 +| <​del>​1</​del> ​ | <​del>​cinder</​del> ​ | <​del>​create_nested_snapshots_and_attach_volume</​del> ​ | Invalid input received: Volume size 2GB cannot be smaller than the snapshot size 5GB. They must be >= original snapshot ​                                       |                      |
 +| <​del>​2</​del> ​ | <​del>​glance</​del> ​ | <​del>​list_images</​del> ​                               | something_went_wrong \\ Unexpected error: 400 Bad Request: The HTTP URL is invalid. (HTTP 400)                                                                 ​| ​                     |
 +| <​del>​3</​del> ​ | <​del>​heat</​del> ​   | <​del>​create_and_list_stack</​del> ​                     |  TypeError: create_and_list_stack() takes exactly 2 arguments (1 given) ​                                                                                      ​| ​ other tests not run |
 +| 4             | neutron ​           | create_and_delete_ports ​                              | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 91%                  |
 +| 5             | neutron ​           | create_and_delete_routers ​                            | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 21%                  |
 +| 6             | neutron ​           | create_and_delete_subnets ​                            | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 91%                  |
 +| 7             | neutron ​           | create_and_list_networks ​                             |  ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                             | 91%                  |
 +| 8             | neutron ​           | create_and_list_ports ​                                | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 91%                  |
 +| 9             | neutron ​           | create_and_list_routers ​                              | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 91%                  |
 +| 10            | neutron ​           | create_and_list_subnets ​                              | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 10%                  |
 +| 11            | neutron ​           | create_and_update_networks ​                           | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 10%                  |
 +| 12            | neutron ​           | create_and_update_ports ​                              | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 10%                  |
 +| 13            | neutron ​           | create_and_update_routers ​                            | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 10%                  |
 +| 14            | nova               | boot_and_delete_server_with_secgroups ​                ​| ​                                                                                        ​Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403) | 100%                 |
 +| 15            | nova               | create_and_delete_secgroups ​                          | Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403)                                                                                         | 100%                 |
 +| 16            | nova               | create_and_list_secgroups ​                            | Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403)                                                                                         | 100%                 |
 +| 17            | nova               | resize_server ​                                        ​| ​ BadRequest Resize requires a flavor change. (HTTP 400)                                                                                                       | 100%                 |
 +| 18            | nova               | snapshot_server ​                                      | TimeoutException Rally tired waiting for Image rally_novaserver_EIilsAs7wdBoGkSs:​8eb0f09d-ea1a-4475-bf89-2e5af2548405 to become ACTIVE current status SAVING ​ | 100%                 |
 +
 +
 +
 +
 +
  
 === POD 2 === === POD 2 ===
  
 +authenticate,​ keystone, quotas => all tests OK
 +
 +
 +^ ID            ^ Module ​          ^ Test                                                ^ Error                                                                                                                                                                                                                          ^ Error rate           ^
 +| 19            | cinder ​          | create_and_attach_volume ​                           | TimeoutException \\ Rally tired waiting for Volume ​                                                                                                                                                                            | 100%                 |
 +| 20            | cinder ​          | create_and_delete_volume ​                           | GetResourceErrorStatus ​ \\ Resource <Volume: 31ed26b6-6c0d-46ac-9567-05fcd2762b0c>​ has ERROR status: ​                                                                                                                          | 100%                 |
 +| 21            | cinder ​          | create_nested_snapshots_and_attach_volume ​          | TimeoutException \\ Rally tired waiting for Volume <Volume: f5858c3c-41f9-44ed-bbaa-bd45d949aeac>:​f5858c3c-41f9-44ed-bbaa-bd45d949aeac to become in-use current \\ status AVAILABLE ​                                           | 100%                 |
 +| 22            | cinder ​          | create_nested_snapshots_and_attach_volume ​          | TimeoutException \\ Rally tired waiting for Volume <Volume: f5858c3c-41f9-44ed-bbaa-bd45d949aeac>:​f5858c3c-41f9-44ed-bbaa-bd45d949aeac to become in-use current \\ status AVAILABLE ​                                           | 100%                 |
 +| 23            | glance ​          | create_image_and_boot_instances ​                    | GetResourceErrorStatus ​ \\ Forbidden : Forbidden Quota exceeded for instances: Requested 1, but already used 10 of 10 instances (HTTP 403)                                                                                    | 40%                  |
 +| <​del>​3</​del> ​ | <​del>​heat</​del> ​ | <​del>​create_and_list_stack</​del> ​                   |  TypeError: create_and_list_stack() takes exactly 2 arguments (1 given) ​                                                                                                                                                      ​| ​ other tests not run |
 +| 24            | neutron ​         | create_and_delete_networks ​                         |  ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                    | 39%                  |
 +| 4             | neutron ​         | create_and_delete_ports ​                            | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​ \\ InternalServerError create_network_postcommit failed. ​ \\ InternalServerError create_port_postcommit failed. ​   | 17%                  |
 +| 5             | neutron ​         | create_and_delete_routers ​                          | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. \\ InternalServerError create_network_postcommit failed. \\ InternalServerError create_subnet_postcommit failed. ​ | 43%                  |
 +| 6             | neutron ​         | create_and_delete_subnets ​                          | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 28%                  |
 +| 7             | neutron ​         | create_and_list_networks ​                           |  ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                    | 43%                  |
 +| 8             | neutron ​         | create_and_list_ports ​                              | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 20%                  |
 +| 9             | neutron ​         | create_and_list_routers ​                            | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 26%                  |
 +| 10            | neutron ​         | create_and_list_subnets ​                            | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 20%                  |
 +| 11            | neutron ​         | create_and_update_networks ​                         | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 20%                  |
 +| 12            | neutron ​         | create_and_update_ports ​                            | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 10% FAILED ​          |
 +| 13            | neutron ​         | create_and_update_routers ​                          | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 20%                  |
 +| 25            | vm               | boot_runcommand_delete ​                             | GetResourceErrorStatus Resource <Server: rally_volume_pjvqegajxr>​ has ERROR status: ​                                                                                                                                          | 100%                 |
 +| 14            | nova             | boot_and_delete_server_with_secgroups ​              ​| ​                                                                                                                                                        ​Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403) | 100%                 |
 +| 15            | nova             | create_and_delete_secgroups ​                        | Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403)                                                                                                                                                         | 100%                 |
 +| 16            | nova             | create_and_list_secgroups ​                          | Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403)                                                                                                                                                         | 40%                  |
 +| 26            | nova             | boot_and_bounce_server ​                             | GetResourceFailure Failed to get the resource <Server: rally_novaserver_tzbufwkoejdfkbki>:​ ('​Connection aborted.',​ BadStatusLine("''",​)) \\ ConnectionError ('​Connection aborted.',​ BadStatusLine("''",​)) ​                  | 100%                 |
 +| 27            | nova             | boot_and_live_migrate_server ​                       |  BadRequest oscompute11.opnfv.com is not on shared storage: Live migration can not be used without shared storage. (HTTP 400)                                                                                                 | 100%                 |
 +| 28            | nova             | boot_and_migrate_server ​                            ​| ​ GetResourceErrorStatus Resource <Server: rally_novaserver_uvaicblaxfpigfbn>​ has ERROR status: ​                                                                                                                               | 100%                 |
 +| 29            | nova             | boot_server_attach_created_volume_and_live_migrate ​ | imeoutException Rally tired waiting for Volume ​                                                                                                                                                                               | 100%                 |
 +| 30            | nova             | boot_server_from_volume ​                            | GetResourceErrorStatus Resource <Server: rally_novaserver_skwcqhoggcabryqk>​ has ERROR status: ​                                                                                                                                | 100%                 |
 +| 31            | nova             | boot_server_from_volume_and_delete ​                 | GetResourceErrorStatus Resource <Server: rally_novaserver_zrhqwlhhgzkwmfui>​ has ERROR status: ​                                                                                                                                | 100%                 |
 +| 32            | nova             | boot_server_from_volume_and_live_migrate ​           | GetResourceErrorStatus Resource <Server: rally_novaserver_juzallkpfzptotfi>​ has ERROR status: ​                                                                                                                                | 100%                 |
 +| 17            | nova             | resize_server ​                                      ​| ​ BadRequest Resize requires a flavor change. (HTTP 400)                                                                                                                                                                       | 100%                 |
 +| 18            | nova             | snapshot_server ​                                    | GetResourceFailure Failed to get the resource <Server: rally_novaserver_xbshelqhhjepbdwy>:​ The server has either erred or is incapable of performing the requested operation. (HTTP 500)                                      | 10%                  |
 +
 +
 +
 +
 +See details [[http://​opnfv.orange.org/​test/​|here]]
 +
 +^ Issue ID  ^ Category ID  ^ Solution/​workaround ​                                     ^
 +| 1         | ?            |                                                          |
 +| 2         | ?            |                                                          |
 +| 3         | ?            |                                                          |
 +| 4         | ?            |                                                          |
 +| 5         | ?            |                                                          |
 +| 6         | 1?           | heat out of scope, tests related to heat removed for R1  |
 +| 7         | ?            |                                                          |
 +| 8         | ?            |                                                          |
 +| 9         | ?            |                                                          |
 +| 10        | ?            |                                                          |
 +| 11        | ?            |                                                          |
 +| 12        | ?            |                                                          |
 +| 13        | ?            |                                                          |
 +| 14        | ?            |                                                          |
 +| 15        | ?            |                                                          |
 +| 16        | ?            |                                                          |
 +| 17        | ?            |                                                          |
 +| 18        | ?            |                                                          |
 +| 19        | ?            |                                                          |
 +| 20        | ?            |                                                          |
 +| 21        | ?            |                                                          |
 +| 22        | ?            |                                                          |
 +| 23        | ?            |                                                          |
 +| 24        | ?            |                                                          |
 +| 25        | ?            |                                                          |
 +| 26        | ?            |                                                          |
 +| 27        | ?            |                                                          |
 +| 28        | ?            |                                                          |
 +| 29        | ?            |                                                          |
 +| 30        | ?            |                                                          |
  
r1_rally_bench.1431520308.txt.gz ยท Last modified: 2015/05/13 12:31 by Morgan Richomme