User Tools

Site Tools


r1_rally_bench

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
r1_rally_bench [2015/05/21 12:03]
Morgan Richomme [Table]
r1_rally_bench [2015/05/21 12:21] (current)
Morgan Richomme [Table]
Line 12: Line 12:
 authenticate,​ keystone, quotas => all tests OK authenticate,​ keystone, quotas => all tests OK
  
-^ ID            ^ Module ​          ​^ Test                                   ​^ Error                                                                                                                                                          ^ Error rate           ^ +^ ID            ^ Module ​            ​^ Test                                                  ^ Error                                                                                                                                                          ^ Error rate           ^ 
-| 1             ​| cinder ​          ​                                                                                                                                                                                                      |                      | +<del>1</​del>  ​<del>cinder</​del>  ​<​del>​create_nested_snapshots_and_attach_volume</​del>  ​Invalid input received: Volume size 2GB cannot be smaller than the snapshot size 5GB. They must be >= original snapshot ​                                       ​|                      | 
-5             | glance ​          ​| list_images ​                           | something_went_wrong \\ Unexpected error: 400 Bad Request: The HTTP URL is invalid. (HTTP 400)                                                                 ​| ​                     | +<​del>​2</​del>  ​<del>glance</​del>  ​<del>list_images</​del> ​                               ​| something_went_wrong \\ Unexpected error: 400 Bad Request: The HTTP URL is invalid. (HTTP 400)                                                                 ​| ​                     | 
-| <del>6</​del> ​ | <​del>​heat</​del> ​ | <​del>​create_and_list_stack</​del> ​      ​|  TypeError: create_and_list_stack() takes exactly 2 arguments (1 given) ​                                                                                      ​| ​ other tests not run | +| <del>3</​del> ​ | <​del>​heat</​del> ​   | <​del>​create_and_list_stack</​del> ​                     |  TypeError: create_and_list_stack() takes exactly 2 arguments (1 given) ​                                                                                      ​| ​ other tests not run | 
-            | neutron ​         | create_and_delete_ports ​               | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 91%                  | +            | neutron ​           | create_and_delete_ports ​                              ​| ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 91%                  | 
-            | neutron ​         | create_and_delete_routers ​             | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 21%                  | +            | neutron ​           | create_and_delete_routers ​                            ​| ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 21%                  | 
-10            ​| neutron ​         | create_and_delete_subnets ​             | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 91%                  | +6             | neutron ​           | create_and_delete_subnets ​                            ​| ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 91%                  | 
-11            ​| neutron ​         | create_and_list_networks ​              ​|  ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                             | 91%                  | +7             | neutron ​           | create_and_list_networks ​                             |  ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                             | 91%                  | 
-12            ​| neutron ​         | create_and_list_ports ​                 | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 91%                  | +8             | neutron ​           | create_and_list_ports ​                                ​| ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 91%                  | 
-13            ​| neutron ​         | create_and_list_routers ​               | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 91%                  | +9             | neutron ​           | create_and_list_routers ​                              ​| ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 91%                  | 
-14            | neutron ​         | create_and_list_subnets ​               | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 10%                  | +10            | neutron ​           | create_and_list_subnets ​                              ​| ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 10%                  | 
-15            | neutron ​         | create_and_update_networks ​            ​| ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 10%                  | +11            | neutron ​           | create_and_update_networks ​                           | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 10%                  | 
-16            | neutron ​         | create_and_update_ports ​               | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 10%                  | +12            | neutron ​           | create_and_update_ports ​                              ​| ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 10%                  | 
-17            | neutron ​         | create_and_update_routers ​             | ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 10%                  | +13            | neutron ​           | create_and_update_routers ​                            ​| ServiceUnavailable Unable to create the network. No tenant network is available for allocation. ​                                                              | 10%                  | 
-19            | nova             ​| boot_and_delete_server_with_secgroups ​ |                                                                                         ​Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403) | 100%                 | +14            | nova               ​| boot_and_delete_server_with_secgroups ​                ​|                                                                                         ​Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403) | 100%                 | 
-20            | nova             ​| create_and_delete_secgroups ​           | Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403)                                                                                         | 100%                 | +15            | nova               ​| create_and_delete_secgroups ​                          ​| Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403)                                                                                         | 100%                 | 
-21            | nova             ​| create_and_list_secgroups ​             | Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403)                                                                                         | 100%                 | +16            | nova               ​| create_and_list_secgroups ​                            ​| Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403)                                                                                         | 100%                 | 
-29            | nova             ​| resize_server ​                         |  BadRequest Resize requires a flavor change. (HTTP 400)                                                                                                       | 100%                 | +17            | nova               ​| resize_server ​                                        ​|  BadRequest Resize requires a flavor change. (HTTP 400)                                                                                                       | 100%                 | 
-30            | nova             ​| snapshot_server ​                       | TimeoutException Rally tired waiting for Image rally_novaserver_EIilsAs7wdBoGkSs:​8eb0f09d-ea1a-4475-bf89-2e5af2548405 to become ACTIVE current status SAVING ​ | 100%                 |+18            | nova               ​| snapshot_server ​                                      ​| TimeoutException Rally tired waiting for Image rally_novaserver_EIilsAs7wdBoGkSs:​8eb0f09d-ea1a-4475-bf89-2e5af2548405 to become ACTIVE current status SAVING ​ | 100%                 | 
 + 
 + 
  
  
Line 39: Line 42:
  
  
-^ ID            ^ Module ​  ​^ Test                                                ^ Error                                                                                                                                                                                                                          ^ Error rate           ^ +^ ID            ^ Module ​          ​^ Test                                                ^ Error                                                                                                                                                                                                                          ^ Error rate           ^ 
-1             | cinder ​  ​| create_and_attach_volume ​                           | TimeoutException \\ Rally tired waiting for Volume ​                                                                                                                                                                            | 100%                 | +19            ​| cinder ​          ​| create_and_attach_volume ​                           | TimeoutException \\ Rally tired waiting for Volume ​                                                                                                                                                                            | 100%                 | 
-2             | cinder ​  ​| create_and_delete_volume ​                           | GetResourceErrorStatus ​ \\ Resource <Volume: 31ed26b6-6c0d-46ac-9567-05fcd2762b0c>​ has ERROR status: ​                                                                                                                          | 100%                 | +20            ​| cinder ​          ​| create_and_delete_volume ​                           | GetResourceErrorStatus ​ \\ Resource <Volume: 31ed26b6-6c0d-46ac-9567-05fcd2762b0c>​ has ERROR status: ​                                                                                                                          | 100%                 | 
-3             | cinder ​  ​| create_nested_snapshots_and_attach_volume ​          | TimeoutException \\ Rally tired waiting for Volume <Volume: f5858c3c-41f9-44ed-bbaa-bd45d949aeac>:​f5858c3c-41f9-44ed-bbaa-bd45d949aeac to become in-use current \\ status AVAILABLE ​                                           | 100%                 | +21            ​| cinder ​          ​| create_nested_snapshots_and_attach_volume ​          | TimeoutException \\ Rally tired waiting for Volume <Volume: f5858c3c-41f9-44ed-bbaa-bd45d949aeac>:​f5858c3c-41f9-44ed-bbaa-bd45d949aeac to become in-use current \\ status AVAILABLE ​                                           | 100%                 | 
-4             | cinder ​  ​| create_nested_snapshots_and_attach_volume ​          | TimeoutException \\ Rally tired waiting for Volume <Volume: f5858c3c-41f9-44ed-bbaa-bd45d949aeac>:​f5858c3c-41f9-44ed-bbaa-bd45d949aeac to become in-use current \\ status AVAILABLE ​                                           | 100%                 | +22            ​| cinder ​          ​| create_nested_snapshots_and_attach_volume ​          | TimeoutException \\ Rally tired waiting for Volume <Volume: f5858c3c-41f9-44ed-bbaa-bd45d949aeac>:​f5858c3c-41f9-44ed-bbaa-bd45d949aeac to become in-use current \\ status AVAILABLE ​                                           | 100%                 | 
-5             | glance ​  ​| create_image_and_boot_instances ​                    | GetResourceErrorStatus ​ \\ Forbidden : Forbidden Quota exceeded for instances: Requested 1, but already used 10 of 10 instances (HTTP 403)                                                                                    | 40%                  | +23            ​| glance ​          ​| create_image_and_boot_instances ​                    | GetResourceErrorStatus ​ \\ Forbidden : Forbidden Quota exceeded for instances: Requested 1, but already used 10 of 10 instances (HTTP 403)                                                                                    | 40%                  | 
-| <del>6</​del> ​ | heat     ​| create_and_list_stack ​                              ​|  TypeError: create_and_list_stack() takes exactly 2 arguments (1 given) ​                                                                                                                                                      ​| ​ other tests not run | +| <del>3</​del> ​ | <del>heat</​del>  ​<del>create_and_list_stack</​del> ​                   ​|  TypeError: create_and_list_stack() takes exactly 2 arguments (1 given) ​                                                                                                                                                      ​| ​ other tests not run | 
-7             | neutron ​ | create_and_delete_networks ​                         |  ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                    | 39%                  | +24            ​| neutron ​         | create_and_delete_networks ​                         |  ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                    | 39%                  | 
-            | neutron ​ | create_and_delete_ports ​                            | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​ \\ InternalServerError create_network_postcommit failed. ​ \\ InternalServerError create_port_postcommit failed. ​   | 17%                  | +            | neutron ​         | create_and_delete_ports ​                            | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​ \\ InternalServerError create_network_postcommit failed. ​ \\ InternalServerError create_port_postcommit failed. ​   | 17%                  | 
-            | neutron ​ | create_and_delete_routers ​                          | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. \\ InternalServerError create_network_postcommit failed. \\ InternalServerError create_subnet_postcommit failed. ​ | 43%                  | +            | neutron ​         | create_and_delete_routers ​                          | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. \\ InternalServerError create_network_postcommit failed. \\ InternalServerError create_subnet_postcommit failed. ​ | 43%                  | 
-10            ​| neutron ​ | create_and_delete_subnets ​                          | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 28%                  | +6             | neutron ​         | create_and_delete_subnets ​                          | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 28%                  | 
-11            ​| neutron ​ | create_and_list_networks ​                           |  ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                    | 43%                  | +7             | neutron ​         | create_and_list_networks ​                           |  ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                    | 43%                  | 
-12            ​| neutron ​ | create_and_list_ports ​                              | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 20%                  | +8             | neutron ​         | create_and_list_ports ​                              | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 20%                  | 
-13            ​| neutron ​ | create_and_list_routers ​                            | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 26%                  | +9             | neutron ​         | create_and_list_routers ​                            | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 26%                  | 
-14            | neutron ​ | create_and_list_subnets ​                            | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 20%                  | +10            | neutron ​         | create_and_list_subnets ​                            | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 20%                  | 
-15            | neutron ​ | create_and_update_networks ​                         | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 20%                  | +11            | neutron ​         | create_and_update_networks ​                         | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 20%                  | 
-16            | neutron ​ | create_and_update_ports ​                            | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 10% FAILED ​          | +12            | neutron ​         | create_and_update_ports ​                            | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 10% FAILED ​          | 
-17            | neutron ​ | create_and_update_routers ​                          | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 20%                  | +13            | neutron ​         | create_and_update_routers ​                          | ServiceUnavailable Unable to create the network. No available network found in maximum allowed attempts. ​                                                                                                                     | 20%                  | 
-18            | vm       ​| boot_runcommand_delete ​                             | GetResourceErrorStatus Resource <Server: rally_volume_pjvqegajxr>​ has ERROR status: ​                                                                                                                                          | 100%                 | +25            | vm               ​| boot_runcommand_delete ​                             | GetResourceErrorStatus Resource <Server: rally_volume_pjvqegajxr>​ has ERROR status: ​                                                                                                                                          | 100%                 | 
-19            | nova     ​| boot_and_delete_server_with_secgroups ​              ​| ​                                                                                                                                                        ​Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403) | 100%                 | +14            | nova             ​| boot_and_delete_server_with_secgroups ​              ​| ​                                                                                                                                                        ​Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403) | 100%                 | 
-20            | nova     ​| create_and_delete_secgroups ​                        | Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403)                                                                                                                                                         | 100%                 | +15            | nova             ​| create_and_delete_secgroups ​                        | Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403)                                                                                                                                                         | 100%                 | 
-21            | nova     ​| create_and_list_secgroups ​                          | Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403)                                                                                                                                                         | 40%                  | +16            | nova             ​| create_and_list_secgroups ​                          | Forbidden Quota exceeded for resources: ['​security_group'​] (HTTP 403)                                                                                                                                                         | 40%                  | 
-22            | nova     ​| boot_and_bounce_server ​                             | GetResourceFailure Failed to get the resource <Server: rally_novaserver_tzbufwkoejdfkbki>:​ ('​Connection aborted.',​ BadStatusLine("''",​)) \\ ConnectionError ('​Connection aborted.',​ BadStatusLine("''",​)) ​                  | 100%                 | +26            | nova             ​| boot_and_bounce_server ​                             | GetResourceFailure Failed to get the resource <Server: rally_novaserver_tzbufwkoejdfkbki>:​ ('​Connection aborted.',​ BadStatusLine("''",​)) \\ ConnectionError ('​Connection aborted.',​ BadStatusLine("''",​)) ​                  | 100%                 | 
-23            | nova     ​| boot_and_live_migrate_server ​                       |  BadRequest oscompute11.opnfv.com is not on shared storage: Live migration can not be used without shared storage. (HTTP 400)                                                                                                 | 100%                 | +27            | nova             ​| boot_and_live_migrate_server ​                       |  BadRequest oscompute11.opnfv.com is not on shared storage: Live migration can not be used without shared storage. (HTTP 400)                                                                                                 | 100%                 | 
-24            | nova     ​| boot_and_migrate_server ​                            ​| ​ GetResourceErrorStatus Resource <Server: rally_novaserver_uvaicblaxfpigfbn>​ has ERROR status: ​                                                                                                                               | 100%                 | +28            | nova             ​| boot_and_migrate_server ​                            ​| ​ GetResourceErrorStatus Resource <Server: rally_novaserver_uvaicblaxfpigfbn>​ has ERROR status: ​                                                                                                                               | 100%                 | 
-25            | nova     ​| boot_server_attach_created_volume_and_live_migrate ​ | imeoutException Rally tired waiting for Volume ​                                                                                                                                                                               | 100%                 | +29            | nova             ​| boot_server_attach_created_volume_and_live_migrate ​ | imeoutException Rally tired waiting for Volume ​                                                                                                                                                                               | 100%                 | 
-26            | nova     ​| boot_server_from_volume ​                            | GetResourceErrorStatus Resource <Server: rally_novaserver_skwcqhoggcabryqk>​ has ERROR status: ​                                                                                                                                | 100%                 | +30            | nova             ​| boot_server_from_volume ​                            | GetResourceErrorStatus Resource <Server: rally_novaserver_skwcqhoggcabryqk>​ has ERROR status: ​                                                                                                                                | 100%                 | 
-27            | nova     ​| boot_server_from_volume_and_delete ​                 | GetResourceErrorStatus Resource <Server: rally_novaserver_zrhqwlhhgzkwmfui>​ has ERROR status: ​                                                                                                                                | 100%                 | +31            | nova             ​| boot_server_from_volume_and_delete ​                 | GetResourceErrorStatus Resource <Server: rally_novaserver_zrhqwlhhgzkwmfui>​ has ERROR status: ​                                                                                                                                | 100%                 | 
-28            | nova     ​| boot_server_from_volume_and_live_migrate ​           | GetResourceErrorStatus Resource <Server: rally_novaserver_juzallkpfzptotfi>​ has ERROR status: ​                                                                                                                                | 100%                 | +32            | nova             ​| boot_server_from_volume_and_live_migrate ​           | GetResourceErrorStatus Resource <Server: rally_novaserver_juzallkpfzptotfi>​ has ERROR status: ​                                                                                                                                | 100%                 | 
-29            | nova     ​| resize_server ​                                      ​| ​ BadRequest Resize requires a flavor change. (HTTP 400)                                                                                                                                                                       | 100%                 | +17            | nova             ​| resize_server ​                                      ​| ​ BadRequest Resize requires a flavor change. (HTTP 400)                                                                                                                                                                       | 100%                 | 
-30            | nova     ​| snapshot_server ​                                    | GetResourceFailure Failed to get the resource <Server: rally_novaserver_xbshelqhhjepbdwy>:​ The server has either erred or is incapable of performing the requested operation. (HTTP 500)                                      | 10%                  |+18            | nova             ​| snapshot_server ​                                    | GetResourceFailure Failed to get the resource <Server: rally_novaserver_xbshelqhhjepbdwy>:​ The server has either erred or is incapable of performing the requested operation. (HTTP 500)                                      | 10%                  | 
 + 
  
  
r1_rally_bench.1432209792.txt.gz · Last modified: 2015/05/21 12:03 by Morgan Richomme