User Tools

Site Tools


r1_tempest

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
r1_tempest [2015/05/28 13:41]
Morgan Richomme [Table]
r1_tempest [2015/06/04 08:04] (current)
Morgan Richomme [Table]
Line 5: Line 5:
 ===== Summary ===== ===== Summary =====
  
-^ Tempest ​ ^ LF POD1 (Fuel) ​                                    ​^ LF POD2 (Foreman) ​                                                                                                                                                                  ​+^ Tempest ​ ^ LF POD1 (Fuel) ​                                                                                      ​^ LF POD2 (Foreman) ​                                                                                                                                                                                                                 
-| smoke    | 27 KO on 105 tests (21/05)\\ 26 Ko on 100 (22/​05) ​ | 26 NOK on 97 tests  (13/05 - manual) \\ 32 NOK on 105 tests (22/05 - manual) \\ 41 NOK on 92 tests (#34) \\ 39 NOK on 104 tests (#35) \\ 41 NOK on 130 (#36) \\ 34 NOK on 95 (#37)  | +| smoke    | 27 KO on 105 tests (21/05)\\ 26 KO on 100 (22/05)\\ 14 KO on 106 (03/06) \\ 13 KO on 96 (04/06 #38)  | 26 NOK on 97 tests  (13/05 - manual) \\ 32 NOK on 105 tests (22/05 - manual) \\ 41 NOK on 92 tests (#34) \\ 39/104 (#35) \\ 41/130 \\ 34/95  \\ 41/102 \\ 39/107 \\ 43/99 (#40) \\  ​0/​0 ​(#45) \\ 13/90 (#50) \\ 37/98 (04/06 #54)  | 
-| all      |                                                    | 243 KO on 875   ​(5/​05) ​                                                                                                                                                             |+| all      |                                                                                                      | 243 KO on 875   ​(5/​05) ​                                                                                                                                                                                                            ​| 
 + 
 + 
  
  
Line 24: Line 27:
 === POD 1 === === POD 1 ===
  
-^ ID            ^ Error                                                                                                                                                                               ​^ Associated tests                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              ^ Comments ​ ^ +^ ID            ^ Error                                                                                                                                                              ^ Associated tests                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  ^ Comments ​ ^ 
-| 1             | tempest_lib.exceptions.BadRequest:​ Bad request \\ Details: {u'​message':​ u'​Multiple possible networks found, use a Network ID to be more specific.',​ u'​code':​ 400}                   ​| tempest.api.compute.servers.test_attach_interfaces.AttachInterfacesTestJSON.test_add_remove_fixed_ip \\ tempest.api.compute.servers.test_server_actions.ServerActionsTestJSON \\ tempest.api.volume.test_volumes_actions.VolumesV2ActionsTest ​\\ tempest.api.volume.test_volumes_actions.VolumesV1ActionsTest ​\\ tempest.scenario.test_volume_boot_pattern.TestVolumeBootPattern.test_volume_boot_pattern ​\\ tempest.api.compute.servers.test_create_server.ServersTestJSON ​\\ tempest.scenario.test_volume_boot_pattern.TestVolumeBootPatternV2.test_volume_boot_pattern \\ tempest.api.compute.servers.test_create_server.ServersTestManualDisk ​\\ tempest.scenario.test_server_basic_ops.TestServerBasicOps.test_server_basicops ​\\ tempest.api.compute.servers.test_server_addresses.ServerAddressesTestJSON ​                                                                                                                                                                                             ​|           | +| 1             | tempest_lib.exceptions.BadRequest:​ Bad request \\ Details: {u'​message':​ u'​Multiple possible networks found, use a Network ID to be more specific.',​ u'​code':​ 400}  | tempest.api.compute.servers.test_attach_interfaces.AttachInterfacesTestJSON.test_add_remove_fixed_ip ​\\ tempest.api.compute.servers.test_create_server.ServersTestJSON ​\\ tempest.api.compute.servers.test_server_actions.ServerActionsTestJSON \\ tempest.api.compute.servers.test_create_server.ServersTestManualDisk ​\\ tempest.api.compute.servers.test_server_addresses.ServerAddressesTestJSON ​\\ tempest.api.volume.test_volumes_actions.VolumesV1ActionsTest ​\\ tempest.api.volume.test_volumes_actions.VolumesV2ActionsTest ​\\ tempest.scenario.test_volume_boot_pattern.TestVolumeBootPatternV2.test_volume_boot_pattern \\ tempest.scenario.test_volume_boot_pattern.TestVolumeBootPattern.test_volume_boot_pattern ​\\ tempest.scenario.test_server_basic_ops.TestServerBasicOps.test_server_basicops ​ |           | 
-| <​del>​2</​del> ​ | <del>tempest_lib.exceptions.ConflictAn object with that identifier already exists \\ Details: Quota exceeded for resources: ['​network'​]",​ u'​type':​ u'​OverQuota',​ u'​detail'</​del>  ​tempest.api.network.test_networks.BulkNetworkOpsTestJSON.test_bulk_create_delete_subnet \\ tempest.api.network.test_networks.BulkNetworkOpsIpV6TestJSON.test_bulk_create_delete_subnet \\ tempest.api.network.test_routers.RoutersTest.test_add_remove_router_interface_with_port_id \\ tempest.api.network.test_networks.BulkNetworkOpsTestJSON.test_bulk_create_delete_port ​\\ tempest.api.network.test_networks.BulkNetworkOpsTestJSON.test_bulk_create_delete_network ​\\ tempest.api.network.test_networks.BulkNetworkOpsIpV6TestJSON.test_bulk_create_delete_port \\ tempest.api.network.test_networks.BulkNetworkOpsIpV6TestJSON.test_bulk_create_delete_network \\ tempest.api.network.test_routers.RoutersTest.test_add_multiple_router_interfaces \\ tempest.api.network.test_ports.PortsIpV6TestJSON.test_create_port_with_no_securitygroups ​\\ tempest.api.network.test_networks.NetworksTestJSON ​\\ tempest.api.network.test_routers.RoutersTest.test_add_remove_router_interface_with_subnet_id ​ |           | +| <​del>​2</​del> ​ | tempest_lib.exceptions.UnexpectedResponseCodeUnexpected response code received ​                                                                                  | tempest.api.network.test_networks.BulkNetworkOpsIpV6TestJSON.test_bulk_create_delete_port \\ tempest.api.network.test_networks.BulkNetworkOpsIpV6TestJSON.test_bulk_create_delete_subnet ​\\ tempest.api.network.test_networks.NetworksTestJSON.test_create_update_delete_network_subnet ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |           | 
-| 3             | ValueError: need more than 1 value to unpack ​                                                                                                                                       | tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_network_basic_ops ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           ​|           | +| 8             | testtools.matchers._impl.MismatchError:​ u'​desc2-1852962374'​ != u'​description-229608591' ​                                                                           | tempest.api.identity.admin.v3.test_services.ServicesTestJSON.test_create_update_get_service ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      ​|           | 
-| 8             | testtools.matchers._impl.MismatchError:​ u'​desc2-1852962374'​ != u'​description-229608591' ​                                                                                            ​| tempest.api.identity.admin.v3.test_services.ServicesTestJSON.test_create_update_get_service ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  ​|           | + 
-| <​del>​9</​del> ​ | <​del>​Invalid credentials</​del> ​                                                                                                                                                     | tempest.api.identity.admin.v3.test_regions.RegionsTestJSON \\ tempest.api.identity.admin.v3.test_endpoints.EndPointsTestJSON \\ tempest.api.identity.admin.v3.test_groups.GroupsV3TestJSON \\ tempest.api.identity.admin.v3.test_trusts.TrustsV3TestJSO \\ tempest.api.identity.admin.v3.test_roles.RolesV3TestJSON \\ tempest.api.identity.admin.v3.test_policies.PoliciesTestJSON \\ tempest.api.identity.admin.v3.test_credentials.CredentialsTestJSON \\ tempest.api.identity.admin.v3.test_services.ServicesTestJSON \\tempest.api.identity.admin.v3.test_domains.DomainsTestJSON ​                                                                                                                                                                                                                                                                                                                                                                                                                       |           |+ 
 + 
 + 
 + 
 + 
  
  
Line 37: Line 45:
 === POD 2 === === POD 2 ===
  
-^ ID            ^ Error                                                                                                                                                                                                                                               ^ Associated tests                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          ^ Comments ​ ^ +^ ID            ^ Error                                                                                                                                                                                                                                               ^ Associated tests                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          ^ Comments ​ ^ 
-| 1             | tempest_lib.exceptions.BadRequest:​ Bad request \\ Details: {u'​message':​ u'​Multiple possible networks found, use a Network ID to be more specific.',​ u'​code':​ 400}                                                                                   | tempest.api.volume.test_volumes_actions.VolumesV2ActionsTest \\ tempest.api.volume.test_volumes_actions.VolumesV1ActionsTest \\ tempest.scenario.test_volume_boot_pattern.TestVolumeBootPattern.test_volume_boot_pattern \\ tempest.scenario.test_volume_boot_pattern.TestVolumeBootPatternV2.test_volume_boot_pattern \\ tempest.scenario.test_server_basic_ops.TestServerBasicOps.test_server_basicops ​                                                                                                                                                                                                                 |           | +| 1             | tempest_lib.exceptions.BadRequest:​ Bad request \\ Details: {u'​message':​ u'​Multiple possible networks found, use a Network ID to be more specific.',​ u'​code':​ 400}                                                                                   | tempest.api.volume.test_volumes_actions.VolumesV2ActionsTest \\ tempest.api.volume.test_volumes_actions.VolumesV1ActionsTest \\ tempest.scenario.test_volume_boot_pattern.TestVolumeBootPattern.test_volume_boot_pattern \\ tempest.scenario.test_volume_boot_pattern.TestVolumeBootPatternV2.test_volume_boot_pattern \\ tempest.scenario.test_server_basic_ops.TestServerBasicOps.test_server_basicops ​\\ tempest.api.compute.servers.test_create_server.ServersTestJSON \\ tempest.api.compute.servers.test_attach_interfaces.AttachInterfacesTestJSON.test_add_remove_fixed_ip \\ tempest.api.compute.servers.test_server_actions.ServerActionsTestJSON \\ tempest.api.compute.servers.test_server_addresses.ServerAddressesTestJSON  ​|           | 
-| <​del>​2</​del> ​ | <​del>​tempest_lib.exceptions.Conflict:​ An object with that identifier already exists \\ Details: {u'​message':​ u"​Quota exceeded for resources: ['​network'​]",​ u'​type':​ u'​OverQuota',​ u'​detail':​ u''​}</​del> ​                                            | tempest.api.network.test_networks.NetworksIpV6TestJSON.test_create_update_delete_network_subnet \\ tempest.api.network.test_networks.BulkNetworkOpsIpV6TestJSON.test_bulk_create_delete_subnet \\ tempest.api.network.test_floating_ips.FloatingIPTestJSON \\ tempest.api.network.test_ports.PortsIpV6TestJSON.test_create_port_in_allowed_allocation_pools \\ tempest.api.network.test_ports.PortsIpV6TestJSON.test_create_port_with_no_securitygroups \\ tempest.api.network.test_routers.RoutersIpV6Test.test_add_remove_router_interface_with_subnet_id ​                                                              ​|           | +| <​del>​2</​del> ​ | <​del>​tempest_lib.exceptions.Conflict:​ An object with that identifier already exists \\ Details: {u'​message':​ u"​Quota exceeded for resources: ['​network'​]",​ u'​type':​ u'​OverQuota',​ u'​detail':​ u''​}</​del> ​                                            | tempest.api.network.test_networks.NetworksIpV6TestJSON.test_create_update_delete_network_subnet \\ tempest.api.network.test_networks.BulkNetworkOpsIpV6TestJSON.test_bulk_create_delete_subnet \\ tempest.api.network.test_floating_ips.FloatingIPTestJSON \\ tempest.api.network.test_ports.PortsIpV6TestJSON.test_create_port_in_allowed_allocation_pools \\ tempest.api.network.test_ports.PortsIpV6TestJSON.test_create_port_with_no_securitygroups \\ tempest.api.network.test_routers.RoutersIpV6Test.test_add_remove_router_interface_with_subnet_id ​                                                                                                                                                                              ​|           | 
-| 3             | ValueError: need more than 1 value to unpack \\ Response - Headers: {'​date':​ 'Tue, 12 May 2015 13:05:08 GMT', '​status':​ '​204',​ '​connection':​ '​close',​ '​content-length':​ '​0',​ '​x-openstack-request-id':​ '​req-08ba5b6f-47a8-4c0b-adda-50b4dc2fc920'​} ​ | tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_network_basic_ops ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |           | +| 3             | ValueError: need more than 1 value to unpack \\ Response - Headers: {'​date':​ 'Tue, 12 May 2015 13:05:08 GMT', '​status':​ '​204',​ '​connection':​ '​close',​ '​content-length':​ '​0',​ '​x-openstack-request-id':​ '​req-08ba5b6f-47a8-4c0b-adda-50b4dc2fc920'​} ​ | tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_network_basic_ops ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |           | 
-| 4             | tempest_lib.exceptions.UnexpectedResponseCode:​ Unexpected response code received \\ Details: 503 \\ NeutronError":​ {"​message":​ "​Unable to create the network. No available network found in maximum allowed attempts." ​                             | tempest.api.network.test_routers.RoutersIpV6Test.test_add_multiple_router_interfaces \\ tempest.api.network.test_networks.BulkNetworkOpsTestJSON.test_bulk_create_delete_subnet tempest.api.network.test_networks.BulkNetworkOpsTestJSON.test_bulk_create_delete_port \\ tempest.api.network.test_networks.BulkNetworkOpsIpV6TestJSON.test_bulk_create_delete_network ​                                                                                                                                                                                                                                                    ​|           | +| 4             | tempest_lib.exceptions.UnexpectedResponseCode:​ Unexpected response code received \\ Details: 503 \\ NeutronError":​ {"​message":​ "​Unable to create the network. No available network found in maximum allowed attempts." ​                             | tempest.api.network.test_routers.RoutersIpV6Test.test_add_multiple_router_interfaces \\ tempest.api.network.test_networks.BulkNetworkOpsTestJSON.test_bulk_create_delete_subnet tempest.api.network.test_networks.BulkNetworkOpsTestJSON.test_bulk_create_delete_port \\ tempest.api.network.test_networks.BulkNetworkOpsIpV6TestJSON.test_bulk_create_delete_network ​                                                                                                                                                                                                                                                                                                                                                                    ​|           | 
-| <​del>​5</​del> ​ | <​del>​tempest.exceptions.InvalidConfiguration:​ Invalid Configuration \\ Details: Not enough users available for multi-user testing</​del> ​                                                                                                            | tempest.api.compute.security_groups.test_security_group_rules.SecurityGroupRulesTestJSON \\ tempest.api.compute.security_groups.test_security_groups.SecurityGroupsTestJSON \\ tempest.api.compute.servers.test_server_actions.ServerActionsTestJSON \\ tempest.api.compute.servers.test_create_server.ServersTestJSON \\ tempest.api.compute.flavors.test_flavors.FlavorsV2TestJSON \\ tempest.api.compute.servers.test_create_server.ServersTestManualDisk \\ tempest.api.compute.servers.test_attach_interfaces.AttachInterfacesTestJSON \\ tempest.api.compute.servers.test_server_addresses.ServerAddressesTestJSON ​ |           | +| <​del>​5</​del> ​ | <​del>​tempest.exceptions.InvalidConfiguration:​ Invalid Configuration \\ Details: Not enough users available for multi-user testing</​del> ​                                                                                                            | tempest.api.compute.security_groups.test_security_group_rules.SecurityGroupRulesTestJSON \\ tempest.api.compute.security_groups.test_security_groups.SecurityGroupsTestJSON \\ tempest.api.compute.servers.test_server_actions.ServerActionsTestJSON \\ tempest.api.compute.servers.test_create_server.ServersTestJSON \\ tempest.api.compute.flavors.test_flavors.FlavorsV2TestJSON \\ tempest.api.compute.servers.test_create_server.ServersTestManualDisk \\ tempest.api.compute.servers.test_attach_interfaces.AttachInterfacesTestJSON \\ tempest.api.compute.servers.test_server_addresses.ServerAddressesTestJSON ​                                                                                                                 |           | 
-| 6             | tempest_lib.exceptions.ServerFault:​ Got server fault \\ Details: create_port_postcommit failed. ​                                                                                                                                                    | tempest.api.network.test_routers.RoutersIpV6Test.test_add_remove_router_interface_with_port_id ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           |           | +| 6             | tempest_lib.exceptions.ServerFault:​ Got server fault \\ Details: create_port_postcommit failed. ​                                                                                                                                                    | tempest.api.network.test_routers.RoutersIpV6Test.test_add_remove_router_interface_with_port_id ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           |           | 
-| 7             | tempest_lib.exceptions.UnexpectedResponseCode:​ Unexpected response code received \\ Details: 503                                                                                                                                                    | tempest.api.network.test_networks.NetworksTestJSON ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |           | +| 7             | tempest_lib.exceptions.UnexpectedResponseCode:​ Unexpected response code received \\ Details: 503                                                                                                                                                    | tempest.api.network.test_networks.NetworksTestJSON ​                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |           | 
-| <​del>​9</​del> ​ | <​del>​Invalid credentials</​del> ​                                                                                                                                                                                                                     | tempest.api.identity.admin.v3.test_regions.RegionsTestJSON \\ tempest.api.identity.admin.v3.test_endpoints.EndPointsTestJSON \\ tempest.api.identity.admin.v3.test_groups.GroupsV3TestJSON \\ tempest.api.identity.admin.v3.test_trusts.TrustsV3TestJSO \\ tempest.api.identity.admin.v3.test_roles.RolesV3TestJSON \\ tempest.api.identity.admin.v3.test_policies.PoliciesTestJSON \\ tempest.api.identity.admin.v3.test_credentials.CredentialsTestJSON \\ tempest.api.identity.admin.v3.test_services.ServicesTestJSON \\tempest.api.identity.admin.v3.test_domains.DomainsTestJSON ​                                   |           |+| <​del>​9</​del> ​ | <​del>​Invalid credentials</​del> ​                                                                                                                                                                                                                     | tempest.api.identity.admin.v3.test_regions.RegionsTestJSON \\ tempest.api.identity.admin.v3.test_endpoints.EndPointsTestJSON \\ tempest.api.identity.admin.v3.test_groups.GroupsV3TestJSON \\ tempest.api.identity.admin.v3.test_trusts.TrustsV3TestJSO \\ tempest.api.identity.admin.v3.test_roles.RolesV3TestJSON \\ tempest.api.identity.admin.v3.test_policies.PoliciesTestJSON \\ tempest.api.identity.admin.v3.test_credentials.CredentialsTestJSON \\ tempest.api.identity.admin.v3.test_services.ServicesTestJSON \\tempest.api.identity.admin.v3.test_domains.DomainsTestJSON ​                                                                                                                                                   |           | 
  
    
r1_tempest.1432820488.txt.gz · Last modified: 2015/05/28 13:41 by Morgan Richomme