From Fedora Project Wiki

Um proventesters, verifica e relata a estabilidade das atualizações de teste para critical path packages.Eles recuperam suas atualizações do repositório QA:Updates_Testing e relatam suas descobertas usando karma com o Bodhi. O karma positivo de um proventesters é necessário para cada atualização de caminho crítico antes de poder dar push para o repositório estável.

Um proventester é um membro do grupo proventesters . Isto é, os indivíduos que desejam se juntar a este grupo devem primeiro ser orientados e aprovados.

Juntando-se aos proventesters

  1. Inscreva-se no Fedora Account System (if you haven't already) e se candidate para participar do grupo proventesters .
  2. Envie um ticket para Fedora QA Trac, com o assunto Proventester mentor Request , isto é, pedindo para se juntar aos proventesters'e solicitando um mentor.
  1. Aguarde que um mentor aceite seu pedido e siga as instruções que eles fornecerem

Para acelerar o processo, você pode prosseguir aprendendo a ser um proventester, seguindo as instruções mais abaixo, e apresentando alguns comentários enquanto aguarda o processo de tutoria. Publique no seu pedido para um mentor afim de esclarecer de que você leu as instruções nesta página, e que você entende como instalar atualizações de teste, testá-las e sabe enviar comentários. Além disso, você poderá apresentar aos futuros tutores, recursos dos quais você acredita que vá agregar ao pedido.

Processo de teste

Proventesters, verificam um nível básico de estabilidade antes de liberar uma atualização para o público. Eles não precisam testar a total correção ou garantir a cobertura completa do teste. Alguns testes variam de acordo com o tipo de pacote, enquanto outros devem passar para todas as atualizações. De um modo geral, uma atualização deve executar com sucesso todos os[ [critical path action]]s. O Fedora release criteria é outro guia útil para critérios mínimos de teste.

Proventesters verificam as atualizações instalando-os a partir do repositório de teste de atualizações. Para obter instruções sobre como usar este repositório, consulte this page. Para garantir uma detecção rápida de regressões, você deve executar uma atualização completa do sistema deste repositório pelo menos uma vez por dia. Você pode atualizar pacotes individuais mais rapidamente se a necessidade de verificação for urgente. Recomendamos que você tenha o SELinux habilitado e configurado para o modo Enforcing (esta é a configuração padrão, mas muitas pessoas desativam o SELinux após a instalação do Fedora) com o objetivo de testar.

Testes gerais

  1. O sistema deve poder desligar e reiniciar.
  2. O usuário deve poder fazer logon na área de trabalho.
  3. O usuário deve poder acessar a rede.

Testando aplicativos

Se o pacote for um aplicativo, execute o aplicativo e verifique se as operações básicas funcionam.

Testando bibliotecas e componentes compartilhados

Se é uma biblioteca ou outro componente compartilhado, execute um aplicativo que use o componente e garanta que isso funcione.

Procedimentos de Feedback

Uma vez que o karma de um proventester determina se uma atualização pode ser promovida, eles seguem procedimentos especiais com base na gravidade das regressões que eles enfrentam. Use o Fedora Easy Karma - para obter instruções sobre como instalar e usar esta ferramenta - para listar todos os pacotes instalados no repositório de atualizações e permitir o feedback dos arquivos em cada um por vez. Note que você pode usar o parâmetro - critpath-only , o que fará com que f-e-k liste apenas as atualizações do caminho crítico não aprovado, se você tiver tempo curto para testar. Se você não usar este parâmetro, preste especial atenção às atualizações cuja descrição indicam que elas são atualizações do caminho crítico.

Feedback positivo

Normalmente, você poderá publicar comentários positivos sobre uma atualização. Se você não encontrar nenhuma das situações abaixo e achar que a atualização passa nos testes mencionados acima e não causa outros problemas, você deve deixar comentários positivos e observar que você conseguiu usar o pacote com sucesso e não notou quaisquer problemas significativos.

Principais erros

Se você identificou problemas sérios nos testes anteriores e conseguiu identificar o pacote responsável, envie comentários negativos, porém construtivo para esse pacote. Se possível, envie um relatório de erro sobre o problema e vincule ao relatório de erro em sua mensagem de comentários. Uma boa mensagem de feedback identifica rápida e claramente a mudança de comportamento e a causa, se você puder determiná-la.

Bugs menores

Se você identificar um problema de natureza menor e que não impede a funcionalidade do caminho crítico real, não publique comentários negativos. Neste caso, por favor, publique um feedback neutro

Erros relatados anteriormente

Se o seu teste não detectar problemas, mas você vê que outro testador identificou um problema sério com o pacote, tente replicar seu problema e publique comentários negativos se você já puder confirmá-lo. Se você não conseguir confirmar o problema, mas suspeita que isso pode acontecer porque você não pode recriar as condições necessárias, por favor, publique um feedback neutro, observando que não foi possível duplicar o problema.

Pacotes desconhecidos

Se você não tem certeza do que o componente faz ou de como testá-lo, não publique comentários positivos ou negativos. Para atualizações de caminho crítico, se os testes gerais acima de inicialização, funcionalidade de rede e funcionalidade de atualização não identificaram problemas, é bom deixar uma mensagem de resposta neutra, observando que você conseguiu inicializar o sistema.

Proven tester mentoring

Proven tester mentors accept requests from prospective proven tester members, and check that the applicants have read and understood the proven tester instructions before approving their membership. This process is not intended to be onerous, and we should expect to accept all applications unless they have obviously been made in error, seem malicious in intent or the applicant fails to affirm that they have read the instructions for the process.

Se tornando um mentor

Any proven tester can become a mentor. Simply let any existing mentor or group administrator - those listed as administrator or sponsor in the group member list - know you would like to become a mentor, and they will upgrade you to sponsor level, which will allow you to accept applications to the group.

Mentoring process

You can find membership applications in Trac - they will appear under Proventester Mentor Request Release in that list. To accept an application, assign it to yourself. Now ensure that the applicant has applied to the FAS group, read the instructions on this page, and knows how to use the updates-testing repository and fedora-easy-karma. If the applicant provides links to some feedback they have already posted, read these to check that they are in line with the process. If all of this is in order, sponsor the applicant into the proventesters FAS group, and close the application ticket. You can see an example completed application ticket here.

Links externos