2005

2004

2003

2002

2001

2000

1999

1998

1997

---

Relatório Interno Inpe

Responsáveis:	Ana Maria Ambrosio
	Fátima Mattielllo Francisco

1. Introdução

O objetivo deste projeto é a exploração de técnicas e métodos de teste de software de aplicações espaciais. Esta exploração é apoiada no desenvolvimento de um sistema para testes baseado na técnica de injeção de falhas por software e teste de conformidade de protocolos de comunicação. As áreas cobertas pelo projeto são:

• geração automática de casos de teste a partir de especificação formal, por exemplo, uma Máquina de Estados Finita,
• suporte à execução dos testes: permite realizar testes de conformidade, de interoperabilidade, de tolerância a falhas,através de uma arquitetura comum,
• facilidade de injeção de falhas de forma controlada para validação de sistemas Tolerantes a Falhas,
• armazenamento, tratamento e análise dos dados coletados durante os testes,
• manutenção do histórico de testes,
• medidas de eficiência de mecanismos de Tolerância a Falhas, como por exemplo, o Fator de Cobertura (probabilidade do sistema continuar corretamente na presença de uma falha), cujo valor é importante na avaliação da confiabilidade do software em teste.

2.Principais Resultados e Atividades Desenvolvidas

2.1. Projetos/trabalhos concluídos.

As atividades do projeto ATIFS concluídas neste ano são:

a) uso das ferramentas ConDado e fSofist no projeto MASCO: a arquitetura da fSofist foi adaptada para realização dos testes com injeção de falhas para validação do Software de Recepção de Telemetria do sistema de captação de imagens galácticas implementado no contexto do projeto de pesquisa da Coordenadoria de Ciencias Espaciais - CEA, o MASCO. O trabalho da geração de testes permitiu definir alguns passos para a criação de uma especificação formal que possa ser usada pela ferramenta de forma mais eficiente.


Os resultados dos testes e da adaptação da fSofist podem ser encontrados documento “MASCO-SDD-002- Software para Recepção/armazenamento das Telemetrias do MASCO em Solo (TMSTATION)”e na referência [1] citada abaixo.

Este trabalho permitiu concluir que:

• do ponto de vista da pesquisa em teste de software: devido a característica da aplicação de ser fortemente centrada em tratamento de erros, o uso de injeção de falhas mostrou-se mais eficaz do que os testes de conformidade.
• do ponto de vista da combinação pesquisa/desenvolvimento: é perfeitamente factível a integração de uma atividade de pesquisa ser levada concomitantemente com um projeto real em andamento, provendo resultados positivos para ambas as partes.

b) Realização do site do projeto, que pode ser encontrado no endereço: www.inpe.br/atifs

c) Implementação de uma ferramenta para edição gráfica de máquinas de estados, o MME (Modelador de Máquinas de Estados), gerando uma especificação no formato requerido pela ferramenta que gera casos de teste automaticamente, a ConDado. Esta atividade foi realizada em cooperação com o Centro Regional de Natal –CRN/INPE.


2.2. Resultados parciais obtidos.

Como resultados parciais podemos citar as publicações de [3] a [8], de trabalhos em andamento.

2.3. Principais campanhas técnico-científicas realizadas:

Campanhas:

1. V Workshop do Projeto ATIFS - realizado no Instituto de Computação da Unicamp no dia 27 de agosto de 2003. O programa dos trabalhos apresentados segue em anexo a este relatório.
2. VI Workshop do Projeto ATIFS – a ser realizado no INPE no dia 05 de dezembro de 2003.
3. Orientação de estagiário para o período de 01/10/2003 a 23/12/2003 (40 horas não remuneradas) para instalação da ferramenta fSofist fora do contexto do projeto MASCO.

Principais parceiros e intercâmbios.

Neste projeto da Divisão de Desenvolvimento de Sistemas de Solo - DSS, mantivemos cooperação com as seguintes divisões internas do INPE como:

• Laboratório Associado de Computação e Matemática Aplicada - LAC,
• Divisão de Eletrônica Aeroespacial - DEA,
• Coordenação Geral de Ciências Espaciais e Atmosféricas - CEA e o
• Centro Regional de Natal - CRN.

Atividades previstas para o ano 2003	Análise e comentários sobre a execução
avaliar técnicas de testes de aplicação Web incluindo avaliação de desempenho (tese de mestrado)	trabalho em andamento, dissertação de Danielle C. Guimarães IC/UNICAMP. Resultados parciais podem ser vistos na referência [5].
implementar um algoritmo otimizado para realizar percurso em grafo (base da geração da teste codificação) em linguagem procedural	atividade não realizada devido a impossibilidade de contratação de pessoal, no contexto do PPA-2003.
avaliar a arquitetura e a metodologia de teste de protocolo para execução de testes apoiada em ferramentas	atividades desenvolvidas no projeto MASCO (ver descrição no item 2.1. a deste relatório) A metodologia para geração de teste de conformidade, usando-se a ferramenta ConDado, foi aplicada para o protocolo de conferência definido no contexto do projeto europeu chamado Cotê de Resyste da Universidade de Twente – Holanda. Este protocolo permite vários participantes se comunicarem em paralelo. Os resultados deste trabalho ainda não foram publicados.
integração das ferramentas PerfromCharts e ConDado (tese de mestrado)	Esta integração vem sendo trabalhada na tese de mestrado da aluna Ana Sílvia S. Amaral (LAC), em andamento. Este trabalho está sendo orientado pelo Dr. Nandamudi Vijaykumar do LAC e pela Dra. Eliane Martins do IC/Unicamp, com acompanhamento das responsaveis deste projeto no INPE. Resultados parciais estão publicados em [7].
Utilizar os módulos de injeção de falhas da ferramenta Fsofist no sistema de teste de uma aplicação real.	Esta atividade foi executada na validação do software de Recepção de Telemetria do projeto MASCO. Ver referência [1]. A Ferramenta Fsofist está sendo instalada e estudada por um estagiário com o objetivo de ser disponibilizada para outros projetos.
Estender a ferramenta Fsofist para apoiar outros tipos de testes, tais como, interoperabilidade e desempenho.	Esta atividade foi considerada não prioritária e será explorada no futuro.

Outras atividades no contexto do ATIFS, que não foram previstas no final do ano passado, mas que foram realizadas, são listadas a seguir:

• Definição de uma tese de mestrado, que já está em andamento, cujo objetivo é estudar as necessidades e adaptar a arquitetura de teste implementada na ferramenta fSofist para atender as necessidades de sistemas de teste de computadores de bordo. O sistema de teste do Brazilian Payload Computer (BPC) do microsatélite FBM está sendo usado como estudo de caso. Este trabalho integra conhecimentos do LAC da DEA e da DSS. Resultados parciais podem ser encontrados na referência [6].
• Definição de uma estratégia para redução dos casos de teste gerados pela ConDado. Resultados foram publicados em [3].
• Avaliação do conjunto de casos de testes gerado pela ConDado através da técnica de Mutantes de Interface [8]. Este trabalho contou com a colaboração do ICMC da USP de São Carlos. Permitindo o estreitamento das relações com outro grupo de pesquisas em teste de software existente no Brasil.
• Estudo comparativo entre a norma para teste de protocolo ISO-9646, na qual o ATIFS foi baseado, e as normas existentes para desenvolvimento e teste de software de aplicações espaciais, as normas ECSS e as recomendações CCSDS. Resultados preliminares podem ser encontrados em [4].

2.5. Análise e comentários sobre os principais destaques e problemas verificados no período, e comparação com o desempenho do ano anterior.

O envolvimento da Divisão de Desenvolvimento de Sistemas de Solo - DSS neste projeto tem trazido benefícios diretos às atividades de desenvolvimento de sistemas computacionais e software caracterizadas como área de competência da divisão, uma vez que ele tem permitido a aplicação do estado da arte no que concerne a testes de software.
Outro benefício é a possibilidade de aplicar as ferramentas e metodologias de teste a implementações reais em projetos de desenvolvimento em andamento no INPE, ilustrando que a cooperação entre pesquisa e desenvolvimento é factível e pode trazer vantagens para ambas as partes.
Estudos de caso com protocolos de comunicação solo-bordo de satélites, com sistemas de teste de computadores de bordo e sobre as normas de padronização exclusivamente de aplicações espaciais é fundamental para a capacitação das equipes da divisão uma vez que mantém o foco de especialização consonante com a atividade fim da instituição em aplicações espaciais.
Adicionalmente, através deste projeto de pesquisa aplicada, contribuímos com outros setores da instituição: com o Setor de Lançamento de Balão do INPE – sob a Coordenadoria de Ciencias Espaciais – CEA, no aprimoramento da validação do software de recepção de telemetria do MASCO, utilizado no ATIFS como estudo de caso para a ferramenta FSOFIST; com a Divisão de Engenharia Espacial – DEA, na orientação para realização de uma arquitetura reutilizável para sistemas de teste de computadores de bordo; e com o Laboratório Associado de Computação e Matemática Aplicada - LAC, na definição e orientação conjunta de duas teses de mestrado e uma de doutorado em assuntos diretamente voltados a área de engenharia e tecnologia espacial.


2.6. Publicações Técnico-Científicas

Os trabalhos publicados durante o ano de 2003 são listados a seguir:

[1] Martins, E.; Mattiello-Francisco, M.F. A Tool for Fault Injection and Conformance Testing of Distributed Systems – Invited Paper. Proceedings of the First Latin-American Symposium, LADC 2003, São Paulo, Brasil, oct 2003. Lecture Notes in Computer Science. LNCS 2847 - Dependable Computing – Springer-Verlag. p. 282-302.(ISSN- 0302-9743)

[2] Martins, E.; Ambrosio, AM.; Mattiello-Francisco, M.F. - ATIFS: a testing toolset with software fault injection - Proceedings of York Computer Science Yellow Report 2003 - Workshop SofTest: UK Testing Research II - Department of Computer Science at York, UK, 4-5 September 2003.

[3] Ambrosio, AM - Systematic Test Case Generation for Concurrent FSMs – In: Supplemental Volume of the 2003 International Conference on Dependable Systems and Networks - IEEE Computer Society – p. A-46-A-48. DSN2003 June 2003 - San Framcisco – USA. (ISBN- 0-7695-1952-0)

[4] Ambrosio, AM -Teste de Conformidade para Software de Sistemas Espaciais – Workshop de Tese e Dissertações São Paulop, SP Outubro de 2003 – Ed. Por ªF.Zorzo, F. Brasileiro, I.E.S.J. Pôrto – São Paulo - EPUSP, 2003, p. 85-90. (ISBN- 85-86686-25-5)

[5] Guimarães, D.C. -Uma Estratégia para Testes Funcionais de Aplicações WEB – Workshop de Tese e Dissertações São Paulop, SP Outubro de 2003 – Ed. Por A F.Zorzo, F. Brasileiro, I.E.S.J. Pôrto – São Paulo - EPUSP, 2003, p. 79-84. (ISBN- 85-86686-25-5)

[6] da Silva, C. S. ; Vijaykumar, N.L.; Martins, E.- Uma Arquitetura de Testes para Validação de Computadores de Bordo – Anais do III Workshop dos Cursos da Computação Aplicada do INPE – III WORCAP, 26-27 de novembro de 2003, INPE, São José dos Campos, SP, Brasil.

[7] Amaral, A. S. M. S. ; Vijaykumar, N.L.; Martins, E. – Geração automática de casos de testes de conformidade para software de aplicações em protocolos de comunicação – Anais do III Workshop dos Cursos da Computação Aplicada do INPE – III WORCAP, 26-27 de novembro de 2003, INPE, São José dos Campos, SP, Brasil.

[8] Ambrosio, AM; Martins, E. ; Carvalho, S.V.; Vijaykumar, N.L.- An approach for Concurrent FSM-based Test Case Generation – Anais do III Workshop dos Cursos da Computação Aplicada do INPE – III WORCAP, 26-27 de novembro de 2003, INPE, São José dos Campos, SP, Brasil.


2.7. Atividades de Divulgação Técnico-Científica

Os trabalhos relacionados ao projeto ATIFS foram apresentados nos seguintes eventos:

• Artigo convidado no First Latin-American Symposium, LADC 2003, POLI-USP, São Paulo, Brasil, outubro de 2003;
• Apresentação de artigo no Workshop SofTest: UK - Testing Research II - Department of Computer Science at York, UK, 4-5 September 2003;
• Apresentação de artigo na International Conference on Dependable Systems and Networks - DSN2003 June 2003 - San Framcisco – USA;
• Apresentação de artigos no Workshop de Tese e Dissertações São Paulo, SP - Outubro de 2003;
• Apresentação de artigos no III Workshop dos Cursos da Computação Aplicada do INPE – III WORCAP, 26-27 de novembro de 2003, INPE, São José dos Campos, SP, Brasil.
  

2.8. Comentários e Metas para 2004

Dando continuidade aos resultados alcançados no ano anterior, pretende-se, no próximo ano, atingir as seguintes metas:

• conclusão dos trabalhos de mestrado e doutorado
  
• uso integrado das ferramentas de teste do ATIFS dentro de uma outra aplicação real desenvolvida pelo INPE.

As atividades a serem realizadas para atingir as metas no próximo ano são relacionadas na tabela abaixo.

Atividades previstas para o ano 2004

avaliar uma estratégia de testes de aplicação Web utilizando a Condado (tese de mestrado da Danielle C. Guimarães)

implementar um algoritmo otimizado para realizar percurso em grafo (base da geração da teste codificação) em linguagem procedural, a ser integrado à ferramenta MME.

estender a Fsofist para testes multi-ponto, necessária para o sistema de teste de computadores de bordo. (tese de mestrado)

integrar as ferramentas PerformCharts e ConDado (tese de mestrado)

integrar o uso das ferramentas do ATIFS na validação protocolo de comunicação do experimento APEX com o computador de bordo do satélite FBM.

Instalar e promover a familiarização da Fsofist usando o MASCO como demonstrativo DSS com o objetivo de disponibilizá-la para outros projetos.

estudar e comparar da norma para teste de protocolo ISO-9646, na qual o ATIFS foi baseado, e as normas para desenvolvimento e teste de software de aplicações espaciais, ECSS e CCSDS e propor uma metodologia de teste de serviços de bordo.

Definir e prover facilidades para a atualização do site do ATIFS pelos participantes

Promover workshops do projeto

Participar de eventos nacionais e internacionais na área de teste de software

Programa:

1. O projeto ATIFS: uma visão geral - Dra. Eliane Martins

O ATIFS (Ambiente de Testes e Injeção de Falhas por Software) é um projeto conjunto entre o IC-Unicamp e o INPE visando o desenvolvimento de um conjunto de ferramentas de testes. Serão apresentadas a arquitetura do ATIFS bem como as ferramentas existentes atualmente. Propostas de projetos futuros serão também apresentadas.


2. Validação do ATIFS utilizando o Protocolo de Conferência do projeto Cotê de Resyste - Leonardo Pondian Tizzei

A especificação e implementação correta e mutantes de um Protocolo de Conferência podem ser encontrados na página WEB do Projeto Cotê de Resyste. Este material tem propósito de ser submetido a testes por diferentes projetos e ferramentas para fins de comparação. Neste trabalho serão apresentados resultados quando utilizando as ferramentas do ATIFS.


3. Validação de uma Plataforma de Testes utilizando projeto-piloto da Área AeroEspacial – Deisy Mazzini

Resultados da validação da Plataforma de Testes ATIFS utilizando conceitos sobre máquinas de estado e transições e tendo como alvo de testes o software de Telemetria do projeto MASCO do INPE (recepção de telemetria do telescópio a ser lançado em um balão) serão apresentados.


4. FSofist – arquitetura reutilizável e injeção de falhas aplicadas ao software de telemetria do projeto MASCO/INPE - Anderson Nunes Paiva Morais

A ferramenta fSofist implementa a arquitetura para teste de protocolo de comunicação denominada ferry-clip. Nessa apresentação será mostrada a validação de uma aplicação espacial real desenvolvida pelo INPE, na qual foi utilizada a ferramenta fSofist para apoio aos testes. Serão apresentadas a descrição da ferramenta e os resultados obtidos nos teste de injeção de falhas da aplicação. Será mostrada também a adaptação da ferramenta para os testes do Protocolo de Conferência.

5. Uma arquitetura de testes para Computadores de Bordo – Cláudia S. da Silva

A principal característica de sistemas computacionais utilizados em satélites, ou aplicações espaciais é a confiabilidade, portanto, é necessário investir no processo de desenvolvimento do sistema. Objetivando investir neste processo, mais especificamente nos testes, uma arquitetura de testes para Computadores de Bordo será desenvolvida.


6. Testes de aplicações web: uma metodologia com base na UML - Daniele Constant Guimaraes

Uma estratégia baseada na especificação do sistema para auxiliar nos testes de aplicações web será apresentada.


7. Processo de Teste de Conformidade com Injeção de Falhas - Ana M. Ambrosio

O processo de teste de conformidade para protocolos segundo a norma ISO/IEC 9646 pode ser complementado com teste por injeção de falhas para validação de software de sistemas espaciais. Uma proposta deste processo tendo como suporte as ferramentas do ATIFS será apresentado.


8. O ATIFS na Plataforma para Validação e Integração de Software em Sistemas Espacias - Maria de Fátima Matiello-Francisco

As experiências adquiridas com a utilização do ATIFS em aplicações da área espacial e as perspectivas de evolução de métodos, técnicas e ferramentas para teste de software no contexto do projeto PLAVIS (um projeto de cooperação entre várias instituições acadêmicas e o INPE, cria oportunidades para que o estado da arte em testes de software, materializado pela academia em protótipos de ferramentas e metodologias de testes, sejam validados em testes de aplicativos da área espacial).


9. Encerramento - palavras finais da coordenadora do projeto


Obs.: