LINEBURG


<< Пред. стр.

страница 16
(всего 26)

ОГЛАВЛЕНИЕ

След. стр. >>

означает, что для каждой характеристики режима выполнения функции безопасности,
явным образом описанной в функциональной спецификации и проекте верхнего уровня,
следует иметь тесты и описание ожидаемых результатов тестирования, чтобы
верифицировать данный режим выполнения.
Несмотря на то, что все ФБО должны тестироваться разработчиком, исчерпывающее
632

тестирование интерфейсов спецификации не требуется. Основная цель данного вида
деятельности состоит в том, чтобы сделать заключение о достаточности тестирования
каждой функции безопасности на соответствие заявленным в функциональной
спецификации и проекте верхнего уровня режимам выполнения. Процедуры тестирования
должны обеспечить понимание того, каким образом разработчиком в ходе тестирования
опробовались функции безопасности. Оценщик будет использовать данную информацию
при разработке дополнительных тестов для независимого тестирования ОО.

8.3 Оценка покрытия
8.3.1 Подвид деятельности ATE_COV.1
8.3.1.1 Цели
Цель данного подвида деятельности – сделать заключение, показывает ли свидетельство
633

разработчика о покрытии тестами разработчика соответствие между тестами,
идентифицированными в тестовой документации, и функциональной спецификацией.
8.3.1.2 Замечания по применению
Материалы анализа покрытия тестами, представляемые разработчиком, требуются для
634

того, чтобы показать соответствие между тестами, предоставленными в качестве
свидетельства оценки, и функциональной спецификацией. Однако нет необходимости в
том, чтобы в материалах анализа покрытия демонстрировалось, что все функции
безопасности были подвергнуты тестированию, или, что все внешние интерфейсы ФБО
были подвергнуты тестированию. Подобные недостатки, если они имеют место,
рассматриваются оценщиком в процессе выполнения подвида деятельности по
независимому тестированию.
8.3.1.3 Исходные данные
Свидетельствами оценки для данного подвида деятельности являются:
635

а) функциональная спецификация;
б) тестовая документация;
в) свидетельство о покрытии тестами.
8.3.1.4 Действия оценщика
Этот подвид деятельности включает один элемент действий оценщика из части 3 ОК:
636

а) ATE_COV.1.1E.
8.3.1.4.1 Действие ATE_COV.1.1E
ATE_COV.1.1C
ATE_COV.1-1 Оценщик должен исследовать свидетельство о покрытии тестами, чтобы сделать
заключение, является ли точным соответствие между тестами,
идентифицированными в тестовой документации, и функциональной
спецификацией.

106
Соответствие может принимать форму таблицы или матрицы. Свидетельство о покрытии
637

тестами, требуемое для рассматриваемого компонента, скорее должно показать степень
покрытия тестами, а не его полноту. В тех случаях, когда показана недостаточность
покрытия, оценщику, чтобы это компенсировать, следует повысить уровень независимого
тестирования.
На рисунке 8.1 отражена концептуальная структура соответствия между функциями
638

безопасности, описанными в функциональной спецификации, и тестами, выделенными в
тестовой документации для тестирования этих функций. Тесты могут затрагивать одну или
несколько функций безопасности, что может быть обусловлено зависимостями тестов или
общей целью выполняемого теста.
Идентификация тестов и функций безопасности, представленных в свидетельстве о
639

покрытии тестами, должна быть однозначной, обеспечивая четкое соответствие между
идентифицированными тестами и функциональной спецификацией тестируемых функций
безопасности.




640
Рисунок 8.1 – Концептуальная структура свидетельства покрытия тестами
641

На рисунке 8.1 функция безопасности ФБ-3 не сопоставлена с какими бы то ни было
642

тестами; следовательно, относительно функциональной спецификации покрытие тестами
является неполным. Неполное покрытие, тем не менее, не будет влиять на заключение по
рассматриваемому подвиду деятельности, поскольку свидетельство о покрытии тестами не

107
обязательно должно показывать полное покрытие тестами идентифицированных в
функциональной спецификации функций безопасности.
8.3.2 Подвид деятельности ATE_COV.2
8.3.2.1 Цели
Цель данного подвида деятельности – сделать заключение, является ли тестирование (как
643

это документально зафиксировано) достаточным, чтобы установить, что ФБО были
систематическим методом протестированы на соответствие функциональной
спецификации.
8.3.2.2 Исходные данные
a) ЗБ;
б) функциональная спецификация;
в) тестовая документация;
г) материалы анализа покрытия тестами.
8.3.2.3 Действия оценщика
Этот подвид деятельности включает один элемент действий оценщика из части 3 ОК:
644

а) ATE_COV.2.1E.
8.3.2.3.1 Действие ATE_COV.2.1E
ATE_COV.2.1C
ATE_COV.2-1 Оценщик должен исследовать материалы анализа покрытия тестами, чтобы
сделать заключение, является ли точным соответствие между тестами,
идентифицированными в тестовой документации, и функциональной
спецификацией.
Соответствие может принимать форму таблицы или матрицы. В некоторых случаях, чтобы
645

показать соответствие тестов может оказаться достаточным наличие такого отображения. В
других случаях может потребоваться некоторое обоснование (на естественном языке) для
того, чтобы дополнить материалы анализа соответствия, представленные разработчиком.
На рисунке 8.2 отражена концептуальная структура соответствия между функциями
646

безопасности, описанными в функциональной спецификации, и тестами, выделенными в
тестовой документации для тестирования этих функций. Тесты могут затрагивать одну или
несколько функций безопасности, что может быть обусловлено зависимостями тестов или
общей целью выполняемого теста.
Идентификация тестов и функций безопасности, представленных в материалах анализа
647

покрытия тестами, должна быть однозначной. Материалы анализа покрытия тестами
должны позволить оценщику сопоставить идентифицированные тесты с тестовой
документацией, а тестируемые функции безопасности – с функциональной спецификацией.
ATE_COV.2-2 Оценщик должен исследовать план тестирования, чтобы сделать заключение,
является ли подход к тестированию каждой функции безопасности ФБО
пригодным для демонстрации ожидаемого режима ее выполнения.
Руководство по выполнению этого шага оценивания можно найти в следующих Замечаниях
648

по применению:
a) Понимание ожидаемого режима функционирования ОО (п. 8.2.1.1);
б) Альтернативные тестированию подходы к верификации ожидаемого режима выполнения
функции безопасности (п. 8.2.1.2).


108
ATE_COV.2-3 Оценщик должен исследовать процедуры тестирования, чтобы сделать
заключение, адекватно ли описание предварительных условий тестирования,
шагов тестирования и ожидаемого результата (ожидаемых результатов) для
тестирования каждой функции безопасности.
Руководство по выполнению этого шага оценивания, который относится к функциональной
649

спецификации, можно найти в Замечаниях по применению «Верификация адекватности
тестов» (п. 8.2.1.3).
ATE_COV.2.2C
ATE_COV.2-4 Оценщик должен исследовать материалы анализа покрытия тестами, чтобы
сделать заключение о полноте соответствия между ФБО, описанными в
функциональной спецификации, и тестами, идентифицированными в тестовой
документации.
Все функции безопасности и интерфейсы, которые описаны в функциональной
650

спецификации, должны быть представлены в материалах анализа покрытия тестами и
сопоставлены с тестами для утверждения о полноте, хотя исчерпывающее тестирование
интерфейсов спецификации не требуется. Как показано на рисунке 8.2, для всех функций
безопасности имеются относящиеся к ним тесты, а, следовательно, в данном примере
продемонстрировано полное покрытие тестами. Неполнота покрытия была бы очевидна,
если бы некоторая функция безопасности была идентифицирована в материалах анализа
покрытия тестами, но никакие тесты не могли быть к ней отнесены.




109
651
Рисунок 8.2 – Концептуальная структура анализа покрытия тестами

8.4 Оценка глубины
8.4.1 Подвид деятельности ATE_DPT.1
8.4.1.1 Цели
Цель данного подвида деятельности – сделать заключение, тестировал ли разработчик ФБО
652

на соответствие проекту верхнего уровня.
8.4.1.2 Исходные данные
а) ЗБ;
б) функциональная спецификация;
в) проект верхнего уровня;
г) тестовая документация;
д) материалы анализа глубины тестирования.
8.4.1.3 Действия оценщика
Этот подвид деятельности включает один элемент действий оценщика из части 3 ОК:
653

а) ATE_DPT.1.1E
8.4.1.3.1 Действие ATE_DPT.1.1E
ATE_DPT.1.1C



110
ATE_DPT.1-1 Оценщик должен исследовать материалы анализа глубины тестирования на
предмет сопоставления тестов, идентифицированных в тестовой документации, и
проекта верхнего уровня.
В материалах анализа глубины тестирования идентифицируются все подсистемы,
654

описанные в проекте верхнего уровня, и представляется сопоставление тестов с этими
подсистемами. Соответствие может принимать форму таблицы или матрицы. В некоторых
случаях, чтобы показать соответствие тестов может оказаться достаточным наличие такого
отображения. В других случаях может потребоваться некоторое обоснование (на
естественном языке) для того, чтобы дополнить материалы анализа соответствия,
представленные разработчиком.
Все детали проекта, специфицированные в проекте верхнего уровня, сопоставленные с
655

требованиями безопасности ОО и удовлетворяющие им, являются предметом тестирования,
а, следовательно, должны быть сопоставлены с тестовой документацией. На рисунке 8.3
отражена концептуальная структура сопоставления подсистем, описанных в проекте
верхнего уровня, и тестов, изложенных в тестовой документации ОО и используемых для
их тестирования. Тесты могут затрагивать одну или несколько функций безопасности, что
может быть обусловлено зависимостями между тестами или общей целью выполняемого
теста.
ATE_DPT.1-2 Оценщик должен исследовать план тестирования разработчика, чтобы сделать
заключение, является ли подход к тестированию каждой функции безопасности
ФБО пригодным для демонстрации ожидаемого режима ее выполнения.
Руководство по выполнению этого шага оценивания можно найти в следующих Замечаниях
656

по применению:
а) Понимание ожидаемого режима функционирования ОО (п. 8.2.1.1);
б) Альтернативные тестированию подходы к верификации ожидаемого режима выполнения
функции безопасности (п. 8.2.1.2).
Тестирование ФБО может быть выполнено c использованием внешних интерфейсов,
657

внутренних интерфейсов или комбинации тех и других. Независимо от того, какая
стратегия используется, оценщик будет рассматривать ее пригодность для адекватного
тестирования функций безопасности. В частности, оценщик делает заключение, является ли
тестирование с использованием внутренних интерфейсов функций безопасности
необходимым, или эти внутренние интерфейсы могут быть надлежащим образом
протестированы (хотя и неявным образом) с использованием внешних интерфейсов. Это
решение, как и его строгое обоснование, остается за оценщиком.
ATE_DPT.1-3 Оценщик должен исследовать процедуры тестирования, чтобы сделать
заключение, адекватно ли описание предварительных условий тестирования,
шагов тестирования и ожидаемого результата (ожидаемых результатов) для
тестирования каждой функции безопасности.
Руководство по выполнению этого шага оценивания, который относится к проекту
658

верхнего уровня, можно найти в Замечаниях по применению «Верификация адекватности
тестов» (п. 8.2.1.3).
ATE_DPT.1-4 Оценщик должен проверить материалы анализа глубины тестирования, чтобы
удостовериться, что ФБО в том виде, в котором они определены в проекте
верхнего уровня, полностью сопоставлены с тестами, представленными в
тестовой документации.

111
Материалы анализа глубины тестирования обеспечивают полное изложение соответствия
659

между проектом верхнего уровня, планом и процедурами тестирования. Все подсистемы и
внутренние интерфейсы, описанные в проекте верхнего уровня, должны быть
представлены в материалах анализа глубины тестирования. Для всех подсистем и
внутренних интерфейсов, представленных в материалах анализа глубины тестирования,
должны иметься сопоставленные с ними тесты для того, чтобы можно было утверждать о
полноте. Как показано на рисунке 8.3, для всех подсистем и внутренних интерфейсов
имеются относящиеся к ним тесты, а, следовательно, в данном примере
продемонстрирована полнота глубины тестирования. Неполнота тестирования была бы
очевидна, если бы подсистема или внутренний интерфейс были идентифицированы в
материалах анализа глубины тестирования, но никакие тесты не могли быть к ним
отнесены.




Рисунок 8.3 – Концептуальная структура анализа глубины тестирования
8.4.2 Подвид деятельности ATE_DPT.2
8.4.2.1 Цели

112
Цель данного подвида деятельности – сделать заключение, тестировал ли разработчик ФБО
660

на соответствие проекту верхнего уровня и проекту нижнего уровня.
8.4.2.2 Исходные данные
а) ЗБ;
б) функциональная спецификация;
в) проект верхнего уровня;
г) проект нижнего уровня;
д) тестовая документация;
е) материалы анализа глубины тестирования.
8.4.2.3 Действия оценщика
Этот подвид деятельности включает один элемент действий оценщика из части 3 ОК:
661

а) ATE_DPT.2.1E.
8.4.2.3.1 Действие ATE_DPT.2.1E
ATE_DPT.2.1C
ATE_DPT.2-1 Оценщик должен исследовать материалы анализа глубины тестирования для
сопоставления тестов, идентифицированных в тестовой документации, проекта
верхнего уровня и проекта нижнего уровня.
В материалах анализа глубины тестирования идентифицируются все подсистемы,
662

определенные в проекте верхнего уровня, и все модули, описанные в проекте нижнего
уровня, и демонстрируется сопоставление тестов с этими подсистемами и модулями.
Соответствие может принимать форму таблицы или матрицы. В некоторых случаях, чтобы
показать соответствие тестов может оказаться достаточным наличие такого отображения. В
других случаях может потребоваться некоторое обоснование (на естественном языке) для
того, чтобы дополнить материалы анализа соответствия, представленные разработчиком.
Все детали проекта, специфицированные в проекте верхнего уровня и проекте нижнего
663

уровня, сопоставленные с требованиями безопасности ОО и удовлетворяющие им,
являются предметом тестирования, а, следовательно, должны быть сопоставлены с
тестовой документацией. На рисунке 8.4 отражена концептуальная структура
сопоставления подсистем, описанных в проекте верхнего уровня, модулей, описанных в
проекте нижнего уровня, и тестов, изложенных в тестовой документации ОО и
используемых для их тестирования. Тесты могут затрагивать одну или несколько функций
безопасности, что может быть обусловлено зависимостями между тестами или общей
целью выполняемого теста.
ATE_DPT.2-2 Оценщик должен исследовать план тестирования разработчика, чтобы сделать
заключение, является ли подход к тестированию каждой функции безопасности
ФБО пригодным для демонстрации ожидаемого режима ее выполнения.
Руководство по выполнению этого шага оценивания можно найти в следующих Замечаниях
664

по применению:
а) Понимание ожидаемого режима функционирования ОО (п. 8.2.1.1);
б) Альтернативные тестированию подходы к верификации ожидаемого режима выполнения
функции безопасности (п. 8.2.1.2).
Тестирование ФБО может быть выполнено c использованием внешних интерфейсов,
665

внутренних интерфейсов или комбинации тех и других. Независимо от того, какая
стратегия используется, оценщик будет рассматривать ее пригодность для адекватного

113
тестирования функций безопасности. В частности, оценщик делает заключение, является ли
тестирование с использованием внутренних интерфейсов функций безопасности
необходимым, или эти внутренние интерфейсы могут быть надлежащим образом
протестированы (хотя и неявным образом) с использованием внешних интерфейсов. Это
решение, как и его строгое обоснование, остается за оценщиком.
ATE_DPT.2-3 Оценщик должен исследовать процедуры тестирования, чтобы сделать
заключение, адекватно ли описание предварительных условий тестирования,
шагов тестирования и ожидаемого результата (ожидаемых результатов) для
тестирования каждой функции безопасности.
Руководство по выполнению этого шага оценивания, который относится к проекту
666

верхнего уровня и проекту нижнего уровня, можно найти в Замечаниях по применению
«Верификация адекватности тестов» (п. 8.2.1.3).
ATE_DPT.2-4 Оценщик должен проверить материалы анализа глубины тестирования, чтобы
удостовериться, что ФБО в том виде, в котором они определены в проекте
верхнего уровня, полностью сопоставлены с тестами, представленными в
тестовой документации.
Материалы анализа глубины тестирования обеспечивают полное изложение соответствия
667

между проектом верхнего уровня, планом и процедурами тестирования. Все подсистемы и
внутренние интерфейсы, описанные в проекте верхнего уровня должны быть представлены
в материалах анализа глубины тестирования. Для всех подсистем и внутренних
интерфейсов, представленных в материалах анализа глубины тестирования, должны
иметься сопоставленные с ними тесты для того, чтобы можно было утверждать о полноте.
Как показано на рисунке 8.4, для всех подсистем и внутренних интерфейсов имеются
относящиеся к ним тесты, а, следовательно, в данном примере продемонстрирована
полнота глубины тестирования. Неполнота тестирования была бы очевидна, если бы
некоторая подсистема или внутренний интерфейс были идентифицированы в материалах
анализа глубины тестирования, но никакие тесты не могли быть к ним отнесены.
ATE_DPT.2-5 Оценщик должен проверить материалы анализа глубины тестирования, чтобы
удостовериться, что ФБО в том виде, в котором они определены в проекте
нижнего уровня, полностью сопоставлены с тестами, представленными в тестовой
документации.
Материалы анализа глубины тестирования обеспечивают полное изложение соответствия
668

между проектом нижнего уровня, планом и процедурами тестирования. Все модули и
внутренние интерфейсы, описанные в проекте нижнего уровня, должны присутствовать в
материалах анализа глубины тестирования. Для всех модулей и внутренних интерфейсов,
представленных в материалах анализа глубины тестирования, должны иметься
сопоставленные с ними тесты для того, чтобы можно было утверждать о полноте. Как
показано на рисунке 8.4, для всех модулей и внутренних интерфейсов имеются
относящиеся к ним тесты, а, следовательно, в данном примере продемонстрирована
полнота глубины тестирования. Неполнота тестирования была бы очевидна, если бы
некоторый модуль или внутренний интерфейс был идентифицирован в материалах анализа
глубины тестирования, но никакие тесты не могли быть к нему отнесены.




114
Рисунок 8.4 – Концептуальная структура анализа глубины тестирования


8.5 Оценка функциональных тестов
8.5.1 Подвид деятельности ATE_FUN.1

<< Пред. стр.

страница 16
(всего 26)

ОГЛАВЛЕНИЕ

След. стр. >>

Copyright © Design by: Sunlight webdesign