WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

загрузка...
   Добро пожаловать!

Pages:     | 1 || 3 | 4 |
Структура диссертации

Диссертация состоит из введения, 4 глав, заключения и 6 приложений. Основная часть работы изложена на 144 страницах, содержит 12 таблиц и 36 рисунков.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении приводится краткое обоснование необходимости и актуальности решаемой проблемы, цель и основные задачи исследования, определена научная новизна и практическая ценность работы.

В первой главе диссертационной работы дано подробное обоснование разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции.

Проведен анализ состояния российского законодательства в области технического регулирования и подтверждения соответствия программной продукции. На основе проведенного анализа установлена сфера применения предлагаемых в диссертации разработок – добровольное подтверждение соответствия программной продукции.

Проведенный анализ основных международных и национальных стандартов в области менеджмента качества, жизненного цикла информационных систем, оценки качества и документирования программного обеспечения позволяет констатировать принципиальное отсутствие в документах этого уровня целостного методического и информационного обеспечения подтверждения соответствия программной продукции, что не позволяет решать взаимосвязанные задачи:

  • создания моделей оценки программной продукции конкретным требованиям широкого спектра нормативно-технических документов;
  • разработки детальных спецификаций тестирования, тестов и тестовых случаев и регистрации тестовых результатов;
  • комплексной обработки результатов сертификационных испытаний программных продуктов;
  • оценки соответствия программной продукции установленным требованиям нормативных документов;
  • последовательного документирования результатов сертификации и разработки комплекса методических и отчетных документов процесса сертификации программной продукции.

Для детализации причин и локализации возникающих проблем подтверждения соответствия в диссертационной работе был проведен анализ процесса сертификации программной продукции в нескольких системах сертификации Российской Федерации.

Детальный анализ процесса подтверждения соответствия в системах сертификации ГОСТ Р, «РОСИНФОСЕРТ», «ИНКОМТЕХСЕРТ» выявил критичные компоненты процесса сертификации, среди которых разработка методического обеспечения для сертификационных испытаний и оценки соответствия программной продукции является одной из ключевых задач.

В первой главе диссертации, на основе проведенного анализа российского законодательства, международных и национальных стандартов и сертификации в Российской Федерации обоснована необходимость и актуальность разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции. В первой главе, также, сформулированы цель и подробно описаны задачи исследования.

Во второй и третьей главе представлено нормативно-методическое и информационное обеспечение процесса сертификации программной продукции.

Во второй главе предложены методические принципы для поддержки процесса сертификации программной продукции, разработанные на основе методов анализа иерархий и комплексного метода квалиметрии.

Приведено обоснование, терминологическая база, модель требований и общие принципы построения модели оценки соответствия программной продукции.

На основе международных и национальных стандартов в области менеджмента качества и информационных технологий (ГОСТ Р ИСО/МЭК 9000-2001, ГОСТ Р ИСО/МЭК 12207-99, ISO/IEC 9126-1-4:2001-2004, ISO/IEC 14598-1-6:1999-2001, ГОСТ Р ИСО/МЭК 12119-2000) разработан ряд специфических терминов, используемых в дальнейшем для построения моделей оценки соответствия программной продукции, в том числе: формулировка требований, требование к характеристике, объект требований, элемент требований, компонент требований, объект оценки, элемент оценки, компонент оценки, элемент оценки соответствия, оценка элемента, оценка компонента и др.

Строгая иерархия требований нормативно-технических документов не исключает смысловую иерархическую и семантическую несогласованность компонентов требований на уровне объектов требований и требований к характеристикам, существенным образом ослабляя иерархические связи. В связи с этим, в общем случае, не представляется возможным формальное отображение компонентов требований в компоненты оценки. Для полного учета требований нормативного документа, при построении модели оценки, необходимо обеспечить иерархию компонентов оценки с «сильными связями» на основе их иерархической и семантической согласованности.

Модель оценки представляет собой декомпозицию компонентов оценки, построенную на основе неформальной трансформации компонентов требований нормативного документа. Общая структура модели оценки представлена на рис. 1.

Результатом трансформации требований в модель оценки, в соответствии с введенной в диссертации терминологией, должна стать упорядоченная иерархическая совокупность объектов оценки, характеристик и элементов оценки.

В общем случае требования на модель оценки могут быть отображены не полностью. Эта особенность характеризуется степенью покрытия моделью требований модели оценки или степенью покрытия компонентами требований компонентов оценки, которая может быть вычислена по формуле , где – степень покрытия моделью требований модели оценки, – число не покрытых компонент оценки компонентами требований, – общее число компонентов оценки,.

Рис. 1. Общая модель оценки программной продукции

Степень покрытия требованиями модели оценки зависит от степени обобщения того или иного документа к специфике конкретного программного продукта. Тогда , где – степень обобщения нормативного документа в зависимости от специфики программного продукта,,.

Графическая интерпретация взаимосвязи степени покрытия требованиями и степени обобщения нормативных документов представлены на рисунке 2.

Предложены оригинальные принципы индексации компонентов в модели оценки программной продукции.

Обозначим через совокупность компонентов оценки со сквозной нумерацией слева направо по уровням иерархии в модели оценки.

Каждый элемент характеризуется своим номером i в пределах данной модели от 1 до n, i=0, 1,…, n, где n общее число компонентов оценки. Верхний индекс k определяет номер родственного компонента, расположенного на предыдущем уровне иерархии.

Для разработки модели оценки и получения комплексных оценок компонентов в созданной модели необходимо поставить в соответствие каждому элементу весовой коэффициент.

Для решения этих задач в работе приведены методы экспертной оценки применительно к компонентам оценки программной продукции, в том числе


Рис. 2. Нормативно-технические документы в зависимости от степени покрытия требованиями модели оценки и степени их обобщения относительно специфики программной продукции

метод экспертного ранжирования, метод непосредственной оценки, а также метод экспертных предпочтений.

Из перечисленных, в качестве основного можно предложить метод экспертных предпочтений, поскольку вследствие своей специфики и более точного способа оценки уровня доверия к полученным суждениям экспертов, может быть применен для обработки мнений менее квалифицированных экспертов или мнений всего лишь одного привлекаемого эксперта.

Для реализации метода экспертных предпочтений за основу принят метод анализа иерархий в части определения собственного вектора и главного собственного значения приоритетов.

Пусть P1, P2, …., Pn совокупность компонентов оценки какого-либо уровня иерархии. Количественные суждения об относительном весе каждой пары компонентов (Pi, Pj) представим с помощью квадратной матрицы парных сравнений A = (aij), (i, j = 1, 2, …, n).

Элементы aij этой матрицы определяются по следующим правилам:

1. Для любых i: aii = 1.

2. Если aij =, то aji = 1/, 0 (свойство обратносимметричности).

В общем виде матица парных сравнений имеет вид:

(1)

Нашей целью является получение на основе количественных суждений о парах (Pi, Pj) множества весовых коэффициентов 1, 2, …, n, поставленных в соответствие компонентам P1, P2, …., Pn, т.е. требуется найти зависимость веса i от суждений aij.

Один из основных методов определения вектора = (1, 2, …, n) основывается на утверждениях линейной алгебры. Искомый вектор приоритетов является собственным вектором матрицы парных сравнений, соответствующим наибольшему собственному значению max.

В связи с этим можно сформулировать следующую задачу: если А – матрица значений парных сравнений, то для нахождения вектора приоритетов нужно найти вектор, который удовлетворяет соотношению А = max.

Это уравнение, записанное поэлементно, выглядит следующим образом:

(2)

или

, где i = 1, 2, …., n.

Первым этапом решения векторного уравнения (2) является нахождение max наибольшего собственного значения матрицы А.

Величины 1, 2, …, n, удовлетворяющие условию Аx = maxx, называются собственными (характеристическими) значениями матрицы А, а ненулевой вектор x ее собственным (характеристическим) вектором.

Для получения нетривиального (ненулевого) решения уравнения (А )x = 0 матрица АE должна быть вырожденной, т.е. ее определитель (det) должен быть равен 0. Этот определитель представляет собой полином n-ой степени от. Условие равенства определителя 0 приводит к уравнению n-ой степени, которое называется характеристическим уравнением матрицы А. Корни этого характеристического уравнения являются искомыми собственными значениями.

Собственные значения матрицы можно получить, используя стандартные численные методы. В настоящее время существуют пакеты прикладных программ (MathCad, MatLab), позволяющие находить корни характеристических уравнений.

На втором этапе, после определения max максимального из найденных собственных значений, решается векторное уравнение А = max относительно собственного вектора.

Следует заметить, что, так как матрица (АmaxE) вырожденная, то существует зависимость между ее строками. Собственный вектор получается в результате присваивания произвольного значения одному из них i. Однако, в большинстве случаев, желательно иметь нормализованное решение, поэтому одно из уравнений системы можно заменить на . Это обеспечит единственность решения системы уравнений.

На третьем этапе требуется оценить уровень доверия к полученным результатам с помощью так называемого индекса согласованности (ИС). ИС выражает степень отклонения рассогласованной матрицы от идеально согласованной.

Матрица называется согласованной, если суждения эксперта совершенны при всех сравнениях, т.е. для всех i, j, k выполняется условие: aik = aijajk. Индекс согласованности вычисляется по формуле:

Малое значение индекса согласованности (приводится в различных литературных источниках меньшее или равное 0.1), свидетельствует о приемлемой степени согласованности суждений. Достаточно большой индекс согласованности может служить основанием для пересмотра суждений эксперта.

С этой целью, для плохо согласованной матрицы А с собственным вектором, соответствующему наибольшему собственному значению max, формируется новая матрица B абсолютных разностей: B = (bij), где bij = |aij i /j|, i, j = 1, 2, …, n.

Далее предлагается пересмотреть суждения для строки с наибольшим отклонением. Желательно иметь такую процедуру изменения матрицы парных сравнений, при которой aij приближалось бы к i /j.

Процедура состоит в нахождении самой несогласованной строки k в матрице B, т.е. такой, что .

После чего все элементы k-ой строки заменяются соответствующими отклонениями элементов собственного вектора, akj = k /j, (j=1, …, n), и осуществляется пересчет вектора приоритетов.

Очевидно, что при новом индексе согласованности, превосходящем допускаемое значение (например, значение 0.1), процедуру пересмотра суждений можно повторять несколько раз для улучшения согласованности. Однако, следует избегать чрезмерного повторения и попытаться улучшить суждения естественным образом.

Приведены также приближенные решения метода экспертных предпочтений.

Приведены принципы тестирования программной продукции. Выделены статическое и динамическое тестирование, экспериментальные, экспертные и социологические методы при сертификационных испытаниях программной продукции. Определен процесс тестирования, а также тесты и тестовые случаи. Определены элементы тестирования и взаимосвязь результатов выполнения тестов с моделью оценки. Приведены принципы формирования оценочных шкал для определения экспертных значений элементов оценки.

Предложены методические принципы оценки соответствия программной продукции. Предложена линейная нормализация применительно к рассматриваемым компонентам оценки (тестовым результатам) программной продукции. Для решения задачи линейной нормализации, в общем случае, определяется вектор исходных значений свойств |ai|. Расчетные нормализованные значения этих свойств bi зависят от величины интервала [ai min; ai max] и определяются по следующим формулам:

, если bi максимизируются 0 bi 1 (3)

, если bi минимизируются 0 bi 1 (4)

где, в общем случае, ai max – максимальное значение свойства, ai min – минимальное значение свойства.

Применительно к программной продукции предложены следующие формулы линейной нормализации:

Элемент оценки изменяется в интервалах [;] и [; ] и если bi максимизируется 0 bi 1, то, при принимает значение Pi min доп и bi = 1.

Элемент оценки изменяется в интервале [;] и [; ] и если bi минимизируется 0 bi 1, то, при принимает значение Pi max доп и bi = 1.

Варианты возможных интервалов элементов оценки приведены в таблице 1.

Pages:     | 1 || 3 | 4 |






© 2011 www.dissers.ru - «Бесплатная электронная библиотека»