ГОСТ Р 55236.4-2012/ISO/PAS 20282-4:2007. Национальный стандарт Российской Федерации. Эргономика изделий повседневного использования. Часть 4. Метод испытаний для проверки удобства установки и монтажа

(утв. и введен в действие Приказом Росстандарта от 29.11.2012 № 1280-ст)

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ЭРГОНОМИКА ИЗДЕЛИЙ ПОВСЕДНЕВНОГО ИСПОЛЬЗОВАНИЯ

ЧАСТЬ 4

МЕТОД ИСПЫТАНИЙ ДЛЯ ПРОВЕРКИ УДОБСТВА УСТАНОВКИ И МОНТАЖА

Ergonomics of everyday products. Part 4. Test method for the installation of consumer products

ISO/PAS 20282-4:2007 Ease of operation of everyday products — Part 4: Test method for the installation of consumer products (IDT)

ГОСТ Р 55236.4-2012/ISO/PAS 20282-4:2007

Группа Э65

Цели и принципы стандартизации в Российской Федерации установлены Федеральным законом от 27 декабря 2002 г. № 184-ФЗ «О техническом регулировании», а правила применения национальных стандартов Российской Федерации — ГОСТ Р 1.0-2004 «Стандартизация в Российской Федерации. Основные положения».

1. Подготовлен Автономной некоммерческой организацией «Научно-исследовательский центр контроля и диагностики технических систем» (АНО «НИЦ КД») на основе собственного аутентичного перевода на русский язык международного документа, указанного в пункте 4.

2. Внесен Техническим комитетом по стандартизации ТК 201 «Эргономика, психология труда и инженерная психология».

4. Настоящий стандарт идентичен международному документу ISO/PAS 20282-4:2007 «Удобство управления изделиями повседневного использования. Часть 4. Метод испытаний для проверки удобства установки и монтажа» (ISO/PAS 20282-4:2007 «Ease of operation of everyday products — Part 4: Test method for the installation of consumer products»).

Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5-2004 (подраздел 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов и документов соответствующие им национальные стандарты, сведения о которых приведены в Приложениях ДА и ДБ.

5. Введен впервые.

Информация об изменениях к настоящему стандарту публикуется в ежегодно издаваемом информационном указателе «Национальные стандарты», а текст изменений и поправок — в ежемесячно издаваемом информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ежемесячно издаваемом информационном указателе «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет.

Введение

Многие пользователи испытывают трудности при установке изделий повседневного использования, таких как автоответчики и видеомагнитофоны. Если изделие нелегко установить, многие пользователи считают, что его трудно или даже невозможно использовать. Такая ситуация является нежелательной как для поставщиков изделий, организаций, оказывающих услуги, так и для самих пользователей. Поэтому информация об удобстве установки изделия имеет большое значение и для поставщиков, пользующихся этой информацией при разработке изделий, и для потенциальных пользователей при принятии решения о покупке или сравнении изделия с аналогичными изделиями. Это стимулирует изготовление изделий, более простых в установке, и позволяет покупателям уделять особое внимание удобству установки при покупке.

Настоящий стандарт устанавливает метод испытаний, который может быть использован в условиях эксплуатации для оценки удобства установки потребительских товаров. Этот метод является обобщающим и может быть использован для проверки выполнения установленных требований или для сравнения различных изделий. Данный метод испытаний является одним из методов оценки пригодности использования по ISO/TR 16982 [6] и может быть применен для оценки удобства установки и проверки выполнения количественных требований пригодности использования в отношении удобства установки.

Когда процесс установки не требует много времени и сравнительно легок, наиболее важным показателем удобства установки является результативность. Результативность установки измеряют как процент пользователей, которые успешно установили изделие. Эффективность установки может иметь значение при наличии ограничения по времени. Кроме того, для некоторых изделий важно, чтобы пользователи остались удовлетворены опытом установки изделия, например, в ситуациях, когда процесс установки очень сложен.

В ИСО 13407 [5] приведено руководство по применению принципов ориентированного на человека проектирования для изготовления пригодных к использованию изделий. Стандарт акцентирует внимание на то, что требования к пригодности использования должны быть установлены до разработки, а ее оценку следует повторять в процессе разработки. Метод испытаний, установленный в настоящем стандарте, может быть использован для оценки установленных требований. В ситуациях, когда главной целью является получение обратной связи при проектировании, более подходящими являются другие методы, хотя данный метод также может дать информацию о проблемах пригодности использования, которые необходимо устранить. В ИСО 13407 также отмечена важность установления условий использования. В ИСО 20282-1 <1> более детально описаны источники дисперсии характеристик пользователя, которые формируют часть условий использования и которые необходимо принимать во внимание при проектировании удобного в использовании изделия. Эта информация также необходима для определения требований при проведении испытаний.

<1> ИСО 20282-1:2006 «Удобство управления изделиями ежедневного использования. Часть 1. Требования к конструкции с учетом условий использования и характеристик пользователя».

Применяемый в настоящем стандарте международный документ разработан Техническим комитетом ИСО/ТС 159 «Эргономика».

1. Область применения

Настоящий стандарт устанавливает метод испытаний удобства установки потребительских товаров.

Целью испытаний является предоставление основы для прогнозирования удобства установки потребительского товара, включая параметры результативности и эффективности установки, а также удовлетворенности пользователей из предполагаемой совокупности в ожидаемых условиях использования. Метод также может быть применен в отношении задач по обслуживанию.

Предполагаемыми пользователями настоящего стандарта являются специалисты по эргономике, занятые разработкой и организацией испытаний, поставщики, закупочные организации или третьи стороны (например, организации потребителей).

Метод испытаний, позволяющий оценить удобство установки потребительского товара, соответствует настоящему стандарту, если он соответствует требованиям разделов 7, 8, 9 и Приложений C, D, E. Для обеспечения свидетельств соответствия требованиям настоящего стандарта должен быть подготовлен полный отчет о результатах испытаний по форме, установленной в Приложении F.

3. Нормативные ссылки

В настоящем стандарте использована ссылка на следующий международный стандарт:

ИСО 20282-1:2006 Удобство управления изделиями ежедневного использования. Часть 1. Требования к конструкции с учетом условий использования и характеристик пользователя (ISO 20282-1:2006, Ease of operation of everyday products — Part 1: Design requirements for context of use and user characteristics)

В настоящем стандарте применены следующие термины с соответствующими определениями.

4.1. фактические пользователи (actual users): Группа или группы людей, которые напрямую взаимодействуют с изделием.

Примечание. До выпуска изделия данный термин относится к предполагаемой группе пользователей. После выпуска он относится к фактическим пользователям.

4.2. потребительский товар (consumer product): Товар, предназначенный для приобретения и использования скорее в личных, чем в профессиональных целях.

[ИСО 20282-1:2006, определение 3.2]

4.3. условия оценки (context of evaluation): Пользователи, задачи, оборудование (аппаратные средства, программные средства, материалы), физическая и социальная среда, в которых оценивают продукцию.

4.4. условия использования (context of use): Пользователи, задачи, оборудование (аппаратные средства, программные средства, материалы), физическая и социальная среда, в которых используют продукцию.

4.5. удобство установки (ease of installation): Удобство управления применительно к первой установке и/или настройке изделия.

4.6. удобство управления (ease of operation): Пригодность использования пользовательского интерфейса изделий повседневного использования при использовании их по назначению предполагаемыми пользователями.

Примечание 1. В соответствии с ИСО 9241-11 [4] удобство управления является составной частью пригодности использования (см. 3.18). В настоящем стандарте этот показатель применяют к управлению изделиями повседневного использования. При оценке удобства управления предполагают, что пользовательский интерфейс и все составные части и системы продукции находятся в работоспособном состоянии.

Примечание 2. Для оценки удобства управления измеряют результативность управления, иногда вместе с эффективностью и удовлетворенностью управлением продукцией.

[ИСО 20282-1:2006, определение 3.4]

4.7. результативность (effectiveness): Степень реализации запланированной деятельности и достижения запланированных результатов.

[ИСО 9241-11:1998, определение 3.2]

Примечание 1. Для целей метода испытаний, установленного в настоящем стандарте, результативность управления измеряют как процент пользователей, которые достигли основной цели (целей) использования изделия с необходимой точностью и полнотой. Измерения результативности управления основаны на успехе в достижении конечного результата независимо от того, достигнут он наиболее эффективным путем или нет.

Примечание 2. Результативность установки измеряют как результативность управления применительно к цели первой установки изделия.

4.8. результативность установки (effectiveness of installation): Результативность управления применительно к первой установке (монтажу) изделия.

4.9. результативность управления (effectiveness of operation): Процент пользователей, которые достигли основной цели (целей) предназначенного использования изделия с необходимой точностью и полнотой.

Примечание. Измерения результативности управления основаны на оценке успеха в достижении конечного результата независимо от того, достигнут он наиболее эффективным путем или нет.

[ИСО 20282-1:2006, определение 3.6]

4.10. эффективность (efficiency): Связь между достигнутым результатом и использованными ресурсами.

[ИСО 9241-11:1998, определение 3.3]

Примечание 1. Для целей метода испытаний, установленного в настоящем стандарте, эффективность управления измеряют в виде времени, затраченного на достижение основной цели (целей).

Примечание 2. Эффективность установки измеряют как эффективность управления применительно к цели первой установки изделия.

4.11. эффективность установки (efficiency of installation): Эффективность управления применительно к первой установке (монтажу) изделия.

4.12. эффективность управления (efficiency of operation): Время, затраченное на достижение основной цели (целей).

Примечание. Данный термин обозначает особый ресурс эффективности, как определено в 4.8.

[ИСО 20282-1:2006, определение 3.8]

4.13. изделие повседневного использования (everyday product): Потребительский товар или изделие с интуитивно понятным управлением, разработанные для использования широкими слоями населения.

Примечание 1. Некоторые виды продукции разработаны как для использования населением, так и для профессионального использования. Данное определение относится только к непрофессиональному использованию изделий повседневного использования.

Примечание 2. Термин «повседневное использование» не означает, что пользователь использует продукцию каждый день, а означает лишь, что продукция, как правило, присутствует в повседневной жизни человека.

[ИСО 20282-1:2006, определение 3.9]

4.14. цель (goal): Намеченный результат.

[ИСО 9241-11:1998, определение 3.8]

Примечание. Цель не зависит от функциональных средств, используемых для ее достижения.

4.15. предполагаемые пользователи (intended users): Люди или группа (группы) людей, для которых предназначена продукция.

Примечание 1. Адаптированное определение из ИСО 9241-9:1999, определение 3.4.6.

Примечание 2. Во многих случаях фактический объем совокупности пользователей отличается от первоначально предполагаемого изготовителем. Характеристика предполагаемой группы пользователей основывается на реалистической оценке того, кто будет фактически пользоваться продукцией.

[ИСО 20282-1:2006, определение 3.12]

4.16. взаимодействие (interaction): Двусторонний обмен информацией между пользователем и оборудованием.

[IEC/TR 61997:2001, определение 3.4]

Примечание 1. Оборудование включает в себя как программные, так и аппаратные средства.

Примечание 2. Обмен информацией может включать физические действия, за которыми следует сенсорная обратная связь.

4.17. основная цель (main goal): Наиболее распространенный или важный результат при использовании изделия, которого хотят достигнуть все пользователи или их подавляющее большинство.

[ИСО 20282-1:2006, определение 3.14]

Примечание. Примеры основных целей приведены в Приложении A.

4.18. удовлетворенность пользователя (satisfaction): Отсутствие у пользователя дискомфорта при использовании продукции, положительное отношение к использованию продукции.

[ИСО 9241-11:1998, определение 3.4]

Примечание 1. Для целей метода испытаний, установленного в настоящем стандарте, удовлетворенность пользователя управлением измеряют, оценивая мнение пользователя об управлении пользовательским интерфейсом изделия.

Примечание 2. Удовлетворенность установкой измеряют как удовлетворенность управлением применительно к цели первой установки изделия.

4.19. удовлетворенность установкой (satisfaction with installation): Удовлетворенность пользователя применительно к первой установке (монтажу) изделия.

4.20. удовлетворенность управлением (satisfaction with operation): Удовлетворенность пользователя управлением пользовательским интерфейсом продукции.

[ИСО 20282-1:2006, определение 3.16]

4.21. задача (task): Деятельность, необходимая для достижения цели.

Примечание. Эта деятельность может быть как умственной, так и физической.

[ИСО 9241-11:1998, определение 3.9]

4.22. пригодность использования (usability): Свойство продукции, при наличии которого установленный пользователь может применять продукцию в указанных условиях использования для достижения установленных целей с необходимой результативностью, эффективностью и удовлетворенностью.

[ИСО 9241-11:1998, определение 3.1]

4.23. пользователь (user): Человек, взаимодействующий с продукцией.

[ИСО 9241-11:1998, определение 3.7]

4.24. характеристики пользователя (user characteristics): Характерные свойства и особенности пользователя, которые могут повлиять на пригодность использования.

[ИСО 20282-1:2006, определение 3.20]

4.25. пользовательский интерфейс (user interface): Элементы продукции, используемые для управления и получения информации о состоянии продукции, а также взаимодействие, позволяющее пользователю использовать продукцию по назначению.

Пример - Пользовательским интерфейсом душевого крана является ручка управления водой, где движения ручки влево-вправо управляют температурой воды, а положение ручки показывает пользователю температуру.

Примечание. Перечень инструкций по эксплуатации, постоянно отображаемый на изделии, является частью пользовательского интерфейса.

[ИСО 20282-1:2006, определение 3.21]

4.26. испытуемая группа пользователей (user test group): Группа людей, отобранных для участия в испытаниях изделий на соответствие их пригодности использования согласно установленным требованиям.

4.27. изделие (продукция) с интуитивно понятным управлением (walk-up-and-use product): Изделие (продукция) повседневного использования, предназначенное для широких слоев населения.

Примечание. Изделие (продукция), предназначенное для использования населением в торговых помещениях, например, в магазине или офисе, как правило, является изделием (продукцией) с интуитивно понятным управлением.

[ИСО 20282-1:2006, определение 3.22]

5. Цель испытаний удобства установки

Целью испытаний является проверка выполнения требований к удобству установки, сравнение новых моделей изделий с предыдущими или изделиями конкурентов.

Примечание. Данный метод дополняет методы испытаний для формирующей оценки, к которым привлекают меньшее количество участников испытаний (см. Приложение B).

Метод испытаний может быть использован:

• изготовителями для проверки выполнения требований к удобству установки и/или для предоставления свидетельств удобства установки изделия в маркетинговых целях;
• потенциальными потребителями или испытательными организациями для сравнения с аналогичными изделиями.

Пример - Изготовитель хочет продемонстрировать легкость установки многофункционального принтера и копира. Для проверки производят отбор репрезентативной выборки пользователей из 50 человек среди владельцев принтера/копира, в которую включают пользователей определенного возраста с определенным образованием и опытом владения аналогичными изделиями других торговых марок (так как предполагается, что это основные факторы, влияющие на удобство установки). Испытания проводят в течение одного дня. Каждый сеанс испытаний занимает от 10 до 30 минут. Используется пять принтеров. После выполнения каждого сеанса установки принтер/копир возвращают к значениям по умолчанию и упаковывают так, как его получает потребитель. Пользователей приглашают из комнаты ожидания. Каждого пользователя просят установить принтер/копир и напечатать/сделать копию тестовой страницы. Результат испытаний представляют в виде процента достижения цели с соответствующим доверительным интервалом. Чтобы на 95% быть уверенным в том, что 80% пользователей смогут установить принтер, 45 из 50 испытуемых должны успешно пройти испытание.

Примечание. В ISO/TS 20282-2 установлен аналогичный метод испытаний для изделий с интуитивно понятным управлением, а в ISO/PAS 20282-3 — метод испытаний для проверки удобства управления потребительскими товарами.

6. Процедура испытаний

a) определить изделие, которое необходимо испытать (см. 7.1);

b) определить ожидаемые условия использования (пользователи, задачи и среда) (см. 7.2);

c) проверить совместимость изделия с предполагаемыми характеристиками пользователей (см. 7.3);

d) определить количество групп испытаний (см. 7.4.1);

e) определить необходимые измерения, требуемые значения для измерений, необходимость сравнения двух результатов измерений (см. 7.4.2);

f) выбрать группу испытуемых, представляющих предполагаемых пользователей изделия (см. 7.4.4);

g) разработать процедуру испытаний, которая предусматривает установку изделия группой пользователей (см. 7.4.7);

h) определить процент достижения цели и при необходимости время выполнения задачи, удовлетворенность пользователя (используя анкету) (см. 7.5);

i) вычислить результативность установки (процент успешных попыток) и при необходимости эффективность установки (среднее время выполнения задачи) и удовлетворенность пользователя установкой (средние оценки в анкете) (см. раздел 8);

j) подготовить полный отчет и/или короткое резюме (см. раздел 9).

7.1 Определение изделия

Для проведения испытаний необходимо определить конкретное изделие и его модель.

Изделие должно быть представлено в том виде, в котором его получает пользователь.

Потребительские товары можно испытывать с предоставлением пользователям отдельных инструкций, если такие инструкции существуют.

Пример - Мобильный телефон поставляется в коробке с документацией, а плиту изначально устанавливают в доме, подключают к газу или электричеству специалисты, но настройку часов или других функций и элементов управления производит пользователь.

7.2 Определение ожидаемых условий использования

7.2.1 Определение критериев успешной установки

Состояние, которое представляет собой успешную установку, должно быть определено с помощью информации, предоставляемой изготовителем.

Основной целью является установка в обычной конфигурации.

Для проведения испытаний должен быть установлен критерий выполнения результативной установки.

7.2.2 Определение процедуры установки

Должна быть определена предполагаемая процедура установки, обычно с помощью информации, предоставляемой изготовителем. Примеры приведены в Приложении A.

Эта информация требуется для планирования испытаний и анализа результатов, но ее не включают в инструкции по выполнению задач (см. 7.4.7).

7.2.3 Определение предполагаемых или фактических групп пользователей

Основываясь на информации, предоставленной изготовителем, следует определить фактические, если они есть, или предполагаемые группы пользователей, которые будут устанавливать изделие.

Некоторые изделия предназначены для конкретных сегментов совокупности пользователей (например, для определенной возрастной группы пользователей) или могут быть включены в группу связанных между собой потребительских товаров для различных сегментов рынка. Должен быть установлен диапазон для каждой характеристики пользователя, указанной в ИСО 20282-1:2006, раздел 7, которая предположительно оказывает существенное влияние на удобство установки.

Пример - Предполагается, что совокупность пользователей мобильного телефона на 80% будет состоять из пользователей, говорящих на английском языке, на 10% — на французском, на 10% — на других языках. Предполагается, что все пользователи имеют предыдущий опыт использования мобильных телефонов для совершения звонков.

Для групп пользователей, участвующих в испытаниях, необходимо определить:

• характеристики пользователей, которые могут оказать влияние на удобство установки изделия;
• диапазон характеристик в группе фактических или предполагаемых пользователей;
• распределение каждой важной характеристики пользователей.

Определение характеристик пользователя включает в себя:

a) Определение физических характеристик

Необходимо определить, требуется ли для изделия задание конкретных физических характеристик (таких как размеры тела, сила, биомеханические возможности, зрительные возможности, слуховые возможности) или у него предусмотрена регулировка под конкретного пользователя. Для установления диапазона характеристик пользователей могут быть использованы испытания с участием пользователей, представляющих предполагаемую группу пользователей, или существующие данные о диапазоне изменений характеристик человека.

Пример - Для определения размера текста, который будет разборчив для конкретного сегмента совокупности пользователей, можно использовать существующие данные.

Диапазон потенциальных пользователей также может быть установлен с помощью испытаний пользователей, чьи характеристики находятся около конца предполагаемого диапазона.

b) Определение психологических и социальных характеристик

Важно установить, какие когнитивные характеристики или способности (например, знания и опыт, культурные различия, грамотность и язык) окажут основное влияние на удобство установки. Это можно выяснить при помощи экспертной оценки, сбора данных из опыта использования или эмпирических исследований для оценки влияния различных характеристик пользователя.

c) Определение пользователей с ограниченными возможностями

Необходимо определить пользователей изделия с ограниченными возможностями (например, пожилых пользователей), физические или психологические характеристики которых (такие как размеры тела, сила, биомеханические возможности, зрительные возможности, слуховые возможности, знания, опыт, уровень культуры, грамотность, язык) могут находиться на краю диапазона значений, предусмотренных для изделия. По возможности следует использовать существующие данные.

Пример 1 — В группу предполагаемых пользователей входят пожилые люди. Требуемый размер отображаемого текста определяют при помощи существующих данных.

Если существует необходимость использования изделия определенными группами людей, физические и психологические характеристики которых находятся на краях диапазона изменения этих характеристик, может быть проведена дополнительная оценка.

Пример 2 — Для установления возможности использования изделия людьми со слабым зрением и инвалидами-колясочниками, проводят дополнительные испытания.

7.2.4 Определение характеристик окружающей среды

Должны быть установлены характеристики окружающей среды, предназначенной для использования изделия. Кроме того, должны быть установлены характеристики физической или социальной среды, оказывающие значимое влияние на результативность установки изделия.

7.3 Проверка соответствия изделия характеристикам предполагаемых пользователей

Если проверка изделия показывает, что успешное достижение основных целей (см. 7.2.1) невозможно для некоторых людей из предполагаемой совокупности пользователей, для прогнозирования количества таких людей следует использовать существующие данные. Если доля таких пользователей превышает приемлемый уровень, то испытания с участием пользователей не проводят.

7.4 Разработка испытаний

7.4.1 Определение количества групп для проведения испытаний

В пределах предполагаемой совокупности пользователей в испытаниях должны принять участие пользователи, представляющие весь диапазон возможных пользователей, но если какое-либо различие в условиях использования имеет существенное влияние на удобство установки изделия, то каждая группа пользователей или условие использования должны быть испытаны или проанализированы по отдельности (см. Приложение C).

Следует определить необходимость проведения отдельных испытаний для особых групп пользователей с характеристиками, затрудняющими установку изделия, например групп пользователей с определенным заболеванием.

7.4.2 Определение показателей

Для проведения испытаний должны быть определены

a) требуемые показатели:

• результативность установки: наиболее важным показателем удобства установки является результативность;
• эффективность и/или удовлетворенность пользователей: требуется установить необходимость применения показателей эффективности и удовлетворенности пользователей;

b) требования к показателям или к сравнению двух показателей, а также требуемый уровень доверия.

Примечание. Чем выше требуемый процент успешного достижения цели и уровень доверия, тем больше требуется пользователей для участия в испытаниях. Для подтверждения научной гипотезы обычно применяют уровень доверия 95%, для некоторых бизнес-целей может быть достаточен меньший уровень доверия (например, 80%).

Пример 1 — Целью является достижение процента успешного выполнения цели 80% пользователей с 95%-ным уровнем доверия (см. раздел 5, пример).

Пример 2 — Целью является сравнение удобства установки двух альтернативных изделий, и установление наличия различий в удобстве их установки с 80%-ным уровнем доверия (см. раздел 5).

7.4.3 Определение задач установки

Необходимо определить границы задач установки.

Описание задач должно включать четкое изложение цели, которую необходимо достичь.

Примечание. Настроить мобильный телефон для первого использования, или установить новый телевизор, чтобы он мог принимать доступные каналы.

Для установки должны быть определены условия ее успешного достижения, а также должен фиксироваться момент успешной установки.

Так как критерием является успешное выполнение установки, должны быть включены альтернативные методы достижения цели (целей) (с учетом ошибок, которые могут быть исправлены), которые могут рассматриваться как положительный результат, если только они не имеют нежелательных последствий, таких как опасность или причинение вреда здоровью человека.

Для расчета времени, необходимого для выполнения задачи, должен быть определен признак выполнения задачи (обычно установленное действие или заявление пользователя).

Должно быть отведено максимальное время для выполнения установки и предоставлено достаточно времени, чтобы пользователь мог попробовать разные способы выполнения установки, прежде чем он откажется от ее выполнения. Среднее время выполнения задачи должно быть вычислено с помощью предварительных испытаний. Максимальное время, отведенное пользователю на выполнение задачи, должно превышать среднее время выполнения задачи не менее чем в три раза.

Если необходимо провести испытания с несколькими задачами по установке, необходимо определить порядок выполнения целей. Обычно, если существует порядок выполнения целей, этот порядок применяют и при испытаниях. Если такой порядок отсутствует, то не следует при проведении испытаний использовать один установленный порядок. В этом случае порядок необходимо периодически изменять или выбирать случайным образом для каждого пользователя.

7.4.4 Отбор репрезентативной выборки пользователей

Для участия в испытаниях должна быть отобрана выборка, представляющая предполагаемые или фактические группы пользователей. Расслоенная выборка должна быть использована для моделирования распределения важных характеристик пользователей в пределах групп пользователей (Приложение C). Все участвующие в испытаниях должны обладать характеристиками, соответствующими установленному диапазону характеристик пользователей, определенных в 7.2.3.

Следует определить необходимость деления пользователей на категории по характеристикам предполагаемых или фактических групп пользователей, так как это может оказать влияние на оценку удобства установки. Например, для оценки удобства установки изделия, предназначенного для использования в разных странах, возможно, понадобятся группы пользователей разных национальностей.

Следует определить, с какими пользователями необходимо проводить испытания: использующими изделие в первый раз или имеющими опыт работы с ним (или с двумя этими группами). Даже в случае нового изделия, пользователи могут иметь опыт установки похожих изделий или предыдущей модели изделия, поэтому должен быть определен тип предыдущего опыта. Любой прошлый опыт установки похожих изделий для каждого пользователя должен быть зафиксирован.

Необходимо отобрать пользователей с таким же распределением значений важных характеристик пользователя, что и у предполагаемых или фактических групп пользователей, определенных в 7.2.3, и записать характеристики каждого отобранного пользователя.

Многие физические и психологические характеристики (например, сила, острота зрения, когнитивные способности) могут быть выбраны с помощью демографических характеристик, таких как возраст и образование. Основными исключениями являются предыдущий опыт, специальные знания или умения и общая культура.

Пример - Будильник требует ловкости рук для работы с элементами управления и хорошей остроты зрения для прочтения инструкций. Для этих важных характеристик пользователя можно провести выборку с помощью отбора пользователей с репрезентативным распределением возраста и образования. Предполагается, что 5% пользователей имеют опыт использования данного типа будильника, и так как задача настройки будильника гораздо более сложна для людей без опыта его использования, то испытания необходимо проводить только с пользователями, использующими будильник впервые.

От количества отобранных пользователей и способа отбора выборки зависит достоверность результатов испытаний для выбранной совокупности пользователей (см. Приложение C).

Испытатели не должны являться сотрудниками испытательной организации или организации — изготовителя испытываемого изделия.

7.4.5 Изделие и оборудование

Испытываемое изделие должно представлять собой стандартную серийную модель, упакованную (включая инструкции) в таком виде, в каком его получает покупатель. Если испытания проводят до завершения разработки, то используемая версия должна как можно точнее представлять собой упакованную серийную модель, а все отличия должны быть записаны. Оценка установки изделия должна быть проведена совместно с оборудованием, которое обычно оказывает влияние на его установку.

Изделие должно находиться в стандартной упаковке.

Все инструкции, поставляемые с изделием, должны быть доступны пользователям (см. 7.4.7).

7.4.6 Среда, в которой проводят испытания

a) Испытания должны быть проведены в среде, которая как можно ближе соответствует среде, в которой будет установлено изделие. Если испытания проводят в лаборатории по проверке пригодности использования, то должны быть смоделированы обычные условия установки.

Если на установку могут неблагоприятно повлиять конкретные условия окружающей среды, то следует проводить испытания при наличии подобных условий, чтобы быть уверенным в приемлемости удобства установки в этих условиях.

Пример - Изделие обычно устанавливают на холоде люди, на руки которых надеты перчатки.

b) Необходимо предоставить возможность связи со службой помощи (например, с помощью телефона или Интернета), если для изделия предусмотрена такая служба.

c) Необходимо предоставить инструменты для установки, указанные в инструкции, или наличие которых предполагают у пользователя.

Примечание. Инструменты могут поставляться вместе с изделием.

d) Если изделие используют в окружающей среде, вызывающей стресс у пользователя, то эту обстановку необходимо воспроизвести.

Пример - Шумная окружающая среда или ограничение по времени на настройку изделия.

7.4.7 Процедура испытаний

a) Для каждой цели должен быть написан сценарий ее выполнения, содержащий инструкции, представляемые каждому пользователю. Сценарий (например, получение изделия после покупки) должен устанавливать конкретную цель установки и условия испытаний. Не должно быть никаких подсказок, как достичь цели, или какие функции необходимо использовать.

b) Пользователи не должны получать подсказки или помощь от персонала, участвующего в проведении испытаний, но обычно пользователи могут свободно использовать инструкции, прилагающиеся к изделию.

c) Персонал, участвующий в проведении испытаний, должен фиксировать время достижения пользователем каждой цели. Если у пользователя кончается отпущенное на выполнение задачи время, то его должны попросить остановиться и, если возможно, перейти к следующей цели.

7.5 Показатели

7.5.1 Результативность установки

При проведении всех испытаний следует определять результативность установки. Для определения количества пользователей, которые успешно достигли каждой цели установки, должен быть использован критерий успешного достижения каждой цели, установленной в 7.2.1.

7.5.2 Эффективность установки

Если время достижения цели (целей) установки имеет важное значение, то его необходимо измерять. Время достижения цели измеряют как период времени от момента, когда пользователя попросили начать вскрытие упаковки, до момента достижения цели.

7.5.3 Удовлетворенность установкой

Удовлетворенность установкой оценивают с помощью отношения пользователя к установке изделия по шкале, приведенной в Приложении E.

7.5.4 Другие данные

Для выявления проблем удобства установки с целью их учета при проектировании могут быть зафиксированы виды ошибок, совершаемых пользователями, и трудностей, с которыми они столкнулись. Это также относится к ситуациям частичного достижения целей.

8. Результаты

8.1 Результативность установки

Результативность оценивают в виде процента пользователей, успешно достигших основной цели (процент успешно выполненных установок изделия), с соответствующим доверительным интервалом, как установлено в Приложении D. Если существует более одной цели, то результат следует приводить для каждой цели.

Пример - 45 из 50 пользователей успешно установили и настроили видеомагнитофон. 90% пользователей достигли успеха, следовательно, с уровнем доверия 95% можно утверждать, что не менее 80,1% предполагаемых пользователей достигнут цели.

8.2 Эффективность установки

Оценкой эффективности установки является медиана времени достижения цели (целей) пользователями с соответствующим доверительным интервалом с уровнем доверия 95%.

Примечание. Если распределение времени выполнения задачи не является приблизительно нормальным (например, когда время выполнения отдельных задач слишком велико), перед проведением статистического анализа может быть использовано логарифмическое преобразование и определена медиана времени решения задачи.

Пример - Медиана времени, затраченного пользователем на приобретение необходимого билета, составила 20 с (с 95%-ной вероятностью можно утверждать, что истинное значение медианы находится между 15 и 25 с).

8.3 Удовлетворенность установкой

Фиксируемым в отчете результатом удовлетворенности пользователя установкой изделия должно быть среднее арифметическое оценок удовлетворенности пользователя, поставленных всеми пользователями в соответствии со шкалой удовлетворенности (см. Приложение E).

9. Отчет

По результатам испытаний должен быть составлен полный отчет по форме, установленной в Приложении F.

При использовании краткого варианта отчет должен включать следующую информацию:

a) группы пользователей и цели, использованные при испытаниях;

b) полученную оценку результативности установки в целом;

c) инструкции, прилагаемые к изделию, предоставленные пользователю и использованные им при испытаниях;

d) в случае определения:

• среднее или медиану времени достижения каждой цели;
• удовлетворенность пользователя в целом.

ЦЕЛИ ИЗДЕЛИЯ И ЗАДАЧИ УСТАНОВКИ

В таблице A.1 приведены основные цели некоторых потребительских товаров.

Таблица A.1

Примеры различных потребительских товаров и их основных целей

Приложение B (справочное)

УСЛОВИЯ ПРИМЕНЕНИЯ МЕТОДА ИСПЫТАНИЙ

B.1. Различия между формирующим и обобщающим методами

Настоящий стандарт содержит обобщающий метод испытаний, который может быть использован, например, для вычисления процента людей, успешно достигающих своих целей при реальном использовании изделия. Формирующие методы испытаний главным образом направлены на выявление проблем пригодности использования. Формирующие методы обычно требуют участия в испытаниях меньшего количества пользователей, которые должны сообщать вслух о своих намерениях и действиях, поэтому формирующие методы не позволяют получить точную оценку результативности, эффективности или удовлетворенности пользователя.

B.2. Различия пригодности использования и удобства управления

Удобство управления является составной частью пригодности использования изделий повседневного использования. Различия удобства управления и пригодности использования показаны в таблице B.1 (см. ИСО 20282-1, Приложение B).

Таблица B.1

Различия пригодности использования и удобства управления

B.3. Выбор показателей

Для получения достоверных оценок удобства установки следует применять обобщающий метод испытаний, соответствующий ИСО 9241-11. Он отличается от обычных формирующих методов испытаний, к которым привлекают небольшое количество пользователей для выявления проблем пригодности использования.

В ИСО 9241-11 результативность определена с позиции точности и полноты выполнения задачи. При решении простых задач в пределах области применения настоящего стандарта для определения результативности используют только процент успешного достижения цели.

Для участия в испытаниях должна быть отобрана выборка пользователей, которая является репрезентативной по отношению к важным характеристикам предполагаемой или фактической группы пользователей. Чтобы получить действительно репрезентативную выборку для изделия повседневного использования, может потребоваться очень большое количество пользователей. Так как это может быть слишком затратно, для получения выборки, представляющей основные важные характеристики, может быть использована расслоенная выборка.

Так как на практике достаточно сложно отобрать необходимую случайную выборку, то используемая выборка должна моделировать распределение важных характеристик пользователей в пределах предполагаемых или фактических групп пользователей.

В отношении многих физических и психологических характеристик (например, силы, остроты зрения, когнитивных способностей), которые оказывают влияние на удобство установки, можно произвести непрямую выборку при помощи демографических переменных, таких как возраст, пол или образование. Отобранные пользователи должны представлять другие важные характеристики, для которых не удалось произвести выборку с помощью демографических переменных.

Пример 1 — В многонациональной совокупности пользователей выбирают таким образом, чтобы они репрезентативно представляли национальную культуру пользователей.

Пример 2 — При испытании потребительских товаров пользователей выбирают согласно их опыту использования товаров различных торговых марок.

Пример 3 — Будильник требует ловкости рук для работы с элементами управления и достаточной остроты зрения для прочтения инструкций. Для этих характеристик пользователя можно провести выборку с помощью отбора пользователей с репрезентативным распределением возраста и образования. Предполагается, что 5% пользователей имеет опыт использования данного типа будильника, и так как задача настройки будильника гораздо более сложна для людей без опыта использования, то испытания следует проводить только с пользователями, использующими будильник впервые.

Расслоенную выборку следует использовать для отражения распределения пользователей по возможно большему количеству сочетаний характеристик. Предпочтительные сочетания характеристик пользователя могут быть приведены в таблице.

Пример 4 — Возраст, пол и способность читать являются важными атрибутами. Распределение в совокупности пользователей:

Пол: мужчины: 45%; женщины: 55%.

Возраст: 20 — 39 лет — 40%; 40 — 64 лет — 40%; старше 65 лет — 20%.

Навыки чтения: низкие — 10%; средние — 20%; высокие — 70%.

Пример расслоенной выборки из 60 человек со взаимосвязанными характеристиками приведен в таблице C.1.

C.5. Группы малой численности

Если невозможно включить в испытания группы малой численности (например, людей конкретной национальности или людей с конкретным заболеванием), представляющей очень небольшой процент предполагаемой совокупности пользователей в пределах репрезентативной выборки, то с этими группами могут быть проведены дополнительные испытания для определения их возможностей использовать изделие.

Примечание. Если известно, что удобство установки является приемлемым для большинства пользователей из совокупности, то испытания для групп малой численности могут не проводиться.

D.2. Эффективность установки

Доверительные интервалы для эффективности установки должны быть построены на основе стандартной ошибки среднего времени выполнения задачи. Если данные о времени выполнения задачи не подчиняются нормальному распределению, то они должны быть преобразованы в нормальное распределение, например, с помощью логарифмического преобразования, до вычисления стандартной ошибки.

Примечание. Размер доверительного интервала зависит от объема выборки и выборочной дисперсии. Выборочная дисперсия обычно уменьшается с увеличением объема выборки и увеличивается для совокупности, включающей более разнообразные элементы.

Пример - Стандартную ошибку среднего времени выполнения задачи вычисляют после логарифмического преобразования, она эквивалентна 4,2 с. Медиана времени выполнения задачи составляет 22,2 с, поэтому результаты могут быть представлены как медиана времени выполнения задачи 22,2 с. При этом можно утверждать, что интервал с границами 18,0 с и 26,4 с будет накрывать истинное значение с уровнем доверия 95%.

Для оценки удовлетворенности установкой используют шкалу удовлетворенности установкой.

Кружки на шкале должны иметь 10,5 мм в диаметре, и шкала должна использоваться в точном соответствии с рисунком E.1 с общей длиной 69 мм между центрами крайних кружков.

Для пользователей с проблемами зрения размеры могут быть пропорционально увеличены.

Примечание. Представленная в данном Приложении форма отчета основана на общей форме для отчетов по результатам испытаний на пригодность использования и соответствует ИСО/МЭК 25062.

F.1. Титульный лист

На титульном листе должна быть представлена следующая информация:

a) обозначение отчета как отчета об испытаниях на удобство установки потребительского товара в соответствии с настоящим стандартом;

b) наименование испытываемого изделия и его модели;

c) время проведения испытаний;

d) метод проведения испытаний;

e) дата подготовки отчета;

f) наименование испытательной организации;

g) контактная информация испытательной организации с указанием специалиста для контактов.

F.2. Краткий обзор

В обзоре приводят законченный краткий обзор испытаний. В обзоре должна быть представлена следующая информация:

a) наименование и описание изделия;

b) краткая информация о методах испытаний, в том числе количество и типы участников и задач;

c) процентное значение для удобства установки изделия и среднее значение распределения для эффективности и удовлетворенности пользователя, если их измеряли.

F.3. Изделие и ожидаемые условия использования

F.3.1. Полное описание изделия

В данной части отчета должна быть представлена следующая информация:

a) официальное наименование изделия, его модель и модификация;

b) части или функции изделия, которые подвергались установке.

F.3.2. Ожидаемые условия использования

В данной части отчета должна быть представлена следующая информация:

a) основные цели установки изделия;

b) предполагаемые или фактические группы пользователей для установки;

c) для некоторых групп пользователей, включенных в испытания:

• характеристики пользователя, которые могут оказать влияние на удобство установки изделия;
• диапазон характеристик, соответствующий предполагаемой или фактической группе пользователей;
• ожидаемое распределение каждой важной характеристики пользователя;
• подходит ли изделие для пожилых пользователей или другой группы с особыми требованиями;

d) основные виды среды, в которой изделие используют или предполагают использовать.

F.4. Метод

F.4.1. Общие положения

В отчете должно быть приведено достаточно информации, чтобы процедуру, используемую в испытаниях, мог повторить независимый испытатель.

F.4.2. Участники

В данной части отчета должна быть представлена следующая информация:

a) все физические или когнитивные характеристики пользователя, влияющие на удобство установки;

b) общее количество участников испытаний;

c) группы пользователей, участвовавших в испытаниях, и обоснование их выбора для испытаний;

d) ключевые характеристики и способности каждой группы;

e) способ отбора участников: участники представляют значимые или иные характеристики;

f) все различия между выборкой участников и совокупностью пользователей;

g) информация об участниках в табличной форме, включая демографические данные, опыт и специальные требования.

Характеристики должны быть указаны со всей полнотой, необходимой для обеспечения набора аналогичной группы участников.

Характеристики должны быть значимы для удобства установки изделия; они должны позволять определять, насколько участники соответствуют совокупности пользователей.

Пример - В таблице F.1 приведен пример. Приведенные в таблице характеристики являются типовыми, но не охватывают все типы испытаний.

Таблица F.1

c) критерии выполнения каждой задачи.

F.4.3.3. Среда испытаний

Об условиях проведения испытаний должна быть приведена следующая информация.

a) Место проведения испытаний.

Пример 1 — Лаборатория по проверке пригодности использования, помещение для совещаний, домашний офис, гостиница, вестибюль общественного здания.

b) Важные свойства или условия, которые могут повлиять на результаты испытаний.

Пример 2 — Оборудование видео- и аудиозаписи, односторонние зеркала или оборудование автоматизированного сбора данных.

F.4.3.4. Техническая среда

F.4.3.4.1. Общие положения

Если для установки изделия требуются дополнительное оборудование или услуги, то они должны быть указаны, например, оператор, оказывающий услуги телефонной связи, пульт управления телевизора.

F.4.3.4.2. Компьютерные средства

Данный пункт включают в отчет только применительно к изделиям, в которых используется программное обеспечение. В отчете должно быть приведено достаточно информации для повторения и проверки испытаний, включая:

a) конфигурацию компьютера, в том числе модель, версию ОС, требуемые библиотеки или настройки;

b) при необходимости наименование браузера и его версию, наименования и версии важных программных расширений.

F.4.3.4.3. Устройства отображения информации

Должна быть предоставлена следующая информация:

a) если экран играет важную роль, то размер экрана, его разрешающая способность, настройки цвета;

b) если печать играет важную роль, то размеры информации и разрешение печати документов;

c) если элементы интерфейса (например, шрифты) могут быть различного размера, то используемый в испытании размер.

F.4.3.4.4. Устройства вывода звука

Если эти устройства используются, должны быть предоставлены важные значения или настройки звука, его громкости и т.д.

F.4.3.4.5. Устройства ручного ввода

Если эти устройства используются, должна быть предоставлена информация по типам и моделям используемых устройств.

F.5. Разработка эксперимента

F.5.1. Общие положения

Должны быть указаны показатели, для которых была проведена запись данных.

F.5.2. Процедура

F.5.2.1. Общие положения

Должна быть приведена следующая информация:

a) контролируемые показатели функционирования;

b) ограничения на время выполнения задач;

c) правила и процедуры взаимодействия испытателей с испытуемыми;

d) порядок действий от приветствия участников до их роспуска;

e) детали, касающиеся соглашений о конфиденциальности заполнения форм, разминок, обучения перед выполнением задач, подробного доклада;

f) проверка знания и понимания участниками своих прав;

g) этапы проведения испытаний и записи данных;

h) количество и функции испытателей, взаимодействующих с участниками испытаний;

i) необходимость участия пользователей и других участников в процессе испытаний;

j) наличие оплаты услуг участников испытаний.

F.5.2.2. Основные инструкции для участников испытаний

Должна быть предоставлена следующая информация:

a) инструкции, предоставляемые участникам (инструкции приводят в основном тексте или в дополнении);

b) инструкции относительно взаимодействия участников с другими людьми, включая порядок обращения пользователей за помощью и взаимодействия с другими участниками испытаний.

F.5.2.3. Инструкции по выполнению задач

Должны быть приведены инструкции по выполнению задач.

F.5.3. Система показателей удобства установки

Должна быть приведена следующая информация (см. 7.5):

• показатели результативности установки;
• показатели эффективности установки;
• показатели удовлетворенности пользователя установкой.

F.6. Результаты

F.6.1. Отчет о результатах

Следующая информация должна быть приведена подробно, чтобы другая испытательная организация могла повторить использованный метод сбора данных при повторении испытаний.

a) Сбор данных и оценка в баллах.

b) Исключенные данные с обоснованием их исключения.

Пример 1 — Способ распределения данных по задачам или группам пользователей.

c) Статистический анализ.

Пример 2 — Обоснование всех статистических преобразований или исключения данных.

Показатели производительности для каждой задачи или группы пользователей должны быть представлены в виде таблицы.

Для описания удобства установки эффективно применение различных форм графического представления данных, обеспечивающих их наглядность. Для сравнения оценок экспертов и среднего времени, затраченного участником испытаний на выполнение задачи, могут быть эффективно использованы различные графики.

F.6.2. Данные о производительности

Для групп или соответствующих задач, если это необходимо, может быть представлена таблица данных о производительности.

Должна быть приведена следующая информация:

a) сводная таблица данных о производительности по всем задачам;

b) графическое представление данных о производительности.

Таблица F.2 является примером такой сводной таблицы.

Таблица F.2

Пример сводной таблицы данных о производительности для группы пользователей

G.1. Адрес для отправки отзывов на ISO/TS 20282-4:2007

Международный комитет по стандартизации ИСО/ТК 159 заинтересован в получении информации об использовании ISO/TS 20282-4:2007. Отзывы на этот международный документ следует присылать в Технический комитет ИСО 159, подкомитет 1 на адрес электронной почты:

iso_tc159@din.de

G.2. Метод испытаний потребительских товаров

Метод испытаний потребительских товаров опубликован в представленной форме, потому что результаты испытаний для потребительских товаров обычно менее надежны или более сложны для интерпретации, чем результаты для изделий с интуитивно понятным управлением. В некоторых случаях одно и то же изделие (например, стиральная машина) может быть рассмотрено и как изделие с интуитивно понятным управлением, и как потребительский товар.

В других случаях использование потребительского товара связано с дополнительными затруднениями, которые могут усложнить разработку испытаний удобства установки. Может существовать множество вариантов условий использования, включая различные сегменты рынка, различия в целях использования изделия и различные среды, в которых будут использовать изделие. По этой причине организовать испытания с достаточным количеством пользователей, представляющих все группы пользователей, достаточно сложно.

Пример - Различные группы пользователей могут иметь различные основные цели. В случае мобильного телефона целями могут являться совершение звонков, отправка текстовых сообщений или фотографирование при помощи встроенной камеры.

Наиболее полезны отзывы (см. G.3) о том, были ли полученные при испытании потребительских товаров результаты надежны и просты для интерпретации.

Предполагаемые пользователи и среда использования изделий с интуитивно понятным управлением обычно точно определены и просты для выявления. Многие потребительские товары разрабатывают для сегментов рынка, которые определены не очень точно, в результате чего товар могут использовать в нескольких средах.

Метод испытаний предназначен для основных целей и не учитывает удобство установки в отношении дополнительных задач, которые могут существовать у более сложных изделий.

Метод испытаний используют в случаях, когда цель достигают сравнительно легко, при наличии четкого критерия достижения цели. Качество результата при этом во внимание не принимают.

G.3. Наиболее важные отзывы

Наиболее важны отзывы, относящиеся к следующим вопросам проведения испытаний:

• опыт использования, исследования на конкретном примере и опубликованные результаты;
• типы изделий, область их применения, количество групп пользователей, количество пользователей, наличие у пользователей болезней или ограничений;
• проблемы по использованию приведенного метода;
• предложения по улучшению метода;
• сложности выявления основных целей;
• проблемы, связанные с отбором репрезентативной выборки пользователей;
• различия результатов при проведении независимых испытаний двумя организациями;
• недостоверность полученных результатов и их интерпретация;
• возможность применения метода для испытаний других типов изделий.