ГОСТ Р 55236.3-2012/ISO/PAS 20282-3:2007. Национальный стандарт Российской Федерации. Эргономика изделий повседневного использования. Часть 3. Метод испытаний потребительских товаров

(утв. и введен в действие Приказом Росстандарта от 29.11.2012 № 1280-ст)

Утвержден и введен в действие Приказом Федерального агентства

ОКС 13.180

Цели и принципы стандартизации в Российской Федерации установлены Федеральным законом от 27 декабря 2002 г. № 184-ФЗ «О техническом регулировании», а правила применения национальных стандартов Российской Федерации — ГОСТ Р 1.0-2004 «Стандартизация в Российской Федерации. Основные положения»

1 ПОДГОТОВЛЕН Автономной некоммерческой организацией «Научно-исследовательский центр контроля и диагностики технических систем» (АНО «НИЦ КД») на основе собственного аутентичного перевода на русский язык международного документа, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 201 «Эргономика, психология труда и инженерная психология»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 29 ноября 2012 г. № 1280-ст

4 Настоящий стандарт идентичен международному документу ISO/PAS 20282-3:2007 «Удобство управления изделиями повседневного использования. Часть 3. Метод испытаний потребительских товаров» (ISO/PAS 20282-3:2007 «Ease of operation of everyday products — Part 3: Test method for consumer products»).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов и документов соответствующие им национальные стандарты, сведения о которых приведены в приложениях ДА и ДБ

5 ВВЕДЕН ВПЕРВЫЕ

Информация об изменениях к настоящему стандарту публикуется в ежегодно издаваемом информационном указателе «Национальные стандарты», а текст изменений и поправок — в ежемесячно издаваемых информационных указателях «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ежемесячно издаваемом информационном указателе «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет

Многие пользователи испытывают трудности при применении изделий повседневного использования, таких как автоматы по продаже билетов, стиральные машины, видеомагнитофоны, особенно если они используют эти изделия редко или в первый раз. Если функции изделия являются неудобными в управлении, многие пользователи считают, что изделие трудно или даже невозможно использовать. Такая ситуация является нежелательной как для поставщиков изделий, организаций, оказывающих услуги, так и для самих пользователей. Поэтому информация об удобстве использования изделия имеет большое значение и для поставщиков, пользующихся этой информацией при разработке изделий, и для потенциальных пользователей при принятии решения о покупке или сравнении изделия с аналогичными изделиями. Это стимулирует изготовление изделий, более простых при использовании, и позволяет покупателям уделять особое внимание удобству управления при покупке.

Настоящий стандарт устанавливает метод испытаний, который может быть использован в условиях эксплуатации для оценки удобства управления потребительскими товарами. Этот метод является обобщающим и может быть использован для проверки выполнения установленных требований или для сравнения различных изделий. Данный метод испытаний является одним из методов оценки пригодности использования по ISO/TR 16982 [6] и может быть применен для оценки удобства управления и проверки выполнения количественных требований к пригодности использования.

Изготовители могут использовать данный метод для проверки выполнения требований к удобству управления, для сравнения изделий с их предыдущими моделями или изделиями конкурентов. Они могут сообщить результаты испытаний потенциальным покупателям в описании изделия или в рекламных проспектах. Организации, приобретающие изделия, могут использовать метод испытаний для определения его соответствия установленным требованиям.

Пригодность использования (см. ИСО 9241-11 [4]) это свойство продукции, при наличии которого установленный пользователь может применять продукцию в определенных условиях использования для достижения установленных целей с необходимой результативностью, эффективностью и удовлетворенностью. Удобство управления является мерой пригодности использования изделий повседневного использования. Предполагается, что пользователи могут достичь своих основных целей при правильном управлении изделием. Метод предназначен для применения к изделиям, у которых есть четкий критерий успешного достижения целей (что характерно для большинства изделий с интуитивно понятным управлением), но не применим в случаях, когда качество результата может изменяться. Удобство управления в основном связано с пользовательским интерфейсом и взаимодействием, которое он поддерживает, а не с качеством функций изделия или пригодностью этих функций для использования изделия по назначению.

Если для достижения основных целей потребительского товара необходимо выполнять задачи низкой сложности, которые не требуют много времени на выполнение, наиболее важным показателем удобства управления является его результативность. Результативность управления определяют в виде процента пользователей достигших основной цели (целей) с необходимой точностью и полнотой. Эффективность управления может иметь важное значение, например, если изделие применяет большое количество быстро меняющихся пользователей. Кроме того, для некоторых изделий важно, чтобы пользователи остались удовлетворены управлением изделия, например, в ситуациях, когда пользователи имеют выбор, какими средствами воспользоваться для достижения своих целей.

В ИСО 13407 [5] приведено руководство по применению принципов ориентированного на человека проектирования для изготовления пригодных к использованию изделий. Стандарт акцентирует внимание на то, что требования к пригодности использования должны быть установлены до разработки, а ее оценку следует повторять в процессе разработки. Метод испытаний, установленный в настоящем стандарте, может быть использован для оценки установленных требований. В ситуациях, когда главной целью является получение обратной связи при проектировании, более подходящими являются другие методы, хотя данный метод также может дать информацию о проблемах пригодности использования, которые необходимо устранить. В ИСО 13407 также отмечена важность установления условий использования. В ИСО 20282-1 <1> более детально описаны источники дисперсии характеристик пользователя, которые формируют часть условий использования и которые необходимо принимать во внимание при проектировании удобного в использовании изделия. Эта информация также необходима для определения требований при проведении испытаний.

<1> ИСО 20282-1:2006, «Удобство управления изделиями ежедневного использования. Часть 1. Требования к конструкции с учетом условий использования и характеристик пользователя».

Применяемый в настоящем стандарте международный документ разработан Техническим комитетом ИСО/ТС 159 «Эргономика».

1 Область применения

Настоящий стандарт устанавливает метод испытаний потребительских товаров для измерения удобства управления.

Целью испытаний является предоставление основы для прогнозирования удобства управления потребительским товаром, включая параметры результативности и эффективности управления, а также удовлетворенности пользователей из предполагаемой совокупности в ожидаемых условиях использования.

Предполагаемыми пользователями настоящего стандарта являются специалисты по эргономике, занятые разработкой и организацией испытаний, поставщики, закупочные организации или третьи стороны (например, организации потребителей).

2 Соответствие требованиям настоящего стандарта

Метод испытаний, позволяющий оценить удобство управления потребительским товаром, соответствует настоящему стандарту, если он соответствует требованиям разделов 7, 8, 9 и приложений C, D, E. Для обеспечения свидетельств соответствия требованиям настоящего стандарта должен быть подготовлен полный отчет о результатах испытаний по форме, установленной в приложении F.

3 Нормативные ссылки

В настоящем стандарте использована ссылка на следующий международный стандарт:

ИСО 20282-1:2006 Удобство управления изделиями ежедневного использования. Часть 1. Требования к конструкции с учетом условий использования и характеристик пользователя (ISO 20282-1:2006, Ease of operation of everyday products — Part 1: Design requirements for context of use and user characteristics)

4 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями.

4.1 фактические пользователи (actual users): Группа или группы людей, которые напрямую взаимодействуют с изделием.

Примечание — До выпуска изделия данный термин относится к предполагаемой группе пользователей. После выпуска он относится к фактическим пользователям.

[ИСО 20282-1:2006, определение 3.1]

4.2 потребительский товар (consumer product): Товар, предназначенный для приобретения и использования скорее в личных, чем в профессиональных целях.

[ИСО 20282-1:2006, определение 3.2]

4.3 условия оценки (context of evaluation): Пользователи, задачи, оборудование (аппаратные средства, программные средства, материалы), физическая и социальная среда, в которых оценивают продукцию.

[ИСО 20282-2:2006, определение 4.3]

4.4 условия использования (context of use): Пользователи, задачи, оборудование (аппаратные средства, программные средства, материалы), физическая и социальная среда, в которых используют продукцию.

[ИСО 9241-11:1998, определение 3.5]

4.5 удобство управления (ease of operation): Пригодность использования пользовательского интерфейса изделий повседневного использования при использовании их по назначению предполагаемыми пользователями.

Примечание 1 — В соответствии с ИСО 9241-11 [6] удобство управления является составной частью пригодности использования (см. 3.18). В настоящем стандарте этот показатель применяют к управлению изделиями повседневного использования. При оценке удобства управления предполагают, что пользовательский интерфейс и все составные части и системы продукции находятся в работоспособном состоянии.

Примечание 2 — Для оценки удобства управления измеряют результативность управления, иногда вместе с эффективностью и удовлетворенностью управлением продукцией.

[ИСО 20282-1:2006, определение 3.4]

4.6 результативность (effectiveness): Степень реализации запланированной деятельности и достижения запланированных результатов.

[ИСО 9241-11:1998, определение 3.2]

Примечание - Для целей метода испытаний, установленного в настоящем стандарте, результативность управления измеряют как процент пользователей, которые достигли основной цели (целей) использования изделия с необходимой точностью и полнотой. Измерения результативности управления основаны на успехе в достижении конечного результата независимо от того, достигнут он наиболее эффективным путем или нет.

4.7 результативность управления (effectiveness of operation): Процент пользователей, которые достигли основной цели предназначенного использования изделия с необходимой точностью и полнотой.

Примечание - Измерения результативности управления основаны на оценке успеха в достижении конечного результата независимо от того, достигнут он наиболее эффективным путем или нет.

[ИСО 20282-1:2006, определение 3.6]

4.8 эффективность (efficiency): Связь между достигнутым результатом и использованными ресурсами.

[ИСО 9241-11:1998, определение 3.3]

Примечание - Для целей метода испытаний, установленного в настоящем стандарте, эффективность управления измеряют в виде времени, затраченного на достижение основной цели (целей).

4.9 эффективность управления (efficiency of operation): Время, затраченное на достижение основной цели.

Примечание — Данный термин обозначает особый ресурс эффективности, как определено в 4.8.

[ИСО 20282-1:2006, определение 3.8]

4.10 изделие повседневного использования (everyday product): Потребительский товар или изделие с интуитивно понятным управлением, разработанные для использования широкими слоями населения.

Примечание 1 — Некоторые виды продукции разработаны как для использования населением, так и для профессионального использования. Данное определение относится только к непрофессиональному использованию изделий повседневного использования.

Примечание 2 — Термин «повседневное использование» не означает, что пользователь использует продукцию каждый день, а означает лишь, что продукция, как правило, присутствует в повседневной жизни человека.

[ИСО 20282-1:2006, определение 3.9]

4.11 цель (goal): Намеченный результат.

[ИСО 9241-11:1998, определение 3.8]

Примечание - Цель не зависит от функциональных средств, используемых для ее достижения.

4.12 предполагаемые пользователи (intended users): Люди или группа (группы) людей, для которых предназначена продукция.

Примечание 1 — Адаптированное определение из ИСО 9241-9:1999, определение 3.4.6.

Примечание 2 — Во многих случаях фактический объем совокупности пользователей отличается от первоначально предполагаемого изготовителем. Характеристика предполагаемой группы пользователей основывается на реалистической оценке того, кто будет фактически пользоваться продукцией.

[ИСО 20282-1:2006, определение 3.12]

4.13 взаимодействие (interaction): Двусторонний обмен информацией между пользователем и оборудованием.

[IEC/TR 61997:2001, определение 3.4]

Примечание 1 — Оборудование включает в себя как программные, так и аппаратные средства.

Примечание 2 — Обмен информацией может включать физические действия, за которыми следует сенсорная обратная связь.

4.14 основная цель (main goal): Наиболее распространенный или важный результат при использовании изделия, которого хотят достигнуть все пользователи или их подавляющее большинство.

[ИСО 20282-1:2006, определение 3.14]

Примечание — Примеры основных целей приведены в приложении A.

4.15 удовлетворенность пользователя (satisfaction): Отсутствие у пользователя дискомфорта при использовании продукции, положительное отношение к использованию продукции.

[ИСО 9241-11:1998, определение 3.4]

Примечание - Для целей метода испытаний, установленного в настоящем стандарте, удовлетворенность пользователя управлением измеряют, оценивая мнение пользователя об управлении пользовательским интерфейсом изделия.

4.16 удовлетворенность управлением (satisfaction with operation): Удовлетворенность пользователя управлением пользовательским интерфейсом продукции.

[ИСО 20282-1:2006, определение 3.16]

4.17 задача (task): Деятельность, необходимая для достижения цели.

Примечание - Эта деятельность может быть как умственной, так и физической.

[ИСО 9241-11:1998, определение 3.9]

4.18 пригодность использования (usability): Свойство продукции, при наличии которого установленный пользователь может применять продукцию в указанных условиях использования для достижения установленных целей с необходимой результативностью, эффективностью и удовлетворенностью.

[ИСО 9241-11:1998, определение 3.1]

4.19 пользователь (user): Человек, взаимодействующий с продукцией.

[ИСО 9241-11:1998, определение 3.7]

4.20 характеристики пользователя (user characteristics): Характерные свойства и особенности пользователя, которые могут повлиять на пригодность использования.

[ИСО 20282-1:2006, определение 3.20]

4.21 пользовательский интерфейс (user interface): Элементы продукции, используемые для управления и получения информации о состоянии продукции, а также взаимодействие, позволяющее пользователю использовать продукцию по назначению.

Пример - Пользовательским интерфейсом душевого крана является ручка управления водой, где движения ручки влево — вправо управляют температурой воды, а положение ручки показывает пользователю температуру.

Примечание - Перечень инструкций по эксплуатации, постоянно отображаемый на изделии, является частью пользовательского интерфейса.

[ИСО 20282-1:2006, определение 3.21]

4.22 испытательная группа пользователей (user test group): Группа людей, отобранных для участия в испытаниях изделий на соответствие их пригодности использования согласно установленным требованиям.

4.23 изделие (продукция) с интуитивно понятным управлением (walk-up-and-use product): Изделие (продукция) повседневного использования, предназначенное для широких слоев населения.

Примечание - Изделие (продукция), предназначенное для использования населением в торговых помещениях, например, в магазине или офисе, как правило, является изделием (продукцией) с интуитивно понятным управлением.

[ИСО 20282-1:2006, определение 3.22]

5 Цель испытаний

Целью испытаний является проверка выполнения требований к удобству управления, сравнение новых моделей изделий с предыдущими или изделиями конкурентов.

Примечание — Данный метод дополняет методы испытаний для формирующей оценки, к которым привлекают меньшее количество участников испытаний (см. приложение B).

Метод испытаний может быть использован:

• изготовителями для проверки выполнения требований к удобству управления и/или для предоставления свидетельств удобства управления изделием в маркетинговых целях;
• потенциальными потребителями или испытательными организациями для сравнения с аналогичными изделиями.

Пример - Изготовитель хочет продемонстрировать, что видеомагнитофон легко запрограммировать на запись телевизионных передач. Он производит отбор репрезентативной выборки пользователей из 50 человек среди купивших видеомагнитофон с целью записи телевизионных программ. Выборка должна быть репрезентативной в отношении возраста и образования владельцев видеомагнитофонов различных торговых марок (так как ожидается, что характеристики возраста и образования окажут наибольшее влияние на удобство управления). Сеанс испытаний составляет 15 — 20 минут, поэтому устанавливают два магнитофона с телевизорами. Каждого человека просят запрограммировать видеомагнитофон на запись телевизионной программы. Ожидают, что большинство испытуемых будут использовать опубликованный код для записи программы, но прямая установка канала и времени записи также приемлема. Результат испытаний представляют в виде процента достижения цели с соответствующим доверительным интервалом. Чтобы с уровнем доверия 95% быть уверенным в том, что 80% пользователей смогут запрограммировать видеомагнитофон, 45 из 50 испытуемых должны успешно пройти испытание.

Примечание - В ISO/TS 20282-2 установлен похожий метод испытаний для изделий с интуитивно понятным управлением, а в ISO/PAS 20282-4 — метод испытаний для проверки удобства установки и монтажа.

6 Процедура испытаний

Для измерения удобства управления необходимо выполнить следующие действия.

a) Определить изделие, которое необходимо испытать (см. 7.1).

b) Определить ожидаемые условия использования (пользователи, задачи и среда) (см. 7.2).

c) Проверить совместимость изделия с предполагаемыми характеристиками пользователей (см. 7.3).

d) Определить количество групп испытаний (см. 7.4.1).

e) Определить необходимые измерения, требуемые значения для измерений, необходимость сравнения двух результатов измерений (см. 7.4.2).

f) Выбрать группу испытуемых, представляющих предполагаемых пользователей изделия (см. 7.4.4).

g) Разработать процедуру испытаний, которая предусматривает использование изделия группой пользователей для достижения основных целей использования (см. 7.4.7).

h) Определить процент достижения цели и при необходимости время выполнения задачи, удовлетворенность пользователя (используя анкету) (см. 7.5).

i) Вычислить результативность управления (процент успешных попыток) и при необходимости эффективность управления (среднее время выполнения задачи) и удовлетворенность пользователя управлением (средние оценки в анкете) (см. раздел 8).

j) Подготовить полный отчет и/или короткое резюме (см. раздел 9).

7 Метод испытаний

7.1 Определение изделия

Необходимо определить конкретное изделие для испытаний и его модель.

Изделие должно быть установлено в обычной конфигурации.

Потребительские товары можно испытывать с предоставлением пользователям отдельных инструкций, если такие инструкции существуют.

7.2 Определение ожидаемых условий использования

7.2.1 Определение основных целей использования изделия

Основываясь на информации, предоставленной изготовителем, должны быть определены основные цели использования изделия. Должны быть определены наиболее частые и/или важные цели пользователя, для которых изделие предназначено. Предполагают, что пользователи могут достичь этих целей при правильном управлении изделием. Цели должны быть описаны как намеченный результат, независимо от функциональных средств, используемых для их достижения.

В приложении A приведен перечень типичных потребительских товаров и основные цели использования каждого товара. Эта информация дополнена примерами действий, которые обычно связаны с использованием товара для достижения основной цели. Если потребительский товар присутствует в списке, приведенном в приложении A, испытание должно быть выполнено с включением основной цели, указанной для этого товара. Если для товара установлены другие основные цели, то результаты испытаний необходимо представить отдельно по каждой цели (см. 8.1).

Примечание - У многих изделий повседневного использования основная цель является очевидной, например, у телефона — обеспечение телефонной связи.

Для проведения испытаний должны быть установлены критерии полного и точного достижения цели.

Пример - Для камеры — установка приемлемой экспозиции и фокусировки.

7.2.2 Определение задач

Необходимо определить действия, необходимые для достижения основных целей при использовании потребительского товара. Это можно сделать, основываясь на информации, представленной изготовителем и/или полученной с помощью репрезентативной выборки потенциальных пользователей.

Эта информация требуется для планирования испытаний и анализа их результатов, но ее не включают в инструкции по выполнению задач (см. 7.4.7).

Пример 1 — Информация изготовителя для камеры: Вставьте пленку (или карту памяти), включите камеру, наведите камеру на цель, сделайте фотографию, предпримите действия для просмотра фотографии.

Пример 2 — Информация изготовителя для стиральной машины: Заложите белье, загрузите моющее средство, выберите программу, запустите программу, достаньте белье после остановки машины, выключите машину.

Пример 3 — Информация изготовителя для общественного телефона: Включите телефон (поднимите трубку), произведите оплату, произведите соединение с определенным номером.

7.2.3 Определение предполагаемых или фактических групп пользователей

Основываясь на информации, предоставленной изготовителем, следует определить фактические, если они есть, или предполагаемые группы пользователей. Некоторые изделия предназначены для конкретных групп пользователей (например, для определенной возрастной группы) или могут быть включены в группу связанных между собой потребительских товаров для различных сегментов рынка. Должен быть установлен диапазон для каждой характеристики пользователя, указанной в ИСО 20282-1:2006, раздел 7, которая предположительно оказывает существенное влияние на удобство управления.

Пример - Предполагается, что совокупность пользователей мобильного телефона на 80% будет состоять из пользователей, говорящих на английском языке, на 10% — на французском, на 10% — на других языках. Предполагается, что все пользователи имеют опыт использования мобильных телефонов.

Для групп пользователей, участвующих в испытаниях, необходимо определить:

• характеристики пользователей, которые могут оказать влияние на удобство управления изделием;
• диапазон характеристик в группе фактических или предполагаемых пользователей;
• распределение каждой важной характеристики пользователей.

Определение характеристик пользователя включает в себя:

a) Определение физических характеристик

Необходимо определить, требуется ли для изделия задание конкретных физических характеристик (таких как размеры тела, сила, биомеханические возможности, зрительные возможности, слуховые возможности) или у него предусмотрена регулировка под конкретного пользователя. Для установления диапазона характеристик пользователей могут быть проведены испытания с участием пользователей, представляющих ожидаемые границы использования или существующие данные о диапазоне изменений характеристик человека.

Пример - Для определения размера текста, который будет разборчив для конкретного сегмента совокупности пользователей, можно использовать существующие данные.

b) Определение психологических и социальных характеристик

Важно установить, какие когнитивные характеристики или способности (например, знания и опыт, культурные особенности, уровень грамотности и язык) оказывают основное влияние на удобство управления. Для этого можно использовать экспертные оценки, данные из опыта использования или эмпирических исследований.

c) Определение пользователей с ограниченными возможностями

Необходимо определить пользователей изделия с ограниченными возможностями (например, пожилых пользователей), физические или психологические характеристики которых (такие как размеры тела, сила, биомеханические возможности, зрительные возможности, слуховые возможности, знания, опыт, уровень культуры, грамотность, язык) могут находиться на краю диапазона значений, предусмотренных для изделия. По возможности следует использовать существующие данные.

Пример 1 — В группу предполагаемых пользователей входят пожилые люди. Требуемый размер отображаемого текста определяют при помощи существующих данных.

Если существует необходимость использования изделия определенными группами людей, физические и психологические характеристики которых находятся на краю диапазона изменения этих характеристик, может быть проведена дополнительная оценка.

Пример 2 — Для установления возможности использования изделия людьми со слабым зрением и инвалидами-колясочниками проводят дополнительные испытания.

7.2.4 Определение характеристик окружающей среды

Должны быть установлены характеристики окружающей среды, предназначенной для использования изделия. Кроме того должны быть установлены характеристики физической или социальной среды, оказывающие значимое влияние на результативность достижения целей.

Пример - Камера может быть использована ночью при отсутствии внешнего освещения. Диапазон возможных температур составляет от -15 °C до +40 °C.

7.3 Проверка соответствия изделия характеристикам предполагаемых пользователей

Если проверка изделия показывает, что успешное достижение основных целей (см. 7.2.1) невозможно для некоторых людей из предполагаемой совокупности пользователей, для прогнозирования количества таких людей следует использовать существующие данные. Если доля таких пользователей превышает приемлемый уровень, то испытания с участием пользователей не проводят.

7.4 Разработка испытаний

7.4.1 Определение количества групп для проведения испытаний

В пределах предполагаемой совокупности пользователей в испытаниях должны принять участие пользователи, представляющие весь диапазон возможных пользователей, но если какое-либо различие в условиях использования имеет существенное влияние на удобство управления, то каждая группа пользователей или условие использования должны быть испытаны или проанализированы по отдельности (см. приложение C).

Следует определить необходимость проведения отдельных испытаний для особых групп пользователей с характеристиками, затрудняющими использование изделия, например групп пользователей с определенным заболеванием.

7.4.2 Определение показателей

Для проведения испытаний должны быть определены

a) требуемые показатели:

• результативность управления: если для достижения основных целей изделия повседневного использования необходимо выполнять задачи низкой сложности, которые не требуют много времени на выполнение, наиболее важным показателем удобства управления является его результативность;

- эффективность и/или удовлетворенность пользователей: требуется установить необходимость применения показателей эффективности и удовлетворенности пользователей;

b) требования к показателям или к сравнению двух показателей, а также требуемый уровень доверия.

Примечание — Чем выше требуемый процент успешного достижения цели и доверительный интервал, тем больше требуется пользователей для участия в испытаниях. Для подтверждения научной гипотезы обычно применяют уровень доверия 95%, для некоторых бизнес-целей может быть достаточен меньший уровень доверия (например, 80%).

Пример 1 — Целью является достижение процента успешного выполнения цели 80% пользователей с 95%-ным уровнем доверия (см. раздел 5, пример).

Пример 2 — Целью является сравнение удобства управления двух альтернативных изделий и установление наличия различий в удобстве их управления с 80%-ным уровнем доверия (см. раздел 5).

7.4.3 Определение сценариев и условий испытаний

Для каждой идентифицированной основной цели должен быть установлен сценарий испытаний (см. 7.2.1).

Сценарий испытаний должен включать четкое описание цели, которую необходимо достичь.

Пример - Сделать телефонный звонок на номер 01509 123456, используя данный общественный телефон.

Для каждой цели испытаний должны быть определены условия ее успешного достижения, а также должен фиксироваться момент достижения цели. Так как критерием является успешное достижение цели, должны быть включены альтернативные методы достижения цели (с учетом ошибок, которые могут быть исправлены), которые могут рассматриваться как положительный результат, если только они не имеют нежелательных последствий, таких как опасность или причинение вреда здоровью человека.

Для расчета времени, необходимого для выполнения задачи, должен быть определен признак выполнения задачи (обычно установленное действие или заявление пользователя).

Должно быть отведено максимальное время для успешного достижения цели и предоставлено достаточно времени, чтобы пользователь мог попробовать разные способы достижения цели (целей) прежде, чем он откажется от использования изделия. Среднее время выполнения задачи должно быть вычислено с помощью предварительных испытаний. Максимальное время, отведенное пользователю на выполнение задачи, должно превышать среднее время выполнения задачи не менее, чем в три раза.

Если необходимо провести испытания с несколькими целями, необходимо определить порядок выполнения целей. Обычно, если существует порядок выполнения целей, этот порядок применяют и при испытаниях. Если такой порядок отсутствует, то не следует при проведении испытаний использовать один установленный порядок. В этом случае порядок необходимо периодически изменять, или выбирать случайным образом для каждого пользователя.

7.4.4 Отбор репрезентативной выборки пользователей

Для участия в испытаниях должна быть отобрана выборка, представляющая предполагаемые или фактические группы пользователей. Выборка должна отображать распределение значимых характеристик пользователей в пределах групп пользователей (приложение C). Все, участвующие в испытаниях, должны обладать характеристиками, соответствующими установленному диапазону характеристик пользователей, определенных в 7.2.3.

Следует определить необходимость деления пользователей на категории по характеристикам предполагаемых или фактических групп пользователей, так как это может оказать влияние на оценку удобства управления. Например, для оценки изделия, предназначенного для использования в разных странах, возможно, понадобятся группы пользователей разных национальностей.

Следует определить, с какими пользователями необходимо проводить испытания — использующими изделие в первый раз или имеющими опыт работы с ним. Даже в случае нового изделия, пользователи могут иметь опыт управления похожими изделиями или предыдущей моделью изделия, поэтому должен быть определен тип предыдущего опыта. Любой прошлый опыт использования похожих изделий для каждого пользователя должен быть зафиксирован.

Примечание — Для изделий, используемых нечасто, обычно лучше привлекать людей, не имеющих опыта использования. Для изделий, нацеленных на регулярных пользователей, правильнее привлекать к испытаниям людей, имеющих опыт.

Необходимо отобрать пользователей с таким же распределением значений важных характеристик пользователя, что и у предполагаемых или фактических групп пользователей, определенных в 7.2.3, и записать характеристики каждого отобранного пользователя.

Многие физические и психологические характеристики (например, сила, острота зрения, когнитивные способности) могут быть выбраны с помощью демографических характеристик, таких как возраст и образование. Основными исключениями являются предыдущий опыт, специальные знания или умения и общая культура.

Пример - Будильник требует ловкости рук для работы с элементами управления и хорошей остроты зрения для прочтения инструкций. Для этих важных характеристик пользователя можно провести выборку с помощью отбора пользователей с репрезентативным распределением возраста и образования. Предполагается, что 5% пользователей имеют опыт использования данного типа будильника, и так как задача настройки будильника гораздо более сложна для людей без опыта его использования, то испытания необходимо проводить только с пользователями, использующими будильник впервые.

От количества отобранных пользователей и отбора выборки зависит достоверность результатов испытаний для выбранной совокупности пользователей (см. приложение C).

Испытатели не должны являться сотрудниками испытательной организации или организации — изготовителя испытываемого изделия.

7.4.5 Изделие и оборудование

Испытываемое изделие должно представлять собой стандартную серийную модель. Если испытания проводят до завершения разработки, то используемый образец должен как можно точнее представлять серийную модель изделия, а все отличия должны быть описаны. Оценка изделия должна быть проведена вместе с оборудованием, которое оказывает влияние на его использование. Перед началом испытаний следует использовать настройки изделия по умолчанию или типичные настройки.

Все инструкции, поставляемые с изделием, должны быть доступны пользователям (см. 7.4.7).

7.4.6 Среда, в которой проводят испытания

a) Испытания должны быть проведены в среде, которая как можно ближе соответствует среде использования изделия. Если испытания проводят в лаборатории по проверке пригодности использования, то должны быть смоделированы обычные условия эксплуатации. При проведении испытаний в условиях эксплуатации необходимо проанализировать набор пользователей и задач.

Если на достижение целей могут неблагоприятно повлиять конкретные условия окружающей среды, то следует проводить испытания при наличии подобных условий, чтобы быть уверенным в приемлемости удобства управления в этих условиях.

Пример - Изделие обычно используется на холоде людьми, на руки которых надеты перчатки.

b) Если изделие используют в окружающей среде, вызывающей стресс у пользователя, то эту обстановку необходимо воспроизвести.

Пример - Шумная окружающая среда или ограничение по времени на фотографирование.

7.4.7 Процедура испытаний

a) Для каждой задачи должен быть написан сценарий ее выполнения, содержащий инструкции, представляемые каждому пользователю. Сценарий должен устанавливать конкретную цель и условия испытаний, а также содержать описание задачи (например, сделать фотографии на семейном собрании). Не должно быть никаких подсказок, как достичь поставленной цели, или какие функции необходимо использовать.

b) Пользователи не должны получать подсказки или помощь от персонала, участвующего в проведении испытаний, но, в зависимости от цели испытания, могут быть предоставлены инструкции, прилагающиеся к изделию.

c) Персонал, участвующий в проведении испытаний, должен фиксировать время достижения пользователем каждой цели. Если у пользователя кончается отпущенное на выполнение задачи время, то его должны попросить остановиться и, если возможно, перейти к следующей цели.

7.5 Показатели

7.5.1 Результативность управления

При проведении всех испытаний следует определять результативность управления. Результативность управления оценивают в виде процента пользователей, которые достигли основной цели (целей) использования изделия с необходимой точностью и полнотой. Для определения количества пользователей, успешно достигших каждой установленной цели, должен быть использован критерий успешного достижения каждой цели, установленной в соответствии с 7.2.1.

7.5.2 Эффективность управления

Если время достижения цели имеет важное значение при использовании изделия, то эффективность управления определяют как время, затраченное на достижение основной цели (целей). Время достижения цели измеряют как период времени от момента, когда пользователя попросили начать испытание, до момента достижения цели.

7.5.3 Удовлетворенность управлением

Удовлетворенность управлением оценивают с помощью отношения пользователя к управлению пользовательским интерфейсом изделия по шкале, приведенной в приложении E. Если существует несколько основных целей, то удовлетворенность управлением должна быть определена для каждой цели и изделия в целом.

7.5.4 Другие данные

Для выявления проблем удобства использования с целью их учета при проектировании могут быть зафиксированы виды ошибок, совершаемых пользователями, и трудностей, с которыми они столкнулись. Это также относится к ситуациям частичного достижения целей.

8 Результаты

8.1 Основные цели

Если существует более одной основной цели, то результаты должны быть приведены для каждой цели, а также в целом для всех целей.

8.2 Результативность управления

Результативность управления оценивают в виде процента пользователей, успешно достигших основной цели (процент успешных попыток), с соответствующим доверительным интервалом, как установлено в приложении D. Если существует более одной цели, то результат следует приводить для каждой цели.

Пример - 45 из 50 пользователей достигли основной цели при использовании видеомагнитофона. 90% пользователей достигли успеха, следовательно, с уровнем доверия 95% можно утверждать, что не менее 80,1% предполагаемых пользователей достигнут цели.

8.3 Эффективность управления

Оценкой эффективности управления является медиана времени достижения цели (целей) пользователями с соответствующим доверительным интервалом уровня доверия 95%.

Примечание - Если распределение времени выполнения задачи не является приблизительно нормальным (например, когда время выполнение отдельных задач слишком велико), перед проведением статистического анализа может быть использовано логарифмическое преобразование и определена медиана времени решения задачи.

Пример - Медиана времени, затраченного пользователем на приобретение необходимого билета, составила 20 с (с 95%-ной вероятностью можно утверждать, что истинное значение медианы находится между 15 и 25 с).

8.4 Удовлетворенность управлением

Фиксируемым в отчете результатом удовлетворенности пользователя управлением должно быть среднее арифметическое оценок удовлетворенности пользователя, поставленных всеми пользователями в соответствии со шкалой удовлетворенности (см. приложение E).

9 Отчет

По результатам испытаний должен быть составлен полный отчет по форме, установленной в приложении F.

При использовании краткого варианта отчет должен включать следующую информацию:

a) группы пользователей и цели, использованные при испытаниях;

b) полученную оценку результативности управления в целом для всех целей;

c) при наличии более одной цели процент успешного достижения для каждой цели отдельно;

d) инструкции, прилагаемые к изделию, предоставлены пользователю и использованы им при испытаниях;

e) в случае определения:

• среднее или медиану времени достижения каждой цели,
• удовлетворенность пользователя в целом.

Приложение A (обязательное)

ЦЕЛИ ИЗДЕЛИЯ

В таблице A.1 приведены основные цели некоторых потребительских товаров.

Примечание - Возможно будет недостаточно провести испытания только с этими основными целями, если существуют другие важные цели.

Таблица A.1

Примеры различных потребительских товаров и их основных целей

УСЛОВИЯ ПРИМЕНЕНИЯ МЕТОДА ИСПЫТАНИЙ

B.1 Различия между формирующим и обобщающим методами

Настоящий стандарт содержит обобщающий метод испытаний, который может быть использован, например, для вычисления процента людей, успешно достигающих своих целей при реальном использовании изделия. Формирующие методы испытаний главным образом направлены на выявление проблем пригодности использования. Формирующие методы обычно требуют участия в испытаниях меньшего количества пользователей, которые должны сообщать вслух о своих намерениях и действиях, поэтому формирующие методы не позволяют получить точную оценку результативности, эффективности или удовлетворенности пользователя.

B.2 Различия пригодности использования и удобства управления

Удобство управления является составной частью пригодности использования изделий повседневного использования. Различия удобства управления и пригодности использования показаны в таблице B.1 (см. ИСО 20282-1, приложение B).

Таблица B.1

Удобство управления является подходящим показателем для простых изделий, которым уделено основное внимание в настоящем стандарте. Однако для более сложных задач и изделий могут быть важны также другие показатели пригодности использования (например, оценка частичного выполнения задачи, умственной нагрузки или удовлетворенности определенными свойствами).

B.3 Выбор показателей

Для получения достоверных оценок удобства управления следует применять обобщающий метод испытаний, соответствующий ИСО 9241-11. Он отличается от обычных формирующих методов испытаний, к которым привлекают небольшое количество пользователей для выявления проблем пригодности использования.

В ИСО 9241-11 результативность определена с позиции точности и полноты выполнения задачи. При решении простых задач в пределах области применения настоящего стандарта для определения результативности используют только процент успешного достижения цели.

Примечание - Точность достаточно сложно измерить (см., например, ИСО/МЭК 25062).

В ИСО 9241-11 удовлетворенность пользователя определена как отсутствие дискомфорта и положительное отношение к использованию продукции.

B.4 Количество пользователей

Иногда для определения большей части проблем пригодности использования достаточно небольшого количества пользователей, однако для получения достоверной оценки среднего процента успешных попыток достижения цели нужно большее количество пользователей. При участии в испытаниях большего количества пользователей проще получить репрезентативную выборку.

(обязательное)

РЕПРЕЗЕНТАТИВНАЯ ВЫБОРКА ПОЛЬЗОВАТЕЛЕЙ

C.1 Общие положения

Для участия в испытаниях должна быть отобрана выборка пользователей, представляющая предполагаемые или фактические группы пользователей. Она должна моделировать распределение важных характеристик пользователей в пределах предполагаемых или фактических групп пользователей.

Примечание - Группа пользователей, с которой проводят испытания, может быть более специфической или общей, чем предполагаемая группа пользователей.

C.2 Деление пользователей на группы

Следует определить необходимость деления пользователей на отдельные категории и характеристики предполагаемых или фактических групп пользователей в соответствии с 7.2.3, это может оказать влияние на оценку удобства управления.

Если имеется несколько отдельных групп пользователей, то необходимо решить, с каким количеством групп следует проводить испытания в зависимости от цели испытаний.

Если требуется информация по удобству управления для различных групп пользователей, то необходимо включить в испытания достаточное для проведения статистического анализа количество представителей разных групп.

Пример 1 — Если наличие предыдущего опыта, знаний или владение определенным языком может оказать влияние на удобство управления, то должны быть сформированы соответствующие группы пользователей, и каждая группа должна проходить испытания отдельно.

Если требуется информация по удобству управления только для всей совокупности, то следует использовать одну репрезентативную выборку, взятую из всей совокупности (см. C.4). Чтобы максимально повысить достоверность результатов, необходимо использовать выборку как можно большего объема. Статистические выводы об удобстве управления невозможно сделать для составных групп, представляющих собой малый процент всей совокупности.

Необходимо решить, с какими пользователями следует проводить испытания: использующими изделие в первый раз или имеющими предыдущий опыт. Даже в случае нового изделия люди могут иметь опыт управления похожими изделиями или предыдущей моделью изделия, поэтому должен быть определен тип предыдущего опыта.

Пример 2 — Пользователи мобильного телефона разделены на группы в соответствии с опытом настройки данного типа мобильного телефона:

a) пользователи, никогда не настраивавшие мобильный телефон;

b) пользователи, настраивавшие мобильный телефон другой торговой марки;

c) пользователи, настраивавшие похожий мобильный телефон.

Каждая группа проходит испытания отдельно, так как предполагается, что у них будут разные результаты по оценке удобства управления.

Может быть испытана только одна группа: например пользователи, чаще других использующие изделие, или критичная группа пользователей.

Пример 3 — Ожидают, что будильник в отеле будет сложно настроить в первый раз, но легко в последующем. Проводят испытания с участием пользователей, которые не настраивали будильник в прошлом.

C.3 Объем выборки

Из-за различий в характеристиках пользователей потребительских товаров для получения репрезентативной выборки предполагаемой или фактической группы пользователей и достоверных результатов рекомендуется применять выборки, включающие не менее 50 пользователей в группе (меньший размер выборки может быть достаточен, если предполагается, что большая часть или все пользователи успешно достигнут цели).

Чем больше объем выборки, тем более точным будет прогнозирование (при условии, что выборка является репрезентативной по отношению к совокупности пользователей).

Пример - Если процент достижения цели составляет 90%:

• при успехе 18 пользователей из 20 нижняя граница доверительного интервала с уровнем доверия 95% составляет 18%;
• при успехе 45 пользователей из 50 нижняя граница доверительного интервала с уровнем доверия 95% составляет 10%;
• при успехе 90 пользователей из 100 нижняя граница доверительного интервала с уровнем доверия 95% составляет 6%.

C.4 Отбор репрезентативной выборки пользователей

Для участия в испытаниях должна быть отобрана выборка пользователей, которая является репрезентативной по отношению к важным характеристикам предполагаемой или фактической группы пользователей. Чтобы получить действительно репрезентативную выборку для изделия повседневного использования, может потребоваться очень большое количество пользователей. Так как это может быть слишком затратно, для получения выборки, представляющей основные важные характеристики, может быть использована расслоенная выборка.

Так как на практике достаточно сложно отобрать необходимую случайную выборку, то используемая выборка должна моделировать распределение важных характеристик пользователей в пределах предполагаемых или фактических групп пользователей.

В отношении многих физических и психологических характеристик (например, силы, остроты зрения, когнитивных способностей), которые оказывают влияние на удобство управления, можно произвести непрямую выборку при помощи демографических переменных, таких как возраст, пол или образование. Отобранные пользователи должны представлять другие важные характеристики, для которых не удалось произвести выборку с помощью демографических переменных.

Пример 1 — В многонациональной совокупности пользователей выбирают таким образом, чтобы они репрезентативно представляли национальную культуру пользователей.

Пример 2 — При испытании потребительских товаров пользователей выбирают согласно их опыту использования товаров различных торговых марок.

Пример 3 — Будильник требует ловкости рук для работы с элементами управления и достаточной остроты зрения для прочтения инструкций. Для этих характеристик пользователя можно провести выборку с помощью отбора пользователей с репрезентативным распределением возраста и образования. Предполагается, что 5% пользователей имеют опыт использования данного типа будильника, и так как задача настройки будильника гораздо более сложна для людей без опыта использования, то испытания следует проводить только с пользователями, использующими будильник впервые.

Расслоенную выборку следует использовать для отражения распределения пользователей по возможно большему количеству сочетаний характеристик. Предпочтительные сочетания характеристик пользователя могут быть приведены в таблице.

Пример 4 — Возраст, пол и навыки чтения являются важными атрибутами. Распределение в совокупности пользователей:

Пол: мужчины: 45%; женщины: 55%.

Возраст: 20 — 39 лет — 40%; 40 — 64 лет — 40%; старше 65 лет — 20%.

Навыки чтения: низкие — 10%; средние — 20%; высокие — 70%.

Пример расслоенной выборки из 60 человек со взаимосвязанными характеристиками приведен в таблице C.1.

C.5 Группы малой численности

Если невозможно включить в испытания группы малой численности (например, людей конкретной национальности или людей с конкретным заболеванием), представляющей очень небольшой процент предполагаемой совокупности пользователей в пределах репрезентативной выборки, то с этими группами могут быть проведены дополнительные испытания для определения их возможностей использовать изделие.

Примечание - Если известно, что удобство управления является приемлемым для большинства пользователей из совокупности, то испытания для групп малой численности могут не проводиться.

C.6 Отбор пользователей

После определения важных характеристик пользователя потенциальные участники должны пройти тщательный отбор для формирования выборки. Для испытаний в лаборатории отбор производят заблаговременно. Если устройство с интуитивно понятным управлением установлено в общественном месте, то существует 3 варианта отбора пользователей.

a) Пользователи могут быть отобраны заблаговременно.

b) Для участия в испытаниях могут быть отобраны пользователи из числа людей, находящихся в месте установки изделия.

c) Решение о включении в выборку пользователя, имеющего опыт работы с изделием, принимают после наблюдения за работой пользователя с изделием.

(обязательное)

D.1 Результативность управления

Результативность управления показывает процент пользователей, успешно достигших основной цели (целей) использования изделия. Доверительные интервалы для результативности управления вычисляют на основе биномиального распределения (см. библиографию). Установление высокого процента успешного достижения цели с высоким уровнем доверия требует большого объема выборки пользователей. В таблице D.1 приведены примеры максимального количества пользователей, не достигших цели, требуемого для подтверждения, что процент пользователей, успешно достигших цели, составляет более 75% и 80%, с уровнями доверия 80% и 95% (при использовании односторонних доверительных интервалов).

Пример - Если 43 пользователя из 50 (86%) достигли цели, то с уровнем доверия 95% можно утверждать, что процент пользователей, достигших цели, составляет не более 75%, и с уровнем доверия 80% — что процент пользователей, достигших цели, составляет не более 80%.

Примечание 1 — Такие статистики применимы только для случайной выборки. Важно, чтобы пользователей выбирали случайным образом, а в случае расслоенной выборки важно, чтобы пользователи были отобраны случайным образом из каждой категории (см. приложение C).

Примечание 2 — Как правило, в научной сфере для принятия решений применяют уровень доверия 95%, однако для принятия решений в сфере бизнеса часто используют уровень доверия 80%.

В таблице D.1 показано, что максимальное количество пользователей, не достигших цели, требуемое для подтверждения того, что процент пользователей, достигших цели, более 80% с уровнем доверия 95%, составляет:

• 0 пользователей из 14 — 21;
• 1 пользователь из 22 — 29;
• 2 пользователя из 30;
• 3 пользователя из 40;
• 5 пользователей из 50;
• 13 пользователей из 100.

Максимальное количество пользователей, не достигших цели, требуемое для подтверждения, что процент пользователей, достигших цели, более 75% с уровнем доверия 95%, составляет:

• 0 пользователей из 11 — 16;
• 1 пользователь из 17 — 22;
• 2 пользователя из 23 — 28;
• 3 пользователя из 30;
• 5 пользователей из 40;
• 7 пользователей из 50;
• 17 пользователей из 100.

Примечание 3 — Другие оценки процента пользователей, достигших цели, в совокупности приведены в таблице D.1.

D.2 Эффективность управления

Доверительные интервалы для эффективности управления должны быть построены на основе стандартной ошибки среднего времени выполнения задачи. Если данные о времени выполнения задачи не подчиняются нормальному распределению, то они должны быть преобразованы в нормальное распределение, например, с помощью логарифмического преобразования, до вычисления стандартной ошибки.

Примечание - Размер доверительного интервала зависит от объема выборки и выборочной дисперсии. Выборочная дисперсия обычно уменьшается с увеличением объема выборки и увеличивается для совокупности, включающей более разнообразные элементы.

Пример - Стандартную ошибку среднего времени выполнения задачи вычисляют после логарифмического преобразования, и она эквивалентна 4,2 с. Медиана времени выполнения задачи составляет 22,2 с, поэтому результаты могут быть представлены как медиана времени выполнения задачи 22,2 с. При этом можно утверждать, что интервал с границами 18,0 с и 26,4 с будет накрывать истинное значение с уровнем доверия 95%.

(обязательное)

Для оценки удовлетворенности управлением используют шкалу удовлетворенности управлением.

Кружки на шкале должны иметь 10,5 мм в диаметре, и шкала должна использоваться в точном соответствии с рисунком E.1 с общей длиной 69 мм между центрами крайних кружков.

Для пользователей с проблемами зрения размеры могут быть пропорционально увеличены.

При использовании шкалы изображения «лиц» (см. рисунок E.1) должны быть использованы в точном соответствии с рисунком E.1, так как все выпуклые и вогнутые линии в их изображении были отобраны по результатам специальных исследований.

Примечание — Шкала удовлетворенности представлена в [12]. Она широко используется в психологии для оценки эмоциональной удовлетворенности, а также применяется в тестах по пригодности использования. Исследования пятибалльной шкалы показали положительные результаты [11].

Инструкция пользователя:

«Пожалуйста, отметьте лицо, которое наиболее точно отражает степень вашей удовлетворенности управлением...»

«Лица», изображенные на шкале, соответствуют условным значениям -2, -1, 0, +1, +2. Применение промежуточных значений не допускается. Значение, соответствующее группе, определяют как среднее арифметическое.

(обязательное)

Примечание - Представленная в данном приложении форма отчета основана на общей форме для отчетов по результатам испытаний на пригодность использования и соответствует ИСО/МЭК 25062.

F.1 Титульный лист

На титульном листе должна быть представлена следующая информация:

a) обозначение отчета как отчета об испытаниях на удобство управления потребительским товаром в соответствии с настоящим стандартом;

b) наименование испытываемого изделия и его модели;

c) время проведения испытаний;

d) метод проведения испытаний;

e) дата подготовки отчета;

f) наименование испытательной организации;

g) контактная информация испытательной организации с указанием специалиста для контактов.

F.2 Краткий обзор

В данной части отчета приводят законченный краткий обзор испытаний. В обзоре должна быть представлена следующая информация:

a) наименование и описание изделия;

b) краткая информация о методах испытаний, в том числе количество и типы участников и задач;

c) процентное значение для удобства управления и среднее значение распределения для эффективности и удовлетворенности, если их измеряли.

F.3 Изделие и ожидаемые условия использования

F.3.1 Полное описание изделия

В данной части отчета должна быть представлена следующая информация:

a) официальное наименование изделия, его модель и модификация;

b) части или функции изделия, которые подвергались оценке при испытаниях.

F.3.2 Ожидаемые условия использования

В данной части отчета должна быть представлена следующая информация:

a) основные цели использования изделия;

b) предполагаемые или фактические группы пользователей изделия;

c) для некоторых групп пользователей, включенных в испытания:

• характеристики пользователя, которые могут оказать влияние на удобство управления изделием;
• диапазон характеристик, соответствующий предполагаемой или фактической группе пользователей;
• ожидаемое распределение каждой важной характеристики пользователя;
• подходит ли изделие для пожилых пользователей или другой группы с особыми требованиями;

d) основные виды среды, в которой изделие используют или предполагают использовать.

F.4 Метод

F.4.1 Общие положения

В отчете должно быть приведено достаточно информации, чтобы процедуру, используемую в испытаниях, мог повторить независимый испытатель.

F.4.2 Участники

В данной части отчета должна быть представлена следующая информация:

a) все физические или когнитивные характеристики пользователя, влияющие на удобство управления;

b) общее количество участников испытаний;

c) группы пользователей, участвовавших в испытаниях, и обоснование их выбора для испытаний;

d) ключевые характеристики и способности каждой группы;

e) способ отбора участников: участники представляют значимые или иные характеристики;

f) все различия между выборкой участников и совокупностью пользователей;

g) характеристика участников в табличной форме, включая демографические данные, опыт и специальные требования.

Характеристики должны быть указаны со всей полнотой, необходимой для обеспечения набора аналогичной группы участников.

Характеристики должны быть значимы для удобства управления изделием; они должны позволять определить, насколько участники соответствуют совокупности пользователей.

Пример — В таблице F.1 приведен пример. Приведенные в таблице характеристики являются типовыми, но не охватывают все типы испытаний.

Таблица F.1 — Пример таблицы информации об участниках

F.4.3 Условия использования изделия

F.4.3.1 Общие положения

Должны быть зафиксированы все известные различия между оцениваемыми и предполагаемыми условиями использования.

F.4.3.2 Задачи

О задачах должна быть приведена следующая информация.

a) Сценарии выполнения задач в процессе испытаний.

b) Обоснование выбора задач.

Пример 1 — Наиболее частые задачи.

c) Способы выявления задач.

Пример 2 — Наблюдения за людьми, использующими аналогичные изделия, или изучение маркетинговых характеристик изделия.

d) Все данные о задачах, которые должны выполнить участники.

e) Критерии выполнения каждой задачи.

F 4.3.3 Среда испытаний

Об условиях проведения испытаний должна быть приведена следующая информация.

a) Место проведения испытаний.

Пример 1 — Лаборатория по проверке пригодности использования, помещение для совещаний, домашний офис, гостиница, вестибюль общественного здания.

b) Важные свойства или условия, которые могут повлиять на результаты испытаний.

Пример 2 — Оборудование видео- и аудиозаписи, односторонние зеркала или оборудование автоматизированного сбора данных.

F.4.3.4 Техническая среда

F.4.3.4.1 Общие положения

Если для функционирования изделия требуется дополнительное оборудование или услуги, то они должны быть указаны, например оператор, оказывающий услуги телефонной связи, пульт управления телевизора.

F.4.3.4.2 Компьютерные средства

Данный пункт включают в отчет только применительно к изделиям, в которых используется программное обеспечение. В отчете должно быть приведено достаточно информации для повторения и проверки испытаний, включая:

a) конфигурацию компьютера, в том числе модель, версию ОС, требуемые библиотеки или настройки;

b) при необходимости наименование браузера и его версию, наименования и версии важных программных расширений.

F.4.3.4.3 Устройства отображения информации

Должна быть предоставлена следующая информация:

a) если экран играет важную роль — размер экрана, его разрешающая способность, настройки цвета;

b) если печать играет важную роль — размеры бумаги или иного носителя и разрешение печати;

c) если элементы интерфейса (например, шрифты) могут быть различного размера, то используемый в испытании размер.

F.4.3.4.4 Устройства вывода звука

При использовании таких устройств должны быть предоставлены важные значения или настройки звука, его громкости и т.д.

F.4.3.4.5 Устройства ручного ввода

Если эти устройства используются, должна быть предоставлена информация по типам и моделям используемых устройств.

F.5 Разработка эксперимента

F.5.1 Общие положения

Должны быть указаны показатели, для которых была проведена запись данных.

F.5.2 Процедура

F.5.2.1 Общие положения

Должна быть приведена следующая информация:

a) контролируемые показатели функционирования;

b) ограничения на время выполнения задач;

c) правила и процедуры взаимодействия испытателей с испытуемыми;

d) порядок действий от приветствия участников до их роспуска;

e) детали, касающиеся соглашений о конфиденциальности заполнения форм, разминок, обучения перед выполнением задач, подробного доклада;

f) проверка знания и понимания участниками своих прав;

g) этапы, которых придерживаются при проведении испытаний и записи данных;

h) количество и функции испытателей, взаимодействующих с участниками испытаний;

i) необходимость участия пользователей и других участников в процессе испытаний;

j) наличие оплаты услуг участников испытаний.

F.5.2.2 Основные инструкции для участников испытаний

Должна быть предоставлена следующая информация:

a) инструкции, предоставляемые участникам (инструкции приводят в основном тексте или в дополнении);

b) инструкции относительно взаимодействия участников с другими людьми, включая порядок обращения пользователей за помощью и взаимодействия с другими участниками испытаний.

F.5.2.3 Инструкции по выполнению задач

Должны быть приведены инструкции по выполнению задач.

F.5.3 Система показателей удобства управления

Должна быть приведена следующая информация (см. 7.5):

• показатели результативности управления;
• показатели эффективности управления;
• показатели удовлетворенности управлением.

F.6 Результаты

F.6.1 Отчет о результатах

Следующая информация должна быть приведена подробно, чтобы другая испытательная организация могла повторить использованный метод сбора данных при повторении испытаний.

a) Сбор данных и оценка в баллах.

b) Исключаемые данные с обоснованием их исключения.

Пример 1 — Способ распределения данных по задачам или группам пользователей.

c) Статистический анализ.

Пример 2 — Обоснование всех статистических преобразований или сокращения данных.

Показатели производительности для каждой задачи или группы пользователей должны быть представлены в виде таблицы.

Для описания удобства управления эффективно применение различных форм графического представления данных, обеспечивающих их наглядность. Для сравнения оценок экспертов и среднего времени, затраченного участником испытаний на выполнение задачи, могут быть эффективно использованы различные графики.

F.6.2 Данные о производительности

Для групп или соответствующих задач, если это необходимо, может быть представлена таблица данных о производительности.

Должна быть приведена следующая информация:

a) сводная таблица данных о производительности по всем задачам;

b) графическое представление данных о производительности.

Таблица F.2 является примером такой сводной таблицы.

Таблица F.2 — Пример сводной таблицы данных о производительности для группы пользователей

F.7 Дополнения

Должна быть приведена следующая информация:

a) общие инструкции для участников испытаний (если они не были представлены в основной части отчета);

Приложение G (справочное)

ОТЗЫВЫ НА ISO/TS 20282-3:2007

G.1 Адрес для отправки отзывов на ISO/TS 20282-3:2007

Международный комитет по стандартизации ИСО/ТК 159 заинтересован в получении информации об использовании ISO/TS 20282-3:2007. Отзывы на этот международный документ следует присылать в Технический комитет ИСО 159, подкомитет 1, на адрес электронной почты:

iso_tc159@din.de

G.2 Метод испытаний потребительских товаров

Метод испытаний потребительских товаров приведен в представленной форме, поскольку результаты испытаний для потребительских товаров обычно менее надежны или более сложны для интерпретации, чем результаты для изделий с интуитивно понятным управлением. В некоторых случаях одно и то же изделие (например, стиральная машина) может быть рассмотрено и как изделие с интуитивно понятным управлением, и как потребительский товар.

В других случаях использование потребительского товара связано с дополнительными затруднениями, которые могут усложнить разработку испытаний удобства управления. Может существовать множество вариантов условий использования, включая различные сегменты рынка, различия в целях использования изделия и различные среды, в которых будут использовать изделие. По этой причине организовать испытания с достаточным количеством пользователей, представляющих все группы пользователей, достаточно сложно.

Пример - Различные группы пользователей могут иметь различные основные цели. В случае мобильного телефона целями могут являться совершение звонков, отправка текстовых сообщений или фотографирование при помощи встроенной камеры.

Наиболее полезны отзывы (см. G.3) о том, были ли полученные при испытаниях потребительских товаров надежные и простые для интерпретации результаты.

Предполагаемые пользователи и среда использования изделий с интуитивно понятным управлением обычно точно определены и просты для выявления. Многие потребительские товары разрабатывают для сегментов рынка, которые определены не очень точно, в результате чего товар могут использовать в нескольких средах.

Метод испытаний предназначен для основных целей и не учитывает удобство управления для дополнительных задач, которые могут существовать у более сложных изделий.

Метод испытаний используют в случаях, когда цель достигают сравнительно легко, при наличии четкого критерия достижения цели. Качество результата при этом во внимание не принимают.

G.3 Наиболее важные отзывы

Наиболее важны отзывы, относящиеся к следующим вопросам проведения испытаний:

• опыт использования, исследования на конкретном примере и опубликованные результаты;
• типы изделий, область их применения, количество групп пользователей, количество пользователей, наличие у пользователей болезней или ограничений;
• проблемы по использованию приведенного метода;
• предложения по улучшению метода;
• сложности выявления основных целей;
• проблемы, связанные с отбором репрезентативной выборки пользователей;
• различия результатов при проведении независимых испытаний двумя организациями;
• недостоверность полученных результатов и их интерпретация;
• возможность применения метода для испытаний других типов изделий.

(справочное)

Приложение ДБ (справочное)

Таблица ДБ.1

<1> Международный стандарт ISO 9241-9:2000 заменен на ISO/TS 9241-411:2012 «Ergonomic requirements for office work with visual display terminals (VTDs) — Part 9: Requirements for non-keyboard input devices».

<2> Стандарт ISO 13407:1999 заменен стандартом ISO 9241-210:2010 «Ergonomics of human-system interaction — Part 210: Human-centred design for interactive systems».