Публикации

М.И. Розно

Адекватны ли наши представления о качестве продукции, прошедшей статистический приемочный контроль? В предлагаемой статье подробно рассмотрены свойства и возможности этого инструмента. Первая часть публикации посвящена целям и оперативным характеристикам метода контроля. 

Ч. 1Скачать статью целиком             Ч.2  Скачать статью целиком  

Сегодня статистические методы широко применяются в системах менеджментакачества (СМК) как зарубежных, так и отечественных предприятий. Исторически их появление в производстве было обусловлено двумя обстоятельствами. 

• Во-первых, измерения некоторых важных показателей качества выпускаемой продукции не являются «безболезненными» для этой продукции. Измеряемая единица частично или полностью разрушается при так называемых разрушающих методах контроля. Когда качество каждой единицы продукции не может быть проконтролировано в принципе, для проверки выбирается определенное количество изделий — выборка. Надежда здесь на то, что вся продукция, произведенная из компонентов с одинаковыми свойствами и в одинаковых производственных условиях, подобна проверенной.
• Во-вторых, любой контроль, даже неразрушающий, требует затрат. Для снижения этих затрат совершенно не обязательно контролировать (измерять) каждое из делие, если есть уверенность, что другие изделия, изготовленные в таких же условиях производства, будут иметь такие же или близкие значения показателя качества.
  

Интуитивно эти обстоятельства понимались давно, и уже в VIII–XIX вв. для контроля (приемки) продукции стали применяться методы выборочного контроля качества, в основном при производстве оружия и боеприпасов. Однако, «выборочный» контроль еще не означает «статистический». Последний подразумевает строгие расчеты по законам теории вероятностей и математической статистики, что позволяет сделать некоторые выводы о необходимом объеме выборок и дать гарантированные численные результаты в отношении качества принятой продукции. Впервые такие расчеты были сделаны Гарольдом Ф. Доджем и Гарри Ромигом, которые предложили первые строго рассчитанные планы статистического приемочного контроля качества, дававшие потребителю определенные вероятностные «гарантии качества». Далее, в 1924–1931 гг. Вальтер Шухарт применил идею выборочных измерений (контроля) для целей наблюдения за технологическими процессами (ТП) и разработал «контрольные карты» (Control Chart). Эта методология, названная Statistical Process Control (SPC) — статистическое управление процессом — получила очень широкое распространение в мире во второй половине XX в. благодаря усилиям Эдвардса Деминга и прекрасным практическим результатам японских предприятий в области качества.

Целью применения контрольных карт является не контроль (т. е. приемка) продукции, а наблюдение за процессом и его своевременная коррекция, что позволяет значительно снизить уровень несоответствий (дефектности) на выходе ТП при очень небольших затратах на измерения. При этом в большинстве случаев можно совсем отказаться от приемки продукции, т. к. уже в процессе изготовления обеспечивается заведомо низкий уровень дефектности (несоответствий) на выходе [1].

Сегодня указания по обязательному применению методов SPC встречаются в стандартах для ряда отраслей, производящих сложную технику, например автомобильную [2], и в требованиях многих заводов-потребителей. Это позволяет последним получать от поставщиков комплектующие с уверенно низким уровнем дефектности (единицы Part per Million (ppm) — штук на миллион) и совсем отказаться от входного контроля продукции. Однако статистический приемочный контроль всетаки остается «надеждой и опорой» во многих СМК, даже современных, достаточно «продвинутых». В частности, в стандарте IATF 16949для автомобильной промышленности, значительно более «требовательном», чем ISO 9001, упоминается статистический приемочный контроль по альтернативному признаку (п. 8.6.6). Только для него приемочное число обязательно должно быть равно нулю, т. е. чтобы в контролируемой выборке не было ни одного несоответствующего (дефектного) изделия — только такая партия продукции принимается.

Давайте еще раз разберемся в возможностях статистического приемочного контроля (СПК) и его месте в СМК сегодня.

Что является целью статистического контроля?

Прежде всего, заметим, что при любом СПК из контролируемой совокупности (чаще всего, это партия продукции) берется одна или несколько выборок, т. е. определенное количество изделий (для штучной продукции) или проб (для материалов). Затем эти выборочные изделия или пробы подвергаются проверке, т. е. измерениям (в случае контроля по количественному признаку) или классификации «годен — не годен» (при контроле по альтернативному признаку). А далее, в соответствии с установленным критерием приемки, принимается решение «о судьбе» всей совокупности, из которой взята выборка: признать совокупность удовлетворительной, т. е. «принять» ее, или признать неудовлетворительной, т. е. «отклонить».

Но что же физически мы при этом контролируем? Очевидно, что целью такой процедуры является контроль не отдельных единиц или проб определенного свойства всей совокупности (например, партии продукции), т. е. группового показателя качества этой совокупности (ГОСТ Р 50779.30–952). Для штучной продукции в подавляющем большинстве случаев таким групповым показателем является уровень несоответствий в этой совокупности, выраженный в единицах ppm или процентах, реже — количество несоответствий на 100 единиц продукции. Логика наиболее популярного в нашей промышленности СПК по альтернативному признаку («годен — не годен») показана на рис. 1.

Рис. 1. Статистический контроль по альтернативному признаку

Мы берем выборку (выборки) из нашей совокупности, и в соответствии с критерием приемки принимаем решение «о судьбе» совокупности (рис. 2).

Рис.2.  Логика принятия решения «о судьбе» совокупности

Естественно, что выборка должна быть случайной, т. е. любое изделие из партии должно иметь равные шансы попасть в выборку, иначе возможны сильные искажения наших представлений о качестве партии и, как результат, — ошибочное решение. Но даже при полной и честной случайности взятия выборки решение всегда зависит от «везения»: ведь даже в партии с высоким процентом несоответствующих изделий может попасться «хорошая» выборка, и мы примем эту партию. А возможно и обратное: мы отвергнем партию с очень низким уровнем несоответствий из-за «неудачной» выборки. Кстати, из этого очевидно, что если критерий приемки даже совсем не допускает ни одного несоответствующего изделия в выборке, то это никак не исключает наличия несоответствующих изделий в принятой партии.

Т. е. положительный результат контроля (партия принята) вовсе не гарантирует, что принятая партия на самом деле имеет низкий уровень несоответствий, и, наоборот, отрицательный результат (партия забракована) не дает абсолютной гарантии того, что партия имеет заведомо высокий уровень несоответствий. Что же касается «нулевого» уровня несоответствий, то СПК в принципе не может гарантировать его «абсолютности».

Конечно, здесь необходим расчет рисков ошибочных решений при помощи теории вероятностей. Но производственники просто пользуются стандартами по СПК и верят тем расчетам, которые были сделаны разработчиками этих стандартов. Однако уровень требований к качеству сегодня и возникающие в связи с этим проблемы, очевидно, требуют от заводовизготовителей и заводов-потребителей количественного понимания уровня рисков, которым они подвергаются. Многие производственники, применяя СПК «автоматически», по ГОСТам, даже примерно не представляют, что же дает им конкретный применяемый СПК, и имеет ли он вообще в данном производственном случае хоть какой-то смысл.

Чтобы понимать и оценивать эти риски, следует остановиться на понятии «оперативная характеристика» и обсудить связанные с ней возможности каждого конкретного СПК.

Оперативная характеристика СПК

Любой СПК имеет план контроля, т. е. набор конкретных цифр, которые однозначно определяют правила взятия выборки (выборок) и принятия решения «о судьбе» партии. Например, пусть задан план одноступенчатого СПК по альтернативному признаку:

N = 100 — объем выборки;

Ас = 1 — приемочное число.

Это значит, что из партии нужно случайным образом взять n = 100 изделий и проконтролировать их по принципу «годен — не годен». Если число обнаруженных в выборке несоответствующих изделий d ≤ Ас = 1, (т. е. если d = 0 или d = 1), то партию следует принять, а если d > 1 —забраковать.

Двухступенчатый СПК по альтернативному признаку предполагает возможность взятия сначала первой, а затем второй выборки. План контроля здесь состоит уже из пяти параметров, например:

n1 = 100 — объем 1-ой выборки;

Ас1 = 0 — приемочное число для 1-ой выборки (1-ой ступени СПК);

Re2 = 2 — браковочное число для 1-ой выборки;

n2 = 200 — объем 2-ой выборки;

Ас2 = 2 — приемочное число для 2-ой ступени СПК.

При этом правила проведения СПК и принятия решения «о судьбе» партии таковы:

1) отбираем случайно 1-ю выборку из n1 = 100 изделий и контролируем их;

2) если обнаруженное при этом число несоответствующих изделий d1:

d1 ≤ Ас1 — сразу принимаем партию (в данном случае только при d1 = 0);

d1 ≥ Re2 — сразу бракуем партию (в данном случае при d1 ≥ 2);

Ас1 < d1 < Re1 — переходим ко 2-ой ступени СПК, т. е. берем 2-ю выборку (в данном случае это происходит при d1 = 1);

3) если после контроля 2-ой выборки суммарное число обнаруженных несоответствующих изделий в 1-ой и во 2-ой выборках (d1 + d2):

(d1 + d2) ≤ Ас2 — принимаем партию (в данном случае при d1 + d2 ≤ 2);

(d1 + d2) > Ас2 — бракуем партию (в данном случае при d1 + d2 > 2).

Как уже говорилось, при любом плане СПК для любой конкретной партии продукции с известным уровнем несоответствий результат контроля нельзя предсказать однозначно, все зависит от «везения» при случайном взятии выборки (исключая тривиальные случаи, когда в партии совсем нет несоответствующих изделий или, наоборот, все изделия несоответствующие). Но при этом по формулам теории вероятностей можно рассчитать вероятность того, что партия будет принята при СПК с данным планом контроля. Естественно, что вероятность приемки партии будет зависеть от уровня несоответствий в ней: чем он больше, тем меньше вероятность («шансы») успешно пройти контроль. Таким образом, каждому плану СПК однозначно соответствует оперативная характеристика (ОХ), т. е. характеристика, показывающая зависимость вероятности («шансов») приемки партии от группового показателя качества, в данном случае — от истинного уровня несоответствий в контролируемой партии (совокупности). Эта зависимость для СПК по альтернативному признаку всегда убывающая (см. пример на рис. 3).

Рис. 3. Пример оперативной характеристики СПК по альтернативному признаку

Оперативная характеристика показывает, с какими «шансами» партия продукции, имеющая определенный уровень несоответствий, пройдет контроль. Конечно, предполагается, что ОХ рассчитывается при «чисто случайной» выборке. Так, для плана контроля с ОХ, изображенной на рис. 3, партии с уровнем несоответствий q = 1 % пройдут контроль с вероятностью P = 0,95. Т. е. для одной такой партии это — «шанс» пройти контроль, а в потоке подобных одинаковых партий в среднем 95 из 100 будут приняты, а 5 — забракованы. Удивительно, ведь все партии одинаковы: каждая имеет q = 1 % несоответствующих изделий, но это — результат статистического «везения-невезения» при взятии выборок. А при уровне несоответствий 7 % для одной партии шансы приемки — P = 0,2, тогда как среди многих таких партий контроль пройдут только примерно 20 из 100, а 80 будут забракованы.

Для любого конкретного плана СПК можно указать три «характерные» точки на ОХ (см. рис. 3):

qпр — приемочный (сравнительно «хороший») уровень качества (в данном случае — низкий уровень несоответствий), при котором партия имеет высокие «шансы» быть принятой (вероятность приемки P = 1 – α, где α — риск изготовителя, т. е. риск забраковать партию с условно «хорошим», приемочным уровнем качества);

qбр — браковочный (сравнительно «плохой») уровень качества, при котором партия будет иметь весьма низкие «шансы» быть принятой, вероятность приемки P = β (где β — риск  потребителя, т. е. риск принять партию  с условно «плохим», браковочным уровнем качества);

q0,5 — «безразличный» уровень качества, при котором с «шансами» Р = 0,5 партия может быть принятой, в среднем половина таких одинаковых партий будет принята.

Естественно, разные планы СПК имеют существенно разные кривые оперативных характеристик, но для уровней несоответствий всегда qпр < q0,5 < qбр (если только установленные риски α и β < 0,5). Конечно, разработчики стандартов по СПК рассчитывают ОХ для всех планов, приводимых в стандартах, но пользователь этих планов не видит ОХ, поэтому его действия основаны на «слепой вере». Но ведь ответственность за качество сегодня возложена на изготовителя. А если речь идет о потребителе и его входном контроле, то ему тоже необходимо реально оценивать возможности своего входного контроля. Вряд ли сегодня разумно действовать «вслепую», нужно видеть ОХ, чтобы оценить разумность применения данного СПК. Знание величин qпр, q0,5 и qбр для известных рисков α и β позволит пользователю «увидеть ОХ» хотя бы в трех точках и оценить возможности данного плана контроля.

В самом деле, если изготовитель, зная свое производство, абсолютно уверен, что уровень несоответствий в нем никогда не поднимается выше 1000 ppm = = 0,1 %, то какой же смысл применять СПК с приемочным уровнем qпр = 0,2 %? Продукция такого производства практически всегда уверенно пройдет контроль (по аналогии с рис. 3). В другом случае, если потребитель знает, что уровень несоответствий 0,5 % — это заведомо неприемлемый уровень несоответствий закупаемых комплектующих изделий, то какой смысл при входном СПК применять план с q0,5 = 0,8 %? Ведь такой контроль в половине случаев пропускает партии с уровнем несоответствий 0,8 %, а, значит, партии с уровнем несоответствий 0,5 % будут проходить контроль более чем в половине случаев.

К сожалению, подобные случаи приходится часто видеть в производстве. И на вопрос: «Почему же вы применяете такой план СПК?» — звучит ответ: «А такой план в ГОСТе на нашу продукцию», или «Так у нас записано в контракте на поставку». Нетрудно понять, что кроме впустую затраченного труда применение такого СПК не дает ничего.

Как же «увидеть» ОХ? 

Рассчитывать ее вручную очень трудоемко, но можно воспользоваться специальными программными продуктами, например QStat [3]. Этот пакет позволяет анализировать, а также подбирать (синтезировать) планы СПК по альтернативному признаку (однои двухступенчатые), наилучшие для конкретной ситуации в производстве. 

На рис. 4 представлены для примера построенные при помощи QStat оперативные характеристики одноступенчатого (n = 50; Ac = 0) и двух двухступенчатых планов СПК (первый: n1 = 75; Ac1 = 0; Re1 = 2; n2 = 150; Ac2 = 2; второй: n1 = 100; Ac1 = 0; Re1 = 2; n2 = 200; Ac2 = 2) для партий объема N = 1000.

Рис. 4. Оперативные характеристики трех планов СПК по альтернативному признаку

Если объем выборки n составляет не более 1/10 части объема партии N, то ОХ с достаточно высокой точностью можно рассчитать при разных значениях q, пользуясь биноминальным распределением и, например, программой Excel:

где: P d ( /n q , ) — вероятность того, что в случайную выборку попадет ровно d дефектных (несоответствующих) изделий, если эта выборка объемом n изделий взята из большой совокупности изделий с уровнем дефектности q; C dn — число сочетаний из n по d:

  

В формуле (1) q — уровень дефектности (несоответствий) в исходной контролируемой партии, здесь он выражен в долях единицы.

Для одноступенчатого СПК с приемочным числом Ас = 0 из (1) получаем простую формулу вероятности приемки партии (приемка происходит только при d = 0):

P приемки (n, q) = (1 – q)n. (2)

А для одноступенчатого СПК с приемочным числом Ас = 1 (т. е. допустимое число несоответствующих изделий в выборке — d = 0 или d = 1) формула уже усложняется:

P приемки (n, q) = (1 – q)n + n · q · (1 – q)n – 1. (3)

Для одноступенчатых планов СПК с приемочным числом Ас = 2 и более формула становится еще более громоздкой, и сегодня вряд ли кто-то будет считать эту вероятность приемки вручную. А если план СПК двухступенчатый, то вычисления многократно усложняются.

Но в любом случае, если объем выборки (выборок) n значительно меньше объема партии N (не более 1/10), то оперативная характеристика любого плана практически не зависит от N, т. е. «шансы» приемки партии зависят только от самого плана контроля и уровня несоответствий q в контролируемой партии. А в этом случае для расчетов как раз можно воспользоваться биномиальной формулой (1).

Но если объем выборки (выборок) n становится сопоставимым с объемом партии N, т. е. n ≥ 0,2N, то расчеты по биноминальному распределению (1) будут иметь значительную погрешность. В этом случае следует воспользоваться гипергеометрическим распределением, которое настолько громоздко для вычислений, что вести расчеты вручную просто немыслимо. Тогда без программного средства QStat или ему подобных практически не обойтись.

Случай Ac = 0 и простые приближенные формулы

Во многих производствах применяется одноступенчатый СПК с приемочным числом Ас = 0. Именно такие планы, только с Ac = 0, допускаются при работе по стандарту IATF 16949. При этом оперативная характеристика становится похожей на убывающую экспоненту (см., например, ОХ для плана n = 50; Ac = 0 на рис. 4). Если объем выборки при таком контроле значительно меньше объема партии (не более 20 %), а именно такие случаи экономически разумны, то могут быть предложены простые приближенные формулы для расчета характерных точек оперативной характеристики.

Практический интерес для специалистов, применяющих СПК, представляют три точки на кривой оперативной характеристики, соответствующие трем вероятностям приемки (по аналогии с рис. 3): P = 0,95 (достаточно уверенная приемка партий «хорошего» качества); P = 0,5 (приемка партий «безразличного» качества в половине случаев) и P = 0,1 (достаточно уверенная забраковка партий «плохого» качества). Этим случаям соответствуют три уровня несоответствий: qпр = q0,95; q = q0,5 и qбр = q0,1. Иначе говоря:

• при первом (приемочном) уровне несоответствий qпр = q0,95 партии продукции будут весьма уверенно приниматься (с вероятностью P = 0,95, т. е. в среднем только одна из 20 партий с таким уровнем несоответствий q = qпр будет отклоняться);
• при втором («безразличном») уровне несоответствий q = q0,5 в половине случаев партии будут приниматься, а в половине — отклоняться; 
• при третьем (браковочном) уровне несоответствий qбр = q0,1 партии продукции будут достаточно уверенно отклоняться, точнее, будут приниматься с вероятностью P = 0,1 — только одна из 10 партий с таким q = qпр будет случайно проходить контроль.

Приведем простые приближенные формулы для этих трех уровней несоответствий:

qпр = q0,95 = , (4)

q0,95 ≈ %, (5)

qбр = q0,1 = %. (6)

Эти формулы автор вывел путем приравнивания вероятности приемки по формуле (2), соответственно, к величинам 0,95; 0,5 и 0,1. Далее полученные уравнения решались относительно значения q с помощью разложения функции в ряд Тейлора. Для удобства использования в формулах (4)–(6) значения q даны в процентах.

Расчеты по данным формулам имеют достаточную точность, если объем выборки n не превышает 20 % от объема партии и если n ≥ 5.

Покажем на примерах, как можно пользоваться формулами (4)–(6) для анализа разумности применения СПК в различных производствах.

Пример 1. В соответствии с требованием стандарта IATF 16949 для контроля продукции поставщик применил статистический приемочный контроль по альтернативному признаку с Ac = 0. При этом установлено, что из каждой партии объема N = 500 берется выборка n = 70, и в ней не допускается ни одной несоответствующей детали. Что может гарантировать такой контроль для потребителя, т. е. при каком «браковочном» уровне несоответствий партии будут уверенно задерживаться таким контролем, какая будет величина «браковочного» уровня несоответствий?

По формуле (6) получаем: q = (230/70) ≈ 3,3 %. А по формуле (5) получается, что партии с уровнем несоответствий q = (69/70) ≈ 1 % в половине случаев успешно пройдут такой контроль. Интересно было бы спросить у потребителя, устроят ли его такие «гарантии качества»? Сегодня даже российские автосборочные предприятия (а они далеко не самые требовательные) записывают в контрактах для своих поставщиков требование по уровню несоответствий не более 50ppm = 0,005 %.

Пример 2. На предприятии каждая партия закупаемых комплектующих изделий проходит входной выборочный контроль по плану: объем выборки n = 30; приемочное число Ac = 0. Какой уровень несоответствий будет уверенно «отсекаться»?

По формуле (6) получаем: q = (230/30) ≈ 7,7 %. А партии с уровнем несоответствий q = (69/30) = 2,3 % в половине случаев будут успешно приняты. Интересно задать вопрос, а хорошо ли это для последующего сборочного производства? Организаторы этого контроля рассчитывали на такие результаты?

Пример 3. В технологии записано: «После наладки оборудования изготовить и проверить первые 10 деталей. Если все они окажутся годными, можно запускать производство».

По сути, такое требование означает применение статистического приемочного контроля с планом (n = 10; Ac = 0) для решения о запуске производства. Каково назначение этого контроля? Очевидно, убедиться, что производство обеспечивает достаточно низкий (в идеале — нулевой) уровень несоответствий. Но давайте посмотрим, какой же уровень несоответствий при этом гарантируется.

В соответствии с формулой (4) с хорошей уверенностью производство будет одобрено, если уровень несоответствий q = 0,5 % (или менее). Но при каком относительно высоком (браковочном) уровне несоответствий производство не будет запущено? На этот вопрос отвечает формула (6): при уровне несоответствий q = (230/10) = 23 % (или более). А по формуле (5) получаем: при уровне несоответствий q = (69/10) = 6,9 % производство будет запущено в половине случаев. А устроят ли такие проценты несоответствий организаторов производства?

Как известно, для современной сложной техники необходим очень низкий уровень несоответствий, порядка единиц–десятков ppm, не более, иначе мы «захлебнемся в неприятностях» [4]. Тогда естественно задать вопрос: а какой же план СПК по альтернативному признаку следует установить (при Ac = 0), чтобы контроль уверенно «отсекал» партии с уровнем несоответствий, например, 100 ppm = 0,01 %? Для ответа приравняем формулу (6) к значению 0,01 % и получим: n = 23 000, и это — выборка! Аналогично, подставив в формулу значение 0,01 %, получим результат: при выборке n = 6900 и Ac = 0 соответствующий СПК будет в половине случаев принимать партии продукции с уровнем несоответствий 100 ppm = 0,01 %. Даже если объемы партий позволяют брать такие выборки, то вряд ли подобный СПК экономически целесообразен. А если объем выборок уменьшить, то СПК неизбежно будет пропускать партии с более высоким уровнем несоответствий.

К еще одному недостатку планов контроля с Ac = 0 следует отнести слишком большую разницу между браковочным qбр и приемочным qпр уровнями несоответствий: как видно из формул (4) и (6), относительная разница составляет 46 раз! А диапазон значений уровней несоответствий между qпр и qбр — это «зона неуверенной работы» СПК: здесь партии «не очень уверенно» принимаются, но и «не очень уверенно» отклоняются. И в этом диапазоне решающую роль играет «случайность выборки», а не действительное качество партии.

Если же взять приемочное число Ac больше нуля или применить двухступенчатый план СПК, то при том же объеме выборки оперативная характеристика поднимется выше при всех значениях q, т. е. СПК будет принимать (пропускать) партии с более высоким уровнем несоответствий (см. рис. 5). Правда, при этом уменьшится относительная разница между qпр и qбр, т. е. «зона неуверенной работы» СПК. На оперативной характеристике при Ac > 0 появляется «точка перегиба», и ОХ спадает более круто, но при этом она в целом смещается в область более высоких уровней несоответствий. Именно поэтому стандарт IATF 16949 разрешает только планы СПК с Ac = 0. Однако и такие планы, как мы убедились, не обеспечивают «оптимистичных результатов» при приемлемых объемах выборки. 

Рис. 5. Поведение оперативных характеристик планов СПК по альтернативному признаку при увеличении Ac

Продолжение в следующем номере

Резюме

Для серьезных, ключевых показателей качества [5, 6], по которым необходимо обеспечить «сверхнизкий» уровень несоответствий, измеряемый в единицах ppm, СПК по альтернативному признаку непригоден. А надежда на то, что, если в выборке не допускаются дефектные изделия, будут приниматься только «очень хорошие» партии продукции, оказывается весьма обманчивой.

Использованная литература:

1. Розно М.И., Касторская Л.В. Пора заняться техпроцессом. — Н. Новгород: Центр «Приоритет», 2020. — 112 с.
2. Статистическое управление процессами. SPC: Ссылочное руководство (двуязычное). — Н. Новгород: ООО СМЦ «Приоритет», 2012. — 424 с.
3. Лапидус В.А., Розно М.И., Глазунов А.В. и др. Статистический контроль качества продукции на основе принципа распределения приоритетов. — М.: Финансы и статистика, 1991. — С. 186–196.
4. Розно М.И. Откуда берутся «неприятности»? // Стандарты и качество. — 2002. — № 11. — С. 24–27.
5. Перспективное планирование качества продукции и план управления. APQP: Ссылочное руководство (двуязычное). — Н. Новгород: ООО СМЦ «Приоритет», 2012. — 221 с.
6. Розно М.И. От «голоса потребителя» до «производства без проблем». — Н. Новгород, Центр «Приоритет», 2007. — 71 с.