1 Республиканский медицинский библиотечно-информационный центр Дрешер Ю.Н. д.п.н., профессор, директор РМБИЦ, лауреат премии правительства РФ в области. - презентация

1 1 Республиканский медицинский библиотечно-информационный центр Дрешер Ю.Н. д.п.н., профессор, директор РМБИЦ, лауреат премии правительства РФ в области образования С.Петербург 2 декабря 2013

2 2 «Если Вы понимаете «стандарт» как лучшее из достигнутого на сегодняшний день и завтра это лучшее нужно будет внедрять в практику, Вы на верном пути. Но если Вы понимаете стандарт как ограничение, прогресс остановится» Генри Форд «Невозможно заниматься совершенствованием процесса, пока он не стандартизирован» Масааки Имаи

3 Стандартизация – это деятельность по установлению и применению правил с целью упорядочения деятельности организации на пользу и при участии всех заинтересованных сторон. Цель любого стандарта, разрабатываемого и внедряемого в деятельность организации – это внесение ясности, очерчивание необходимой модели поведения сотрудников с потребителями разного уровня. Наличие стандартов гарантирует потребителю, что независимо от того, с кем именно из сотрудников организации он общается, он получит обслуживание «фирменного» качества, которое присуще бренду организации. Зачастую, кажется, что стандарты только ограничивают деятельность сотрудников организации. Но с другой стороны, стандарты создают систему, определенный свод правил, соблюдение которых гарантирует успешный результат в деятельности организации в целом. Что такое «стандартизация»? 3

4 4 для обеспечения выполнения организацией требований технических регламентов, международных и национальных стандартов, стандартов и правил организаций, отраслевых стандартов; для демонстрации заинтересованным лицам применяемых организацией принципов, правил и методов планирования, организации, осуществления и контроля конкретных видов деятельности, работ (услуг); при наличии необходимости формирования единых правил, технических и технологических норм производственной деятельности организации; для обеспечения эффективного управления ресурсами организации; при создании и внедрении системы менеджмента. Разработка стандартов необходима организациям:

5 Международные Национальные Межгосударственные Государственные Стандарты организации Республиканские Муниципальные Ведомственные (отраслевые) Стандарты, ориентированные на потребителя Ориентированные на технологии, услуги и продукты СИБИДНапример, ISO Категории стандартов социальный стандарт образовательный стандарт терминологический стандарт стандарт, устанавливающий технические требования стандарт безопасности труда стандарт на оформление документации Внутри какой-либо системы стандартизации стандарты могут подразделяться по темам: экологический стандарт стандарты пород домашних животных стандарты пород сельскохозяйственных животных стандарты пород клубов любителей домашних животных и т. д. Нас в данном случае интересует вопрос разработки и создания стандарта организации, определяющий качество предоставляемой библиотечной, информационной и библиографической услуги 5

6 Стандарты организации (СТО) - утверждаются и разрабатываются организациями, в том числе и библиотеками, самостоятельно, исходя из необходимости их применения. Главная цель СТО библиотеки - регламентировать порядок мероприятий по повышению качества труда и качества услуг с тем, чтобы помочь организовать эффективное и рациональное использование библиотечных и трудовых ресурсов, нацелить внимание библиотекарей на повышение качества библиотечного обслуживания. Каждая библиотека вправе самостоятельно разрабатывать СТО как комплекс внутренних стандартов своего обслуживания, нормативно обеспечивающих качество библиотечно-информационной деятельности. На уровне библиотеки статус СТО могут иметь: положения об отдельных услугах и видах обслуживания, классификаторы, рубрикаторы, тезаурусы и пр. Стандарты организации (СТО) 6

7 Нужны ли стандарты руководителям? несомненно, ибо это управленческий инструмент, именно стандартизация делает деятельность «прозрачной» (то есть понятно, кто за что отвечает, и все связно) и «управляемой» (дает гарантии выполнения стратегических и оперативных целей и задач). Нужны ли стандарты специалистам? конечно, так как именно стандарты координируют их деятельность и в них устанавливаются требования к результатам этой деятельности. Нужны ли стандарты простым исполнителям? нужны, для того чтобы они руководствовались ими как неким сводом правил при выполнении тех или иных работ в тех или иных процессах. Нужны ли стандарты потребителям? нужны, так как дают основу для предоставления гарантий на качество обслуживания, при этом ориентированность на потребителя помогает сформулировать гарантии в наиболее ценной, значимой для них форме. Кому и зачем нужны стандарты? 7

8 Для потребителей организации: повышение степени соответствия деятельности организации требованиям потребителей к качеству, срокам и стоимости услуг, оказываемых организацией. Для организации: повышение посещаемости и качества обслуживания потребителей организации; достижение единого качества оказания услуг и обслуживания потребителей всеми подразделениями организации («узнаваемый» бренд, «предсказуемый» сервис, уникальный имидж организации); формирование приверженности потребителей организации и повышение уровня их лояльности; систематизация успешного опыта работы подразделений организации; снижение затрат на работу с персоналом за счет простоты обучения и усиления программ наставничества (быстрое обучение и адаптация новичков, наличие четких критериев оценки и эффективности обучения); стандартизация отношений внутри организации, устранение нелогичности и конфликтности во взаимодействии между различными подразделениями. Что дают стандарты 8

9 Для сотрудников: четкая инструкция к работе, понятность рабочего процесса, каждый сотрудник организации «знает свое место» и выполняет свою работу наилучшим образом; минимизация затрат времени на решение стандартных задач; предотвращение ошибок, снижающих качество работы, а соответственно и качество обслуживания потребителей ; получение удовлетворения от хорошо сделанной работы и удовлетворения потребителя; знание критериев оценки своей работы; быстрая адаптация новых сотрудников; учебник в помощь наставникам. Что дают стандарты 9

10 Отсутствие необходимых стандартов или неправильное их использование приводят к ошибкам и потерям в работе организации. И если создаются стандарты, значит, сфера деятельности организации развивается и получает широкое распространение. Вместе с ней развиваются и сами стандарты, и организация в целом, а соответственно и каждый сотрудник организации. Стандартизация – это эволюция, а не революция! 10

11 «Обслужить потребителя – это одно, а настоящая культура обслуживания – это нечто другое», – сказал Джон Шоул, президент «Service QualityInstitute». Умение обслуживать других – отнюдь не врожденная черта. Культура сервиса, безусловно, основывается на традициях, но традиций недостаточно. Ее создают, а сотрудников обучают. «Обслужить потребителя – это одно, а настоящая культура обслуживания – это нечто другое», – сказал Джон Шоул, президент «Service QualityInstitute». Умение обслуживать других – отнюдь не врожденная черта. Культура сервиса, безусловно, основывается на традициях, но традиций недостаточно. Ее создают, а сотрудников обучают. 11

12 Потребителю глубоко все равно, из каких подразделений состоит организация и как официально структурированы текущие в ней процессы. Оценивая качество обслуживания, потребитель не анализирует их так же, как это делает менеджмент - по подразделениям и по процессам. При стандартизации необходимо различать внутренние и внешние стандарты работы организации, то есть, разработанные с точки зрения потребителя. 12

13 13 Когда мы говорим о стандартизации, то у нас присутствует уверенность, что стандартизация необходима для обеспечения качества, а почему и как это происходит прослеживается не всегда. Поэтому давайте рассмотрим этот вопрос взаимосвязи стандартизации и качества услуг. Современная концепция управления качеством исходит из определения качества, принятого в международном стандарте ИСО 9000:2005 (терминологическом стандарте в области управления качеством). Качество - степень соответствия совокупности присущих характеристик требованиям. Требование (requirement), в свою очередь, определяются как потребность или ожидание, которое установлено, обычно предполагается или является обязательным.

14 14 Анализ данного определения позволяет выделить следующие существенные характеристики качества: качество понимается как степень, т.е. как относительная категория, зависящая от выполнения требований. Это говорит о том, что нельзя раз и навсегда достигнуть некоторого абсолютного уровня качества, поскольку требования к объекту меняются с течением времени; возможность градации качества, т. е. выделения классов, категорий, разрядов качества в зависимости от уровня выполнения требований к объекту; ориентация на выполнение не любых потребностей и ожиданий отдельных индивидов, а тех требований, которые установлены, обычно предполагаются или являются обязательными; ориентация на выполнение комплекса требований различных заинтересованных сторон.

15 15 В качестве заинтересованной стороны могут выступать работники, владельцы, партнеры, производители, общество и, конечно, потребители. Каждая из заинтересованных сторон предъявляет свои требования к объекту, и от того, насколько эти требования будут удовлетворены, зависит качество. Прилагая это определение к услуге, получаем, что качество связано, прежде всего, с выполнением потребностей и ожиданий [потребителя] в отношении услуги, а стандартизация обладает способностью снижать неопределённость, формировать ожидания потребителей, тем самым повышая шансы на позитивное восприятие услуги потребителем, на его удовлетворённость.

16 16 Основные модели качества услуги Механизм превращения потребностей и ожиданий потребителя в реальную услугу, а также факторы, являющиеся значимыми для формирования позитивного восприятия услуги, рассматриваются в различных моделях качества услуги. Рассмотрим некоторые из них.

17 17 Наиболее интересной с нашей точки зрения представляет модель разрыва качества. Модель разрывов качества (модель качества услуги – Quality Service Model) разработана в 1985 г. американскими учеными А. Парасураманом, В. Зейтхамл и Л. Бэрри. В соответствии с данной моделью качество услуги представляет собой разницу или разрыв между ожиданиями потребителя и его восприятием фактически полученной услуги. Оценка фактически предоставленной услуги осуществляется потребителями, исходя из двух стандартов: желаемого и адекватного уровня услуги. Желаемый уровень характеризует оптимальные для потребителя значения свойств, соответствующие его индивидуальным потребностям. Адекватный уровень определяет минимальный уровень услуги, акцептируемый потребителем. На формирование адекватных, т.е. допустимых, приемлемых значений свойств услуги оказывают влияние ситуационные факторы, прошлый опыт потребления данных или подобных услуг, коммуникации между потребителями, коммуникационная политика исполнителя, его имидж. Множество значений между адекватным и желаемым уровнем образуют доверительный интервал, или зону толерантности.

18 18 Появление разрыва качества обусловлено недостатками внутри организации-исполнителя, следствием разрывов, возникающих на разных этапах проектирования и предоставле- ния услуги. Выделяют, в основном, четыре основные проблемные зоны у исполнителя: 1-й разрыв: между ожиданиями потребителя и их восприятием руководством организации-исполнителя; 2-й разрыв: между представлениями руководства об ожиданиях потребителя и формированием спецификации услуги; 3-й разрыв: между спецификацией услуги и фактическим исполнением услуги; 4-й разрыв: между фактическим исполнением услуги и внешними коммуникациями исполнителя Модель разрыва качества

19 19 1-й разрыв – это разрыв между ожиданиями потребителя и их восприятием руководством организации-исполнителя. Основная проблема может быть сформулирована, как незнание того, чего хочет потребитель. Этот разрыв возникает тогда, когда исполнитель не может верно идентифицировать ожидания потребителя или обладает искаженными представлениями о значении отдельных показателей качества для потребителя. 2-й разрыв – это разрыв между представлениями руководства об ожиданиях потребителя и спецификацией услуги. Основная проблема заключается в установлении стандартов, не отражающих ожидания потребителей. Данный разрыв возникает на этапе проектирования услуги и установления ее спецификаций. Разрыв в том, что мы хотим спроектировать и то, что мы спроектировали, может быть вызван самыми разными причинами: от незнания методов стандартизации до нехватки необходимых ресурсов.

20 20 3-й разрыв – разрыв между спецификацией услуги и её фактическим предоставлением. Результат оказанной услуги может отклоняться от установленного стандартом. Причины появления этого разрыва кроются в человеческом факторе, который трудно законсервировать или стандартизировать. Основная проблема может быть сформулирована как невыполнение персоналом установленных стандартов. 4-й разрыв – разрыв между процессом оказания услуги и внешними коммуникациями организации. Реклама и другие коммуникационные инструменты влияют на формирование ожиданий потребителей. Данный разрыв характеризует ситуацию, когда реальная услуга не соответствует рекламе. Основная проблема может быть сформулирована как невыполнение обещанной услуги. Рассмотренные четыре разрыва образуют 5-й разрыв – разрыв качества, который воспринимает потребитель.

21 21 Анализ представленных моделей показывает, что с позиции стандартизации: Модели Донабедиана, Грёнрооса и Кано имеют ценность в обосновании объектов и аспектов стандартизации услуги. В логике первой модели стандартизированы могут быть потенциал, процесс и результат услуги; в рамках модели Грёнрооса – технические и функциональные аспекты; модель Кано обосновывает необходимость жёсткой стандартизации базовых характеристик услуги. Модель разрывов качества – имеет более широкую область применения поскольку описывает механизм восприятия потребителем качества услуги, а также потенциальные проблемные зоны в организации, которые могут привести к недостаткам качества. В качестве одной из таких проблемных зон выделяются недостатки стандартизации. Таким образом, эта модель раскрывает роль стандартизации услуг в формировании качества, выделяет ключевые факторы, влияющие на неудачи в стандартизации. Эти проблемные зоны, попадая в устанавливаемые стандарты деятельности организации приводят к тому, что не отражают ожиданий потребителей, а это, в конечном итоге, приводит к их неудовлетворённости.

22 Что служит причиной неудовлетворенности потребителей? В настоящее время сложилась теория брешей обслуживания, по которой общая брешь воспроизводит различие между ожиданиями и опытом потребителя и ведет к его неудовлетворенности. Но в корне причин такой неудовлетворенности можно увидеть от одной до пяти более мелких брешей, которые могут быть связаны с рекламой, с пониманием потребителями выгоды от потребления товара и взаимодействия с организацией, ее деятельностью, поведением персонала и восприятием потребителями организации в целом Бреши в качестве обслуживания Брешь 1 в рекламе Брешь 2 в понимании потребителя Брешь 3 в процедуре взаимодействия Брешь 4 в поведении персонала Брешь 5 в восприятии организации в целом Брешь в качестве обслуживания – это различия между ожиданиями в обслуживании потребителей и их восприятием реальных услуг организации 22 Неудовлетворенность - основная причина того, что называется разрушением потребителей.

23 Одной из основных задач внедрения потребительских стандартов качества - создание механизма обратной связи. Если в организации возникают ситуации, способные повлиять на восприятие качества обслуживания, то благодаря обратной связи это немедленно можно заметить по отклонению числовых показателей от стандартных значений, и быстро принять меры, не допуская снижения лояльности потребителя. 23 Пример, «Ленточный график индекса удовлетворенности персонала»

24 Мониторинг, измерение Анализ и изучение информации по измерению, анализу Улучшения, инновации и обучение Менеджмент процессов Менеджмент ресурсов Стратегия и политика Потребители услуги Анализ достижения целей Проверка на пригодность стратегии и политики Ресурсы Инфраструктура Средства производства Предметы труда Энергетические ресурсы Финансовые ресурсы Человеческие ресурсы Производственная среда Партнеры и поставщики Знания информация и технологии ПроцессыПроцессы Обратные связи в управлении качеством услуги Обратные связи ИнформацияИнформация Вход процесса 24

25 Потребность в обратной связи естественна для любого человека, будь то руководитель или рядовой сотрудник. Делаю ли то, что нужно компании? Правильно или не очень? Признают ли мои усилия? Признают ли мои усилия? Отсутствие обратной связи, равно как и грубое нарушение правил её подачи, лишает человека ориентиров в организации и снижает его желание работать. Для руководителя обратная связь – это инструмент, который позволяет: Выразить признание сотруднику и поддержать его высокую мотивацию Понять причины нежелательного поведения сотрудника Скорректировать поведение сотрудника, отклоняющееся от стандартов Нацелить сотрудника на развитие в конкретном направлении Ценность обратной связи 25 Обратная связь важна не только от внешнего потребителя, но и внутреннего потребителя - персонала

26 Контроль за соблюдением стандартов является важной частью менеджмента качества. Руководители должны научиться мыслить категориями стандартов и при распределении обязанностей, и во время контроля качества работы персонала, и функционирования процессов. Таким образом: 26 Также следует помнить, что каждое взаимодействие с потребителем включает два основных уровня: личностный и деловой. Соответственно стандарты выполнения процесса создаются на уровне технологии обслуживания и на коммуникативном уровне.

27 27

28 У каждого руководителя и у каждого потребителя продукции (услуги) имеются две альтернативы поведения в отношении контроля качества продукции: Контролировать ход выполнения процесса с целью предотвращения некачественного результата, затрачивая при этом значительные средства на контрольные мероприятия. Полностью доверить выполнение работы исполнителю, экономя средства, затрачиваемые на контроль, но неся риск убытков, связанных с получением некачественного результата. Варианты контроля качества

29 Естественно, экономически более выгодной является вторая альтернатива поведения, предполагающая доверие между партнерами. Для ее применения очевидно необходимо, чтобы вероятность получения некачественного результата от поставщика была как можно более низкой. Проблема только в том, чтобы объективно оценить значение этой вероятности, то есть определить насколько можно доверять партнеру, поставщику или сотруднику и не контролировать его работу. 29

30 В этом нам может помочь философия ISO 9000 основанная на экономически эффективном применении "правила доверия", позволяющем рациональнее использовать ресурсы как подразделений организации в отдельности, так и в целом. Можно считать, что стандарты систем качества ISO 9000 внедряются именно для того, чтобы дать организациям большую уверенность в поставщиках. 30

31 31 Давайте снова обратимся к модели разрыва качества и рассмотрим как существующие ГОСТы предлагают решение данных проблем разрыва качества Требования ГОСТ ISO и ГОСТ Р ИСО , направленные на устранения разрывов качества

32 Одним из основных требований международного стандарта качества ISO9001 является ориентация на потребителя. Что это означает и что под этим следует понимать? Естественно, что потребитель требует: выполнение его требований; чтобы выпускаемая продукция имела качество, которое ожидает потребитель. Но не только этими двумя пунктами ограничивается данное требование стандарта. Отношение потребителя к поставщику можно выразить через требования. Собственно качество – это и есть соответствие характеристик изделия требованиям потребителя. Требования и влияние их выполнения на степень удовлетворенности потребителя 32

33 ТребованияТребования ВысказанныеВысказанныеНевысказанныеНевысказанные ПодразумеваемыеПодразумеваемыеНеосознанныеНеосознанные Требования можно разделить: Если говорить о производстве информационной продукции, то требования заказчика можно рассматривать как все свойства изделия, определенные контрактом и прочими оговоренными документами. Все характеристики продукции, зафиксированные в оговоренных документах или контракте можно считать высказанными. Все постановления отраслевых стандартов и местного законодательного регулирования, выполнение которых необходимо для законного функционирования организации, может быть и не оговорено контрактом. Тем не менее, выполнение этих требований является обязательными. Это невысказанные требования Подразумеваемыми требованиями называют общепонятные условия производства продукции или предоставления услуги. Подразумеваемые требования – это требования, не оговоренные контрактом, но выполнение которых общепонятно исходя из местной законодательной базы, отраслевых стандартов и прочей нормативной документации. Неосознанные требования не оговорены контрактом и прочими нормативными документами. Раз эти требования неосознанны, то можно предположить, что предоставление подобных услуг является уникальным процессом или нехарактерным для данного рынка 33

34 Выполнение или невыполнение тех или иных требований в любом случае отражается на удовлетворенности потребителя. Диаграмма «Модель Кано» отражает зависимость между степенью удовлетворенности потребителя и степенью выполнения требований. 34 Модель Кано Требования не выполнены Неосознанные требования Высказанные требования Подразумеваемые требования Степень удовлетворенности потребителя Восторг Отвращение Требования выполнены в полном объеме Степень выполнения требований Как видно из диаграммы удовлетворенность потребителя прямо пропорционально зависит от степени выполнение высказанных требований. Потребитель четко указал те качества продукции, которые он хочет получить, поэтому предоставление продукта в полной мере отвечающего требованиям заказчика приводит к его восторгу. Степень выполнения требований само собой будет отражаться на удовлетворенности: чем в более полном объеме выполнены требования, тем более удовлетворен потребитель. Как видно из диаграммы удовлетворенность потребителя прямо пропорционально зависит от степени выполнение высказанных требований. Потребитель четко указал те качества продукции, которые он хочет получить, поэтому предоставление продукта в полной мере отвечающего требованиям заказчика приводит к его восторгу. Степень выполнения требований само собой будет отражаться на удовлетворенности: чем в более полном объеме выполнены требования, тем более удовлетворен потребитель.

35 Выполнение подразумеваемых требований, как видно, слабо влияет на удовлетворенность потребителя и не может привести к его восторгу. Тем не менее, невыполнение обязательных требований может очень резко привести к крайней степени неудовлетворенности потребителя. Невыполнение неосознанных требований не может привести к неудовлетворенности заказчика. С другой стороны их выполнение очень резко меняет степень удовлетворенности потребителя, приближая ее к восторгу. 35 Имидж организации Воспринимаемое качество информационно- библиографического продукта Воспринимаемое качество услуги Воспринимаемая ценность Индекс удовлетворенности потребителя Лояльность потребителя Претензии Ожидания потребителя

36 Личностные и ситуационные факторы Стандарты процессов Кадровая политикаДеятельность персонала в процессах предоставления услуги Давайте посмотрим сначала на приверженность и вовлеченность в работу самого сотрудника. Само собой разумеется, что организация маленькая или большая в конечном счете только выигрывает, если ее сотрудники энергичны, верят в миссию организации и понимают, как достичь поставленных целей. Джек Уэлч, экс-глава General Electric Вовлеченность сотрудника в работу Качество обслужива ния Удержание сотрудников Удовлетво- ренность потребителя Верность потребителя Продуктив- ность сотрудника Вовлеченность сотрудника удовлетворенность потребителя Привержен- ность сотрудника Удовлетворен- ность персонала своей работой Стандарт качества услуги и регламентирующие документы СМК 36 рекомендации по вовлеченности персонала через систему непрерывных улучшений Поскольку вовлеченность является одним из основных факторов обеспечения удовлетворенности потребителя (обосновано в предыдущих наших научных исследованиях), то логично определить принципы и рекомендации по вовлеченности персонала через систему непрерывных улучшений

37 37

38 38 Модель процесса стандартизации услуги Стандартизация Повышение качесва обслуживания Удовлетворение требований пользователя Оптимизация номенклатуры услуг Совершенствование организации управления Совершенствование библиотечно- информационных услуг Повышение конкурентоспособности Повышение уровня технологической и корпоративной культуры Повышение качесва обслуживания Удовлетворение требований пользователя Оптимизация номенклатуры услуг Совершенствование организации управления Совершенствование библиотечно- информационных услуг Повышение конкурентоспособности Повышение уровня технологической и корпоративной культуры Правовые основы законодательства РФ «О защите прав потребителей» «О стандартизации» «О сертификации продукции и услуг» «О библиотечном деле» ИСО 9000, 9001, 9004 Группы однородных услугГруппы однородных услуг Конкретные услугиКонкретные услуги Требования к процессамТребования к процессам Общетехнологические параметрыОбщетехнологические параметры Организационно-методические аспектыОрганизационно-методические аспекты Группы однородных услугГруппы однородных услуг Конкретные услугиКонкретные услуги Требования к процессамТребования к процессам Общетехнологические параметрыОбщетехнологические параметры Организационно-методические аспектыОрганизационно-методические аспекты Объекты стандартизации Основные задачи: Определение набора показателей качества Определение набора показателей качества Разработка требований к формам, методам, условиям обслуживания Разработка требований к формам, методам, условиям обслуживания Определение требований к технологии производства Определение требований к технологии производства Унификация форм учетно-отчетных документов Унификация форм учетно-отчетных документов Создание терминологической системы Создание терминологической системы Нормативно- технологическое обеспечение Критерии ИСО ИСО 10001, 10002,10004 ГОСТ ГОСТы СИБИД Цель Стандарты

39 39 Какие этапы включает в себя разработка СТО При разработке стандартов организации существуют следующие стадии: организация разработки стандарта; разработка проекта стандарта (первая редакция); рассмотрение заинтересованными сторонами; доработка проекта стандарта (окончательная редакция), его согласование и экспертиза; утверждение стандарта, его регистрация, распространение и введение в действие. Написание и внедрение стандартов дело достаточно длительное, требующее от исполнителя полного погружения в процесс. Для разработки стандарта создается проектная группа, назначают руководителя проекта, распределяют зоны ответственности между участниками и определяются со сроками.

40 40 План разработки стандарта качества в РМБИЦ Этап разработки стандарта Сроки исполнения Ответственный Организация разработки стандарта; – Рабочая группа Разработка проекта стандарта (первая редакция) – Рабочая группа и привлеченные технические и библиотечные специалисты Рассмотрение стандарта заинтересованными сторонами и пробная эксплуатация; – Специалисты РМБИЦ (зав. отделам, гл.специалисты) Доработка проекта стандарта (окончательная редакция), его согласование и экспертиза; – Рабочая группа, эксперты РМБИЦ Утверждение стандарта, его регистрация, распространение и введение в действие – Отдел качества, координационный совет по качеству

41 41 При разработке стандартов организации необходимо использовать: предложения структурных подразделений данной и других организаций; результаты научно-исследовательских, опытно-конструкторских, опытно-технологических и проектных работ; результаты маркетинговых исследований; национальные стандарты Российской Федерации и иные стандарты, действующие в этом качестве; международные и региональные стандарты; прогрессивные национальные стандарты других стран; стандарты отрасли (до их перевода в другие категории документов по стандартизации) и иные нормативные документы, принятые (утвержденные) федеральным органом исполнительной власти, который отвечает за соответствующую отрасль; Правила разработки стандарта

42 42 стандарты, технические условия и производственный опыт передовых отечественных организаций библиотечной отрасли Российской Федерации; фирменные (корпоративные) стандарты известных зарубежных компаний; стандарты общественных объединений, в том числе зарубежных; информацию о современных достижениях отечественной и зарубежной науки, техники и технологии в области библиотечного дела; организационно-распорядительные документы и рекомендации федеральных и иных органов исполнительной власти. Причем следует указать, что стандарты таких категорий, как региональные, зарубежные национальные и фирменные, общественных объединений, других предприятий, а также их технические условия применяют только при наличии соглашений или договоров, дающих право на это применение. Правила разработки стандарта

43 43 Разработка стандарта организации включает в себя работу по следующим направлениям: названия и определения основных сфер деятельности по производству информационно-библиографической продукции и услуг организации; основные правила осуществления деятельности; полные характеристики изготовляемой информационно- библиографической продукции и предоставляемой услуги; правила использования, перевозки, хранения и утилизации информационно-библиографической продукции и предоставляемой услуги; характеристика и описание требований к продукции и услуге; основные правила и методы контроля качества продукции и услуги. Оформление СТО проводится сотрудниками, которые знают все актуальные правила оформления такого документа, который должен полностью соответствовать требованиям нормативных документов.

44 44 В стандарте необходимо ввести отдельный раздел определяющий правила обновления стандартов организации, определив критерии необходимости и способы (путем пересмотра и/или изменения) обновления, а также соблюдаемые при этом процедуры. Например, можно установить, что стандарт организации подлежит обновлению в случаях, когда его содержание: вошло в противоречие с федеральными законами, техническими регламентами, иными нормативными правовыми актами Российской Федерации и ее субъектов, требованиями национальных стандартов РФ, региональных или действующих в этом качестве межгосударственных стандартов; не обеспечивает достижения целей стандартизации; противоречит содержанию вновь разрабатываемого или другого обновляемого стандарта, или когда эти стандарты могут дублировать друг друга; противоречит вновь заключенным договорам, контрактам, соглашениям со сторонними организациями. по предложению структурных подразделений организации или сторонних организаций, применяющих данный стандарт.

45 45 В РМБИЦ обновление стандарта качества предоставления библиотечной, библиографической и информационной продукции и услуг произведен в следствии: Пересмотра политики руководства в области качества (2011г.) Ввода в действие Стандарта качества государственной услуги «Осуществление библиотечного, библиографического и информационного обслуживания пользователей библиотек Республики Татарстан» (2013г.) Изменения в федеральном закон 78-ФЗ от г. (ред. от г.) «О библиотечном деле»; Изменения в законе Республики Татарстан 1818 от г. (ред. от г. 2-ЗРТ) «О библиотеках и библиотечном деле»; Введения новых ГОСТов: ГОСТ Р ИСО «Менеджмент для достижения устойчивого успеха организации. Подход на основе менеджмента качества» ГОСТ Р ИСО «Руководящие указания по аудиту систем менеджмента» ГОСТ Р /ISO/TS 10004:2010. «Менеджмент качества. Удовлетворенность потребителей. Руководящие указания по мониторингу и измерению» ГОСТ Р Система стандартов по информации, библиотечному и издательскому делу. Электронные издания. Основные виды и выходные сведения Причины пересмотра Стандарта качества

46 46 Переход организации на новую форму собственности – «Государственное автономное учреждение» (2011г.) Изменение формы оплаты труда (2012г) Постановление кабинета министров РТ о введении дополнительной надбавки к зарплате за качество выполненной работы, что потребовало разработки и внедрения критериев оценки эффективности трудовой деятельности (2012г) Пересмотр и введение в действие с 2013г новой редакции положения «Показатели (индикаторы) оценки качества информационно-библиотечных, библиографических услуг, продукции и эффективности деятельности РМБИЦ Причины пересмотра Стандарта качества в РМБИЦ

47 1. Выделение существующей или желательной последовательности критических контактов 1. Выделение существующей или желательной последовательности критических контактов 3. Выбор характеристик, которые будут использоваться при стандартизации 3. Выбор характеристик, которые будут использоваться при стандартизации 2. Сопоставление ожиданий потребителя с характеристиками процесса обслуживания 2. Сопоставление ожиданий потребителя с характеристиками процесса обслуживания 4. Выделение «жестких, числовых стандартов и «мягких», субъективных оценок 4. Выделение «жестких, числовых стандартов и «мягких», субъективных оценок 6. Установка метрик и их стандартных значений 7. Отслеживание метрик и их сопоставление со стандартами 8. Обновление стандартных знамений и метрик - при необходимости Измерение и анализ числовых операционных данных Измерение и анализ числовых операционных данных Оценка методом личных интервью, наблюдений, анкетированием 5. Создание механизма обратной связи Технология разработки стандартов, ориентированных на потребителя 47

48 Самое трудное в такой разработке - это перевод абстрактных ожиданий потребителя в конкретные и измеряемые характеристики процесса обслуживания. Например, первым критическим контактом потребителя библиотечной услуги является его встреча с персоналом отдела обслуживания и регистрация. Потребитель ожидает быстрого обслуживания и внимания к своим пожеланиям. Но если скорость обслуживания еще поддается измерению и учету, то степень внимания к пожеланиям трудно выразить в каком-то числовом показателе. 48

49 При изучении проблемы качества обслуживания необходимо учитывать все элементы, образующие систему библиотечного обслуживания и влияющие на его качество: читатели, условия обслуживания, персонал библиотеки, услуги, каталоги и фонды. В контексте системного анализа эти элементы рассматриваются как факторы. В процессе наших исследований при разработке и внедрении СМК были выявлены и приняты показатели (индикаторы) оценки эффективности деятельности и качества услуги, представленные на следующем слайде. 49

50 Группа А индикаторы оценки деятельности руководства; Подгруппа А1. Индикаторы оценки управляющей деятельности Подгруппа А2. Индикаторы оценки качества управления персоналом Группа В индикаторы доступности и ресурсной обеспеченности услуг РМБИЦ; Подгруппа В1. Индикаторы доступности центра и услуг. Подгруппа В2. Индикаторы оценки библиотечных фондов РМБИЦ. Подгруппа В3. Индикаторы оценки справочно-библиографического аппарата Подгруппа В4. Индикаторы оценки технического оснащения центра Группа С производственные индикаторы; Группа D индикаторы удовлетворенности пользователей качеством услуг, оказываемых РМБИЦ; Группа E социальные индикаторы; Группа F индикаторы оценки системы повышения квалификации; Группа G индикаторы оценки научно-методической деятельности Группа А индикаторы оценки деятельности руководства; Подгруппа А1. Индикаторы оценки управляющей деятельности Подгруппа А2. Индикаторы оценки качества управления персоналом Группа В индикаторы доступности и ресурсной обеспеченности услуг РМБИЦ; Подгруппа В1. Индикаторы доступности центра и услуг. Подгруппа В2. Индикаторы оценки библиотечных фондов РМБИЦ. Подгруппа В3. Индикаторы оценки справочно-библиографического аппарата Подгруппа В4. Индикаторы оценки технического оснащения центра Группа С производственные индикаторы; Группа D индикаторы удовлетворенности пользователей качеством услуг, оказываемых РМБИЦ; Группа E социальные индикаторы; Группа F индикаторы оценки системы повышения квалификации; Группа G индикаторы оценки научно-методической деятельности Показатели (индикаторы) оценки качества 50

51 паспорт услуги: наименование, результат услуги (как выглядит для получателя конечный результат), органы, оказывающие услугу, правовые основания оказания услуги, получатели услуги, нормативный срок оказания услуги, требования, обеспечивающие необходимый уровень доступности и качества услуги, параметры, по которым определяется качество услуги и степень удовлетворенности получателей услуги. 51 Анализ множества стандартов качества предоставления библиотечной услуги, опубликованных в Интернет, позволил сформулировать следующие характерные их разделы: На основании этого анализа нами предлагается следующее содержание (структура) стандарта качества предоставления библиотечной, библиографической и информационной услуги.

52 Структура стандарта качества предоставления услуги 52

53 53 Структура стандарта качества предоставления услуги

54 54 Номенклатура библиотечной, библиографической и информационной продукции и услуг РМБИЦ

55 55 Правила разработки стандарта организации в РМБИЦ

56 Европа уже давно, с 1987 г. предлагает всем организациям, заинтересованным в улучшении качества своей продукции, построить Систему Менеджмента Качества (СМК) в соответствии с международными стандартами ISO серии 9000, вобравшими в себя лучший опыт управления организациями по качеству, и сертифицировать ее. Это означает, что после сертификации в организации устанавливается именно та система управления, которая приведет к появлению заданного качества продукции и услуг. Как обеспечить заданное качество? Международный стандарт НаименованиеНациональный стандарт ИСО 9000:2005«Системы менеджмента качества. Основные положения и словарь» ГОСТ ISO ИСО 9001:2008«Системы менеджмента качества. Требования» ГОСТ ISO ИСО 9004:2009«Менеджмент с целью достижения устойчивого успеха организации. Подход с позиции менеджмента качества». ГОСТ Р ИСО ИСО 19011:2011Руководящие указания по аудиту систем менеджмента ГОСТ Р ИСО Стандарт – стандартом, но он не обеспечивает качества, а только определяет требования к качеству. Так как же обеспечить реализацию этих требований?

57 Влияние рекомендаций и стандартов на разработку, внедрение и совершенствование СМК в РМБИЦ 57

58 Управление качеством предоставления библиотечной, библиографической и информационной услуги на современном этапе в РМБИЦ Контроль качества услуги Потребитель Анализ отказов Отзывы Заказ Документы Отказы Фонд Госты СИБИД Законы РФ и РТ о библиотечном деле Ресурсы Анализ отчетов Отчеты Поставщики Менеджмент информационно- библиотечных ресурсов Процессы предоставления ИББУ Внутренние аудиты Мониторинг процессов Мониторинг продукции Лите- ратура Корректирующие и предупреждающие действия Регламентирующая документация процессов Анализ владельцами процессов Анализ со стороны руководства Результаты: мониторинга; анкетирования; аудитов Миссия, Политика, Стратегия, Стандарты организации Показатели процесса Модернизация Результаты обучения Повышение квалификации Кадры Анкетирование удовлетворен- ности потребителя Анкеты Технические и программные средства Законы РФ и РТ Состоя- ние ТС Потребитель Потребн ости 58

59

60 60 Исследование по оценке удовлетворенности потребителей обеспечивает организациям, достичь своих целей, поддерживая удовлетворенными уже имеющихся потребителей, предоставляемой продукцией и услугой. Результаты такого исследования выявляют приоритеты для улучшения, которые затем используются в работе системы управления качеством как исходный уровень (benchmarking). Если на основе выявленных приоритетов предпринимаются эффективные действия, организация, формируя представления о ценностях своих потребителей, может повысить показатели их удержания. Такое исследование позволяет: замерить удовлетворенность потребителей информационно- библиографической продукцией и услугой в целом; сравнить представления персонала с ожиданиями потребителей; выявить приоритеты, влияющие на улучшения; обеспечить базовыми данными работу системы управления качеством; повысить показатели удержания потребителей; обобщить ценности потребителей; придерживаться требований стандарта ISO 9000.

61 61 Исследования по оценке удовлетворенности потребителей информационно-библиографической продукцией и услугами должны выявлять успешность организации в достижении главной задачи. Для этого при проектировании исследования следует ориентироваться на решение двух важных задач: предоставить потребителям возможность определить значимые для них критерии при оценке организации и оценить критерии качества продукции и услуги, сформированные в организации с позиций их важности для потребителей; выявить комплекс критериев, влияющих на лояльность потребителя. Для этого в исследовании выделяют два этапа: вначале выясняют, как потребители воспринимают деятельность организации по каждому критерию, а затем, используя ту же шкалу, сравнивают деятельность организации и приоритеты потребителей, что позволяет увидеть, делает ли в действительности организация то, что значимо для ее потребителей.

62 62 Удовлетворенность потребителей - это сознание потребителей, и оно может подтверждаться или не подтверждаться реальной ситуацией. Известно, что люди формируют установки (отношение) быстро, а меняют их медленно. Замеры удовлетворенности потребителей - это оценка того, как потребители воспринимают вашу деятельность в качестве поставщика продукции и услуги. Поэтому в этих случаях нельзя полагаться на информацию, созданную внутри предприятия, как на руководство по завоеванию успеха у потребителей. Ориентация на потребителя - это правило соответствующего поведения организаций на конкурентных рынках, где действуют осведомленные покупатели. Ориентация на потребителей означает не только то, что мы должны идти в ногу с их потребностями, но и "оживлять" им "в угоду" все функции бизнеса: маркетинг, производство, научные исследования, системы привлечения потребителей, их мотивацию, что и является не деле маркетинговой ориентацией организации.

63 63 Концепция ориентации на потребителей рассматривается как соответствие или превышение их ожиданий, а ожидания зависят от предлагаемого на рынке выбора. Превысив ожидания потребителей в цене и качестве, можно рассчитывать, что потребители будут возвращаться в организацию. По логике исследования удовлетворенности потребителей, вначале проводится поисковое качественное исследование, затем на базе его данных - основное, количественное.

64 64 Основными задачами поискового исследования являются выявление корректного вопросника. Кроме того, необходимо удостовериться в том, что в количественном исследовании: будут задаваться нужные вопросы; вопросы будут задаваться респондентам, ориентированным на данные услуги и продукцию; будет использоваться оптимальный способ извлечения информации. Результаты поискового исследования должны включать следующую информацию: Объем и выборка респондентов социологического исследования. Критерии принятия решения о пользовании услугами данной организации. Приоритеты в потребностях и ожиданиях потребителей. Оценка организации поставщика продукции и услуг по приоритетным факторам. Сравнение с лучшими поставщиками продукции и услуг в этой области. Тенденции потребностей потребителя в перспективе. Цель основного исследования - замеры восприятия потребителями деятельности организации используя метод социологического исследования - анкетирование.

65 65 Методы измерения удовлетворенности Методы, предназначенные для неудовлетворенных потребителей Методы анкетирования Специальные исследования удовлетворенности Анкеты удовлетворенности потребителя Анкеты «важность функции - знания» для выполнения работ Анкеты удовлетворенности персонала Анкеты вовлеченности персонала ПотребителиПотребители Жалобы и предложения Данные о должниках ОтказыОтказы ГОСТ Р ИСО Менеджмент организации. Удовлетворенность потребителя. Руководство по управлению претензиями в организациях ГОСТ Р /ISO/TS 10004:2010. Менеджмент качества. Удовлетворенность потребителей. Руководящие указания по мониторингу и измерению

66 Если анкеты не выполняют поставленную задачу, это, как правило, связано с тем, что их пустили в дело, недостаточно все продумав. Пропущены нужные вопросы, имеющиеся вопросы плохо сформулированы, слишком длинны, сложны, а иногда непонятны. Создание анкеты это динамический процесс, в ходе которого черновой набросок превращается в точный и хорошо форматированный документ. Если бы та или иная анкета не прошла хотя бы три редакции, это было бы странно (и чревато последствиями). Принципы построения анкеты 66

67 При составлении анкеты использовались следующие правила: 1. Сформулировать цель анкетирования: необходимо разработать план исследования (что должно быть получено в результате и какими методами). Благодаря этому будет обеспечен охват исследованием всех необходимых моментов. и создать примерный перечень тем, который в конечном счете превратится в более четко сформулированные вопросы. 2. Определить способ проведения анкетирования, так как способ проведения интервью влияет на формулировку вопросов. 3. Формулирование вступления в самом начале анкеты, чтобы из него была видна цель опроса, поскольку, если люди чувствуют, что интервью служит достойной цели, они легче идут на сотрудничество

68 4. Место в анкете должно использоваться эффективно, чтобы она была понятной и легко читаема. Вопросы и варианты ответов следует располагать в стандартном формате, шрифт должен быть достаточно крупным. Там, где это необходимо, должно быть отведено свободное место для того, чтобы вписать комментарии по открытым вопросам. 5. Вопросы должны свободно вытекать один из другого и быть сгруппированы по темам в логической последовательности. 6. Интервью может быть структурировано путем включения в него разных по стилю вопросов. 7. Продумывая вопросы, нужно одновременно представить и возможные ответы: цель вопроса состоит в получении на него ответа, поэтому важно подумать и над возможными ответами, поскольку ответы, в свою очередь, могут влиять на форму вопроса

69 Мониторинг удовлетворенности потребителя в условиях РМБИЦ осуществляется методом анкетирования. Для каждого типа предоставляемой услуги разработана своя анкета. Но структура анкет однотипная и имеет следующий вид: 69 Название анкеты Введение (краткая инструкция) Дата «___»________20__г. п/п Название вопроса ДА Скорее ДА Затрудняюсь с ответом Скорее НЕТ НЕТ Спасибо за сотрудничество!

70 Первоначально в анкетах было размещены вопросы, которые казалось бы наиболее полно отражают специфику выявления удовлетворенности пользователя (потребителя) услуги. Но, естественно, пользователь не всегда находит время отвечать на множество вопросов анкеты, поэтому мы провели экспертную оценку разработанных анкет с целью выявления наиболее важных вопросов анкеты. Кроме этого рассчитывалась основная характеристика анкеты как «репродуктивности», а также определялась согласованность мнений экспертов. В экспертной оценке принимали участия 14 специалистов. Это специалисты РМБИЦ (8 чел. – библиотечные работники, технические специалисты -3 чел.), специалисты КГУКИ (3 чел. - преподаватели). В процессе эксплуатации разработанных анкет были учтены пожелания пользователей, направленные на более детальную расшифровку вопросов и некоторое их сокращение. В результате получены анкеты, которые используются в настоящее время. 70

71 Коэффициент репродуктивности (воспроизводимости) шкалограммы осуществляется путем подсчета допустимого числа отклонений. Он показывает количество ошибок и означает процент реакций на признак, который воспроизводится правильно: R = 1-n/(K*N) Где R – коэффициент репродуктивности; K – число суждений по которым нужно дать ответ; N – число респондентов; n – число ошибочных ответов, которые располагаются справа или слева от идеальной вертикали. Коэффициент желательной репродуктивности задается исследователем как надежный интервал допустимой ошибки. Желательно получить не более 10 % ошибочных ответов. Тогда коэффициент репродуктивности должен выражаться числом 0,90. Это означает, что данный набор суждений образует одномерную шкалу. Для оценки согласованности мнений экспертов использовался коэффициент «вариации», определяемый по формуле: V= σ i /σ cp Где σ i – стандартное отклонение результатов i-го эксперта; σ ср – среднее значение стандартного отклонения результатов экспертизы. 71

72 Можно повысить коэффициент, убрав суждение, которое сильно отклоняет шкалограмму от идеального континуума, т.е. которое дает много (+) или (–) на «чужой» половине. При шкале из пяти пунктов коэффициент репродуктивности может быть улучшен за счет выбрасывания суждений, дающих много отклоняющихся ответов. 72

73 Анкетирование: По результатам проведенных нами предварительных исследований совокупный минимальный объем выборки составляет: потребителей информационно-библиотечной и библиографической услуги анкет. персонала РМБИЦ – 83 анкеты. Анкетирование проводится периодически (один раз в год) среди следующих категорий пользователей: руководителей здравоохранения Республики Татарстан и г.Казани (12 анкет); главных специалистов Министерства здравоохранения РТ и Управления здравоохранения г.Казани (12 анкет); практических врачей (79 анкет); врачей с ученой степенью (18); профессорско-преподавательский состав (17). Анкетирование персонала РМБИЦ проводится один раз в год как правило внезапно, без предварительного уведомления. 73

74 АНКЕТЫ Определение удовлетворенности потребителя 74

75 75

76 Экспертная оценка анкеты «Коэффициент влияния ответа анкеты на индекс удовлетворенности» Результаты данной экспертной оценки используются при определении индекса удовлетворенности потребителя 76

77 Обработка анкет проводится отдельно для каждого типа респондента. Все ответы переводятся в процентную шкалу по формуле: ИУП=(N да *V да + N с.да *V с.да + N затр. *V затр. + N с.нет *V с.нет + N нет *V нет )*100/N Где: N – общее количество анкет; N да – количество положительных ответов шкалы «ДА»; V да – весовой коэффициент шкалы «ДА»; N с.да – количество ответов по шкале «Скорее ДА»; V с.да –весовой коэффициент шкалы «Скорее ДА»; N затр. – количество ответов по шкале «затрудняюсь с ответом»; V затр –весовой коэффициент шкалы «затрудняюсь с ответом»; N с.нет –количество ответов по шкале «Скорее НЕТ»; V с.нет –весовой коэффициент шкалы «Скорее НЕТ»; N нет –количество ответов по шкале «НЕТ»; V нет –весовой коэффициент шкалы «НЕТ»; Результаты вычислений представляются в процентах с точностью до 0,01%. Обработка результатов анкетирования. 77

78 Для каждого типа анкеты, для каждого типа респондента и для каждого типа ответа определяется средняя оценка с занесением в результирующую таблицу результатов (форма РМБИЦ СМК Ф ). По значениям таблицы результатов подсчитывается среднее значение индекса удовлетворенности и строится динамика изменения показателей. На основании тренда показателей принимаются соответствующие решения и разрабатываются мероприятия по устранению отрицательного тренда или улучшению конкретных показателей. 78

79 79 Развернутый индекс удовлетворенности потребителей за 2012г.

80 80 Тенденция изменения индекса удовлетворенности персонала по блокам вопросов анкеты

81 Вопросы должны быть сформулированы нейтрально и не должны подталкивать респондента к тому или иному ответу. Максимально упростите вопросы. Вопросы должны быть не только короткими они должны быть простыми. Вопрос, выражающий сразу несколько мыслей или совмещающий два вопроса, приведет респондента в замешательство либо будет неправильно понят. Используйте максимально конкретные вопросы. При всей важности лаконичности и простоты бывают случаи, когда уместно сделать вопрос немного длиннее, введя в него информацию, помогающую извлечь из памяти серьезные моменты. Полезно, например, очень четко указывать сроки. Избегайте жаргона и аббревиатур. Нельзя полагаться на то, что респонденты поймут слова из обихода исследователей. Необходимо избегать профессионального жаргона и аббревиатур, кроме тех, которые распространены в повседневной жизни. Обходитесь без сложных и редких слов. Анкета это не место, где зарабатывают очки по литературе, поэтому используйте только широко употребительные слова. Разговорные выражения допустимы, если они будут всем понятны 81 Наши рекомендации при составлении анкет

82 Не привлекайте неоднозначные слова. Такие слова, как «обычно» или «часто», не имеют конкретного значения и требуют уточнения. Избегайте оборотов с отрицаниями. Вопросы труднее понимать, если их задают в негативном смысле. Лучше сказать: «Случалось ли Вам...?» вместо: «Не случалось ли Вам...?» Не применяйте гипотетические вопросы. На вопросы о воображаемых ситуациях отвечать сложно. Ответы получить можно, но сам респондент может быть в них не уверен. Не используйте слова, которые можно неправильно расслышать. Это особенно важно, если опрос проводится по телефону. Обходите острые углы при помощи диапазонов в ответах. Для вопросов относительно возраста людей лучше всего оставлять диапазон для ответа. Это смягчает остроту вопроса, показывая, что приемлем ответ в широком диапазоне. Поскольку на стадии анализа данные почти наверняка будут группироваться, их можно и собирать таким образом. 82 Наши рекомендации при составлении анкет

83 83 В вопросах с фиксированными ответами предусматривайте вариант «другие». В вопросах с заранее закодированными ответами всегда нужно предусматривать возможность для ответа, не перечисленного в предлагаемом списке ответом. Максимальное количество вопросов при устном интервьюировании на улице – 7-10, в помещении до 12. При письменном интервьюировании максимальное количество вопросов составляет Наши рекомендации при составлении анкет

84 84

85 85 Наименование стандарта Статус стандарта Сроки Отраслевой стандарт качества предоставления библиотечной, библиографической и информационной продукции и услуг Отраслевой2014г Аудит библиотечных процессовСТО2014г Аудит кадрового менеджментаСТО2014г Показатели оценки качества деятельности организации и услуг Отраслевой2015г Управление документацией СМКСТО2015г Требования к авторским материаламОтраслевой2015г Оценка качества издательской продукцииОтраслевой2015г План стандартизации РМБИЦ на г.

86 86

87 Тел. (8-843) Факс (8-843) Ю.Н. Дрешер: 87