« МИНИСТЕРСТВО КУЛЬТУРЫ РОССИЙСКОЙ ФЕДЕРАЦИИ Отчет по научно-исследовательской работе ...»

3. Каждой из групп показателей (в рассматриваемом случае: объема, качества и эффективности работы) присваивается базовая сумма баллов. В приведенных таблицах каждой из трех групп показателей присвоено по 50 базовых баллов. Базовая сумма баллов распределяется внутри каждой конкретной группы по типам учреждений. Иначе говоря, каждому конкретному показателю присваивается определенное количество базовых баллов. Процедура по своей сути является распределением весов базовых баллов. Конкретный вес показателя (количество базовых баллов) определяется в зависимости от важности данного показателя. Главное, чтобы у всех групп учреждений сохранялась сумма базовых баллов по основным трем группам показателей (в рассматриваемом примере – равнялась 50 баллам).

4. Подводятся итоги деятельности за определенный период по каждому показателю.

5. Определяется количество фактически набранных баллов по каждому показателю – пропорционально выполнению плановых заданий (процентом от базовых баллов) по каждому показателю. Сумма набранных баллов каждым учреждением будет характеризовать его рейтинг (ранг) по сравнению с другими учреждениями вне зависимости от их типа.

Помимо экономической оценки деятельности организаций и учреждений культуры большое значение придается анализу социальных результатов, которые отражают степень достижения основных целей деятельности организации культуры. К показателям социальной эффективности относится социальный индекс Вайсброда и коэффициент социальной рентабельности.

Социальный индекс PI (publicness index) был введен американским ученым Вайсбродом для определения уровня производства социальных эффектов в некоммерческих организациях. Социальный индекс рассчитывается как отношение финансовых поступлений от создания общественных благ к доходам от выпуска частных благ.

Доходы от создания общественных благ выступают в организации культуры в форме благотворительных вкладов, грантов, государственных дотаций и т.п. К выпуску организацией культуры частных благ относятся реализация товаров, услуг и работ; а также членские и спонсорские взносы. Членские и спонсорские взносы являются своеобразной формой реализации товаров, услуг, работ в организации культуры. В ответ на спонсорский вклад организация культуры предлагает рекламу, PR-мероприятия и др., тогда как в обмен на членские взносы — набор своих товаров и услуг. В качестве единиц измерения индекса выступают его абсолютные значения. Социальный индекс принимает значения от нуля до бесконечности. Если индекс равен нулю, то организация культуры специализируется исключительно на выпуске частных благ, находясь на полном самофинансировании без поддержки со стороны стейкхолдеров. Чем больше значение социального индекса, тем выше уровень выпуска общественных благ, по сравнению с частными благами, и больше оснований для поддержки со стороны стейкхолдеров.

Другим показателем социальной эффективности является коэффициент социальной рентабельности SR. Он рассчитывается по аналогии с показателем экономической рентабельности как отношение денежной оценки социального эффекта к затратам на производство данного социального эффекта.

Однако, в отличие от показателя экономической рентабельности, коэффициент социальной рентабельности не всегда поддается исчислению. Измерение денежной оценки социального эффекта и затрат, связанных с его производством, в большинстве случаев является крайне сложной задачей. Проявление социального эффекта от потребления культурных, образовательных и других некоммерческих услуг растянуто во времени и находит свое отражение в различных отраслях экономики. Повышение образовательного, культурного уровня приводит к росту потребления в социально-культурной сфере, повышению производительности труда в сфере материального производства и т.д.

4.6.3. Методика измерения социальной эффективности библиотек по продвижению чтения среди населения Российской Федерации

Данная методика была предложена Кузьминым Е.И., Орловой Э.А., Урминой И.А. в [20]. Авторы позиционируют свою модель как результат инновационных разработок, которые пока не получили массового распространения, но прошли через стадию пилотных проектов. ^[17]

Измерение социальной эффективности деятельности библиотек авторы предлагают проводить с использованием трех групп параметров: социальная необходимость, социальная полезность, социальная привлекательность. Применительно к библиотекам эти группы параметров интерпретируются следующим образом:

• социальная необходимость деятельности библиотеки определяет ее вклад в развитие чтения;
• социальная полезность функционирования библиотеки указывает на качество работы, ее результаты и последствия;
• социальная привлекательность предполагает удовлетворенность работников библиотеки, реальных и потенциальных читателей осуществляемыми здесь мероприятиями.

Оценка деятельности библиотеки осуществляется по всем трем указанным видам измерений, показатели между которыми могут существенно расходиться. В зависимости от ситуации это позволяет определить, по какому из них состояние библиотеки относительно благополучно, а по какому требуется вносить соответствующие изменения. В качестве примера рассматривается следующая ситуация: библиотека провела чтения, посвященные восьмидесятилетию местной знаменитости - краеведа. Это мероприятие социально необходимо, поскольку подчеркивает вклад жителя города, современника в развитие его культуры. Но, как правило, подобные события социально непривлекательны для большей части населения города. Если говорить о социальной полезности мероприятия (в какой степени оно было направлено на повышение культурной компетентности людей, насколько ощутимо снизилось социальное напряжение, отвечало ли оно сегодняшним, острым, горячим проблемам, которые они переживают), то с этой точки зрения оно также не может быть оценено высоко. Иными словами, при всей социальной необходимости мероприятия такого рода оказываются не особенно социально привлекательными и полезными. Возможно и другое: мероприятие может быть привлекательным (карнавал, шествие и пр.), но, как показывает практика, его социальная значимость и полезность будут почти незаметными.

При оценке социальной эффективности на стадии планирования и по завершении мероприятия авторы методики считают необходимым учитывать следующие факторы:

• насколько мероприятие считалось необходимым и что оказалось после его проведения;
• кому оно было адресовано, было ли оно на самом деле полезно (для кого именно?), как повлияло на процессы, происходящие в более широком социокультурном контексте;
• как устроители предполагали привлечь участников и в какой степени мероприятие стало привлекательным, т.е. вызвало массовый интерес, отклик, объединило людей для дальнейших действий в сфере чтения и т.д.

Каждое из измерений представлено в соответствующем ему наборе эмпирических показателей, рассматриваемых ниже.

Социальная необходимость. Каждый из параметров, характеризующих социальную необходимость, имеет свои показатели и критерии их оценки:

• улучшение качества социокультурного пространства чтения для читателей;
• повышение социального статуса персонала библиотеки, связанного с продвижением чтения.
• преодоление тенденций снижения интереса к чтению у читателей библиотеки.

Более подробно критерии социальной необходимости представлены в приложении.

Социальная полезность. Для оценки социальной полезности библиотеки предлагается выделить следующие показатели результатов ее деятельности:

• повышение культурной компетентности читателей библиотеки. Работа, связанная с повышением культурной компетентности, заключается в том, чтобы приобщать аудиторию к более серьезному кругу чтения, стимулировать ее к выбору лучших книг из возможных, адекватному восприятию их содержания, помогать ей делать соответствующие выводы;
• повышение уровня квалификации персонала библиотеки;
• вклад библиотеки в развитие чтения в рамках конкретного сообщества. Если результатами работы по продвижению чтения стали увеличение количества читателей библиотеки и расширение круга чтения, то можно говорить о ее социальной полезности. Если количество читателей не изменилось и качество чтения не улучшилось, то социальная полезность работы библиотеки по продвижению чтения оказывается незначительной.

Исследование показало, что под социальной полезностью в первую очередь следует понимать ориентированность работы библиотеки на повышение качества жизни пользователей посредством продвижения чтения. Основу этого составляет обеспечение доступности и высокого качества предоставляемых услуг. О повышении качества жизни читательской аудитории можно судить по следующим показателям деятельности библиотеки:

• ориентированность на помощь читателям в решении жизненно важных проблем в пределах компетенции библиотеки;
• доступность и высокое качество предоставляемых услуг как основа для продвижения чтения;
• соответствие оказываемых услуг по развитию и продвижению чтения требованиям современного информационного общества;
• расширение круга читателей и повышение качества их запросов на литературу;
• повышение уровня социального участия читателей в формировании современной читательской среды.

Критерии социальной полезности раскрыты в приложении.

Социальная привлекательность. Социальную привлекательность можно оценить в соответствии со следующими показателями:

• удовлетворенность пользователей качеством и количеством услуг;
• удовлетворенность персонала рабочим местом;
• повышение интереса к чтению различных социальных групп. На вопрос, с какими социальными группами работают сотрудники библиотек, чаще всего они отвечают: с пенсионерами, студентами, творческой интеллигенцией - в общем, со всеми, но чаще всего с социально незащищенными слоями населения. Исследование показало, что они не ориентированы на работу с образованными и богатыми людьми. Научно-техническая интеллигенция, как и ряд других социальных групп с довольно высоким уровнем культурной компетентности, выпадают из сферы специального внимания библиотечных работников. Соответственно, в целом социальная привлекательность функционирования библиотек остается невысокой.

Критерии определения социальной привлекательности представлены в приложении.

4.7. Сравнительный анализ методов и методик оценки эффективности деятельности учреждений культуры

Приведенный выше в настоящем исследовании понятийный аппарат, а также основные методики и подходы к оценке эффективности деятельности организаций и учреждений культуры позволяют говорить о том, что анализ эффективности деятельности учреждений культуры на основе исключительно экономических методов не является приемлемым. Теоретическое обоснование такому положению дал в свое время Дж. Винер (см. [5]). Его аргументация сводится к следующему:

1. Денежная единица является мерой, которая сама непостоянна во времени.
2. Цены характеризуют относительную предельную полезность различных товаров для покупателей, благосостояние же определяется суммарным удовлетворением, а не тем, которое влечет последняя (предельная) порция блага.
3. Люди могут пересмотреть свое отношение к материальному достатку и выше оценить свободное время. Благосостояние, выраженное в деньгах, не отражает этих изменений.
4. Изменения в распределении дохода между людьми вызовут изменения в размере благосостояния, даже если совокупный доход общества останется прежним.
5. Финансы непригодны для измерения благосостояния в случае перехода товаров из разряда свободных благ в разряд благ экономических, и наоборот. Примером первого являются исчезающие на глазах чистые вода и воздух, второго – набирающие вес сетевые коммуникации. В расчетах благосостояния следует учитывать вклад благ, которые когда-то являлись, но перестали быть свободными, равно как и благ, не существовавших ранее. Однако этого нельзя сделать, если расчет производится в деньгах.
6. Тот же аргумент касается общественных благ: если оценивать их по налоговым сборам, картина получится сильно искаженной по сравнению с реальной рыночной ценностью.
7. Если рассчитывать благосостояние через потребление, упускаются такие факторы, как удовлетворение и отрицательная полезность, сопровождающие трудовую деятельность. (Рост дохода за счет роста продолжительности рабочего дня ведет к падению благосостояния.)
8. Даже если цена или реальный доход могли бы использоваться в качестве меры, то они отражали бы желание иметь товары, а не удовлетворение, полученное от их потребления. Но по желанию можно судить об удовлетворении только в том случае, если эти чувства эквивалентны друг другу, что сомнительно. ^[18]

К оценке культурного благосостояния можно подойти с разных сторон. Безусловно, имеет смысл отслеживать инфраструктурную оснащенность данной сферы, что будет отчасти характеризовать ее состояние. Также можно и нужно измерять время и деньги, потраченные на потребление культурных продуктов и услуг. Но наиболее полную картину даст учет итогов восприятия произведений искусства и культуры как результатов деятельности организаций и учреждений культуры. Таким образом, при анализе эффективности деятельности этих организаций и учреждений наиболее корректно говорить о социально-экономической эффективности.

Далее приводится сравнительный анализ методов и методик оценки эффективности организаций и учреждений культуры, выделенных в процессе проведенного исследования как имеющих практическое значение для сферы культуры. При этом, согласно условиям технического задания на исследование, выделены только те методы и методики, которые имеют универсальный характер, т.е. ориентированы на анализ эффективности деятельности нескольких типов учреждений культуры, а именно:

1. Методики оценки эффективности реализации проектов на основе несбалансированных показателей;
2. Система оценки сбалансированных показателей Balanced Scorecard (BSC);
3. Модель оценки менеджмента в организациях, финансируемых из государственного или муниципального бюджета – Common Assessment Framework (CAF);
4. Метод оценки эффективности деятельности бюджетных учреждений на основе интегральных показателей О.А. Заббаровой;
5. Методика сравнительной оценки деятельности организаций и учреждений культуры Л.Э.Зелениной и Г.Л. Тульчинского;
6. Экономико-символический подход к оценке эффективности культуры А.Б. Долгина.

Сравнительная оценка различных методов оценки эффективности организаций и учреждений культуры предполагает разработку критериев, в соответствии с которыми производится сравнение. В рамках настоящего исследования в качестве таких критериев выступают:

• нормативность методики в смысле ее признания государственными органами управления культурой Российской Федерации в качестве способа оценки эффективности деятельности учреждений культуры;
• признанность в смысле распространенности методики и ее практического использования в мире;
• универсальность методики с точки зрения ее применимости к разным типам учреждений культуры;
• формализованность с точки зрения детального описания порядка ее использования и получения исходных данных;
• доступность исходных данных с точки зрения стоимости и сроков их получения;
• возможность получения количественных оценок эффективности для проведения сопоставительного и темпорального анализа деятельности различных учреждений культуры;
• результативность как способность методики оценивать процесс деятельности учреждений культуры или результаты этой деятельности.

Каждому из перечисленных показателей присваивается числовая оценка по пятибалльной шкале со значениями: 1 – крайне низкий уровень, 2- низкий уровень, 3- средний уровень, 4 – высокий уровень, 5 – очень высокий уровень. Все показатели имеют одинаковые веса. В результате суммирования значений показателей выводится итоговая оценка методики. Результаты сравнения отражены в табл.10 настоящего отчета.

Программно-целевое управление на основе проектного подхода является основой государственного планирования и управления в Российской Федерации, в том числе и в сфере культуры.

Внедрение методов и процедур проектного управления в Правительстве Российской Федерации, федеральных органах исполнительной власти, органах исполнительной власти субъектов Российской Федерации и подведомственных государственным органам организациях было определено в качестве одного из основных направлений административной реформы в Российской Федерации (см. «Концепция административной реформы в Российской Федерации в 2006 – 2010 годах» в ред. Распоряжения Правительства РФ № 157-р от 09 февраля 2008 г., Постановления Правительства РФ № 221от 28 марта 2008 г.). В результате в настоящее время Министерство культуры Российской Федерации принимает участие в реализации федеральных целевых программ «Культура России» (2012 – 2018 гг.), «Патриотическое воспитание граждан Российской Федерации на 2011 – 2015 годы», «Экономическое и социальное развитие Дальнего Востока и Забайкалья на период до 2013 года». Методы проектного подхода широко используются Счетной палатой Российской Федерации при аудите использования национальных ресурсов (см. [34], [35]).^{[19] [20]} Таким образом, по критерию «нормативность» данному методу присваивается оценка «5», свидетельствующая об очень высоком уровне признания данной методики на государственном уровне и ее внедрении в практику управленческой деятельности.

Методология проектного управления разработана и поддерживается Институтом управления проектами (Project Management Institute, PMI). Основанный в 1969 г., Институт управления проектами является международной некоммерческой организацией, разработавшей набор международно-признанных стандартов по управлению проектами, программами, портфелями проектов. PMI объединяет более 380.000 членов, он представлен в более чем 170 странах через отделения и специализированные сообщества. Самым известным стандартом, разработанным PMI, является Руководство к Своду знаний по управлению проектами (Guide to the Project Management Body of Knowledge, PMBOK Guide), которое в 2008 г. вышло в четвертой редакции. Данный стандарт создан по результатам научных исследований и практического опыта в управлении проектами и содержит общие, т.е. не привязанные к конкретной предметной области, рекомендации по управлению проектами. При этом с точки зрения оценки эффективности и качества реализации проектов наибольший интерес представляет глава 7 «Управление стоимостью проекта» и глава 8 «Управление качеством проекта». Все отмеченное позволяет критерию «признанность» методики оценки эффективности учреждений культуры в рамках проектного похода присвоить высший балл – «5».

PMBOK Guide позиционируется как базовое справочное руководство, оно не является полным или всеобъемлющим и представляет собой именно руководство, а не методологию. Для применения его структуры и рекомендаций используются различные методики и инструменты. Таким образом, с точки зрения универсальности PMBOK Guide описывает только общие подходы к оценке эффективности, предлагая в каждом конкретном случае использовать специфический инструментарий. Поэтому с точки зрения универсальности проектному подходу присвоена оценка «2» - низкий показатель.

Для оценки эффективности реализации мероприятий в рамках проектного подхода в системе Министерства культуры Российской Федерации в ряде частных случаев разработаны показатели и индикаторы оценки эффективности, а также предложены методики оценки социальной и экономической эффективности. Подобные методики закреплены нормативно и, в частности, касаются оценок эффективности федеральной целевой программы «Культура России (2012 – 2018 гг.)», а также деятельности культурно-досуговых учреждений (см. [24], [42]).^{[21] [22]} На этом основании показателю наличия формализованных методик присвоено значение «3» - средний показатель.

Нормативные методики основываются на показателях, содержащихся в бухгалтерской отчетности или являющихся результатами государственного статистического наблюдения, поэтому показателю доступности исходных данных соответствует значение «5» - очень высокий уровень доступности.

Результаты применения методик отражаются в числовой форме, как правило, в виде процента от достижения запланированных показателей или достигнутой доли объектов с заданными показателями от общего числа объектов (хотя применяются и другие числовые показатели, например, «средняя цена одного посещения платного мероприятия в КДУ за отчетный год». Таким образом, по показателю «количественный результат» проектному подходу к оценке эффективности учреждений культуры присвоена оценка «5» - очень высокий показатель.

Основная проблема проектного подхода заключается в том, что, как правило, оценке эффективности подвергается ход реализации проекта, а не его последствия. Нормативные документы, посвященные вопросам программно-целевого планирования в органах государственной власти и управления Российской Федерации, не содержат и не ссылаются на рекомендации и требования оценки последствий, которые наступят в случае достижения или достижения не в полном объеме проектом (программой) своих целей, а также не содержат рекомендаций и требований к управлению конфигурацией и ходом выполнения проекта (программы) в зависимости от прогнозируемых последствий реализации проекта. Учитывая данное обстоятельство, некоторыми исследователями предлагается рассматривать прогноз последствий реализации проекта, которые возникают тогда, когда продукт проекта становится доступным и обладает в той или иной степени набором свойств, заданных на этапе определения границ проекта. Результат анализа последствий получения продукта проекта, в частности (см. [34], с.349 – 356), предлагается проводить посредством сравнения того, что было бы, если бы продукт не был бы доступен на тот или иной момент времени в будущем по завершении проекта, с тем, что будет на аналогичный момент времени в том случае, если продукт будет доступен и будет обладать в той или иной степени заданными характеристиками. ^[23]

Результат анализа последствий реализации проекта может быть использован для управления конфигурацией проекта в интересах достижения целей, которые ставятся в рамках реализации проекта и управления собственно проектными мероприятиями. При этом для реализации возможностей управления, ориентированного на результат, необходимо разработать:

• метод обоснования показателей оценки последствий реализации проектов и программ как с точки зрения создания продукта программы, так и с точки зрения собственно реализации проекта;
• методическое обеспечение прогнозирования последствий выполнения проектов (программ) на основе выбранных показателей в зависимости от заданных ограничений и предположений (рисков и возможностей), возможных сценариев реализации проектов;
• методическое обеспечение нахождения оптимального плана управления проектом и конфигурацией продукта проекта с учетом выбранных показателей оценки последствий реализации проектов.

Таким образом, ввиду ориентации нормативных методов анализа эффективности проектов, реализуемых в сфере культуры, на процесс реализации проекта, а не на социальные эффекты, получаемые при его реализации, показателю «результативность» для проектного подхода присвоено значение «1» – крайне низкий показатель.

Методы балансирования показателей и комплексной оценки эффективности ориентированы на учет полноты удовлетворения общественных потребностей в услугах культуры, а потому используют многокритериальные оценки, сбалансированные между собой определенным образом. Наиболее известными методами данной группы являются система анализа информации для принятия управленческих решений Balanced Scorecard (BSC) и модель оценки менеджмента в организациях, финансируемых из государственного или муниципального бюджета – Общая схема оценки (Common Assessment Framework, CAF).

Использование указанных методик нормативно не регламентировано в Российской Федерации, поэтому по показателю «нормативность» методам оценки эффективности деятельности организаций и учреждений на основе балансирования показателей присвоено значение «1» - крайне низкий показатель.

В то же время указанные методы признаны мировым сообществом. Так, история создания концепции BSC берет начало в конце 80-х годов XX века, когда Norlan Norton Institute – исследовательский центр аудиторско-консалтинговой компании KPMG Peat Marwick – приступил к изучению вопроса качества управления, а также поиску инструментов, обеспечивающих его повышение. Целью данного исследования, получившего название Measuring Performance in the Organization of the Future («Измерение эффективности организации будущего»), являлся поиск новых альтернативных методов измерения нефинансовых показателей управления.

Возглавил исследование директор Norlan Norton Institute Д. Нортон, на сегодняшний день занимающий пост президента компании Balanced Scorecard Collaborative, Inc, и профессор Harvard Business School Р.Каплан, привлеченный на проект в качестве научного консультанта. В исследовании приняли участие компании, представляющие различные сферы деятельности. В рамках исследования Р. Каплан и Д. Нортон пришли к выводу, что компании слишком сильно ориентируются на финансовые показатели. Было обнаружено, что в целях улучшения краткосрочных финансовых показателей производилось снижение расходов на обучение, маркетинг и обслуживание клиентов, а это в дальнейшем пагубно сказывалось на общем финансовом состоянии.

На сегодняшний день в мире существует целый ряд примеров успешного внедрения сбалансированной системы показателей. Именно благодаря этим успешным примерам методология постоянно развивается и совершенствуется за счет накопления различного опыта. Консорциум Balanced Scorecard Collaborative работал с более чем 200 клиентами по разработке и внедрению систем управления, базирующихся на BSC. Среди наиболее известных и хорошо документированных примеров – американские корпорации Mobil U.S. Marketing and Refining и Cigna Property and Casualty. Первая переместилась по показателю прибыльности с последнего места в отрасли на первое, а Cigna P&C превратилась из убыточной фирмы в специализированную страховую компанию, имеющую годовой оборот более 3 млрд. долл.

Методика успешно применяется для оценки эффективности деятельности государственных и некоммерческих организаций. Первопроходцем в данной области был город Шарлотт, в американском штате Северная Каролина, внедривший сбалансированную систему показателей в 1996 году. Цель внедрения BSC состояла в объединении системы управления деятельностью общегородской стратегией и возможностью оценки своих стратегических планов. Вслед за городом Шарлотт к BSC стали обращаться и другие американские и европейские государственные и некоммерческие организации. Среди них: город Хельсинборг (Швеция), Венская городская администрация (Австрия) и другие.

В 2000 году Европейским институтом административного управления (European Institute of Public Administration, EIPA) разработана модель оценки менеджмента в организациях, финансируемых из государственного или муниципального бюджета – Общая схема оценки (Common Assessment Framework, CAF). Модель разработана под эгидой Инновационной группы по вопросам публичной службы (IPSG) и рабочей группы национальных экспертов, формируемой Генеральным директоратом Еврокомиссии с целью стимулирования обмена и распространения лучшего опыта по модернизации систем предоставления государственных услуг и услуг бюджетных организаций в странах-членах ЕС. Модель CAF используется в программах реформирования государственного и муниципального управления 27 европейских стран, для сравнительного анализа систем управления европейских государств, а также для выявления и распространения передового опыта.

Модель CAF позволяет выполнить оценку качества управления в органах власти путем самооценки или с помощью внешних асессоров. Она позволяет увидеть целостную картину организации одновременно под различными углами зрения и предоставляет комплексный подход к анализу ее деятельности. Модель CAF представляет собой инструмент, помогающий организациям бюджетной сферы применять для повышения эффективности своей деятельности методы менеджмента качества. Она предназначена для использования во всех организациях, финансируемых из бюджетов различных уровней: федерального, регионального, местного.

Все это дает возможность оценить уровень признания методов сбалансированной оценки показателей в мире как высокий и присвоить ему оценку 4 балла.

В отличие от проектного подхода, BSC и CAF позиционируются как полноценные методики, обладающие определенной универсальностью в области применения. Обе методики достаточно хорошо формализованы в виде их описаний. При этом методика CAF как ориентированная на анализ эффективности организаций, финансируемых из бюджета, более детерминирована с точки зрения описания количества и перечня необходимых показателей, и в то же время допускает возможность адаптации к конкретным сугубо специфическим требованиям пользователя. В результате показателям универсальности и формализованности в таблице сравнительного анализа методов оценки эффективности работы организаций и учреждений культуры присвоены значения «5» и «4» соответственно.

Доступность исходных данных является слабой чертой методик балансирования показателей, т.к. они, как правило, требуют получения ряда оценок, базирующихся на проведении маркетинговых исследований и опросов специалистов исследуемых организаций. Это сказывается на сроках получения исходных данных, а, следовательно, приводит к затягиванию процесса анализа эффективности. Кроме того, этот процесс требует дополнительного финансирования, а в силу того, что в качестве показателей оценки эффективности используются субъективные данные респондентов, - содержит предпосылки внесения искажений в конечные показатели оценок эффективности. В силу изложенного показателю «доступность исходных данных» присвоено значение «2» - низкий.

Результаты оценок эффективности деятельности организаций и учреждений культуры, получаемые на основе методик балансирования показателей, могут быть выражены в числовом виде, поэтому показателю «Количественный результат» в таблице сравнительного анализа методов оценки эффективности работы организаций и учреждений культуры присвоено значение «5».

Что касается результативности, то анализ эффективности деятельности организаций и учреждений культуры на основе балансирования показателей учитывает результаты деятельности организаций для потребителей и для общества, хотя и с точки зрения процессов, происходящих внутри организации, поэтому показателю «Результативность» присвоено значение «3» - средний уровень.

Метод оценки эффективности деятельности бюджетных учреждений на основе интегральных показателей О.А. Заббаровой является авторской разработкой. Его применение в среде организаций и учреждений бюджетной сферы нормативно не регламентировано, поэтому по показателю «нормативность» данному методу присвоен минимальный балл – 1.

Фактов его использования в сфере культуры, а также данных о его известности специалистам в сфере экономики культуры в процессе проведенного интервьюирования не выявлено. Профилем деятельности автора является бухгалтерская отчетность, в сети Интернет зарегистрировано несколько изданий О.А. Заббаровой, по различным вопросам бухгалтерской отчетности, и, особенно, - балансоведению. Цитируемость статьи с описанным методом – низкая, хотя его описание и присутствует в Глобальной сети. Таким образом, распространенность метода оценена как низкая, и соответствующему показателю оценки присвоено значение 2 балла.

Метод позиционируется как универсальный, пригодный для использования в любых организациях бюджетной сферы, поэтому по критерию «универсальность» ему присвоен балл «5».

Что же касается формализации, то описание метода, приведенное в [13], (других источников его описания не выявлено) содержит только расчетные формулы для определения эффективности деятельности бюджетных учреждений с перечнем входящих в ее состав параметров и переменных без детального описания порядка его использования и получения исходных данных^[24], поэтому показателю «формализованность» присвоено значение 2.

Входные параметры модели эффективности О.А.Заббаровой содержат ряд трудноформализуемых и виртуальных показателей, таких как цель A деятельности бюджетной организации; результат S, полученный бюджетной организацией; затраты W на реализацию услуги, если бы ее предоставляли коммерческие организации. Сами по себе эти показатели требуют дальнейшей доработки и уточнения, поэтому показателю «доступность исходных данных» присвоен балл 2.

Возможность получения количественных оценок эффективности с использованием модели О.А. Заббаровой не вызывает сомнения, поэтому данному показателю присвоен балл 5.

Метод способен оценивать экономические показатели эффективности организаций и учреждений культуры, но не способен оценить социальные показатели эффективности, поэтому показателю результативности метода О.А. Заббаровой присвоен 1 балл – крайне низкий показатель.

Методика сравнительной оценки деятельности организаций и учреждений культуры Л.Э. Зелениной и Г.Л. Тульчинского разработана в 1984 г.^[25] Ее полное описание приведено в [39], с.494 – 503. Нормативными документами Министерства культуры Российской Федерации применение данной методики не регламентировано, однако ее методическое признание и описание в учебно-методической литературе дает основание по критерию «нормативность» присвоить ей показатель, равный 2.

Описание методики в учебном пособии по менеджменту в сфере культуры, изданном в 2009 г. и размещенном в сети Интернет в режиме свободного доступа, предполагает, что она должна быть известна руководителям и экономистам отечественных организаций и учреждений культуры, однако с ней могут быть не знакомы менеджеры, пришедшие в отрасль культуры из иных сфер экономики или государственного управления. Таким образом, показателю «признанность» методики Л.Э. Зелениной и Г.Л. Тульчинского присвоено значение 4.

Методика позиционируется как универсальная, позволяющая проводить сравнительный анализ различных организаций и учреждений культуры вне зависимости от их типа, вида, категории с использованием для сравнения показателей результатов работы, специфичных для каждого вида учреждений. В результате по показателю «универсальность» методике присвоен высший балл – 5.

Методика хорошо формализована, проста и удобна в использовании. Порядок работы с ней описан в указанном выше учебном пособии, однако выбор исходных данных оставлен на усмотрение пользователя методики, и авторы не приводят на этот счет никаких рекомендаций. Поэтому показателю «формализованность» присвоено значение «4».

Что же касается непосредственно состава исходных данных, то пользователю методики легко доступны объективные финансовые и статистические показатели, касающиеся плановой и фактической деятельности организации или учреждения культуры, но вопросы оценки удовлетворенности посетителей работой учреждения культуры требуют принятия специальных организационных и технических мер. В этой связи показателю «доступность исходных данных» присвоено значение 4.

Методика дает оценки эффективности деятельности организации и учреждений культуры в количественном выражении, поэтому соответствующему показателю качества методики присвоено значение 5.

Методика ориентируется на оценку процессов деятельности учреждения культуры. Оценка последствий, или результатов деятельности, в рамках данной методики возможна, но требует использования дополнительных исходных данных, и, прежде всего – учета удовлетворенности посетителей от полученных услуг. Между тем, о рекомендации по сбору и учету этих данных в методике не приводятся. С другой стороны, методика содержит элементы балансировки показателей в рамках интегральных оценок, что сближает ее с моделями BSC и CAF. По результатам анализа указанных достоинств и недостатков показателю «результативность» методики Л.Э. Зелениной и Г.Л. Тульчинского присвоен балл 3.

Экономико-символический подход для оценки эффективности культуры предложен проф. А.Б. Долгиным как альтернатива оценкам эффективности деятельности учреждений культуры на основе использования финансово-денежных показателей с учетом специфики и социальной роли культуры в жизни общества. Методика оценки эффективности культуры, предлагаемая А.Б. Долгиным, является результатом его научных исследований последних лен. Вопрос внедрения ее в практику деятельности государственных органов управления культурой в настоящее время не стоит. Разработка методики окончательно не завершена, социальная инфраструктура ее поддержки и развития не сформирована, поэтому показателям «Нормативность» и «Признанность» присвоены значения «1» – крайне низкий показатель.

Методика разрабатывалась исключительно для применения в сфере культуры и искусства и ориентирована на оценку эффективности влияния на человека произведения культуры и искусства, с которым он ознакомился, на основании единого показателя – качественного времени, определяемого самим пользователем как хорошо проведенное. Исходя из этого, универсальность методики с точки зрения ее применимости к деятельности различных видов организаций и учреждений культуры можно оценить по высшему баллу – «5».

С другой стороны, методика не формализована – в свободном доступе имеются только теоретические статьи А.Б. Долгина, отражающие его новый взгляд на проблему экономики культуры, но нет пошагового описания порядка и правил их применения для получения необходимых оценок. Поэтому критерию «Формализованность» присвоено значение «1» - крайне низкий показатель.

Основной проблемой методики является организация учета результатов восприятия как отдельными индивидами, так и социумом в целом произведений литературы и искусства. Данная проблема в настоящее время окончательно не решена. С другой стороны, входной параметр методики - астрономическое время, затраченное индивидом на доступ к произведению искусства или объект культуры – доступен в статистических учетах или может быть оценен на основании данных государственного статистического наблюдения по числу посещений учреждения культуры и среднему времени, проведенному индивидом в учреждении культуры (для библиотек – число выданных книг и среднее время на чтение одной книги). На основании изложенного, показателю «Доступность» исходных данных» методики А.Б. Долгина присвоено значение «2» - низкий показатель.

Результаты оценок эффективности деятельности организаций и учреждений культуры, получаемые на основе методики А.Б. Долгина могут быть выражены в числовом виде, поэтому показателю «Количественный результат» в таблице сравнительного анализа методов оценки эффективности работы организаций и учреждений культуры присвоено значение «5».

Показателю «Результативность» также присвоен высший балл «5», поскольку методика ориентирована исключительно на результаты восприятия искусства самими пользователями, и, таким образом, наиболее адекватно отображает эффективность мероприятий, проводимых организациями и учреждениями культуры.

Табл. 10. Результаты сравнительного анализа методов оценки эффективности работы организаций и учреждений культуры

№№ п/п	Методики (методы) / Критерии оценки методик	Нормативность	Признанность	Универсальность	Формализованность	Доступность исходных данных	Количественный результат	Результативность	ИТОГО
1.	Проектный подход и методики на основе несбалансированных показателей	5	5	2	3	5	5	1	26
2.	Методики на основе балансирования показателей (BSC и CAF)	1	4	5	4	2	5	3	24
3.	Метод оценки эффективности деятельности бюджетных учреждений на основе интегральных показателей О.А.Заббаровой	1	1	5	2	2	5	1	17
4.	Методика сравнительной оценки деятельности организаций и учреждений культуры Л.Э.Зелениной и Г.Л.Тульчинского	2	4	5	4	4	5	3	27
5.	Экономико-символический подход	1	1	5	1	2	5	5	20

Таким образом, в результате сравнительного анализа и ранжирования рассмотренных в рамках настоящего исследования методов оценки эффективности деятельности организаций и учреждений культуры на первом месте с суммой баллов 27 находится методика Л.Э. Зелениной и Г.Л. Тульчинского, опередившая на 1 балл методы проектного управления, что представляется оправданным. По своей простоте и доступности исходных данных методика сопоставима с проектными методами оценки эффективности, но обеспечивает интеграцию показателей, правда за счет субъективных экспертных факторов: весовых коэффициентов, присваиваемых объективно регистрируемым данным для сведения в интегральный показатель.

Методы анализа на основе балансирования показателей занимают третью позицию с суммой баллов 24.

На четвертом месте находится экономико-символический подход, разрабатываемым проф. А.Б. Долгиным, с суммой баллов 20. Представляется, что позиция, на которую попала указанная методология в процессе ранжирования, может быть объяснена исключительно ее новизной и незавершенностью проработки ряда существенных положений – первая публикация по экономике символического обмена опубликована А.Б. Долгиным в 2006 г. Для сравнения – проектные методы управления разрабатываются исследователями с начала 70-х годов XX века, а методы балансирования показателей – с 80-х годов XX в. (методика CAF впервые опубликована в 2000 г.). Методика имеет потенциал развития, который может привести к изменению ее рейтинга в системе оценки эффективности организаций и учреждений культуры.

На пятом месте рейтинга – метод оценки эффективности деятельности бюджетных учреждений на основе интегральных показателей О.А. Заббаровой. Основная причина низкого рейтинга – в недостаточной степени проработанности метода, в результате чего он имеет форму модели и не содержит рекомендаций по выбору и представлению исходных данных, а также описанию последовательности действий по сбору и преобразованию исходных данных, оценке получаемых результатов, т.е. не доработан до уровня методики.

5. БЮДЖЕТЫ УЧРЕЖДЕНИЙ КУЛЬТУРЫ В ПЕРИОД 2006 - 2011 гг. ПО РЕГИОНАМ И ТИПАМ. ВОЗМОЖНОСТИ САМООКУПАЕМОСТИ УЧРЕЖДЕНИЙ КУЛЬТУРЫ

Для проведения анализа бюджетов учреждений культуры в качестве основного источника информации использовались паспорта всех 83 регионов за период 2006 – 2011 гг. Предполагалось, что рассматриваемый пятилетний период будет достаточным для выявления динамики показателей, а полнота данных будет обеспечена 100% анализом по всем регионам и по 4 основным типам учреждений культуры, доля которых составляет свыше 99,5% от суммарного числа учреждений культуры, как показано далее на рис.18 стр.148 настоящей работы.

В качестве основных исследуемых показателей были приняты, представленные в формате.xls в файле «Бюджетное финансирование и собственные доходы учреждений культуры субъектов РФ в 2006-2011 гг.»:

• суммарный годовой бюджет учреждений культуры по всем источникам финансирования в т.ч. по всем учреждениям культуры, расположенным в регионе, и по 4 основным типам (библиотекам, музеям, КДУ, театрально-зрелищным предприятиям и циркам);
• собственные средства учреждений культуры, полученные в отчетном году в результате хозяйственной деятельности учреждениями культуры региона и по 4 основным типам (библиотекам, музеям, КДУ, театрально-зрелищным предприятиям и циркам).

В целях исключения влияния инфляционных процессов, идущих в стране в рассматриваемый период, использовался относительный показатель «доля собственных средств, заработанных учреждением в отчетном году, в суммарном годовом бюджете учреждения» как базовый показатель, определяющий возможность самоокупаемости учреждения культуры (возможности учреждения покрыть бюджет предприятия собственными, заработанными предприятием средствами), исчисляемый расчетным путем и представленный в табл.11-20 ниже.

К сожалению, данные показатели, представленные в паспортах регионов, в ряде регионов отсутствуют как по отдельным рассматриваемым годам, так и по типам исследуемых учреждений культуры, что не позволяет провести анализ по всем регионам за рассматриваемый пятилетний период. Например, по Москве и Санкт-Петербургу отсутствуют данные по собственным доходам по всем типам учреждений, что не позволяет включить данные регионы в рассмотрение.

Кроме того, в целях обеспечения сопоставимости получаемых расчетных средних показателей, рассматривались те регионы, где имелись исследуемые показатели в полном пятилетнем периоде (строка «Среднее по числу регионов, где имеются данные по 5 годам» в таблице выделена желтым цветом), что ограничило рассматриваемую совокупность до 18 регионов.

Учитывая дифференциацию регионов по уровню бюджетов, регионы были разделены на 3 условные бюджетные группы в тыс. рублей:

• бюджет региона до 30 000 000 - 1 группа регионов (низкий уровень бюджета);
• бюджет региона от 30 000 000 до 60 000 000 - 2 группа регионов (средний уровень бюджета);
• бюджет региона 60 000 000 и более - 3 группа регионов (высокий уровень бюджета).

Это позволило проанализировать зависимость от бюджета региона доли собственных средств, заработанных учреждением в отчетном году, в суммарном годовом бюджете учреждений по типам учреждений.

Анализ полученных результатов (табл.11) позволяет констатировать, что доля собственных средств в годовом бюджете учреждений культуры в среднем по 4 исследуемым типам учреждений составляет порядка 17% – 21% в зависимости от рассматриваемого отчетного года. Уровень роста/снижения к предыдущему году составляет от 0,3% до 3,6%. Четкой динамики роста/снижения доли собственных средств в бюджете учреждений культуры в рассматриваемом пятилетнем периоде не наблюдается. Минимальное значение показателя «Доля собственных средств в бюджете учреждений культуры» в рассматриваемом пятилетнем периоде составило 6% в 2009 г. в Смоленской области, максимальный показатель – 47,3% в Краснодарском крае в 2006 г.

Табл. 11. Доля собственных средств в бюджетах 4 типов учреждений культуры в период 2006 – 2011 гг.

Регионы	2006	2008	2009	2010	2011
Амурская область	15,5	18,1	15,1	19,8	20,3
Вологодская область	14,7	13,9	15,7	11,5	13,7
Воронежская область	19,1	14,8	19,5	16,4	14,2
Калужская область	11,2	11,8	14,8	22,1	14,4
Краснодарский край	47,3	20,3	20,0	41,2	38,4
Красноярский край	13,4	10,3	11,2	8,8	12,2
Мурманская область	10,5	10,2	8,9	11,4	11,9
Новосибирская область			12,6	7,8	18,1
Омская область	11,6	21,1	20,0	18,8	19,7
Приморский край	25,0	19,7	21,5	23,8	22,3
Республика Башкортостан			11,9	19,5	20,2
Республика Бурятия			14,6	23,0	24,5
Республика Карелия			12,0	9,2	12,7
Республика Коми	12,5	12,3	10,8	23,6	23,0
Республика Марий Эл	17,1	25,6	26,7	23,8	23,4
Республика Мордовия	19,6	20,1	10,6	13,2	15,0
Республика Татарстан			21,8	25,1	21,9
Самарская область			22,0	20,8	19,6
Сахалинская область	30,0	20,4	22,1	19,4	17,0
Свердловская область	19,2	22,1	22,9	25,9	20,3
Смоленская область	7,7	7,9	6,0	30,4	16,7
Томская область	25,4	17,8	23,9	27,7	21,9
Хабаровский край	20,7	21,5	24,7	26,0	24,8
Ханты-Мансийский АО			12,6	10,2	10,2
Челябинская область	14,0	23,8	23,4	18,4	17,0
Средняя (2006 и 2008 по 18 регионам, последние 3 года по 25 регионам)	18,6	17,3	17,0	19,9	18,9
Средняя по 18 регионам (имеющиеся данные за все 5 лет)	18,6	17,3	17,6	21,2	19,2

В 2011 г. минимальный уровень собственных средств в бюджете учреждений культуры наблюдался в Ханты-Мансийском автономном округе (3 бюджетная группа – высокий региональный бюджет) и составил 10,2%. Максимальная доля собственных средств в бюджетах учреждений культуры отмечена в Краснодарском крае и составила 38,4% (3 группа – высокий региональный бюджет).

Как показано в табл.12, доля собственных средств в бюджетах основных 4 типов учреждений культуры, даже в пределах одной условной бюджетной группы, отличается в разы. В рамках одного года по регионам разброс показателя «Доля собственных средств» – высокий, как в целом по рассматриваемым регионам (до 6 раз), так и по каждой группе регионов (до 4 раз). Вместе с тем, можно отметить, что по группам регионов, категорированных по бюджету, доля собственных средств в бюджетах учреждений культуры в регионах 1 группы (низкий бюджет) существенно ниже, чем в регионах 3 группы (высокий бюджет) на 0,8% – 9,4% в зависимости от года.

Табл. 12. Доля собственных средств в бюджетах 4 типов учреждений культуры в период 2006 – 2011 гг. по условным бюджетным группам

Регионы	2006	2008	2009	2010	2011
1 группа
Республика Карелия			12,0	9,2	12,7
Республика Марий Эл	17,1	25,6	26,7	23,8	23,4
Республика Мордовия	19,6	20,1	10,6	13,2	15,0
Смоленская область	7,7	7,9	6,0	30,4	16,7
Средняя (2006 и 2008 по 3 регионам, последние 3 года по 4 регионам)	14,8	17,9	13,8	19,2	16,9
Средняя по 3 регионам (имеющиеся данные по всем 5 годам)	14,8	17,9	14,4	22,5	18,4
2 группа
Амурская область	15,5	18,1	15,1	19,8	20,3
Вологодская область	14,7	13,9	15,7	11,5	13,7
Воронежская область	19,1	14,8	19,5	16,4	14,2
Калужская область	11,2	11,8	14,8	22,1	14,4
Мурманская область	10,5	10,2	8,9	11,4	11,9
Омская область	11,6	21,1	20,0	18,8	19,7
Республика Бурятия			14,6	23,0	24,5
Республика Коми	12,5	12,3	10,8	23,6	23,0
Томская область	25,4	17,8	23,9	27,7	21,9
Средняя (2006 и 2008 по 8 регионам, последние 3 года по 9 регионам)	15,1	15,0	15,9	19,4	18,2
Средняя по 8 регионам (имеющиеся данные по всем 5 годам)	15,1	15,0	16,1	18,9	17,4
3 группа
Краснодарский край	47,3	20,3	20,0	41,2	38,4
Красноярский край	13,4	10,3	11,2	8,8	12,2
Новосибирская область			12,6	7,8	18,1
Приморский край	25,0	19,7	21,5	23,8	22,3
Республика Башкортостан			11,9	19,5	20,2
Республика Татарстан			21,8	25,1	21,9
Самарская область			22,0	20,8	19,6
Сахалинская область	30,0	20,4	22,1	19,4	17,0
Свердловская область	19,2	22,1	22,9	25,9	20,3
Хабаровский край	20,7	21,5	24,7	26,0	24,8
Ханты-Мансийский АО			12,6	10,2	10,2
Челябинская область	14,0	23,8	23,4	18,4	17,0
Средняя (2006 и 2008 по 7 регионам, последние 3 года по 12 регионам)	24,2	19,7	18,9	20,6	20,2
Средняя по 7 регионам (имеющиеся данные по всем 5 годам)	24,2	19,7	20,8	23,3	21,7