Интегральная оценка эффективности научно-исследовательских работ в научных учреждениях Минздрава России DOI: 10.29188/2542-2413-2018-4-3-77-84

В рамках статьи рассматривается разработка методики интегральной оценки эффективности внедрения научных результатов, полученных в результате выполнения научно-исследовательских работ (НИР), проводимых Министерством здравоохранения (МЗ) в рамках государственного заказа [17].

Эффективность НИР является одним из основных показателей, который необходимо учитывать при распределении бюджетных средств. Эффективность НИР определяется ценностью полученных при выполнении научных результатов и стоимостью средств, затраченных на их получение. Под стоимостью понимается затрата материальных, людских и прочих ресурсов.

Совокупность затраченных ресурсов может быть сведена к стоимости выполнения работ, а именно объему финансирования [14], выделенному в рамках госзадания или госзаказа научно-исследовательским учреждениям (НИУ) – федеральным государственным бюджетным учреждениям (ФГБУ) и образовательным (ФГБОУ) Минздрава.

Существует множество подходов к оценке ценности научных результатов[10]. В частности, могут применяться вычисляемые (объективные) показатели, например: индекс цитирования, количество опубликованных материалов с учетом импакт-фактора изданий, количество патентов, изобретений и т.п., кроме того, могут применяться субъективные (экспертные) оценки [15]. В существующих методиках, как правило, ценность результатов оценивается одноразово (одномоментно). Тем не менее, оценка ценности полученных результатов может меняться по мере внедрения результатов в практику и развития медицинской науки. В рамках данной статьи предлагается оценку результатов проводить на протяжении ряда лет после завершения НИР, а на основании этой оценки получить интегральный показатель (рейтинг) НИУ[16,17,18], отражающий эффективность-стоимость освоения бюджетных средств.

В России в последнее время все более остро встает вопрос о повышении эффективности отечественной науки, разработке четких критериев оценки ее деятельности, вплоть до комплексного реформирования всей системы, включая механизмы финансирования [16,14], приемы управления и структуру производственных отношений. Все это в равной степени относится как к фундаментальной, так и прикладной науке.

Объективная текущая необходимость повышения прозрачности и эффективности процесса научных исследований совпала с важным изменением в научной среде: достигнута достаточно высокая степень переноса деятельности ученых в электронную онлайновую среду [12]. Сбор, обработка и интерпретация следов этой активности открывает ранее недоступные возможности по формированию статистической базы о деятельности ученых и, в частности, об использовании результатов их исследований. С усилением степени переноса в онлайн информационной активности ученых подобная онлайновая статистика становится более репрезентативной.

Известны различные методики, позволяющие оценивать научный потенциал ученых, научных коллективов и НИУ в целом [3]. Как показано в работе [11], оценку результатов деятельности организаций целесообразно использовать при принятии решения о наилучшем распределении средств, направляемых на выполнение госзаказов. Распределение средств между НИУ производится с учетом, в том числе интегральных показателей, отражающих эффективность внедрения результатов, полученных ранее каждым из учреждений [10].

Правительственными постановлениями [1,2] утверждено, что одними из основных принципов реализации программы исследований должны быть конкурсные принципы отбора тематик работ и коллективов исполнителей, развитие многоуровневой системы экспертизы при формировании планов исследований и оценке результативности научных учреждений, а также внесение результатов в открытые базы данных с последующей обязательной публикацией [12]. В документе определены глобальные показатели эффективности реализации программы в рамках Российской академии наук [2]:

• количество публикаций в ведущих российских и международных журналах по результатам исследований;
• количество публикаций по результатам исследований в мировых научных журналах, индексируемых в базе данных «сеть науки» (Web of Science);
• доля исследователей в возрасте до 39 лет в общей численности исследователей (процентов);
• зарегистрированных патентов в России (единиц);
• зарегистрированных патентов за рубежом (единиц);
• внутренние затраты на исследования и разработки, на одного исследователя (тыс. рублей);
• количественные показатели научной продукции по результатам научных исследований и разработок (технологии профилактики, диагностики, лечения и реабилитации) (единиц) [19].

Поэтому во многих из известных методик [18] сделан упор на показатели, вычисляемые на основе фиксируемых в электронной среде статистических данных, например, индекс Хирша, импакт фактор и т.п. Назовем их вычисляемые показатели. Авторы методик вычисления наукометрических показателей как правило стараются избегать проведения экспертных оценок, поскольку проведение таких оценок достаточно трудоемко и требует немалой организационной работы, и останавливаются на вычисляемых показателях.

В настоящее время в Минздраве РФ разработаны и функционируют методики экспертной оценки результатов научных исследований НИУ, проводимых в рамках выполнения госзаданий.

Методы экспертной оценки позволяют, наравне с количественными показателями, получить качественную (экспертную) оценку результатов НИР, основанную на опыте и субъективном мнении ведущих специалистов Минздрава РФ. Таким образом, комплексная оценка с учетом вычисляемых показателей и качественной (экспертной) оценки представляется наиболее состоятельной.

При проведении экспертной оценки используются, в том числе, и наукометрические показатели [15,18], однако показатели внедрения полученных ранее результатов работы представлены недостаточно. Этому есть объективные причины, поскольку внедрение результатов НИР зачастую происходит через значительное время после окончания НИР, и не может быть оценено в полной мере при экспертной оценке отчета.

Тем не менее, функционирующая система экспертной оценки позволяет осуществить комплексный подход к оценке внедрения результатов НИР, включающей как статистические показатели, так и экспертную оценку [4,16].

Нам представляется, что наукометрические индикаторы, полученные на основе описанного выше подхода, будут давать существенно более точную и оперативную картину текущего состояния и развития науки. Можно ожидать, что они будут востребованы, как минимум, следующими основными действующими лицами научной сферы:

• фондораспределяющими структурами – для повышения эффективности принятия решения о финансировании исследований;
• государственными органами научно-технической экспертизы (Рособрнадзор, ВАК и др.);
• руководством НИУ, т.к. использование подобных показателей в процедурах расчета показателей научно-технической деятельности существенно повысило бы качество решений о материальном стимулировании труда ученых;
• научным сообществом, представляемым отдельными учеными и их неформальными коллективами, которые с помощью данных показателей могли бы лучше согласовывать свои намерения и возможности с объективными направлениями развития науки.

Новизной является разработка методики интегральной оценки эффективности внедрения научных результатов, полученных в рамках выполнения госзаданий НИР, включающей в себя, в том числе:

• динамический учет эффективности использования бюджетных средств каждым НИУ на протяжении определенного периода;
• комплексное сочетание вычисляемых наукометрических показателей и методов экспертной оценки.

ЦЕЛЬ ИССЛЕДОВАНИЯ

Целью настоящей работы является разработка методики интегральной оценки эффективности внедрения научных результатов, полученных в рамках выполнения госзаданий на основе совокупности наукометрических показателей, вычисляемых на протяжении ряда лет, предшествующих оценке, и экспертной оценки, проводимой в рамках рассмотрения заявок НИУ на финансирование.

МАТЕРИАЛ И МЕТОДЫ

В настоящее время широко известны и применяются методы оценки эффективности научной работы:

• наукометрическая (библиометрическая) оценка [3,9];
• финансово-экономическая оценка [5,16];
• экспертный метод (субъективность) [4];
• метод весовых коэффициентов;
• метод анализа иерархий [13].

Известны интегральные методики, сочетающие в себе элементы перечисленных выше.

Методы расчета экономического эффекта для прикладных исследований (расчетный, подтвержденный) [16,19].

Методика расчета интегральной оценки результатов НИР должна учитывать:

• критерии эффективность – стоимость;
• вычисляемые, наукометрические показатели;
• динамику показателей на протяжении ряда лет;
• экспертные оценки ценности полученных результатов;
• ожидаемый/подтвержденный экономический эффект.

Методика включает следующие этапы:

• Выбор периода оценки результатов – [9] итого 3-5 лет.
• Расчет показателей эффективность-стоимость на протяжении указанного периода [4,5]. Взвешенная сумма по годам, предполагается, что «давний» год должен весить больше, например: по годам 0,5 – 0,3 – 0,2.
• Определение алгоритма работы экспертов.
• Проведение экспертной оценки.
• Расчет интегрального показателя

Для оценки эффективности научных исследований необходима система показателей, которая основана на оптимальном выборе важнейших критериев и разбивается на 2 группы:

• не учитывающие важность критериев;
• учитывающие важность критериев.

Первая группа представлена лексиминной оптимизацией.

Вторая группа представлена лексикографической оптимизацией и методами вербального анализа решений.

Система показателей (критериев) должна отвечать следующим требованиям:

• репрезентативность (представительность) – количество показателей должно быть достаточным для описания научной деятельности, и каждый из них должен наиболее полно отражать работу в этом направлении;
• аддитивность – показатели должны быть непротиворечивыми один другому и взаимонезависимыми;
• однозначность – показатели должны быть выражены так, чтобы не допускать двойного толкования и уменьшать вероятность возникновения ошибок;
• сопоставимость – показатели должны обеспечивать возможность объективного их сопоставления во времени и с показателями других научных подразделений;
• контролируемость – показатели должны рассчитываться по статистическим данным, которые подвергаются контролю.
• достоверность – показатели должны быть подтверждены, не менее чем, двумя независимыми экспертами.

Рассмотрим основные требования к модели интегральной оценки научно- исследовательских работ.

1. Метод системного подхода, предполагает:

•  четкое выявление целей;
• формирование полного перечня альтернативных действий, с учетом форс-мажорных обстоятельств, обеспечивающих достижение поставленных целей;
• оценка альтернатив по совокупности наиболее важных критериев, исключая необоснованные, применяемые к конкретному НИУ;
• внесение ясности в проблему выбора тематик НИР, эквивалентных научно- технической политике и научно-техническому потенциалу НИУ.

2. Учет основных критериев оценки НИР:

• оценка потребности в проведении НИР;
• оценка необходимых затрат;
• оценка обеспечения научными кадрами;
• оценка технической осуществимости;
• оценка основных средств и износ;
• оценка компьютерных интернет / интрасетей и АРМ;
• оценка системного и программного обеспечения.

Для оценки конкретной НИР основные критерии могут быть первостепенными или второстепенными. По каждому критерию можно использовать для оценки специальную шкалу.

Каждая группа критериев имеет свой вес, который определяется экспертно.

В методах решения многокритериальных задач превалирует применение, в той или иной форме, данных о важности (значимости) критериев.

Значимость критериев характеризуется применением специальных положительных чисел, называемых коэффициентами важности. Обычно эти коэффициенты определяются экспертным путем и используются в обобщенных критериях (например, взвешенной сумме исходных критериев) или правилах «голосования».

Концептуальная модель интегральной оценки может быть построена следующим образом [14].

По умолчанию подразумеваем, что успешное выполнение НИР, в первую очередь, зависит от научно-технического потенциала (НТП) и высокой оценки наукометрического уровня тематических направлений НИР (публикации, цитирование, патенты, изобретения и т.д.) в конкретном НИУ, тогда эмпирическая формула показателя уровня НТП n-го научного учреждения NPn будет: 

NP_n =α_n (ω_n C_n ), (1)

где α_n – коэффициент НТП n-го научного учреждения, предполагается по условной %-ой шкале α0÷≤W, гдеW≤100; C_n – оценка наукометрического уровня НИР публикации, цитирование, патенты, изобретения и т.д.), вычисляется по формуле:

C_n =M_n (t) (D_n) ^-1, (2)

где – M_n общее количество публикаций за время t; Dn – кол-во научных работников (исследователей); ωⁿ – нейтрализующий коэффициент публикаций в НИУ с преобладанием экспериментальных НИР:

3. Концептуальная модель НТП медицинского НИУ

Эффективная результативность НИР в медицинском НИУ на современном этапе, безусловно, зависит от ряда взаимодополняющих факторов или условий: высокий интеллектуальный потенциал исследователей, качественный уровень организации и управления ресурсами, наличие современного технологического оборудования для определенных исследований, наличие программно-технических комплексов, объединенных в сети, с выходом на специализированные научные базы данных, а также финансовые ресурсы, обеспечивающие утвержденные госзадания или госконтракты.

Ресурсный потенциал можно рассчитать как разность («невязку»), вида:

Z_pt =Z_d (t+dt)-Z_o (t) (4),

где Zo – обобщенные затраты на обеспечение НИР; Zd – обобщенные «дивиденды», получаемые в процессе НИР; t – временной лаг, т.к. НИР – процесс, протяженный во времени.

Применим простую логику: 

Z_pt > 0 – работа эффективна;
Z_pt <= 0 – работа не эффективна.

Для двух работ одного направления, можно утверждать, что первая работа более эффективна, чем вторая, если Z_pt1 > Z_pt2 .

Для каждой составляющей Zd (t) и Zo (t) можно воспользоваться приближениями в виде полиномов Лагранжа:

В этих полиномах, входящие в них f(x), τi и φi (x) определяются на основе существующей нормативно-методической базы для каждой составляющей Z_d (t) и Z_o (t). Аналогичным образом, определяются налагаемые на них ограничения, а также вид и области определения функций f(x) и φi (x).

Исходя из вышеизложенного, структурная модель НТП в медицинском учреждении, может быть представлена в виде:

финансовые, интеллектуальные, информационные, материальные, учебно-методические, медицинские, социальные и программно-технические ресурсы n-го НИУ;

Ln – уровень управления ресурсами;
t-модуль времени;
? – функционал (функция, заданная на произвольном множестве) определяющий значение Fn (t), тогда Fⁿ(t) – признак обобщения всех видов ресурсов и факторов во временном периоде t.

4. Модель бюджетного финансирования в рамках госзаданий МЗ России по научным исследованиям и платформам [14].

Обобщенная эмпирическая модель бюджетного финансирования отображена в следующем выражении:

где P – общее число научных платформ МЗ; N – общее число научных учреждений МЗ; B_pn – наукометрическая оценка p – ой научной платформы (≤p≤14) в n – ом учреждении; B¹ _pn – относительный уровень p – ой научной платформы в n–ом учреждении в общем объеме финансирования НИР в %.

Выделим соответствующие модели бюджетного финансирования НИР для ВУЗов и НИИ Минздрава в предложенном выражении:

где N_i – кол-во НИИ Минздрава;

V_z – кол-во ВУЗов Минздрава.

ВУЗы и НИИ в объеме финансирования НИР в %, в т.ч. в общем разрезе структуры МЗ:

На основе наукометрических оценок B1 pN, для каждой p – ой научной платформы в n–ом учреждении, можно привести базовый оценочный уровень НТП и на основании (1) и (2) получим: B0 pn=B1 pnPn (11).

Затем вычислим суммарный оценочный уровень всех научных платформ (НП) МЗ России:

где βp – коэффициент, определяющий прохождение p–ой научной платформы в n–ом учреждении в список приоритетных научных исследований (НИ) МЗ:

5. Экспертные критерии оценки выполнения НИР в научно-исследовательских учреждениях.

Результатом выполнения государственных заданий научными учреждениями представляются показатели выполненных/невыполненных научных работ (численные и описательные), затем распределяются по основным направлениям («критериям»), каждому из которых присваивается весовой коэффициент («приоритет») от 0 до 1, причем сумма коэффициентов по всем критериям равна 1.

При определении приоритетов следует учитывать, что для различных по типу научных работ (фундаментальные, прикладные, экспериментальные, экспертизы, организационные и т.д.) необходим свой набор, отражающий вес каждого критерия для соответствующего типа исследования. Так, например, очевидно, что для фундаментальных исследований наибольший приоритет будет иметь научный критерий, для прикладных – медицинский и т.д.

В качестве «критериев» могут использоваться:

• научный,
• финансово-экономический,
• медицинский,
• социальный,
• учебно-методический,
• организационный,
• информационно-технологический.

Численные значения любых показателей (Пi ), которые используются для оценки этих критериев, могут автоматически нормироваться относительно максимального значения соответствующего показателя (Пmax) по всем исследованиям аналогичного типа и предоставляться эксперту в виде относительной оценки ( ) наряду с абсолютным значением, т.е. в виде: 

Все научные работы на основании имеющихся показателей оцениваются экспертами по каждому критерию (может быть принята любая привычная система оценки, например, 10-бальная). Итоговая оценка O получается путем суммирования произведений оценки Nk на соответствующий коэффициент Ek.

O=∑ _kN_kE_k (15),

Таким образом, для всех НИР получаем матрицу итоговых оценок и оценок по критериям (которые также могут понадобиться для проведения более детального анализа).

Не секрет, что многие научные исследования могут иметь отложенные результаты, в наибольшей степени это касается фундаментальных исследований. Следовательно, целесообразно продолжать мониторинг результатов завершенных научных работ и их оценку еще в течение 3 – 5 лет. Таким образом, матрица оценок расширяется за счет еще одной размерности – год и приобретает динамичность.

На основании полученной матрицы можно делать анализ эффективной деятельности научно-исследовательских учреждений, как по годам, так и по периодам, например: по суммарной или средней итоговой оценке всех выполненных НИР.

Исходя из выше предложенной методики, включающей период оценки результатов от 3 до 5 лет, получаем коэффициент Q_y, где y – порядковый год.

Получаем матрицу итоговых оценок и оценок c критериями по годам:

O(y)=∑ _kyN_kE_kQ_y (16),

Для большей объективности оценок эффективности деятельности научного учреждения следует дополнительно учесть уровень научнотехнического потенциала данного учреждения, который можно также выразить нормированной оценкой, полученной в соответствии с описанным алгоритмом, см. формула (1).

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

На основании сформулированных требований к методике, выбран метод решения многокритериальных задач на основе которого, разработана концептуальная модель интегральной оценки научно-исследовательских работ.

Методика позволяет решать следующие задачи:

• Рассчитывать эмпирической формулой показатели уровня НТП научного учреждения.
• Вычислять оценку наукометрического уровня НИР учреждения.
• Обобщать все виды ресурсов и факторов структурной модели НТП учреждения во временном диапазоне.
• Рассчитывать обобщенную эмпирическую модель бюджетного финансирования учреждения(ий) МЗ по научным платформам.
• Рассчитывать базовый оценочный уровень НТП учреждения для каждой НП МЗ, в том числе в разрезе образовательных и научных учреждений, и всех НП МЗ России.
• Формировать матрицу экспертных оценок по критериям.
• Проводить анализ деятельности НИУ на основе сформированной матрицы экспертных оценок по годам и периодам.
• Рассчитывать обобщенные «дивиденды» получаемые в процессе НИР в научных учреждениях.

Надо иметь в виду, что применение разного рода показателей — это необходимое, но недостаточное условие для принятия окончательного решения об уровне научных исследований, проводимых в научно-исследовательском учреждении (НИУ), и его места в рейтинге научных организаций.

При распределении бюджетных средств фонда госзаказа по научным организациям должны учитываться следующие параметры и показатели:

• наукометрическая оценка эффективности выполнения научных работ;
• вхождение тематического направления в утвержденный Перечень приоритетных направлений развития научно-технологического комплекса России на 2014–2020 гг.;
• научно-технический потенциал (рейтинг) научной организации, где выполняются работы по выделенным тематическим направлениям.

ВЫВОДЫ

Рассмотренные модель и методы решения многокритериальных задач, для расчетов интегральной оценки научно-исследовательских работ в научно-исследовательских учреждениях Минздрава России, будут проходить апробацию и совершенствоваться на тестовых и рабочих материалах заявок, и госзаданий ФГБУ Минздрава России.

В заключении еще раз остановимся на основных характеристиках научно-технического потенциала и эффективности научного учреждения, как объективно необходимых для отражения интегральной наукометрической оценки научноисследовательских работ проводимых по государственному заданию:

• количество публикаций по всем научным направлениям: по годам (временной лаг ~ 5 лет), дифференцированно по отечественным и зарубежным журналам;
• численность и структура кадрового состава организации (с учетом возрастного состава и по годам);
• информационно-аналитические оценки имеющихся научно-технических результатов российского и мирового уровня;
• количество (и их финансовый объем) получаемых грантов (по направлениям) от российских фондов, зарубежных фондов и программ, спонсоров;
• состав (и объем) выполненных внебюджетных конкурсных (и заказных) исследований, проектов, разработок (временной лаг ~ 5 лет);
• интегральная характеристика-оценка результатов интеллектуальной (инновационной) деятельности (изобретения, алгоритмы и программы, патенты и т.п.);
• информационная инфраструктура (интрасеть/интернет) [6], приборный парк, состав оборудования, в первую очередь коллективного пользования (суперкомпьютер, дорогой массспектрометр и т.п.);
• автоматизированная информационная система управления научными исследованиями[8];
• подготовка кадров высшей квалификации (аспирантура, диссертационные советы), связи с высшей школой;
• формализованное описание международных научных связей;
• обобщенные финансовые (корпоративные) показатели по годам и по периодам.

Исследование не имело спонсорской поддержки. Авторы заявляют об отсутствии конфликта интересов

ЛИТЕРАТУРА

1. Программа фундаментальных научных исследований государственных академий наук на 2013-2020 годы. Утверждена распоряжением Правительства Российской Федерации от 3 декабря 2012 г. № 2237-р. [The government directive of the Russian Federation №2237-р from December 3, 2012, Program of fundamental research of the state academies of Sciences for 2013-2020. (In Russ.)].
2. Об утверждении Стратегии развития медицинской науки в Российской Федерации на период до 2025 года Распоряжение правительства Российской Федерации от 28 декабря 2012 г. №2580-р. URL: http://archive.government.ru/special/gov/ results/22272/ (дата обращения 16.09.2018). [The government directive of the Russian Federation №2580-р from December 28, 2012, «On approval of the Strategy of development of medical science in the Russian Federation for the period up to 2025». URL:http://archive.government.ru/special/gov/results/22272/ (lastaccessed 16.09.2018). (in Russ.)].
3. Акоев М.А., Маркусова В.А., Москалева О.В., Писляков В.В. Руководство по наукометрии: Индикаторы развития науки и технологии. Екатеринбург: Изд-во Урал. ун-та, 2014. [Akoev MA, Markusova VA, Moskaleva OV, Pislyakov VV. Guide to scientometrics: Indicators of development of science and technology. Ekaterinburg: Publishing house Ural. University, 2014. (in Russ.)].
4. Бухарин С. Н., Гукасов В. М., Лазаренко Н. Е. Теоретические и методические основы экспертизы фундаментальных и прикладных научно-технических проектов. Инноватика и экспертиза. 2011;2:58-66. [Bukharin SN, Gukasov VM, Lazarenko NE. Theoreticaland methodological basis of theexamination of fundamentaland practicalscientificand technical projects. Innovatikaiehkspertiza 2011;2:58-66. (in Russ.)].
5. Гуров А.Н., Куликов Д.А., Дементьев И.М. Оценка экономической эффективности внедрения результатов НИР (доклад, Москва, 23 мая 2017 г.). [Gurov AN, Kulikov DA, Dement ev IM. Economic efficiency evaluation of R&D results implementation (oral presentation, Moscow, 23 May 2017 (in Russ.)].
6. Деменков Н.П. Программное обеспечение для оценки эффективности однотипных научно-исследовательских работ. Инженерный журнал: наука и инновации. 2013;10. URL: http://engjournal.ru/catalog/it/hidden/1085.html (дата обращения 16.09.2018). [Demenkov NP. Software for evaluating the effectiveness of thesametype of research works. Inzhenernyj zhurnal: naukai innovacii. 2013;10. URL: http://engjournal.ru/catalog/it/hidden/1085.html (last accessed 16.09.2018). (in Russ.)].
7. Ларин С. Н., Герасимова Л. И., Ильменская Е. М. Модель и инструментарий оценки эффективности и уровня инновационности исследовательской деятельности научных организаций. Экономический анализ: теория и практика. 2014;8:11-26. [Larin SN, Gerasimova LI, Ilmenskaya EM. Modeland toolsforevaluating theeffectivenessand innovation level ofscientific organizationsresearch activities. Ehkonomicheskij analiz: teoriya i praktika. 2014;8:11-26. (in Russ.)].
8. Лебедев Г.С., Крылов О.Б., Леляков А.И., Ткаченко В.В. Автоматизированная информационная система управления научными исследованиями в научных учреждениях Минздрава России. Социальные аспекты здоровья населения. 2017;58(6):11. [Lebedev GS, Krylov OB, Lelyakov AI, Tkachenko VV. Automated information system of scientific research management in scientific institutions of the Ministry of health of Russia. Social nye aspekty zdorov ya naseleniya. 2017;58(6):11. (in Russ.)].
9. Новиков Д.А., Орлов А.И., Чеботарев П.Ю. Наукометрия и экспертиза в управлении наукой. М.: ИПУ РАН, 2013. [Novikov DA, Orlov AI, Chebotarev PY. Scientometrics and expertise in the science management. Moscow: IPU Russian Academy of Sciences, 2013. (in Russ.)].
10. Овчаров О.А. Актуальные проблемы современных научных исследований: методология, экономика, статистика. М.: Директ-Медиа, 2013. [Ovcharov OA. Actual problems of modern scientificresearch: methodology,economics,statistics. Moscow: Direct-Media, 2013. (in Russ.)].
11. Осташков А. В. Оценка эффективности НИОКР в НИИ и вузах в контексте обеспечения инновационного развития. Управление инновационной деятельностью. Кн. 4: Управление развитием инноваций. Воронеж, 2011. [Ostashkov AV. Evaluation of R&D efficiency in research institutes and universities in the context of innovative development. In: Upravlenie innovacionnoj deyatel nost yu. Book 4 Upravlenie razvitiem innovacij.- Voronezh, 2011. (in Russ.)].
12. Паринов С.И. Онлайновое будущее науки: наукометрическая сигнальная система. Препринт WP2/2007/01. М.: Издательский дом ГУ ВШЭ, 2007. [Parinov SI. E-Science: scientometric signal system: Working paper WP2/2007/01. Moscow: State University Higher School of Economics, 2007. (in Russ.)].
13. Саати Т.Л. Принятие решений. Метод анализа иерархий. Москва: Радио и связь, 1993. [Saati TL. Decision making. Method of analysis of hierarchies. Moscow: Radio and Communications, 1993. (in Russ.)].
14. Сюнтюренко О. В. Финансирование фундаментальных исследований: концептуальный облик системы поддержки принятия решений с использованием методов наукометрии и анализа данных. Информация и еe применение. 2018; 12(1):118 127. [Syuntyurenko OV. Funding of basic research: conceptual shape of decision support system using scientometrics and data analysis methods. Informaciya i ee primenenie. 2018; 12(1):118 127 (in Russ.)].
15. Сюнтюренко О.В., Гиляревский Р.С. Использование методов наукометрии и сопоставительного анализа данных для управления научными исследованиями по тематическим направлениям. Информационные процессы и системы. 2016; 12(2):1-12. [Syuntyurenko OV, Gilyarevskii RS. Using of scientometrics and comparative data analysis methods for scientific investigation management on thematic areas. Informacionnye processy i sistemy. 2016; 12(2):1-12. (in Russ.)].
16. Федотов А. В., Васецкая Н. О. Оценка макроэкономической эффективности научных исследований в России. Университетское управление: практика и анализ. 2013;3:61-67. [Fedotov AV, Vaseckaya NO. Evaluation of macroeconomic efficiency ofscientificresearch in Russia. Universitetskoe upravlenie: praktikaianaliz. 2013;3:61-67. (in Russ.)].
17.  Холматова К. К., Харькова О. А., Гржибовский М. Классификация научных исследований в здравоохранении. Экология человека. 2016; (1):57-64. [Kholmatova KK, Kharkova OA, Grjibovski M. Types of research in health sciences. Ecologiya cheloveka. 2016; (1):57-64. (in Russ.)].
18. Шарабчиев Ю.Т., Дудина Т.В. Методология экспертизы планируемых и завершенных научно-исследовательских разработок. Медицинские новости. 2010; 5-6: 18-27. [Sharabichev UN, Dudina TV. Methodology the examination of planned and completed research and development. Medicinskie novosti. 2010; 5-6: 18-27. (in Russ.)].
19. Шумский В.И., Андреева И.Л., Гуров А.Н., Абрамова И.Ю. Оценка эффективности внедрения результатов научной деятельности сотрудников МОНИКИ в работу здравоохранения московской области. Альманах клинической медицины. 2009;21:71-76. [Shumskij VI, Andreeva IL, Gurov AN, Abramova I.Yu. Evaluation of the effectiveness of the implementation of the results of scientific activity of MONICA employees in the work of health care in the Moscow region. Almanah klinicheskoj mediciny. 2009;21:71-76. (in Russ.)].

Прикрепленный файл	Размер
Скачать статью	229.09 кб