Меню Рубрики

Как правильно делать анализ информации

Несмотря на то, что «процесс анализа информации» — это скорее технический термин, но его наполнение на 90 % связано с деятельностью человека.

Понимание потребностей в основе любой задачи по анализу информации тесно связано с пониманием бизнеса компании. Сбор данных из подходящих источников требует опыта в их подборе, независимо от того, насколько окончательный процесс сбора данных может быть автоматизирован. Для превращения собранных данных в аналитические выводы и эффективного применения их на практике необходимы глубокие знания бизнес-процессов и наличие навыков консультирования.

Процесс анализа информации представляет собой цикличный поток событий, который начинается с анализа потребностей в рассматриваемой области. Затем следует сбор информации из вторичных и (или) первичных источников, ее анализ и подготовка отчета для лиц, ответственных за принятие решений, которые будут его использовать, а также давать свои отзывы и готовить предложения.

На международном уровне процесс анализа информации характеризуется следующим образом:

  • Сначала в ключевых бизнес-процессах определяются этапы принятия решений, которые сопоставляются со стандартными конечными результатами анализа информации.
  • Процесс анализа информации начинается с оценки потребностей на международном уровне, т. е. с определения будущих потребностей, связанных с принятием решений, и их проверкой.
  • Этап сбора информации автоматизирован, что позволяет выделить время и ресурсы на первичный анализ информации и, соответственно, повысить ценность уже имеющейся вторичной информации.
  • Значительная часть времени и ресурсов тратится на анализ информации, выводы и интерпретацию.
  • Полученная в результате аналитическая информация доводится до сведения каждого лица, ответственного за принятие решений, в индивидуальном порядке с отслеживанием процесса ее дальнейшего использования.
  • У членов группы, которая занимается анализом информации, сформирована установка на непрерывное совершенствование.

Термин «процесс анализа информации» означает непрерывный, цикличный процесс, который начинается с определения информационных потребностей людей, ответственных за принятие решений, и заканчивается предоставлением того объема информации, который соответствует этим потребностям. В этом отношении необходимо сразу же провести различие между объемом информации и процессом анализа информации. Определение объема информации направлено на выявление целей и потребностей в информационных ресурсах для всей программы анализа информации, тогда как процесс анализа информации начинается с определения потребностей по одному, пусть даже и незначительному, конечному результату такого анализа.

Процесс анализа информации всегда должен быть привязан к существующим в компании процессам, то есть стратегическому планированию, продажам, маркетингу или управлению производством товара, в рамках которых и будет использоваться данная информация. На практике же использование полученной на выходе информации должно быть либо напрямую связано с ситуациями принятия решений, либо такая информация должна способствовать повышению уровня информированности организации по тем направлениям операционной деятельности, которые имеют отношение к различным бизнес-процессам.

На рис. 1 показаны этапы цикличного процесса анализа информации (подробнее об этом см. ниже). В свою очередь, в правой части диаграммы показаны конкретные итоги процесса анализа информации, когда решения принимаются на основе общих исследований рынка, и итоги процесса анализа информации, прямо связанного с различными бизнес-процессами и проектами.


Кликните мышкой по изображению, чтобы увеличить его

Цикл анализа информации состоит из шести этапов. Их подробное описание приведено ниже.

Тщательная оценка потребностей позволяет определить цели и объем задачи по анализу информации. Даже если те, кто решает такую задачу, будут вести сбор информации для собственного использования, имеет смысл четко обозначить ключевые направления в решении этой задачи для концентрации ресурсов в наиболее подходящих областях. Однако в подавляющем большинстве случаев те, кто проводит исследования, не являются конечными пользователями его результатов. Поэтому они должны иметь полное представление о том, для чего будут использоваться конечные результаты, чтобы исключить сбор и анализ данных, которые в конечном итоге могут оказаться неактуальными для пользователей. Для этапа анализа потребностей разработаны различные шаблоны и анкеты, задающие высокую планку качества на начальной стадии решения задачи.

Однако самое важное заключается в том, что потребности организации в анализе информации должны быть до конца изучены и трансформированы из внешних во внутренние для того, чтобы программа анализа информации представляла собой определенную ценность. Сами по себе шаблоны и анкеты не могут обеспечить достижение этой цели. Они, естественно, могут оказаться полезными, но бывали случаи, когда отличный анализ потребностей проводился просто на основе неофициальной беседы с руководителями компании. Это, в свою очередь, требует от группы по анализу информации подхода с позиций консультирования или, по крайней мере, умения продуктивно вести деловые переговоры с теми, кто отвечает за принятие решений.

В рамках цикла анализа информации мы отдельно выделяем сбор информации из вторичных и первичных источников. Для этого есть ряд причин. Во-первых, сбор информации из общедоступных источников обходится дешевле, чем обращение напрямую к первичным источникам. Во-вторых, это проще, при том, разумеется, условии, что люди, перед которыми поставлена такая задача, имеют достаточный опыт изучения имеющихся вторичных источников. На самом деле, управление источниками информации и связанная с этим оптимизация затрат сами по себе являются отдельной областью знаний. В-третьих, охват вторичных источников информации перед проведением исследований в форме интервью даст тем, кто проводит такие исследования, ценную базовую информацию общего характера, которую можно проверить и использовать, выдавая ее в ответ на информацию от интервьюируемых. Кроме того, если в ходе изучения вторичных источников удастся получить ответы на некоторые вопросы, это снизит стоимость этапа исследований первичных источников, а иногда и вовсе исключит необходимость их проведения.

Каким бы огромным ни был объем имеющейся на сегодняшний день общедоступной информации, не ко всем сведениям можно получить доступ через изучение вторичных источников. После изучения вторичных источников пробелы в исследовании можно заполнить, интервьюируя экспертов, хорошо знакомых с темой исследования. Этот этап может оказаться относительно дорогим по сравнению с изучением вторичных источников, что, естественно, зависит от масштаба поставленной задачи, а также от того, какие ресурсы задействованы: нередко компании привлекают к участию в исследованиях первичных источников сторонних исполнителей.

После сбора информации из различных источников необходимо разобраться, что именно из этого нужно для первоначального анализа потребностей в соответствии с поставленной задачей. Опять-таки, в зависимости от объема поставленной задачи этот этап исследований может оказаться довольно затратным, так как включает в себя, по меньшей мере, временные затраты внутренних, а иногда и внешних, ресурсов и, возможно, некую дополнительную проверку правильности результатов анализов посредством дальнейших интервью.

Формат предоставления результатов после выполнения задачи по анализу информации имеет для конечных пользователей немаловажное значение. Как правило, у людей, ответственных за принятие решений, нет времени на поиск ключевых результатов анализа в большом объеме полученных ими данных. Основное содержание необходимо перевести в легкий для восприятия формат с учетом их требований. В то же время следует обеспечить удобный доступ к дополнительным фоновым данным для тех, кто заинтересуется и захочет «копнуть глубже». Эти основные правила применяются независимо от формата предоставления информации, будь то программное обеспечение с базой данных, информационный бюллетень, презентация PowerPoint, личная встреча или семинар. Кроме того, существует еще одна причина, по которой мы отделили этап предоставления информации от конечного использования, а также получения отзывов и предложений по предоставленной аналитической информации. Иногда решения будут приниматься в той же последовательности, в которой будет предоставляться аналитическая информация. Однако гораздо чаще базовые, справочные материалы будут предоставлены до того, как возникнет фактическая ситуация принятия решения, поэтому формат, канал и способ предоставления информации влияют на то, как она будет восприниматься.

Этап использования служит своего рода лакмусовой бумажкой для оценки успешности выполнения задачи по анализу информации. Он позволяет понять, отвечают ли полученные результаты потребностям, определенным в самом начале процесса анализа информации. Независимо от того, были ли получены ответы на все первоначально заданные вопросы, на этапе использования, как правило, возникают новые вопросы и необходимость в новом анализе потребностей, особенно если потребность в анализе информации носит постоянный характер. Кроме того, в результате совместных усилий по созданию информационных материалов конечными пользователями и специалистами в области анализа информации к моменту перехода на этап ее использования может оказаться, что конечные пользователи такой информации уже внесли свой вклад в ожидаемый конечный результат. С другой стороны, те, кто в основном занимался анализом, могут быть активно задействованы в процессе формирования выводов и интерпретации результатов, на основании которых будут приниматься окончательные решения. В идеале продуманные замечания и комментарии на этапе использования уже можно использовать в качестве основы для оценки потребностей в рамках следующей задачи анализа информации. Таким образом, цикл процесса анализа информации завершается.

Определение этапов принятия решений в бизнес-процессах, которые требуют проведения аналитических исследований рынка

Термин «анализ информации для этапа принятия решения» приобретает все большую популярность, поскольку компании, в которых уже действует программа анализа информации, начали рассматривать различные варианты более эффективной интеграции этих программ в процессы принятия решений. Насколько абстрактными, или наоборот конкретными, будут меры по «улучшению связи между конечными результатами анализа информации и бизнес-процессами», в значительной степени будет зависеть от того, были ли данные бизнес-процессы определены формально, а также от того, есть ли у группы по анализу информации понимание конкретных информационных потребностей, связанных с этапами принятия решений в рамках этих процессов.

Как мы упоминали в главе 1, методы и способы, которые обсуждаются в этой книге, оптимально подходят для компаний, у которых уже имеются структурированные бизнес-процессы, например процесс выработки стратегии. Компаниям, управление которыми не так четко структурировано, возможно, придется проявить некоторую креативность при использовании подходов методики проведения анализа рынка международного уровня с учетом действующих у них схем управления. Тем не менее, основные принципы, которые мы здесь рассматриваем, подойдут для любой компании.

Оценка потребностей в анализе информации: почему это так важно?

С учетом того, что понимание ключевых требований к анализу информации в самом начале этого процесса оказывает более сильное влияние на качество конечных результатов, чем какой бы то ни было этап данного процесса, поразительно, что этапу оценки потребностей нередко уделяется слишком мало внимания. Несмотря на потенциальную ограниченность ресурсов на других этапах процесса анализа информации, одно лишь пристальное внимание к оценке потребностей во многих случаях позволило бы существенно повысить ценность и применимость конечных результатов данного процесса, оправдывая таким образом затраты времени и ресурсов на выполнение задачи по анализу информации. Ниже мы рассмотрим конкретные способы улучшения качества оценки потребностей.

Нередко автоматически считается, что руководство знает, какая информация нужна компании. Однако на самом деле высшее руководство, как правило, имеет представление лишь о части информационных потребностей своей организации и даже в этом случае, возможно, находится не в самом лучшем положении, чтобы точно определить, какая информация нужна, не говоря уже о том, где ее можно найти.

В результате постоянно повторяется ситуация, когда для выполнения задач по анализу информации нет ни четко сформулированного представления о проблеме, ни ее бизнес-контекста. Те, кто лучше всего знаком с источниками информации и методами анализа, тратят время на беспорядочную, по всей видимости, обработку данных и не видят картины в целом, а также тех подходов, которые имеют наиболее существенное значение для компании. Неудивительно, что в результате люди, ответственные за принятие решений, получают гораздо больше информации, чем им нужно, что в принципе контрпродуктивно, поскольку вскоре они начинают игнорировать не только бесполезную, но и важную информацию. Им нужен не больший объем информации, а более качественная и точная информация.

В то же время у людей, ответственных за принятие решений, могут быть нереалистичные ожидания по поводу доступности и точности информации, так как перед постановкой задачи они не проконсультировались со специалистами в области анализа информации. Следовательно, в идеале специалисты в области анализа информации и люди, ответственные за принятие решений, должны находиться в постоянном контакте друг с другом и вместе работать над тем, чтобы обе стороны имели одинаковое представление о первоочередных информационных потребностях. Умение управлять этим процессом потребует от аналитиков, работающих в этом направлении, целого ряда навыков:

  • Аналитик должен понимать, как выявлять и определять информационные потребности людей, ответственных за принятие решений.
  • Аналитик должен развивать навыки эффективного общения, проведения интервью и презентаций.
  • В идеале аналитик должен разбираться в психологических типах личности, чтобы учитывать различную направленность людей, ответственных за принятие решений.
  • Аналитик должен знать организационную структуру, культуру и среду, а также ключевых опрашиваемых лиц.
  • Аналитик должен сохранять объективность.

На начальных этапах внедрения программы анализа информации целевая группа для проведения мероприятий, как правило, ограничена, равно как и конечные результаты, которые дает программа. Аналогичным образом при обработке конечных результатов часто возникают различные затруднения (так называемые «узкие места»): даже простой сбор разрозненных данных из вторичных и первичных источников может потребовать знаний и опыта, которых у компании нет, а после завершения сбора информации может оказаться, что времени и ресурсов для проведения детального анализа собранных данных недостаточно, не говоря уже о подготовке информативных и тщательно проработанных презентаций, которыми могли бы воспользоваться люди, ответственные за принятие решений. Более того, на начальных этапах разработки программы анализа информации практически ни у одной компании нет специальных инструментов хранения и распространения результатов такого анализа. Как правило, в конечном итоге результаты предоставляются целевым группам в виде обычных вложений, пересылаемых по электронной почте.

Сложности выполнения аналитической задачи в рамках цикла анализа информации можно описать, пользуясь стандартным треугольником управления проектом, т. е. необходимо выполнить задачу и выдать результат при трех основных ограничениях: бюджете, сроках и объеме работ. Во многих случаях эти три ограничения конкурируют между собой: в стандартной задаче по анализу информации увеличение объема работ потребует увеличения сроков и бюджета; жесткое ограничение по срокам, вероятно, будет означать увеличение бюджета и одновременное сокращение объема работ, а ограниченный бюджет, скорее всего, означает как ограничение объема работ, так и сокращение сроков на реализацию проекта.

Читайте также:  Как сделать анализ повести по литературе

Возникновение в процессе анализа информации «узких мест» обычно приводит к существенным трениям при выполнении исследовательской задачи в рамках цикла анализа информации на начальных этапах разработки программы для такого анализа. Поскольку ресурсы ограничены, в первую очередь следует устранить наиболее критичные «узкие места». Достаточно ли у группы по анализу информации возможностей для его проведения? Необходимо ли дополнительное обучение? Или проблема скорее заключается в том, что аналитикам не хватает ценной информации, с которой можно работать — другими словами, наиболее критичным «узким местом» является сбор информации? А может быть, группе по анализу информации просто не хватает времени, то есть группа не в состоянии своевременно реагировать на срочные запросы?

Повысить эффективность выполнения аналитической задачи в рамках цикла анализа информации можно в двух направлениях. «Производительность» цикла, т. е. тщательность, с которой группа по анализу информации может обрабатывать аналитические задачи на каждом этапе, и скорость ответа на вопрос. На рис. 2 показана разница между этими подходами и в целом различие между задачами по стратегическому анализу и запросами на проведение исследований, требующими оперативного реагирования.

Хотя и тот, и другой подход предполагают прохождение аналитической задачи через все этапы цикла анализа информации, группа по анализу информации, перед которой поставлена задача оперативно провести исследования, будет работать над изучением вторичных и первичных источников параллельно (иногда один телефонный звонок специалисту может дать необходимые ответы на вопросы, поставленные в запросе на проведение исследований). Кроме того, во многих случаях анализ и предоставление информации объединены, например, в кратком обзоре, который аналитик передает руководителю, запросившему данную информацию.

Производительность цикла анализа информации можно повысить, добавив либо внутренние (нанятые), либо внешние (приобретенные) ресурсы там, где они необходимы, что позволит добиться более качественных результатов и расширить возможности по обслуживанию все большего количества групп пользователей в пределах организации.

Тот же принцип применим и к обеспечению быстродействия при реализации последовательности операций, т. е. важно то, насколько быстро срочная задача по проведению исследований проходит через различные этапы цикла. По сложившейся традиции компании преимущественно концентрируются на обеспечении стабильной пропускной способности посредством долгосрочных схем планирования ресурсов и обучения персонала. Однако по мере развития такого специализированного направления, как анализ информации, и повышения доступности глобальных профессиональных ресурсов, привлекаемых со стороны, все большее распространение получают и временные схемы, реализуемые в каждом конкретном случае и обеспечивающие необходимую гибкость.

На рис. 3 показаны два типа итоговых результатов цикла анализа информации, то есть стратегический анализ и исследования, требующие оперативного реагирования (см. график конечных результатов анализа информации). Несмотря на то, что задачи по проведению исследований, требующих оперативного реагирования, обычно связаны с бизнес-процессами, уровень их анализа не очень высок из-за банальной нехватки времени для проведения такого анализа. С другой стороны, задачи по стратегическому анализу, как правило, связаны с высоким уровнем совместного творчества на этапе анализа и предоставления информации, что ставит их практически на вершину треугольника, где осуществляется интерпретация и применение полученной информации.

Отлаженность процесса анализа информации можно наглядно представить в виде графика цикла равномерной толщины (рис. 2), в том смысле, что зрелый процесс анализа информации не имеет «слабых звеньев» или существенных «узких мест» в организации последовательности операций. Такая равномерность требует соответствующего планирования ресурсов на каждом этапе, что, в свою очередь, достигается благодаря многократному прохождению цикла с учетом всех деталей. Например, первоначальную оценку потребностей можно постепенно улучшить благодаря тому, что люди, ответственные за принятие решений и пользующиеся результатами работы, будут замечать недостатки и типичные расхождения на начальном этапе выполнения задач по аналитическим исследованиям рынка. С тем же успехом можно со временем развить сотрудничество между специалистами по поиску информации и аналитиками (если эти две функции разделены) благодаря тому, что вопросы, которые ранее остались незамеченными и были подняты в ходе анализа, передаются специалистам по поиску информации с целью сбора дополнительных данных. Со временем опыт покажет, какие ресурсы нужны для каждого из этих этапов, чтобы добиться оптимальных результатов.

Какие результаты в конечном итоге являются «оптимальными», определяется тем, насколько точно полученная на выходе информация соответствует потребностям людей, ответственных за принятие решений, в рамках бизнес-процессов. И это снова возвращает нас к равномерной толщине цикла анализа информации: процесс анализа информации международного уровня начинается не с оценки потребностей как таковых, а с четкого определения, где и как будет применяться полученная на выходе информация. На самом деле, общение между людьми, ответственными за принятие решений, и специалистами в области анализа информации в рамках всего аналитического процесса международного уровня должно быть постоянным, информативным и направленным в обе стороны.

Один из способов укрепления связей между принятием решений и исследованиями рынка — заключить соглашения об уровне услуг с ключевыми заинтересованными сторонами, которые обслуживает программа аналитических исследований рынка. Согласование необходимого уровня услуг по исследованиям рынка с руководителями высшего звена по стратегическому планированию, продажам, маркетингу и НИОКР позволит четко определить конечные результаты проведения таких аналитических исследований и мероприятия по каждой группе заинтересованных лиц на ближайшие 6–12 месяцев, в том числе бюджет на исследования рынка, задействованных лиц, основные этапы и взаимодействие на протяжении всего процесса.

Заключение соглашений об уровне услуг имеет ряд преимуществ:

  • Необходимо время, чтобы сесть и обсудить основные цели и этапы принятия решений по ответственным за ключевые бизнес-процессы = группа по исследованиям рынка получает более полное представление о том, что важно для руководства, и вместе с тем улучшает личные отношения.
  • Уменьшается риск непредвиденной избыточной нагрузки по специальным проектам, благодаря выявлению направлений для регулярного пересмотра, стратегического анализа информации и т. д.
  • Появляется время для совместного творчества в процессе анализа информации: нередко совещания и семинары по аналитическим исследованиям рынка с участием постоянно занятых руководителей нужно планировать за несколько месяцев.
  • Благодаря четкой постановке целей и оценке результатов упорядочиваются мероприятия по исследованиям рынка, повышается уровень аналитики.
  • В целом уменьшается замкнутость организации и так называемое «варение в собственном соку», сотрудничество между руководителями и специалистами по аналитическим исследованиям рынка становится более плодотворным.

Приведенные в конце два примера наглядно показывают, как благодаря налаженному процессу анализа информации аналитическая группа может реагировать на различные требования, содержащиеся в задаче по анализу информации, в зависимости от географического региона, который анализируется в рамках этой задачи. В «западном мире» из вторичных источников можно получить большое количество достоверной информации практически по любой теме. Благодаря этому задача специалистов в области анализа информации сводится к поискам наилучших источников для эффективного с точки зрения затрат сбора информации с целью ее последующего анализа и предоставления отчетов.

С другой стороны, на развивающихся рынках часто наблюдается нехватка надежных вторичных источников или же отсутствие необходимых данных на английском языке. Следовательно, специалистам в области анализа информации нужно быстро обратиться к первичным источникам и провести интервью, как правило, на языке данной страны. В этой ситуации важно полагаться на достаточно большое количество источников, чтобы оценить правильность результатов исследований, прежде чем перейти к их анализу.

Компании, работающей в химической отрасли, потребовался большой объем информации о существовавших ранее, современных и будущих бизнес-циклах по нескольким направлениям производства товаров химической промышленности на рынке Северной Америки. Данную информацию предполагалось использовать для оценки будущего роста по определенным направлениям производства химической продукции, а также для планирования развития бизнеса на основе понимания бизнес-циклов в отрасли.

Анализ проводился с использованием статистических методов, в том числе регрессионного и визуального анализа. Анализ бизнес-циклов проходил как в количественном, так и в качественном отношении, с учетом мнений отраслевых экспертов о долгосрочном росте. При выполнении задачи использовались исключительно вторичные источники информации, а для проведения анализа — статистические методы, в том числе регрессионный и визуальный анализ. В результате был представлен подробный аналитический отчет с описанием длительности и характера бизнес-циклов, а также оценкой перспектив на будущее для ключевых направлений производства продукции компании (этилен, полиэтилен, стирол, аммиак и бутилкаучук).

Пример. Оценка рынка гидродифторида аммония и фтористоводородной кислоты в России и СНГ

Перед одним из крупнейших в мире ядерных центров стояла задача по изучению рынка для этих двух побочных продуктов его производства, а именно гидродифторида аммония и фтористоводородной кислоты, в России и СНГ. При недостаточной емкости этого рынка им пришлось бы инвестировать в строительство объектов по утилизации указанных продуктов.

Были проведены исследования вторичных источников как на уровне России и СНГ, так и на глобальном уровне. В связи с узкоспециализированным характером рынка и высоким внутренним потреблением побочных продуктов основной упор делался на исследования первичных источников. При подготовке к последующему анализу были проведены 50 подробных интервью с потенциальными клиентами, конкурентами и специалистами отрасли.

В окончательном отчете была представлена оценка объема рынка без учета внутреннего потребления, анализ сегментов, анализ импорта, анализ цепочки создания стоимости, анализ замещающих технологий и продуктов по каждому промышленному сегменту, прогноз развития рынка, анализ ценообразования и, наконец, оценка потенциальных возможностей рынка в России и СНГ.

Пример. Эффективный процесс анализа информации на основе оценки преобладающих тенденций для представления руководителям в виде отчетов

Ведущая энергетическая и нефтехимическая компания успешно усовершенствовала процесс анализа информации, приняв за основу анализ стратегических сценариев для сбора, анализа и предоставления информации.

Благодаря интеграции мероприятий по анализу информации в ключевые бизнес-процессы на этапе планирования, удалось четко определить истинные стратегические потребности организации и довести их до аналитической группы, которая, соответственно, сумела организовать процесс анализа таким образом, чтобы основное внимание уделялось стратегии и действиям. Процесс анализа информации в компании начинается с изучения преобладающих тенденций и заканчивается наглядными примерами реагирования на риски с рекомендациями для руководства.

Ключом к повышению эффективности программы анализа информации стала успешная оценка потребностей с точки зрения стратегических целей компании. При этом ответственные за принятие решений люди участвовали в процессе анализа информации уже на начальном этапе (обсуждения, совещания, семинары). Это способствовало налаживанию двустороннего диалога и более полной интеграции программы анализа информации в другие направления деятельности компании.

Пример. Глобальная биотехнологическая компания разработала цикл анализа информации для своевременного предоставления аналитических данных и упреждающего принятия решений.

Цель программы анализа информации заключалась в предоставлении информации с целью заблаговременного оповещения и предупреждения, что позволило бы ввести в действие реализуемые и выполнимые стратегии на всех рынках, где работает компания. Был введен в действие цикл анализа информации, в котором на нескольких этапах были задействованы лица, заинтересованные в анализе информации (как для ввода, так и для вывода информации), а также многочисленные источники информации.

Лица, заинтересованные в анализе информации, представляли четыре ключевые функции в компании (группа по стратегии, маркетинг и продажи, финансы, связи с инвесторами и директора). Наиболее активная деятельность велась на этапах планирования и реализации. Успешное внедрение цикла анализа информации, объединившего внутренние заинтересованные стороны (для оценки потребностей) и многочисленные источники информации в рамках четко определенного процесса предоставления результатов анализа, означало, что реализованная аналитическая программа оказала определенное влияние на разработку стратегии и упреждающее принятие решений.

источник

Здравствуйте, дорогие друзья!

Очень часто в своем словесном обиходе мы используем фразы по типу: «логический склад ума» и аналитическое мышление. Но что значит этот вид мышления и что конкретно обозначают термины можем даже и не догадываться.

На самом деле, такой вид построения мысли можно разобрать сразу с двух сторон. Как с теоретической частью вопроса, так и с практической. Если в первом случае аналитическое мышление обозначает высокую способность индивидуума принимать решения с помощью логики и сухого просчета, то в практике ситуация обстоит куда интересней.

Не все знают, что именно аналитический склад серого вещества предполагает под собой доминирование левого полушария над правым. То бишь, рассудок полностью контролирует эмоции, а логика — рождающиеся образы.

Это не мешает личностям проявлять себя, как мирового уровня математики или даже музыканты! Но как научиться анализировать поступающую информацию? В сегодняшней статье мне хочется привести несколько действенных советов по прокачке скилла аналитического мышления. А перед этим, брошу очерк на практическую сторону вышеупомянутого мыслительного процесса.

  • Человек способен мастерски структурировать входящую информацию на логичные блоки. Это может выглядеть, как отдельные составляющие, что формируют общую картинку представления о проблеме или теме вопроса;
  • личность способна быстро произвести качественный анализ инфоповода, а после досконально изучить рубрики по отдельности;
  • в случае нехватки аргументов или фактов, особь с аналитическим мышлением может прибегнуть к восстановлению недостающих пазлов с помощью логических умозаключений, конструктивных домыслов и контраргументов;
  • обязательное условие — всегда просчитывать и видеть сразу несколько способов решения ситуации;
  • производит оценку плюсов и минусов каждого из возможных результатов принятого действия;
  • выбирает наиболее оптимальный вариант решения, удовлетворяющий наивысшее число его запросов.

Личность, в зависимости от возникшего обстоятельства, использует разный тип мышления:

  • например, благодаря логическому типу, человек способен найти взаимосвязь между возникающими событиями в его жизни и обнаружить последовательность;
  • дедукция имеет весомые отличия между логикой. Так, дедуктивный метод поразмыслить не сравнивает то, что происходит, а самостоятельно определяет связку увиденных процессов для умозаключения;
  • а вот аналитический склад разума можно охарактеризовать, как наиболее продвинутый способ определить один из самых оптимальных вариантов решения дилеммы;
  • абстрактное мышление (творческое), позволяет человеку генерировать бесчисленное количество удивительных идей и творческих начинаний.

Помимо удачного переключения между типами, именно благодаря анализу поступающей информации, люди аналитического образа мыслить способны добиться высоких показателей как в профессиональном поприще, так и в личной жизни.

Читайте также:  Как сделать анализ по футбольному матчу

Они менее вспыльчивы и достаточно малословные. Скрывают в себе мощные качества лидера, отмеченные высокой продуктивностью. Но стоит отметить, что «наука аналитика» сопровождают индивидуума до последних дней. Вернее, до тех пор, пока мозг человека полностью не прекратит жизнедеятельность.

Для кого пригодится аналитический склад ума, спросите вы? Он полезен продавцам, и художникам, и физикам, наперевес с блогерами. А все потому, что с его помощью можно увидеть успешность и результативность выполняемых дел.

Как ни странно, но развить навык мыслить аналитически у детей не составит труда. Для этого им понадобится систематически посещать лекции по математике и попросту посещать уроки. Плюс ко всему, обратить внимание на технические основы и направления.

А вот со взрослыми людьми дела обстоят намного сложнее. Сейчас я хочу вам презентовать несколько эффективных способов развить нужные сверхспособности.

Прекрасной разминкой для разума являются аналитические игры. Так, отменно рекомендуют себя шахматы и маджонг. В процессе занятия вы сможете ощутить удовольствие и самую настоящую прокачку серого вещества.

Вам предстоит самостоятельно разрабатывать стратегию, следить за противником и наперед просчитывать свои ходы. Так как развитие логики напрямую связанно с аналитическим мышлением, я настоятельно рекомендую вам проводить всевозможные вычислительные операции в уме.

А вот здесь компьютерные игры как никогда кстати полезны. Конечно же, этот вид занятий рассчитан на совсем ленивых людей, но тем не менее квесты и стратегии прекрасно развивают аналитические способности.

Вам предстоит быстро реагировать на ситуации, просчитывать риски и возможности, а также запастись терпением для глубинного анализа ситуации.

В этом виде тренировке каждый сам себе хозяин. Вы можете лично выбирать тему и поток информации для сопоставления аргументов и фактов. Быть может вам придется по вкусу изучение научных передач или журналов, ознакомление со сложной литературой для досконального построения логической цепочки.

Могут подойти аналитические статьи на тему политики, экономики и кибернетики. Также, вы сможете усовершенствовать навык определения главного от второстепенного. То бишь, правильно выставлять приоритеты.

Чтобы освоиться в аналитическом мышлении, вам необходимо привыкнуть оспаривать любую поступающую новость. Сомневайтесь во всем! Я советую вам выступать в роли заядлого любителя дискуссий. Это поможет научиться задавать логические и аргументированные вопросы сначала самому себе, а в дальнейшем и государству, обществу и рамкам.

Я предложу обратить внимание на детальное рассматривание абсолютно противоположных точек зрения. Когда вы начнете пытаться соединить их в один сплошной пласт материала, одновременно развивая каждую из гипотез, вы сможете увеличить и уровень своей терпимости.

Обязательно планируйте свою жизнь наперед. Создайте календарь, в котором четко разграничены долгосрочные перспективы и цели от краткосрочных. После прохождения каждого из выполненных этапов, анализируйте результаты для выведения общих корректировок.

Стоит выделять ярким цветом ключевые события и важные для свершения даты. Благодаря такому образу планирования жизни, вы развиваете и усовершенствуете не только аналитическое мышление, но и свою деятельность в комплексе.

Обязательно вспоминайте о тренировке способностей аналитически мыслить в момент общения с людьми. Перед тем как высказаться, попробуйте в уме просчитать возможные варианты ответа собеседника или ход его мыслей.

Это прекрасно тренирует внимательность и вовлеченность в разговор. Также методика весьма полезна при возникновении конфликтной ситуации или горячего спора.

И при этом, не делайте акцент на развитии одного из полушарий. Человек — существо многогранное и гармоничное. А его успешность зависит только от разностороннего развития профессиональных и личностных навыков, уровня интеллекта, коммуникативных способностей и симбиоза видов мышления. Всего-то!

Подписывайтесь на обновления, впереди вас ждет масса удивительных тем и открытий! В комментариях поделитесь играми по развитию аналитического мышления или интересными задачами на логику!

источник

В книге Майкла Льюиса (Michael Lewis) Moneyball рассказывается история генерального менеджера бейсбольной команды Окленд Атлетикс Билли Бина (Billy Bean), использовавшего нестандартный подход к анализу статистических данных — сабметрику. Бин заметил, что даже профессионалы при оценке возможностей того или иного игрока полагаются на отрывочные наблюдения или интуицию, а не на объективные показатели, и решил изменить это.

Эффективность сабметрики до сих пор является предметом жарких споров в спортивной среде. Однако, главная идея Бина — что простой просмотр матчей не дает понять суть игры достаточно глубоко — уже изменила мир бейсбола.

Макс Базерман (Max Bazerman) в своей новой книге «Искусство анализа информации: как смотрят на мир лидеры» (The Power of Noticing: What the Best Leaders See) также поднимает тему эффективного использования данных. Базерман отмечает, что людей, добившихся успеха в той или иной области, отличает нестандартный способ мышления: они стараются не делать выводов на основании поверхностных знаний и не боятся подвергать сомнению «общепризнанные факты».

Овладеть искусством анализа информации — это значит осознать собственные систематические ошибки и сделать все, чтобы избегать их впредь.

Представляем вашему вниманию 3 совета от Макса Базермана.

1. Всегда стремитесь к получению максимально полной информации

Чтобы принять правильное решение, вам необходимо иметь достаточный объем данных. Если вы работаете с неполной информацией, то должны знать об этом. Правило может казаться очевидным, однако даже высококлассные специалисты порой забывают о них.

Примером тому служит катастрофа шаттла «Челленджер» в 1986 году. Шаттл разрушился на 73-й секунде полета в результате повреждения уплотнительного кольца твердотопливного ускорителя, приведшего к утечке газа. Причиной аварии стала низкая температура воздуха, в ночь перед запуском достигавшая отметки в -8 °C. Просто до этой катастрофы никто не мог предположить, что холод способен оказывать серьезное воздействие на характеристики уплотнительных колец. Базерман пишет:

«Инженеры и менеджеры из Morton Thiokol и НАСА обсуждали, безопасно ли производить запуск при столь низкой температуре. Компания Morton Thiokol была субподрядчиком и занималась поставкой двигателей для шаттлов. В ходе 7 из 24 предыдущих запусков у НАСА возникали проблемы с уплотнительным кольцом. Инженеры Morton Thiokol предполагали, что эти проблемы могли быть связаны с низкой температурой. Однако в отсутствие достаточного объема данных, способных подтвердить версию, НАСА не сочло нужным отменять полет».

В этот момент НАСА следовало взять паузу, чтобы получить дополнительную информацию. Имевшиеся на тот момент данные достаточно четко указывали на связь между низкой температурой и проблемами с уплотнительным кольцом. Но этим данным не было уделено должного внимания. Базерман продолжает:

«Изучив всю доступную информацию, специалисты НАСА могли бы сделать вывод о том, что предстоящий запуск закончится катастрофой с вероятностью более 99%. К сожалению, инженеры и менеджеры недооценили риски, связанные с погодными условиями во время запуска, и не предприняли необходимых мер по обеспечению безопасности полета».

Помните: то, что вы знаете об объекте — это в большинстве случаев далеко не все, что о нем можно знать.

2. Обращайте внимание на события, которые не происходят

В своей книге Базерман упоминает рассказ Артура Конан Дойла «Серебряный» (Silver Blaze), в котором Шерлок Холмс раскрывает дело, обратив внимание на то, чего не произошло.

Холмс расследовал убийство тренера лошадей Джона Стрэкера и исчезновение жеребца по кличке Серебряный. В качестве главного подозреваемого полиция рассматривала Фицроя Симпсона — лондонского букмекера, сделавшего большую ставку против Серебряного на предстоящих скачках. Но Холмс обратил внимание на тот факт, что сторожевая собака не лаяла в момент, когда совершалось убийство. «Полуночный посетитель, — пишет он — был кем-то, кого собака хорошо знала».

Холмсу удалось определить, что Джон Стрэкер жил двойной жизнью и погряз в долгах. Пытаясь поправить свое положение, он решился на крайние меры: подсыпал дежурному конюху в тарелку опий и вывел Серебряного в овраг, где планировал проколоть жеребцу сухожилие на ноге (чтобы гарантировать его проигрыш на скачках, на который Стрэкер поставил крупную сумму) и подставить Симпсона, оставив на месте преступления его галстук. Однако, почуяв неладное, Серебряный вырвался и ударом копыта раздробил Стрэкеру голову.

Умение видеть то, чего не происходит, может помочь не только при расследовании преступлений, но и в любой другой деятельности. Отметим, что данный вопрос интересует не только Базермана. Один из основоположников психологической экономической теории Даниэль Канеман (Daniel Kahneman), к примеру, получил Нобелевскую премию за исследование склонности людей считать, что «то, что они знают о предмете — это все, что о нем можно знать».

Когда мы пытаемся представить, как могла развиваться та или иная ситуация, наше воображение рисует наиболее логичную версию, основанную на имеющейся информации. Однако иногда добраться до истины можно только приняв во внимание данные, которые не видны с первого взгляда.

Эту идею поддерживает и автор бестселлера «Сигнал и шум» (The Signal and the Noise) Нейт Сильвер. Он пишет о так называемых «отказах воображения» (failures of imagination), или ошибках, которые люди допускают по причине пропуска (либо игнорирования) наиболее релевантной информации. В качестве примера Сильвер приводит ураган Катрина и террористические акты 11 сентября 2001 года.

Но как отличить по-настоящему полезную информацию от шума? Этот вопрос подводит нас к следующему пункту.

3. Заведите «журнал принятия решений»

Вспомните последний случай возникновения кризиса в вашей организации. Что произошло? Кто был виноват в случившемся? Каковы были последствия? Представьте, что вы отвечаете на эти вопросы, сидя перед вашим другом. Он спрашивает: «Почему никто не заметил приближения кризиса?».

В последней главе своей книги Макс Базерман просит читателей подумать, как они ответили бы на этот вопрос. Попробуйте сделать то же самое. Ваш ответ звучит примерно так?

«Никто не мог предсказать того, что произошло»

«Вероятность произошедшего была так мала, что никто всерьез не рассматривал данный сценарий».

«Я не занимался исследованием причин произошедшего»

«Я не спрашивал других о том, какая информация могла быть упущена из виду»

Вы, наверное, заметили разницу между первыми и вторыми двумя ответами. В первом случае мы имеем дело с внешней атрибуцией, во втором — с внутренней. Ни для кого не секрет, что людям свойственно успехи связывать с собственными усилиями, а неудачи объяснять стечением обстоятельств. В действительности причиной большинства кризисов становится комбинация внутренних и внешних факторов.

«Даже если вы понимаете, что ответственность за возникновение кризиса лежит на организации, вам стоит сфокусироваться на анализе предпринятых вами шагов. Критическая оценка собственных действий — это лучший способ повысить эффективность своей работы».

Систематизировать процесс самоанализа можно с помощью «журнала принятия решений». Записывайте в него причину выбора того или иного решения, степень уверенности в нем, а также конечный результат. Это поможет вам определить, когда была допущена ошибка, и как могли развиваться события, если бы ее удалось избежать. Главное достоинство «журнала принятия решений» заключается в том, что он позволяет объективно оценить принятые ранее решения.

В Moneyball Майкл Льюис пишет: «Рынок бейсбола был столь неэффективен, а его участники — настолько плохо информированными, что грамотный менеджер мог заработать на нем, почти не прилагая усилий».

Базерман задается вопросом: «Почему людям так трудно обнаружить очевидные дефекты в той или иной системе?» Проблема, вероятно, состоит в нехватке инструментов, позволяющих эффективно работать с информацией. В книге Базермана представлен целый ряд подобных инструментов.

Вы хотите стать лидером в своей области? В таком случае, вам стоит более критично относиться к мнению большинства и не бояться ставить под сомнение «прописные истины».

источник

При работе с информацией часто возникает проблема с ее правильной интерпретацией. Причина в том, что люди склонны к мышлению негативиста или позитивиста. Негативист получает информацию → сразу ищет в ней что-то плохое → что-то находит → игнорирует все хорошее → упускает возможность выгодно применить полученные данные. С позитивистами ситуация противоположная.: он получает информацию → ориентируется только на хорошее → находит это хорошее → игнорирует критику и сталкивается с непредвиденными проблемами.

Чтобы этого не допустить, нужен критический анализ информации. Он помогает получить достоверные данные, на основе которых можно принимать осознанные решения. Поговорим про критический анализ подробнее: вы узнаете, что это такое, за счет каких методов его проводить и по каким критериям оценивать. Также уделим внимание тому, что такое информация и по каким признакам ее классифицировать.

Под информацией в общем смысле понимают любой вид сведений, независимо от формы их представлений. Если информация приобретает вид, в котором она готова для обмена с адресатами, ее называют данными. Известны три определения информации, которые тесно взаимосвязаны и отражают ее сущность:

  1. Знания о предметах, фактах, идеях и т.д., которыми могут обмениваться люди в рамках конкретного контекста.
  2. Знания относительно фактов, событий, вещей, идей и понятий, которые в определённом контексте имеют конкретный смысл.
  3. Сведения, которые воспринимаются человеком и/или регистрирующим устройством, отражающие факты материального или духовного мира в процессе коммуникации.

Как несложно убедиться, приведенные определения последовательно отражают составляющие коммуникативного процесса – субъективную, объективную и субъективно-объективную.

Информация классифицируется по нескольким признакам:

  • Место возникновения –источник появления информации. Под ним понимается объект, который идентифицирует место происхождения информации, будь то человек, средство массовой коммуникации, явление духовного или материального мира.
  • Стадия обработки. Отражает этап передачи информации от носителя к получателю. В общем случае различают первичные источники информации –объекты, где конкретные сведения возникают, и вторичные –так называемые ретрансляторы.
  • Способ отображения –сведения об окружающем мире, переданные в различных формах восприятия и представления. В отношении человека формы восприятия ориентированы на воздействие на различные органы чувств –слух, зрение, обоняние, осязание, вкус. Соответственно, информация может быть звуковой, визуальной, обонятельной, тактильной, либо вкусовой. Форма представления – это дифференцированный канал воздействия на определенный орган чувств человека или их совокупность. Так, информация может быть представлена в числовом, графическом, текстовом виде, иметь форму звукового ролика либо видеоряда.
  • Стабильность –способность объекта, индуцирующего информационный поток, воспроизводить процесс непрерывно.
  • Функция управления –способность информации изменять взаимодействие между различными субъектами.
Читайте также:  Как сделать анализ полученных данных исследования

Общий анализ информации подразумевает ее классификацию в соответствии с признаками, перечисленными выше.

Критический анализ информации – это процесс определения аналитиком ее актуальности, правдивости, достоверности и полноты. Немного подробнее:

  • Актуальность информации отражает ее ценность в конкретном контексте в конкретный момент времени. Сведения о том, что Земля вращается вокруг Солнца, актуальны в течение столетий лет, однако информация о курсе валют на рынке Форекс имеет значение для трейдера только в краткий промежуток времени.
  • Правдивость информации принимает два значения: истинная она или ложная.
  • Достоверность – степень неискаженности информации, полученной из надежных источников. Как правило, достоверность информации может изменяться на этапе передачи ее ретрансляторами, при этом количество ретрансляторов прямо пропорционально связано с уровнем искажения.
  • Полнота информации –это степень ее достаточности для совершения логически верной операции. Например, в задаче «2+2» информация является полной, чтобы, используя логический оператор «+», сделать вывод «4». В задаче «2+Х» неполная информация не позволяет сделать правильный вывод.

Критический анализ информации не несет отрицательной коннотации. Он всего лишь отражает необходимость оценки приведенных сведений по указанным выше критериям. Критический анализ информации неразрывно связан с ее сбором, т.е. с работой с источниками сведений. От корректности способов сбора информации зависит ее достоверность. Кроме того, аналитик обязан оценить надежность источника информации – его способность стабильно индуцировать правдивые сведения.

Поскольку информация всегда получается адресатом из какого-либо источника (первичного или вторичного), анализ источников информации является одним из самых действенных инструментов аналитика.

На сегодняшний день общедоступная информация распространяется через средства массовой информации, такие как:

Работа с каждым из перечисленных каналов имеет свою специфику. И она касается, прежде всего, возможностей провести критический анализ информации.

Печатные издания, книги, газеты, журналы – это тот канал распространения информации, в котором наиболее легко установить ее происхождение и оценить надежность источника. Законодательство обязывает издателей указывать исходящие данные – они могут иметь форму библиографических индексов, данных о тираже и т.д. Таким образом, установив надежность источника, можно судить о качестве полученной из него информации.

Радио и телевидение часто склонны подавать не факты, а их интерпретации. Т.е. аналитик, оценивая надежность того или иного радио- или телеканала, должен определить степень достоверности подаваемой информации. Интерпретация – это искажение информации, которое не дает возможности сделать логически правильный вывод. Интерпретация может происходить как вследствие низкого качества ретранслятора (в роли которого выступает редакция радио- или телевизионного канала), так и намеренно. В таком случае она называется манипуляцией. Манипуляция – это намеренное снижение достоверности информации с целью заставить ее получателя сделать какой-либо вывод или совершить определенное действие.

Интернет является гибридным источником сведений. Следует различать Интернет как способ отражения информации и как ее источник. Если аналитик работает с интернет-версией печатного издания, очевидно, что при условии подтверждения идентичности источника информации критическая оценка будет относиться к изданию. Однако в случае критического анализа информации из социальных сетей Интернет выступает в качестве источника информации, поскольку он в достаточной мере может обеспечить анонимность происхождения контента.

Основа правильной оценки критического анализа по изложенным выше критериям – необходимость установить точность и проверяемость информации. Точность или проверка деталей являются важной частью процесса оценки, особенно когда исследователь сталкивается с каналом получения информации впервые. Точность оценки основывается на источнике информации, дате и результатах поиска. И снова подробнее:

  • Источник информации. Источник опирается на другие источники, которые указаны или содержат ссылки на самого себя. Указаны лица и/или источники, которые предоставили исходные опубликованные или неопубликованные данные. Исходная информация, которая была использована, также может быть проверена на точность.
  • Дата. Дата возникновения информации имеет непосредственное отношение к ее актуальности. Для информационных изданий дата – один из важнейших критериев.Кроме непосредственной даты появления информации важна регулярность ее обновления и датирование источников исходной информации, если таковые есть.
  • Результаты поиска. Если информация была найдена в глобальной сети в результате выполнения поисковых запросов, следует помнить, что алгоритм работы поисковой машины отличается от работы с библиотечным каталогом. Кроме того, поисковые системы часто выдвигают в топ выдачи оплаченные источники информации, поэтому работа с поисковой системой должна проводиться аналитиком особенно тщательно.

Критический анализ информации – это ее экспертная оценка аналитиком. В отличие от количественных методов, качественный анализ требует последовательного и точного выполнения оценивания по указанным критериям. Если аналитическая работа проводится систематически, используя шкалы оценок надежности, достоверности и полноты, то можно соотнести их с результатами анализа информации в разные моменты времени. Так выстраивается матрица вероятностей критериев исследуемого информационного поля. Когда матрица готова, аналитик должен стать скептиком и беспристрастно оценить полученные данные. После этого критический анализ считается завершенным, а изученная информация – достоверной.

Вспомните о своем последнем ошибочном решении. Подумайте, с чем оно связано: с позитивизмом или негативизмом? Запомните этот момент и в следующий раз воспользуйтесь критическим анализом информации. А чтобы поднатореть в этом деле, пройдите наш курс «Критическое мышление».

Желаем удачи и умения всегда размышлять правильно!

источник

В задачах машинного обучения качество моделей очень сильно зависит от данных.
Но сами данные в реальных задачах редко бывают идеальными. Как правило, самих данных не много, количество доступных для анализа параметров ограничено, в данных шумы и пропуски. Но решать задачу как-то нужно.

Я хочу поделиться практическим опытом успешного решения задач машинного обучения. И дать простой набор шагов, позволяющих выжать из данных максимум.

Решение задач анализа данных состоит из двух больших этапов:

  1. Подготовка данных.
  2. Построение на подготовленных данных моделей.

На практике, качество итоговых моделей намного сильнее зависит от качества подготовленных данных, чем от выбора самой модели и её оптимизации.

Например, XGBoost может дать улучшение качества модели порядка 5% по сравнению со случайным лесом, нейронная сеть до 3% по сравнению с XGBoost. Оптимизации, регуляризация и подбор гиперпараметров может ещё добавить 1-5%.

Но просто добавив информационные признаки, извлечённые из тех же данных, которые уже есть, можно сразу получить до 15% прироста качества модели.

Извлечение фич – это расширение пространства информационных признаков новыми данными, которые могут быть полезны для повышения качества модели, но которые модель не может извлечь сама.

Современные алгоритмы машинного обучения, такие как нейронные сети, умеют самостоятельно находить нелинейные закономерности в данных. Но для того чтобы это произошло, данных должно быть много. Иногда очень много. Так бывает не всегда. И тогда мы можем помочь нашей модели.

В своей работе я придерживаюсь следующих основных принципов:

1. найти все возможные характеристики описываемых моделью объектов;
2. не делать предположения о важности извлекаемых из данных параметров;
3. извлекаемые параметры должны быть осмыслены.

Расскажу о каждом пункте подробнее

Данные, на которых мы обучаем модель – это объекты реального мира. Изначально мы не располагаем векторами и тензорами. Всё что у нас есть – это какое-то сложное описание каждого объекта в выборке. Это могут быть, например, номер телефона, цвет упаковки, рост и даже запах.

Для нас важно всё. И из каждого из этих сложных признаков можно извлечь цифровую информацию.

Мы извлекаем всю цифровую информацию, которая может как-то охарактеризовать каждый аспект нашего объекта.

Когда-то такой подход считался плохой практикой. Линейные модели не могли работать с коррелирующими параметрами, так как это приводило к плохой обусловленности матриц, неограниченному росту весов. Сегодня проблема мультиколлинеарности практически исчерпана за счёт использования продвинутых алгоритмов и методов регуляризации. Если у вас есть рост и вес человека – берите оба эти параметра. Да, они коррелируют, но мультиколлинеарность – в прошлом. Просто используйте современные алгоритмы и регуляризацию.

Итак, рассмотрите каждый аспект вашего объекта и найдите все числовые характеристики. В конце ещё раз посмотрите и подумайте. Не упустили ли вы чего-то.

Предположим, вы располагаете номерами телефонов. Казалось бы, бесполезная информация. Но по номеру телефона можно много чего сказать. Можно узнать регион владельца номера, к какому оператору номер относится, частота оператора в регионе, относительный объём оператора и много чего ещё. Зная регион, можно добавить много параметров, характеризующих его в зависимости от решаемой вами задачи.

Если у вас есть информация об упаковке, то вы знаете её геометрические размеры. К геометрическим характеристикам относятся не только высота, ширина и глубина, но и их отношения – они тоже описывают габариты. Материал упаковки, разнообразие цветов, их яркость и много-много чего ещё.

Исследуйте диапазоны изменяемых значений каждого извлечённого признака. В некоторых случаях, например, логарифм параметра будет работать гараздо лучше самого параметра. Поскольку логарифм – характеристика порядка. Если у вас большие разбросы в диапазоне значений, обязательно логарифмируйте параметры.

Если у вас есть периодичность в параметрах, используйте тригонометрические функции. Они могут дать очень богатый набор дополнительных признаков. Например, когда одной из характеристик вашего объекта являются замкнутые кривые, использование тригонометрических функций обязательно.

Используйте внешние источники. Единственным ограничением в использовании внешних источников должна быть стоимость их извлечения относительно бюджета решаемой задачи.

Не делайте предположения о важности извлекаемых из данных параметров.
Какой бы экспертизой в предметной области мы не обладали, мы не знаем всех статистических закономерностей. Я не перестаю удивляться как иногда, казалось бы, не важные на первый взгляд вещи улучшают качество модели и выходят в топ features importance. В конечном итоге у вас будет много признаков, которые вообще не работают. Но вы не знаете заранее, какие хитрые сочетания не важных, на первый взгляд, параметров сработают хорошо.

Признаки, которые вы извлечёте, как правило, не будут работать по одиночке. И вы не найдёте корреляции с целевой переменной каждого параметра по отдельности. Но вместе они работать будут.

Ну и наконец, не засоряйте пространство информационных признаков бессмысленными фичами. Это кажется противоречащим написанному выше, но есть нюанс – здравый смысл.
Если информация хоть как-то описывает объект – она полезна. Если вы просто взяли и попарно перемножили все фичи, то, скорее всего, никакого смысла вы не добавили, но возвели в квадрат размерность признакового пространства.

Иногда можно встретить совет попарно перемножать фичи. И это действительно может сработать, если у вас линейная модель. Таким образом вы добавите нелинейность и улучшите разделимость признакового пространства. Но современные алгоритмы, в особенности нейронные сети не нуждаются в таком искусственном и неосмысленном добавлении нелинейности.
Впрочем, если вы обладаете достаточным запасом вычислительной мощности, можете так сделать и проверить сами.

Если у вас есть большой набор не размеченных данных и небольшой размеченных, можно добавить фич используя обучение без учителя. Автокодировщики работают хорошо.

Когда данные собраны, нужно навести в них порядок.

Может так получиться, что некоторые компоненты вашего признакового пространства будут постоянны или обладать очень малой вариативностью, не имеющей статистической значимости. Выкидывайте их без сожаления.

Проверьте взаимные корреляции. Мы ставим порог по абсолютному значению взаимных корреляций 0.999. В ваших задачах он может быть другой. Но некоторые признаки могут просто линейно выражаться друг через друга. В этом случае нужно оставить только один. В случае прямой линейной зависимости смысла оставлять оба параметра из коррелирующей пары нет. Отмечу, что просто к функциональной зависимости это не относится.

И наконец, посчитайте features importance. Делать это нужно по двум причинам.

Во-первых, откровенно слабые информационные признаки могут непродуктивно нагружать ваши вычислительные ресурсы, не привнося полезной информации.

Во-вторых, вам нужно найти самые важные признаки и проанализировать их.

Удалять информационные признаки не обязательно. Сейчас есть достаточно хорошие методы обучения высокомерных моделей. Ценой будет время вычисления.
А вот самые важные признаки нужно пристально рассмотреть. На самом деле, протащить целевую переменную в пространство признаков намного проще, чем кажется на первый взгляд. Особенно, если происхождение данных не контролируется вами полностью.
Если вы видите такую картинку на вашей диаграмме важности признаков,

то это может быть не поводом для радости, а поводом для полного исключения фичи из пространства признаков.

Извлекайте все данные которые можно извлечь, но руководствуйтесь здравым смыслом.
Не пытайтесь включать эксперта, преждевременно удаляя признаки.

Используйте функциональные выражения от ваших информационных признаков, если они оправданы.

Удаляйте статистически не значимые переменные и переменные сильно коррелирующие с другими.

Сделайте диаграмму важности признаков. Возможно удалите самые не важные.
Изучите самые важные.

Если самые важные сильно выделяются на фоне остальных, изучите их особо пристально. Постройте графики распределений. Попытайтесь понять, почему они влияют так сильно. Подумайте над их удалением.

Если у вас есть возможность проверить вашу модель не только на тестовых, но и на реальных данных. Проверьте её сначала исключив подозрительно важные параметры, а затем включив их. И сравните результаты.

Приведённые здесь рекомендации зависят от того, какой алгоритм используется для построения модели. Я обычно использую нейронные сети. Эти рекомендации точно не подойдут вам, если вы используете логистические и линейные регрессии.

В статье не затронута обширная тема сбора данных. Старайтесь понять, как собирались данные для анализа. В особенности, уделите внимание формированию целевой переменной.

Объём статьи не позволяет затронуть все аспекты, но я постарался изложить основные моменты.
Большинство публикаций по машинному обучению ориентированы на описание алгоритмов. Но сбор и подготовка данных – это 95% работы по построению модели. Надеюсь, моя заметка поможет вам пореже наступать на грабли.

А какие методы улучшения качества моделей используете вы?
Автор — Валерий Дмитриев rotor
Спасибо MikeKosulin за правки 🙂

источник