Сколько зарабатывает аналитик данных: обзор зарплат и вакансий в 2020

Профессиональные направления в мире Big Data

Под термином «большие данные» скрывается множество понятий: от непосредственно самих информационных массивов до технологий по их сбору, обработке, анализу и хранению. Поэтому, прежде чем пытаться объять необъятное в стремлении изучить все, что относится к Big Data, выделим в этой области знаний следующие направления:

• инженерия – создание, настройка и поддержка программно-аппаратной инфраструктуры для систем сбора, обработки, аналитики и хранения информационных потоков и массивов, включая конфигурирование локальных и облачных кластеров. За эти процессы отвечают администратор и инженер Big Data. Чем отличается работа администратора больших данных от деятельности сисадмина, мы писали в этом материале. Какие именно навыки, знания и умения нужны специалистам по инженерии больших данных, а также сколько они за это получают, мы описываем в отдельных материалах.

На стыке вышеуказанных 2-х направлений находятся программист Big Data и DevOps-инженер, а также специалист по сопровождению жизненного цикла корпоративных данных (DataOps) и директор по данным (CDO, Chief Data Officer), который курирует на предприятии все вопросы, связанные с информацией. О роли каждого профессионала в Agile-команде мы немного рассказывали здесь.

Профессиональные направления и специальности Big Data

Где учат на аналитиков

Профессию аналитика получают на направлениях, связанных с информатикой, математикой, программированием. Эти направления есть практически во всех ведущих вузах страны.

Список вузов от редакции: МГУ им. М.В. Ломоносова — факультет вычислительной математики и кибернетики, направление «Прикладная математика и информатика».

СПБГУ — направления «Математика и компьютерные науки», «Математика, алгоритмы и анализ данных», «Прикладная математика и информатика», «Прикладная математика, фундаментальная информатика и программирование», «Программирование и информационные технологии», «Системный анализ и прикладные компьютерные технологии».

НИУ ВШЭ — направления «Экономика и статистика», «Бизнес-информатика», «Прикладная математика и информатика».

Национальный исследовательский университет МЭИ — Институт автоматики и вычислительной техники, направление «Прикладная математика и информатика».

Национальный исследовательский технологический университет МИСиС — факультет «Информатика и вычислительная техника».

Московский политехнический университет — факультет информационных технологий, направление «Прикладная информатика (большие и открытые данные)», «Прикладная математика и информатика», «Бизнес-информатика (IT-менеджмент)».

Московский технический университет связи и информатики (МТУСИ) — факультет экономики и управления (ФЭУ), направление «Прикладная информатика».

Финансовая академия при правительстве России — направления «Прикладная математика и информатика», «Бизнес-информатика», «Прикладная информатика».

Минимальные навыки и обучение с нуля

Если карьерный путь начинается из другой сферы, в первую очередь необходимо прокачать знания в дискретной математике и статистике.

Когда аналитик работает с большими данными, он использует различные технологии, в зависимости от конкретной задачи, которую сейчас выполняет. Некоторые из многих инструментов включают (но не ограничиваются ими):

1. MapReduce.
2. Sqoop.
3. Impala.
4. Pig.
5. HBase.
6. Apache Spark.
7. HDFS.
8. YARN.
9. Flume.

Для анализа и интерпретации данных аналитики тратят много времени на работу с множеством аналитических и бизнес-инструментов, таких как Microsoft Excel, MS Office, SAS, Tableau, QlikView, Hadoop, MongoDB, Cassandra, Hive, Pig, SQL.

Следует изучить один язык программирования (Python/Ruby/Perl). Как только он будет освоен, процесс обучения другим языкам будет проще.

Актуальная информация в первую очередь появляется в англоязычных комьюнити. Знание английского языка необходимо не только для изучения материалов по теме, но и для общения с зарубежными коллегами.

Эволюция профессии: от 1960-х годов до наших дней

Кого-то это может удивить, но анализ данных — совсем не новое направление. Первые специалисты в этой области появились еще в середине 1960-х годов, когда начали зарождаться методы извлечения полезной информации из данных. Современные специалисты отличаются от этих первопроходцев большим набором доступных инструментов для работы — компьютеров, фреймворков (начиная с Excel и заканчивая профессиональным ПО вроде Sklearn, RapidMiner, TensorFlow и прочими), и неограниченным доступом в интернет. А еще — более сложными и интересными задачами, которые появились благодаря развитию технологий.

Если раньше данные анализировали в основном для того, чтобы мониторить процессы, то теперь есть возможность строить предиктивные модели, предсказывать последствия тех или иных шагов или изменений рыночной ситуации и своевременно реагировать на нее.

Футурология

Предикативная аналитика: как предсказать эпидемию и успех в бизнесе

Retail and Wholesale trade

Industry-specific Big Data Challenges

From traditional brick and mortar retailers and wholesalers to current day e-commerce traders, the industry has gathered a lot of data over time. This data, derived from customer loyalty cards, POS scanners, RFID, etc. are not being used enough to improve customer experiences on the whole. Any changes and improvements made have been quite slow.

Applications of Big Data in the Retail and Wholesale Industry

Big data from customer loyalty data, POS, store inventory, local demographics data continues to be gathered by retail and wholesale stores.

In New York’s Big Show retail trade conference in 2014, companies like Microsoft, Cisco, and IBM pitched the need for the retail industry to utilize Big Data for analytics and other uses, including:

• Optimized staffing through data from shopping patterns, local events, and so on
• Reduced fraud
• Timely analysis of inventory

Social media use also has a lot of potential use and continues to be slowly but surely adopted, especially by brick and mortar stores. Social media is used for customer prospecting, customer retention, promotion of products, and more.

Big Data Providers in this industry include First Retail, First Insight, Fujitsu, Infor, Epicor, and Vistex.

Почему стоит заняться аналитикой данных

Это востребовано на рынке 

Специалисты по аналитике очень востребованы на рынке. Как показывают исследования, 94% специалистов, прошедших обучение по аналитике данных, получили работу в этой области. Количество вакансий в этой сфере постоянно растет. 

Согласно прогнозу Superjob, аналитик данных — одна из самых востребованных профессий в российском сегменте IT-сферы в 2020 году. Соотношение числа вакансий и резюме составляет в данном сегменте 1 к 4,5. 

Совместно исследование Яндекса и HeadHunter также подтверждает высокий спрос на аналитиков. Эта профессия входит в ТОП-15 самых востребованных в сфере IT.

Но не только в России, во всем мире вот уже несколько лет растет спрос на аналитиков. 

По данным опроса, проведенного IBM, в 2020 году число вакансий для специалистов по аналитике данных в США составит 2,72 млн. Спрос на аналитиков за год вырастет на 28%.

Но это еще не все. Эксперты IBM утверждают, что спрос на таких специалистов настолько высок, а профессионалов в этой сфере так мало, что такие вакансии остаются открытыми в среднем в течение 45 дней, а это на пять дней больше по сравнению с другими вакансиями на рынке. 

Это неплохо оплачивается 

По данным Яндекса и HeadHunter, средняя зарплата начинающего data science (анализ данных или машинное обучение) с опытом меньше года, составляет 50 тысяч рублей. Специалисты с опытом более 6 лет могут рассчитывать на зарплату 208 тысяч рублей в месяц, что сравнимо с зарплатой разработчиков, а иногда и превышает ее.

Средняя заработная плата начинающего аналитика данных в США, по данным IBM, составляет более $80 тысяч в год. Опытные специалисты могут рассчитываться на среднюю годовую зарплату $100-116 тысяч.

Это приносит пользу

Бизнес сегодня получает множество разных данных от клиентов: количество посещений сайта, транзакции, взаимодействие с рекламой. При этом 65% компаний не могут проанализировать имеющиеся данные, показал опрос Gemalto. 89% организаций считают, что если бы они умели правильно анализировать информацию, то получили бы конкурентное преимущество. 

Специалисты по анализу данных могут внести вклад в развитие бизнеса и увидеть результаты в виде повышения эффективности. 

Это перспективно 

Сайт LinkedIn составил список профессий, которые позволяют быстро построить карьеру. Исследователи посчитали, что специалисты по аналитике данных имеют высокие шансы получить повышение по службе. Карьерные перспективы в данной отрасли LinkedIn оценил на 9 из 10. 

Это интересно 

Аналитика данных — универсальная область, а специалисты по аналитике востребованы в самых разных отраслях. Аналитики данных могут работать не только в IT-компаниях, но и реализовать себя в самых разных сферах. 

Здравоохранение использует данные, чтобы предоставлять более качественные услуги и программы. В сельском хозяйстве данные используются для повышения урожайности и даже для контроля за прорастанием семян. В автомобильной отрасли аналитика помогает разрабатывать более удобные транспортные средства, предсказывать неисправности, прогнозировать спрос. А есть еще сфера финансовых услуг, коммерция и различные сектора бизнеса, которые работают с данными. Так что у специалиста есть возможность не только погрузиться в мир цифр и статистики, но и ближе познакомиться с новыми для себя отраслями от ритейла до освоения космоса и внести ценный вклад в развитие компании. 

Manufacturing and Natural Resources

Industry-specific Big Data Challenges

Increasing demand for natural resources, including oil, agricultural products, minerals, gas, metals, and so on, has led to an increase in the volume, complexity, and velocity of data that is a challenge to handle.

Similarly, large volumes of data from the manufacturing industry are untapped. The underutilization of this information prevents the improved quality of products, energy efficiency, reliability, and better profit margins.

Applications of Big Data in Manufacturing and Natural Resources

In the natural resources industry, Big Data allows for predictive modeling to support decision making that has been utilized for ingesting and integrating large amounts of data from geospatial data, graphical data, text, and temporal data. Areas of interest where this has been used include; seismic interpretation and reservoir characterization.

Big data has also been used in solving today’s manufacturing challenges and to gain a competitive advantage, among other benefits.

In the graphic below, a study by Deloitte shows the use of supply chain capabilities from Big Data currently in use and their expected use in the future.

Source: Supply Chain Talent of the Future

Big Data Providers in this industry include CSC, Aspen Technology, Invensys, and Pentaho.

Аналитик big data, или Кто такой дата-сайентист

В современном мире информация является одним из важнейших экономических ресурсов. На основе анализа данных принимаются бизнес-решения.

Аналитики-профессионалы имеют дело с большим объемом сложно организованной и неоднородной по структуре информации: результаты опросов, исследований, показатели обслуживания клиентов и др.

Источники информации могут быть самые разнообразные: метеорологические показатели, потоки сообщений из соцсетей, непрерывные данные с измерительных приборов, устройств видеорегистрации и средств наблюдения за поверхностью Земли.

Главные задачи специалиста в этой области — выделение нужной информации, нахождение закономерностей и построение моделей.

Что такое big data:

Ключевые навыки дата-сайентиста

Стать аналитиком больших данных может не каждый. Помимо образования надо обладать следующими навыками и личными качествами:

• аналитический склад ума;
• исследовательский интерес;
• критическое мышление;
• внимательность;
• ответственность;
• усидчивость;
• быстрая обучаемость.

Для профессионального data scientist важно проанализировать всю информацию, а результаты донести простым языком, ведь на их основе  руководители компаний принимают решения. Понадобится и уверенное владение английским: на нем представлена большая часть технической документации и периодических изданий в области big data

Обязанности специалиста по большим данным

Обязанности специалиста по исследованию данных сводятся к их сбору, систематизации, анализу и подготовке отчета о результатах. Аналитику big data приходится работать с разрозненной и неструктурированной информацией. Ее нужно собрать из разных источников, систематизировать, найти взаимосвязи и логические цепочки.

Выводы по итогам исследования заказчику получает в виде отчетов или презентации с рекомендациями по дальнейшим действиям.

Рынок Big data в России

В 2017 году мировой доход на рынке big data должен достигнуть $150,8 млрд, что на 12,4% больше, чем в прошлом году. В мировом масштабе российский рынок услуг и технологий big data ещё очень мал. В 2014 году американская компания IDC оценивала его в $340 млн. В России технологию используют в банковской сфере, энергетике, логистике, государственном секторе, телекоме и промышленности.

Что касается рынка данных, он в России только зарождается. Внутри экосистемы RTB поставщиками данных выступают владельцы программатик-платформ управления данными (DMP) и бирж данных (data exchange). Телеком-операторы в пилотном режиме делятся с банками потребительской информацией о потенциальных заёмщиках.

15 сентября в Москве состоится конференция по большим данным Big Data Conference. В программе — бизнес-кейсы, технические решения и научные достижения лучших специалистов в этой области. Приглашаем всех, кто заинтересован в работе с большими данными и хочет их применять в реальном бизнесе. Следите за Big Data Conference в Telegram, на и .

Обычно большие данные поступают из трёх источников:

• Интернет (соцсети, форумы, блоги, СМИ и другие сайты);
• Корпоративные архивы документов;
• Показания датчиков, приборов и других устройств.

Каким компаниям нужны аналитики данных?

Большие данные — ключевой ресурс для бизнеса: их используют в IT, ритейле, финансах, здравоохранении, игровой индустрии, киберспорте, телекоме, маркетинге. Самые крутые и современные компании называют себя Data-Driven. Они принимают стратегические решения на основе данных.

«На самом деле аналитик данных нужен в любой компании, где есть данные, — уверен Артем Боровой. — Условной сети ларьков с шаурмой он тоже по-хорошему нужен, чтобы анализировать потоки, понимать, где лучше открыть новую точку, выстраивать логистику».

Вот три ситуации, в которых бизнесу может пригодиться специалист по анализу больших данных:

«Плохие» долги. В банке хотят свести к минимуму количество клиентов, которые не возвращают кредиты. Аналитик изучает, какие характеристики клиента указывают на то, будет ли он вовремя вносить платежи. На этом основании клиенту будет одобрен или не одобрен кредит.

Проверка эффективности дизайн-решения. Создатели приложения для знакомств хотят понять, как пользователи реагируют на цвет кнопки. Аналитику данных предстоит протестировать два прототипа: часть пользователей видит вариант с синей кнопкой, другая часть — с красной. В итоге он помогает дизайнеру интерфейса решить, какого цвета кнопка лучше сработает.

Еще благодаря качественному анализу данных можно:

• выявлять настоящие и будущие потребности клиентов;
• прогнозировать спрос на товар или услугу;
• оценивать вероятность ошибки при разных действиях;
• контролировать работу и износ оборудования;
• управлять логистикой;
• следить за эффективностью сотрудников.

Всё это помогает компании узнать о себе больше, увеличить прибыль и сократить издержки.

Роль аналитики в современном мире

В условиях увеличения информационного потока возникает необходимость искать способы обработки данных. Аналитика дает возможность определять ключевые направления развития в бизнесе, предвидеть определенные показатели на производстве, а главное позволяет оптимизировать затраты в этих и других сферах рынка. С этой целью компании идут на внедрение разработок ИТ. На рынке РФ к аналитике больших данных чаще прибегают компании банковского, государственного, промышленного секторов, телекоммуникационной сферы.

Сегодня к аналитике больших данных прибегает большая часть компаний мира. Со временем востребованность в аналитиках Big Data будет только возрастать. Такая тенденция, по прогнозам исследователей, в ближайшее время не изменится.  Frost & Sullivan прогнозируют увеличение в 2021 году оборота мирового аналитического рынка биг дата до 67,2 миллиардов долларов. Показатель ежегодного увеличения приблизится на 35,9 %.

Big Data в персональной рекламе и ретаргетинге

Практически каждый пользователь сети Интернет сталкивался с тем, что реклама определенного товара, которым он недавно интересовался, путешествует за ним по различным веб-сайтам. Такой маркетинговый прием возврата покупателя на сайт называется ретаргетинг и реализуется с помощью технологий потоковой и пакетной аналитики больших данных. Как это работает, мы недавно рассматривали здесь. Такая рекламная стратегия подходит каждому бизнесу и очень просто воплощается в жизнь с помощью cookies-файлов пользовательского браузера и готовых облачных сервисов поисковых площадок, аналогично контекстной рекламе, например, Google AdWords, Яндекс Директ, ВК и пр. .

Почему современным предприятиям нужны фабрики данных

Концепция Data Fabric возникла благодаря активному использованию больших данных в условиях типовых ограничений традиционных процессов управления информацией. В частности, корпоративные Data Lakes на базе Apache Hadoop отлично справляются с хранением множества разрозненных и разноформатных данных. Но эту информацию не просто искать, анализировать и интегрировать с другими датасетами. Это усложняет аналитику больших данных, снижая ценность информации. В свою очередь, интерактивная аналитика и когнитивные вычисления, в т.ч. с помощью методов Machine Learning, требуют высокой скорости доступа к информации, хранящейся в Data Lake. Таким образом, можно сказать, что основными драйверами развития концепции Data Fabric стали потребности в быстрой аналитике Big Data и необходимость распространения BI-подхода на все информационные активы предприятия .

Кроме того, для организации, управляемой данными (data-driven) особенно актуальны вопросы обеспечения информационной безопасности. В этом контексте Data Fabric будет обеспечивать защиту данных, реализуя согласованное управление с помощью унифицированных API и настраиваемого доступа к ресурсам. Также фабрика данных направлена на поддержку гибкости в прозрачных процессах обновления, аудита, интеграции, маршрутизации и трансформации данных для конкретных бизнес-целей .

Компоненты фабрики данных

Как стать Data Engineer и куда расти

Профессия дата-инженера довольно требовательна к бэкграунду. Костяк профессии составляют разработчики на Python и Scala, которые решили уйти в Big Data. В русскоговорящих странах, к примеру, процент использования этих языков в работе с большими данными примерно 50/50. Если знаете Java — тоже хорошо. 

Хорошее знание SQL тоже важно. Поэтому в Data Engineer часто попадают специалисты, которые уже ранее работали с данными: Data Analyst, Business Analyst, Data Scientist

Дата-сайентисту с опытом от 1–2 лет будет проще всего войти в специальность.

Фреймворками можно овладевать в процессе работы, но хотя бы несколько важно знать на хорошем уровне уже в самом начале. 

Дальнейшее развитие для специалистов Big Data Engineers тоже довольно разнообразное. Можно уйти в смежные Data Science или Data Analytics, в архитектуру данных, Devops-специальности. Можно также уйти в чистую разработку на Python или Scala, но так делает довольно малый процент спецов.

Перспективы у профессии просто колоссальные. Согласно данным Dice Tech Job Report 2020, Data Engineering показывает невероятные темпы роста — в 2019 году рынок профессии увеличился на 50 %. Для сравнения: стандартным ростом считается 3–5 %.

В 2020 году темпы замедлились, но всё равно они многократно опережают другие отрасли. Спрос на специальность вырос ещё на 24,8 %. И подобные темпы сохранятся еще на протяжении минимум пяти лет. 

Так что сейчас как раз просто шикарный момент, чтобы войти в профессию Data Engineering с нашим курсом Data Engineering и стать востребованным специалистом в любом серьёзном Data Science проекте. Пока рынок растёт настолько быстро, то возможность найти хорошую работу, есть даже у новичков.

Узнайте, как прокачаться и в других областях работы с данными или освоить их с нуля:

Проблемы Big Data

Самой большой проблемой больших данных являются затраты на их обработку. Сюда можно включить как дорогостоящее оборудование, так и расходы на заработную плату квалифицированным специалистам, способным обслуживать огромные массивы информации. Очевидно, что оборудование придется регулярно обновлять, чтобы оно не теряло минимальной работоспособности при увеличении объема данных.

Вторая проблема опять же связана с большим количеством информации, которую необходимо обрабатывать. Если, например, исследование дает не 2-3, а многочисленное количество результатов, очень сложно остаться объективным и выделить из общего потока данных только те, которые окажут реальное влияние на состояние какого-либо явления.

Проблема конфиденциальности Big Data. В связи с тем, что большинство сервисов по обслуживанию клиентов переходят на онлайн-использование данных, очень легко стать очередной мишенью для киберпреступников. Даже простое хранение личной информации без совершения каких-либо интернет-транзакций может быть чревато нежелательными для клиентов облачных хранилищ последствиями.

Проблема потери информации

Меры предосторожности требуют не ограничиваться простым однократным резервированием данных, а делать хотя бы 2-3 резервных копии хранилища. Однако с увеличением объема растут сложности с резервированием – и IT-специалисты пытаются найти оптимальное решение данной проблемы

Точно ли данные обезличены

Какими бы глубокими и разносторонними ни были знания о потребителях, информация остается обезличенной. Например, в геоаналитике данные обычно собираются в формате сетки — карты города, поделенной на сегменты. К отдельным сегментам привязано определенное число абонентов с типовыми характеристиками.

Но идентифицировать отдельных лиц в таких обобщенных группах пользователей невозможно. Тем более, компании это и не нужно. Оператора не интересует конкретный 37-летний абонент Петр Иванов, который скачивает на смартфоне по 5 Гб в месяц и каждые выходные отправляется на свою подмосковную дачу.

Аналитикам нужно на основе моделей машинного обучения и цифровых двойников. Вывести закономерность и сделать обобщенные выводы. Например, о том, сколько всего абонентов ездит по выходным в Подмосковье или сколько пользователей в возрасте 35–40 лет скачивает по 5 Гб в месяц.

Большие данные и большая политика: как технологии влияют на выборы

Наша главная задача здесь — построить профиль потребления. Понять, какие существуют тенденции и как мы можем их прогнозировать. Нет смысла заниматься слежкой или анализом отдельных индивидуумов: операторы не продают «сырые» данные о пользователях, а поставляют на рынок именно аналитику на основе обезличенных данных. Она помогает бизнесу оценивать динамику продаж и влиять на нее, изучать сценарии потребления, сегментировать аудиторию. Словом, лучше узнавать своего потребителя и формулировать для него оптимальное предложение.

Обычно это происходит следующим образом: у заказчика возникает определенный запрос на аналитику, и он идет к нам. Мы определяем, какие данные можем использовать, и готовим исследование. А если это типовая проблема отрасли клиента, то у нас может найтись универсальное решение. Заказы мы можем выполнять как для бизнеса, так и представителей муниципалитета.