Шерлок Холмс в массиве данных: все о профессии аналитика big data

Понятие «большие данные» появилось в 2008 году. Однако огромные массивы информации существовали и раньше. Их обработка требовала наличия мощных вычислительных систем, продолжительного времени и больших затрат. Всё изменилось, когда появились технологии обработки таких массивов и профессия аналитик big data, которая стала широко востребована во всем мире.

Аналитик big data, или Кто такой дата-сайентист

В современном мире информация является одним из важнейших экономических ресурсов. На основе анализа данных принимаются бизнес-решения.

Аналитик big data
Аналитики-профессионалы имеют дело с большим объемом сложно организованной и неоднородной по структуре информации: результаты опросов, исследований, показатели обслуживания клиентов и др.

Источники информации могут быть самые разнообразные: метеорологические показатели, потоки сообщений из соцсетей, непрерывные данные с измерительных приборов, устройств видеорегистрации и средств наблюдения за поверхностью Земли.

Главные задачи специалиста в этой области — выделение нужной информации, нахождение закономерностей и построение моделей.

Что такое big data:

Ключевые навыки дата-сайентиста

Стать аналитиком больших данных может не каждый. Помимо образования надо обладать следующими навыками и личными качествами:

  • аналитический склад ума;
  • исследовательский интерес;
  • критическое мышление;
  • внимательность;
  • ответственность;
  • усидчивость;
  • быстрая обучаемость.

Для профессионального data scientist важно проанализировать всю информацию, а результаты донести простым языком, ведь на их основе  руководители компаний принимают решения. Понадобится и уверенное владение английским: на нем представлена большая часть технической документации и периодических изданий в области big data.

Обязанности специалиста по большим данным

Обязанности специалиста по исследованию данных сводятся к их сбору, систематизации, анализу и подготовке отчета о результатах. Аналитику big data приходится работать с разрозненной и неструктурированной информацией. Ее нужно собрать из разных источников, систематизировать, найти взаимосвязи и логические цепочки.

К 2020 году по сведениям портала habr.com общий объем информации в мире составит порядка 40 зеттабайт, или 40 млрд Гб. А к 2025 году количество данных возрастет примерно в 10 раз.

Выводы по итогам исследования заказчику получает в виде отчетов или презентации с рекомендациями по дальнейшим действиям.

Методы аналитики больших данных

Для анализа массивов данных используются разные методики:

  1. Инструменты математической статистики (факторный, регрессионный и корреляционный анализ, анализ временных рядов).
  2. Прикладные программы и платформы: Matrix Laboratory, SAS Data Miner, Tableau и др.
  3. Построение математических и имитационных моделей (кластеризация, нейронные сети).
  4. Пространственный анализ, использующий геометрические или топологические данные в массиве.
  5. Визуализация данных.

В зависимости от типа данных определяется набор инструментов для работы с ними.

Обучение профессии аналитик big data

Для освоения профессии следует начать с профильного базового образования. Получить его можно как за рубежом, так и в России. Для углубленного изучения области big data на рынке представлены очные программы, онлайн курсы и занятия на базе вузов.

Как попасть в профессию:

Какое образование нужно аналитику big data

Человеку с гуманитарным складом ума трудно освоить весь объем необходимых знаний. В идеале кандидату на должность data scientist нужно окончить математическую школу, изучать высшую математику в вузе, а также знать основы теории вероятности, математического анализа и статистики.

Какие программы нужны аналитикам big data

Специалисту нужно понимать, какое программное обеспечение лучше использовать для конкретной задачи. Прогресс не стоит на месте, и новые средства обработки и анализа данных появляются регулярно.

Для анализа часто используют язык программирования R, который обеспечивает статистическую обработку информации и работу с графикой. Также полезно владеть SQL, знать основы Python, Java, Bash и Scala.

Модель MapReduce от Google позволяет проводить распределенные параллельные вычисления на узлах кластера, а затем собирать их в конечный результат.

Это интересно! Корпорации разработали программные комплексы «под ключ» для анализа больших данных. Их поставляют как готовое к установке оборудование, включающее программное обеспечение и кластер серверов.

Одной из основных технологий обработки массива данных считается Hadoop — фреймворк для распределенных программ, работающих на кластерах из огромного количества узлов.

Обучение в вузе

В России получить высшее образование, связанное с анализом больших данных, можно несколькими способами:

  1. Программа «Прикладной анализ данных» в Высшей школе экономики. Выпускники получают сразу два диплома бакалавра: НИУ ВШЭ и Лондонского университета. Обучение ведется на английском языке и длится 4 года.
  2. Специализированные программы магистратуры в МГУ, СПбГУ, МФТИ длительностью 2 года. Стоимость обучения в СПбГУ составляет 514,6 тыс. рублей.
  3. В качестве бэкграунда для data scientist подойдет диплом в сфере математической статистики или информационных технологий. Дальнейшее обучение по специальности можно продолжить на курсах.

Европейские учебные заведения предлагают большой выбор программ по анализу больших данных. Среди них Барселонская технологическая школа. Очный курс обучения продолжительностью в 9 месяцев обойдется слушателям в 17 тыс. евро (1,2 млн рублей).

В Мюнхенском техническом университете можно учиться бесплатно, но отбор студентов проходит жестко: надо предоставить вузовский диплом, мотивационное письмо на английском языке и сертификат TOEFL (не ниже 90 баллов).

Офлайн-курсы для аналитиков big data

На базе вузов существуют программы очного обучения. Курс для слушателей, имеющих базовые знания, длится 24 академических часа и стоит 16 тыс. рублей.

Курсы big data
Для руководителей самый дорогой ресурс — это время, поэтому они предпочитают обучаться на интенсивах

Для руководителей, желающих изучить методы и инструменты анализа big data, стоимость трехдневного интенсива начинается от 54 тыс. рублей.

Онлайн-курсы для аналитиков big data

Занятия рассчитаны для учащихся с разным уровнем подготовки. Для начинающих существуют курсы big data с нуля, где за 1,5 месяца и 17 тыс. рублей можно постичь азы профессии.

Углубленный курс может длиться до 1 года и стоить до 150 тыс. рублей. Обучение проводится в формате изучения материала в удобное время, выполнения практических заданий под руководством ментора и сдачи экзамена или дипломной работы.

Некоторые учебные заведения имеют центры развития карьеры и помогают своим выпускникам найти место стажировки или работу.

Бесплатное обучение на аналитика big data

Бесплатные лекции и вебинары в основном дают базовые теоретические знания. Некоторые из них предлагают и практические задания, но не оказывают помощи и консультаций при их выполнении. Существуют и программы с бесплатными учебными материалами, дающие возможность оплатить подписку и получать консультации наставника.

Как правило, организаторы платного обучения предоставляют возможность бесплатно посмотреть вводную лекцию. Это не дает достаточных знаний для работы, но стимулирует слушателей на покупку полного курса.

Вакансии аналитика big data в Москве, крупных городах, регионах

Карьера в области больших данных может предусматривать прохождение следующих ступеней:

  • стажер аналитического отдела;
  • младший специалист;
  • аналитик big data;
  • старший специалист;
  • руководитель отдела.

По информации портала HeadHunter, в России в области анализа больших данных открыто более 2,5 тыс. вакансий. Из них 1,5 тыс. позиций предлагается в Москве, порядка 300 вакансий — в Санкт-Петербурге. Некоторые должности предусматривают удаленную работу, но большинство специалистов требуется для работы в офисе.

Зарплата аналитика big data

Заработок big data scientist, по данным портала Habr.com, находится в пределах от 73 до 200 тыс. рублей и зависит от множества факторов.

Сколько получает junior аналитик big data

Начинающие специалисты без опыта работы начинают путь с должности стажера или младшего специалиста. Обязательно знание английского языка, статистических методов и основ программирования. Опыт работы приветствуется, но не является обязательным. Предпочтение отдается кандидатам, которые нестандартно мыслят, быстро обучаются и желают развиваться в области big data. Зарабатывать на этой должности можно от 43 тыс. рублей.

Сколько зарабатывает middle аналитик big data

Зарплата аналитика с опытом 1–3 года находится в пределах 140–170 тыс. рублей. При этом компании предоставляют своим сотрудникам возможности для обучения и роста. Высшая планка заработка на такой позиции в Москве — 280 тыс. рублей в месяц до вычета налогов.

Сколько зарабатывает senior аналитик big data

У такого специалиста должен быть опыт работы более 3 лет и наличие реализованных и внедренных решений. Потребуется знание алгоритмов и библиотек машинного обучения, навыки программирования, владение Python, SQL в совершенстве. Аналитик с такими знаниями и опытом может рассчитывать на зарплату до 250 тыс. рублей после вычета налогов.

У кого из дата-сайентистов самые высокие заработки

В 2019 году в США профессия big data scientist стала лидером рейтинга лучших профессий с оплатой 108 тыс. долларов (7 млн рублей) в год. По этому направлению открыто 6,5 тыс. вакансий.

Константин Круглов (слева).
Константин Круглов (слева) — самый известный российский аналитик больших данных

В РФ звезда профессии — основатель и руководитель Data-Centric Alliance Константин Круглов. DCA — одна из крупнейших на российском рынке компаний, занимающихся разработками в области анализа big data.

Лучшие в своем деле (аналитик big data):

Обучение профессии аналитика больших данных — долгий и кропотливый путь. Data scientist постоянно совершенствуется, изучает новые технологии и методы работы. К таким специалистам предъявляются высокие требования, но и зарплаты в этой перспективной области в разы выше среднего уровня.

Похожие статьи
Оставить отзыв
Наверх