Openbravo-rus.ru

Образование по русски
4 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Глубинное машинное обучение

Глубокое обучение (Deep Learning): краткий туториал

Первым шагом к пониманию того, как работает глубокое обучение, является понимание различий между несколькими важными терминами.

Нейронная сеть (искусственная нейронная сеть) — это попытка воспроизведения работы человеческого мозга на компьютере при помощи слоев нейронов.

Искусственный интеллект — способность машины или программы находить решения при помощи вычислений.

Во время первых исследований в области ИИ ученые пытались воспроизвести человеческий интеллект для решения конкретных задач — например, игры с человеком. Было введено большое количество правил, которым должен следовать компьютер. На основе этих правил компьютер принимал решения в согласии с конкретным списком возможных действий.

Машинное обучение — это попытка научить компьютеры самостоятельно обучаться на большом количестве данных вместо жестко постулированных правил.

Машинное обучение позволяет компьютерам самостоятельно обучаться. Это возможно благодаря вычислительной мощности современных компьютеров, которые могут легко обрабатывать большие наборы данных.

Контролируемое и неконтролируемое обучение

Контролируемое обучение (обучение с учителем, supervised learning) подразумевает использование помеченных наборов данных, содержащих входные данные и ожидаемые выходные результаты. Когда вы обучаете нейронную сеть с помощью контролируемого обучения, вы подаете как входные данные, так и ожидаемые выходные результаты.

Если результат, генерируемый нейронной сетью, неверен, она скорректирует свои вычисления. Это итерационный процесс, оканчивающийся тогда, когда сеть перестает совершать ошибки.

Примером задачи с контролируемым обучением является предсказание погоды. Нейросеть учится делать прогноз погоды с использованием исторических данных. Обучающие данные включают в себя входные данные (давление, влажность, скорость ветра) и выходные результаты (температура).

Неконтролируемое обучение (обучение без учителя, unsupervised learning) — это машинное обучение с использованием наборов данных без определенной структуры.

Когда вы обучаете нейросеть неконтролируемо, она самостоятельно проводит логическую классификацию данных. Примером задачи с неконтролируемым обучением является предсказание поведения посетителей интернет-магазинов. В этом случае сеть не обучается на размеченных даннх. Вместо этого она самостоятельно классифицирует входные данные и отвечает на вопрос, какие пользователи чаще всего покупают различные товары.

Глубокое обучение

Теперь вы подготовлены к изучению того, что такое глубокое обучение и как оно работает.

Глубокое обучение — это метод машинного обучения. Глубокое обучение позволяет обучать модель предсказывать результат по набору входных данных. Для обучения сети можно использовать как контролируемое, так и неконтролируемое обучение.

Разница между машинным и глубоким обучением

Рассмотрим, как работает глубокое обучение, на примере сервиса по оценке стоимости авиабилета. Мы будем обучать его контролируемым образом.

Мы хотим, чтобы наш сервис предсказывал цену на авиабилет по следующим входным данным:

  • аэропорт вылета;
  • аэропорт назначения;
  • дата отбытия;
  • авиакомпания.

Нейронные сети глубокого обучения

Давайте заглянем внутрь нашей модели. Как и у животных, искусственная нейронная сеть содержит взаимосвязанные нейроны. На диаграмме они представлены кругами:

Глубокая нейронная сеть (с двумя скрытыми слоями)

Нейроны сгруппированы в три различных типа слоев:

  • входной слой;
  • скрытый слой (слои);
  • выходной слой.

Входной слой принимает входные данные. В нашем случае имеется четыре нейрона на входном слое: аэропорт вылета, аэропорт назначения, дата вылета и авиакомпания. Входной уровень передает эти данные в первый скрытый слой.

Скрытые слои выполняют математические вычисления со входными данными. Одна из задач при создании нейронных сетей — определение количества скрытых слоев и нейронов на каждом слое.

Слово «глубина» в термине «глубокое обучение» означает наличие более чем одного скрытого слоя.

Выходной слой выдает результат. В нашем случае это прогноз цены на билет.


Итак, как же вычисляется цена? Здесь вступает в силу магия глубокого обучения. Нейроны связаны между собой с определенным весом. Вес определяет важность элемента входных данных. Исходные веса задаются случайным образом.

При прогнозировании цены на билет дата вылета является одним из наиболее важных факторов. Следовательно, связи нейрона времени вылета будут иметь большой вес.

Каждый нейрон имеет функцию активации. Ее смысл трудно понять без привлечения математических рассуждений. Одной из ее целей является «стандартизация» данных на выходе из нейрона.

После того, как набор входных данных прошел через все слои нейронной сети, функция активации возвращает выходные результаты через выходной уровень.

Обучение глубокой сети

Обучение нейросети — самая сложная часть глубокого обучения. Почему?

  • Вам нужен большой набор данных.
  • Вам нужно большое количество вычислительной мощности.

Для оценки стоимости билета нужно найти исторические данные о ценах на билеты. Из-за большого количества возможных комбинаций аэропортов и дат вылета нам нужен очень большой список цен на билеты.

Для обучения сети нужно подать в нее подготовленные данные и сравнить сгенерированные ей выходные результаты с результатами из нашего тестового набора данных. Поскольку сеть еще не обучена, результаты будут неверными.

После пропуска всех данных можно определить функцию, которая будет показывать нам, насколько результаты работы алгоритма отличаются от реальных данных. Эта функция называется функцией потерь.

В идеале мы хотим, чтобы функция потерь была равна нулю. В этом случае выходные результаты работы сети полностью совпадают с результатами тестового набора данных.

Как уменьшить значение функции потерь?

Нужно менять веса между нейронами. Можно делать это случайным образом до тех пор, пока функция потерь не станет равной нулю, но это не очень эффективно.

Вместо этого мы будем использовать метод градиентного спуска. Градиентный спуск — это метод, который позволяет найти минимум функции. В нашем случае мы ищем минимум функции потерь.

Суть метода состоит в небольшом изменении весов после каждой итерации. Вычисляя производную (или градиент) функции потерь при определенном наборе весов, можно определить, в каком направлении находится минимум.

Для минимизации функции потерь нужно многократно перебирать данные. Именно поэтому нам требуется большая вычислительная мощность. Уточнение весов с помощью градиентного спуска выполняется автоматически. В этом и состоит магия глубокого обучения!

После обучения можно использовать разработанный нами сервис для прогнозирования цен на авиабилеты.

В сухом остатке:

  • Глубокое обучение использует нейронную сеть для воспроизведения интеллекта животных.
  • Существует три типа слоев нейронов в нейронной сети: входной слой, скрытый слой (слои) и выходной слой.
  • Связи между нейронами имеют вес, определяемый важностью элемента входных данных.
  • Для обучения глубокой нейронной сети необходим реально большой набор данных.
  • Итерационно сравнивая выходные результаты со включенными в набор данными, можно вычислить функцию потерь, указывающую, насколько сильно ошибается алгоритм.
  • После каждой итерации (epoch) веса между нейронами перераспределяются с помощью метода градиентного спуска для минимизации функции потерь.

Как работает глубокое обучение — просто о сложном

«Сегодня в сфере IT очень популярны такие технологии, как искусственный интеллект (ИИ) и машинное обучение. Словосочетание «искусственный интеллект» используется направо и налево. Среди людей, обучающихся на разработчиков, очень много тех, кто хотел бы изучать науку об ИИ. Директора многих компаний хотят внедрять ИИ в свои сервисы. Но зачастую многие из них даже не понимают, что такое искусственный интеллект», — пишут FreeCodeCamp.

В данной статье рассматриваются различия между ИИ и машинным обучением. Также здесь объясняются принципы действия самой популярной разновидности машинного обучения – глубинного обучения.

Для понимания материала не требуются глубокие математические знания.

Немного о терминологии

Прежде всего, нужно разобраться в основных терминах.

Искусственный интеллект и машинное обучение

На заре ИИ-разработок ученые пытались воссоздать человеческий интеллект для решения конкретных задач, например для игр.

Они программировали компьютер на исполнение большого списка инструкций. У машины был четкий перечень допустимых действий, исходя из которого она действовала.

Машинное обучение подразумевает способность машины обучаться, используя обширные массивы данных вместо жестко запрограммированных инструкций.

Эта технология наделяет компьютер способностью обучаться самостоятельно. Данный способ обучения обеспечивается за счет мощных ресурсов ныне производимых процессоров, которые способны без труда анализировать огромные массивы данных.

Обучение с учителем и обучение без учителя

При использовании обучения с учителем задаются определенные входные и выходные данные.

Если выходные данные не соответствуют ожиданиям, то компьютер сделает корректировку расчетов. Этот процесс повторяется из раза в раз, пока компьютер не сделает все без ошибок.

Прогноз погоды с использованием искусственного интеллекта является наглядным примером этого типа обучения. Компьютер обучается прогнозированию на основе данных за прошлые периоды. Входные данные в этом случае – это давление, влажность, скорость ветра, а на выходе – температура.

Обучение без учителя подразумевает обучение ИИ на основе наборов данных без определенной структуры.

Во время обучения без учителя ИИ осуществляет логическую классификацию данных.

В качестве примера можно привести прогнозирование поведения пользователей для интернет-магазина. Тренировка ИИ происходит без входов и выходов.

ИИ создает собственную классификацию входных данных. По итогу, машина выдаст, какие пользователи купят тот или иной товар с наибольшей вероятностью.

Глубокое обучение — принцип работы

Глубокое обучение — один из методов машинного обучения. С его помощью можно обучать ИИ прогнозированию выходов на основе набора входных данных. Здесь применяется обучение как с учителем, так и без учителя.

Для наглядности в качестве примера будет взят сайт по оценке стоимости билетов на авиарейсы. Обучение сервиса будет производиться с учителем.

Сервис должен спрогнозировать стоимость на основе следующих входных данных (обратные рейсы не учитываются):

  • Начальный пункт полета;
  • Конечный пункт полета;
  • Дата вылета;
  • Авиакомпания.

Нейросети

Что происходит в «мозгу» ИИ?

Так же, как в мозгу живого существа, у ИИ есть нейроны. Они обозначены в виде кружков. Нейроны связаны между собой.

Есть три вида слоев нейронов:

  • Входной слой
  • Скрытые слои
  • Выходной слой
Читать еще:  В машинном обучении признак это

Входной слой получает входные данные. В нем 4 нейрона: начальный пункт полета, конечный пункт полета, дата вылета, авиакомпания. От этого слоя входные данные транслируются на первый скрытый слой.

В скрытых слоях выполняют математические операции с данными. Одна из трудностей при создании нейросетей – определить количество скрытых слоев и сколько нейронов в каждом слое.

Глубокое обучение потому и называется глубоким, что количество скрытых слоев больше одного.

Выходной слой выдает, что получилось в итоге, то есть примерную оценку стоимости рейса.

Как именно вычисляется прогноз стоимости?

Каждая связь между нейронами имеет вес, который определяет важность входного значения. Изначально веса произвольные.

Для оценки стоимости авиарейса одним из важнейших параметров является дата вылета. Следовательно, связи с нейроном даты вылета будут обладать большим весом.

У каждого нейрона есть функция активации. Если простыми словами, одна из ее задач – «стандартизация» выходных данных.

После того, как входные данные прошли через все слои нейросети, выходной слой выдает выходные данные.

Как видно, все довольно просто.

Обучение нейросети

Обучение ИИ – сложнейший этап глубокого обучения.

Во-первых, набор данных должен быть огромным.

Во-вторых, ресурсы для вычислений должны быть очень большими.

В случае с сервисом по оценке стоимости авиарейсов, необходимы данные о стоимости билетов за прошлые периоды. Комбинаций аэропортов и дат вылета очень много. Поэтому придется работать с очень большим количеством вариантов цен на билеты.

Для обучения машины потребуется задать входы из набора данных и сравнить полученные выходы с выходами из набора данных. Поначалу выходы будут неверными.

После обработки, можно создать функцию стоимости, которая показывает, насколько неверными были выходы ИИ в сравнении с реальными выходами.

В идеале, она должна иметь нулевое значение. Это произойдет, когда выходы ИИ совпадут с выходами из набора данных.

Как сократить функцию стоимости?

Нужно изменить значения весов. Можно менять их случайным образом, пока функция не сократится, но это не очень удобно.

Лучше применить метод под названием «градиентный спуск».

С его помощью можно найти минимум функции стоимости.

Веса изменяются с небольшим нарастанием после итерации обработки каждого набора данных. С помощью вычисления производной функции стоимости, можно узнать направление минимума функции.

Чтобы узнать минимум функции, нужно обработать набор данных по многу раз. Без мощных вычислительных ресурсов здесь не обойтись.

Изменение весов с использованием градиентного спуска происходит автоматически. В этом заключается магия глубокого обучения!

Обученный ИИ сайта по оценке стоимости авиарейсов способен прогнозировать цены на будущее.

Где узнать дополнительную информацию?

Есть и другие типы нейросетей: сверточные нейронные сети для компьютерного зрения и рекуррентные нейронные сети для обработки естественного языка.

Для изучения технических аспектов глубокого обучения стоит пройти соответствующие онлайн-курсы.

Deep Learning Specialization, созданный Andrew Ng – на сегодня один из лучших курсов по глубокому обучению. Без получения сертификата его можно прослушать бесплатно.

ГЛУБИННОЕ МАШИННОЕ ОБУЧЕНИЕ Текст научной статьи по специальности «Компьютерные и информационные науки»

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Моршин Андрей Владимирович

В настоящей статье рассмотрены передовые разработки в области машинного обучения и искусственного интеллекта . Приведены простейшие примеры решения таких задач и описано дальнейшее направление в развитии данной отрасли.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Моршин Андрей Владимирович

DEEP MACHINE TRAINING

This article discusses cutting-edge developments in machine learning and artificial intelligence . The simplest examples of solving such problems are given and the further direction in the development of this industry is described.

Текст научной работы на тему «ГЛУБИННОЕ МАШИННОЕ ОБУЧЕНИЕ»

ГЛУБИННОЕ МАШИННОЕ ОБУЧЕНИЕ

В настоящей статье рассмотрены передовые разработки в области машинного обучения и искусственного интеллекта. Приведены простейшие примеры решения таких задач и описано дальнейшее направление в развитии данной отрасли.

Ключевые слова: искусственный интеллект, машинное обучение, нейронные сети, программа, алгоритмизация.

На сегодняшний день всё большее количество людей, для решения своих задач прибегают к использованию искусственного интеллекта, который в свою очередь модернизируется машинным обучением. Вот лишь некоторые области в которых эта технология крайне востребована.

1) Управление эксплуатацией. Анализ приложения в процессе работы — в этой области машинное обучение крайне востребовано, так как происходит анализ больших объёмов данных, пользователей, транзакций.

2) Устранение неполадок и аналитика

ИИ обнаруживает и группирует «проблемы». Так, может быть произведен поиск аномалий в процессе работы программы или производства, чтобы соотнести эту проблему с конфигурацией и найти решение.

3) Предотвращение сбоев в процессе работы.

ИИ позволяет выходить далеко за пределы простого прогнозирования необходимых ресурсов для предотвращения неполадок. Оно может использоваться для прогнозирования, например, наилучшей конфигурации для достижения желаемого уровня производительности. Благодаря заранее известным требованиям к полученному результату ИИ выявляет «ранние признаки», «помогая» программистам и инженерам разработчикам начинать исправлять ошибки, которые в дальнейшем могут привести к большим неполадкам системы [2].

Благодаря развитию искусственного интеллекта его использование в современных программируемых устройствах увеличивается. Одной из таких самостоятельных систем является видеонаблюдение. Для улучшения разработки программ управления и минимизации ошибок вычислений применяется машинное обучение, это стало возможно благодаря появлению на рынке микропроцессоров с большими вычислительными возможностями.

Основные отличия машинного обучения от классического подхода к программированию. Заключаются в обратной последовательности разработки ИИ. Так программе задают конечное значение, например, загружают фотографию горы и прописывают в программе что это гора. И так, путём подбора аналогичных ситуаций или объектов происходит машинное обучение.

Такая технология является очень востребованной по сути создав определённый тренд в дальнейшем развитии всех компьютерной отрасли. В промышленности и человеческой деятельности пытаются внедрить машинное обучение. Система машинного обучения работает используя в своей структуре принцип построения нейронных сетей на основе многоярусных алгоритмов. Программа обрабатывает алгоритмически полученные результаты с заранее известными, далее ПО корректирует коэффициенты для того чтобы получить желаемый результат. Для примера хорошо послужит функция невязки, которая используется при проектировании движения трёхзвенного манипулятора робота, для нахождения наиболее приближённых обобщённых координат для нахождения абсолютных.

Математическое и программное обеспечение вычислительных машин, комплексов.

где х*, у*, г* — координаты целевой точки, х, у и г — координаты нынешней точки, к— функция штрафа:

где qi — текущие обобщенные координаты положения 1-го звена, qоi — предыдущие обобщенные координаты положения 1-го звена, а1 — коэффициенты штрафа. [3]

В общих словах, нейронная сеть находит зависимости от желаемых результатов и поданной информации в программную среду. Для того, чтобы находить решения на других схожих задачах, но с уже более быстрой скорость и точностью результата чем при обучении, «помогая» этим человеку или упрощая различные задачи. Не стоит забывать, что существует так называемая эффективность обучения. Из-за этого приходиться создавать различные алгоритмы и использовать схожую входную информацию, и уже после этого выбирать вариант наиболее приемлемый.

Рассмотрим наиболее популярные алгоритмы для использования обучения устройств.

1. Линейная регрессия. Можно сказать, один из самых используемых и известных алгоритмов для использования в машинном обучении. Пример такого алгоритма был рассмотрен выше и описан функцией невязки.

Такое моделирование ссылается в первую очереди на уменьшение ошибки прогнозируемого результата.

2. Логистическая регрессия. Такие алгоритмы удобно использовать в тех случаях, когда на выходе необходимо получить результат состоящий из одного класса объекта, имея на входе два. Так называемая бинарная классификация.

3. Линейный дискриминантный анализ (ЬБЛ) [ 1 ]

Логистическая регрессия применяется, в таких случаях, когда необходимо присвоить образец к какому-либо классу из двух возможных. Если количество классов превышает 2, то необходимо применять алгоритм ЬБЛ. Отличие ЬБЛ в том, что классы определяются свойствами, состоящие из статистических свойств, рассчитанных для каждого класса. Для каждой входной переменной это включает:

среднее значение для каждого класса;

дисперсию, рассчитанную по всем классам.

о 1 о3 1 о4 1 о5 ; ТЖ

□ ип511т_сспсаИсз Оо’Л’лзэгпр!? Са!е 2.54 ■ 8Нт_сспса1.1с5 2 18.8

Рис. 1. Пример разделения исходного образца на классы методом ЬБЛ

4. K-ближайших соседей (KNN)

Модель KNN (K-nearest neighbors) является набором тренировочных характеристик.

Выявление новых выходных параметров формируется на основе уже полученных. Исходя из того, что события и методики задачи являются схожими, то есть соседями.

Главной задачей является вычисление схожести между объектами данных. Если все характеристики будут находиться в одном и том же масштабе (например, сантиметры), тогда наиболее благоприятным способом будет являться применение евклидова расстояния — числа, которое можно рассчитать на основе различий с каждой входной переменной.

Для метода KNN требуется много места на носителях памяти, для хранения там всей информации, но это сделает расчёт результата наиболее быстрым, необходимо отметить что данные системы могут приближённо стремиться выполнять функции головного мозга человека.

Рис. 2. Предсказание модели на основе трёх ближайших соседей

Используя перечисленные выше методы, благодаря глубокому обучению может быть улучшена автоматическая система видеоанализа. Стандартная интеллектуальная система не способна произвести обработку видеоряда, когда на нём изображены более 300 человек. Благодаря глубинному обучению система может проводить такой анализ, а также параллельно рассчитывать плотность людского потока и идентифицировать характер движения.

К примеру, после нескольких технических модернизаций программа от фирмы Dahua превзошла алгоритмы от Google, Facebook, Tencent и других академических и коммерческих компаний и сервисов. Также в 2017 г. компанией Dahua и NVIDIA был представлен сервер структурного видеоанализа Deep Sense, отличающийся огромной вычислительной мощностью.

Читать еще:  Интернет реклама обучение бесплатно

В статье были проанализированы различные методы глубинного обучения и рассказаны их основные принципы. В настоящее время компаниями разрабатываются портативные устройства, помогающие проходить обучение роботов, квадракоптеров или камер видео наблюдения гораздо быстрее чем это было раньше, и при этом используя обычные персональные компьютеры.

1. Педро Домингос Верховный алгоритм: как машинное обучение изменит наш мир; пер. с англ. В.Горохова; М.: Манн, Иванов и Фербер, 2016. 336 с.

2. Гудфеллоу Я., Бенджио И., Курвиль А. Глубокое обучение; пер. с англ. А.А. Слипкина. 2-е изд. М.: ДМК Пресс, 2018. 652 с.

Математическое и программное обеспечение вычислительных машин, комплексов.

3. Вьюгин В.В. Математические основы машинного обучения и прогнозирования. М.: МЦНМО, 2013. 304 с.

Моршин Андрей Владимирович, магистр, morscinlaramhler.ru, Россия, Тула, Тульский государственный университет

DEEP MACHINE TRAINING A. V. Morshin

This article discusses cutting-edge developments in machine learning and artificial intelligence. The simplest examples of solving such problems are given and the further direction in the development of this industry is described.

Key words: artificial intelligence, machine learning, neural networks, program, al-gorithmization.

Morshin Andrey Vladimirovich, master, morscin1@ramhler.ru, Russia, Tula, Tula State University

ПАРАМЕТРИЧЕСКИЙ СИНТЕЗ РЕГУЛЯТОРА СТАБИЛИЗАЦИИ СКОРОСТИ ВРАЩЕНИЯ БУРОВОЙ КОЛОННЫ НА ПРИМЕРЕ ИМИТАЦИОННОГО

СТЕНДА БУРОВОЙ УСТАНОВКИ

С.В. Ефимов, М.И. Пушкарев, С.С. Зарипов

Предложен подход к настройке регулятора системы автоматического управления стабилизации скорости вращения буровой колонны в условиях изменяющейся нагрузки. В рамках исследований разработан лабораторный стенд, имитирующий работу буровой установки. На начальной стадии исследований разработан подход к расчету настроек ПИ-регулятора с заданной динамикой, временем регулирования. Далее для имеющейся модели объекта управления, представленной передаточной функцией с интервально-заданными параметрами, вычислены настройки ПИ-регулятора. На заключительной стадии исследований полученные результаты апробированы на лабораторном имитационном стенде. Полученные результаты позволяют делать выводы о работоспособности подхода.

Ключевые слова: передаточная функция, регулятор, система автоматического управления, стабилизация, время регулирования.

Введение. При решении различных инженерно-технических задач не редко требуется поддержание постоянной скорости вращения валов двигателей постоянного тока. В качестве такого примера может выступать буровая установка. В процессе бурения стоит задача стабилизации скорости вращения буровой колонны в условиях изменяющейся плотности слоев породы. Однако изменение нагрузки на буровую колонну ведет к изменению её скорости вращения.

С целью решения проблемы предлагается разработать имитационный стенд буровой установки, исследовать влияние нагрузки на скорость вращения колонны и разработать алгоритм настройки регулятора, обеспечивающего постоянную скорость вращения колонны в условиях изменяющейся на нее нагрузки.

Deep learning & Machine learning: в чем разница?

В чем разница между Deep learning и Machine learning? Насколько они похожи или отличаются друг от друга? Насколько они выгодны для бизнеса? Давайте разберемся!

Machine learning и Deep learning – это 2 подмножества искусственного интеллекта (ИИ), которые активно привлекают к себе внимание уже на протяжении двух лет. Если вы хотите получить простое объяснение их различий, то вы в правильном месте!

Прежде всего, давайте посмотрим на некоторые интересные факты и статистику Deep learning и Machine learning:

  • Оклад AI-специалиста приравнивается к стоимости Roll-Royce Ghost Series II 2017 года (согласно New York Times);
  • Есть ли вероятность потерять работу из-за прогресса AI? Согласно недавнему отчету PwC – возможно. Они предполагают, что примерно к 2030 г. 38% всех рабочих мест в США могут быть заменены искусственным интеллектом и технологиями автоматизации;
  • Первая AI-программа “The Logic Theorist” была создана в 1955 году компанией Newell & Simon (World Information Organization);
  • Исследователи прогнозируют, что к 2020 году 85% взаимодействия с клиентами будет осуществляться без участия человека (Gartner);
  • Рынок искусственного интеллекта или машинного обучения вырастет до 5,05 млрд долларов к 2020 году (Motley Fool);

Любопытно? Теперь попытаемся разобраться, в чем на самом деле разница между Deep learning и Machine learning, и как можно использовать их для новых бизнес-возможностей.

Deep learning & Machine learning

Должно быть, вы имеете элементарное представление о Deep learning и Machine learning. Для чайников представляем несложные определения:

Machine learning для чайников:

Подмножество искусственного интеллекта, связанное с созданием алгоритмов, которые могут изменять себя без вмешательства человека для получения желаемого результата — путем подачи себя через структурированные данные.

Deep learning для чайников:

Подмножество машинного обучения, где алгоритмы создаются и функционируют аналогично машинному обучению, но существует множество уровней этих алгоритмов, каждый из которых обеспечивает различную интерпретацию данных, которые он передает. Такая сеть алгоритмов называется искусственными нейронными сетями. Простыми словами, это напоминает нейронные связи, которые имеются в человеческом мозге.

Взгляните на изображение выше. Это коллекция фотографий кошек и собак. Теперь предположим, что вы хотите идентифицировать изображения собак и кошек отдельно с помощью алгоритмов Machine learning и нейронных сетей Deep learning.

Deep learning & Machine learning: в каких случаях используется Machine learning

Чтобы помочь алгоритму ML классифицировать изображения в коллекции в соответствии с двумя категориями (собаки и кошки), ему необходимо сначала представить эти изображения. Но как алгоритм узнает, какой из них какой?

Ответом на этот вопрос является наличие структурированных данных , о чем было написано выше в определении машинного обучения для чайников. Вы просто маркируете изображения собак и кошек, для того чтобы определить особенности обоих животных. Этих данных будет достаточно для обучения алгоритма машинного обучения, и затем он продолжит работу на основе понятных им маркировок и классифицирует миллионы других изображений обоих животных по признакам, которые он изучил ранее.

Deep learning & Machine learning: в каких случаях используется Deep learning

Нейронные сети Deep learning будут использовать другой подход для решения этой проблемы. Основным преимуществом Deep learning является то, что тут не обязательно нужны структурированные / помеченные данные изображений для классификации двух животных. В данном случае, входные данные (данные изображений) отправляются через различные уровни нейронных сетей, причем каждая сеть иерархически определяет специфические особенности изображений.

Это похоже на то, как наш человеческий мозг работает для решения проблем — пропускает запросы через различные иерархии концепций и связанных вопросов, чтобы найти ответ.

После обработки данных через различные уровни нейронных сетях система находит соответствующие идентификаторы для классификации обоих животных по их изображениям.

Примечание . Это всего лишь пример, который поможет вам понять различия в том, как работают основы машинного и глубокого обучения. И Deep learning, и Machine learning на самом деле не применимы одновременно к большинству случаев, включая этот. Причину этого вы узнаете позже.

Таким образом, в этом примере мы увидели, что алгоритм машинного обучения требует маркированных/структурированных данных, чтобы понять различия между изображениями кошек и собак, изучить классификацию и затем произвести вывод.

С другой стороны, сеть глубокого обучения смогла классифицировать изображения обоих животных по данным, обработанным в слоях сети. Для этого не потребовались какие-либо маркированные/структурированные данные, поскольку она опиралась на различные выходные данные, обрабатываемые каждым слоем, которые объединялись для формирования единого способа классификации изображений.

Что мы узнали:

  1. Основное различие между глубоким обучением и машинным обучением обусловлено тем, как данные представляются в систему. Алгоритмы машинного обучения почти всегда требуют структурированных данных, в то время как сети глубокого обучения полагаются на слои ANN (искусственные нейронные сети).
  2. Алгоритмы машинного обучения созданы для того, чтобы «учиться» действовать, понимая помеченные данные, а затем использовать их для получения новых результатов с большим количеством наборов данных. Однако, когда результат получается неверным, возникает необходимость их «доучивать».
  3. Сети глубокого обучения не требуют вмешательства человека, так как многоуровневые слои в нейронных сетях помещают данные в иерархии различных концепций, которые в конечном итоге учатся на собственных ошибках. Тем не менее, даже они могут быть ошибочными, если качество данных недостаточно хорошее.
  4. Данные все решают. Именно качество данных в конечном итоге определяет качество результата.

То, чего не было в примере, но стоит отметить:

  1. Поскольку алгоритмы машинного обучения требуют маркированных данных, они не подходят для решения сложных запросов, которые включают в себя огромное количество данных.
  2. Хоть в данном случае мы увидели применение Deep learning для решения незначительного запроса, — реальное применение нейронных сетей глубокого обучения происходит в гораздо большем масштабе. Фактически, учитывая количество слоев, иерархий и концепций, которые обрабатывают эти сети, Deep learning подходит только для выполнения сложных вычислений, а не простых.
  3. Оба эти подмножества ИИ так или иначе связаны с данными, что позволяет представлять собой определенную форму «интеллекта». Однако следует знать, что глубокое обучение требует гораздо больше данных, чем традиционный алгоритм машинного обучения. Причиной этого является то, что сети Deep learning могут идентифицировать различные элементы в слоях нейронных сетей только при взаимодействии более миллиона точек данных. Алгоритмы машинного обучения, с другой стороны, способны обучаться по заранее запрограммированным заданным критериям.

Надеемся, приведенный пример и его объяснение позволили вам понять различия между Machine learning и Deep learning. Т.к. это объяснение для чайников, то здесь не употреблялись профессиональные термины.

Теперь пришло время забить последний гвоздь. Когда следует использовать глубокое обучение или машинное обучение в своем бизнесе?

Когда использовать Deep learning в бизнесе?

  • Если у вас огромное количество данных;
  • Если вам приходится решать задачи, слишком сложные для машинного обучения;
  • Если у вас есть достаточно вычислительных ресурсов и возможность на управление оборудованием и программным обеспечением для обучения нейронных сетей Deep learning.
Читать еще:  Рекламное дело обучение

Когда использовать Machine learning в бизнесе?

  • Если у вас есть данные, которые можно структурировать и использовать для обучения алгоритмов Machine learning;
  • Если вы хотите использовать преимущества ИИ, чтобы обогнать конкурентов;
  • Лучшие решения Machine learning могут помочь автоматизировать различные бизнес-операции, включая проверку личности, рекламу, маркетинг и сбор информации, а также использовать большие возможности в будущем.

Подведем итоги:

В связи с ростом различных технологий, предприятия в настоящее время ищут компании, занимающиеся технологическим консалтингом, чтобы найти то, что лучше для их бизнеса.

Развитие искусственного интеллекта также порождает рост услуг по разработке программного обеспечения, приложений IoT и блокчейна. В настоящее время разработчики программного обеспечения изучают новые способы программирования, которые более склонны к глубокому обучению и машинному обучению.

Словарь: чем различаются машинное и глубокое обучение

В честь выхода обновлённой карты искусственного интеллекта Rusbase рассказывает об основных понятиях в сфере ИИ. В «словаре искусственного интеллекта» — ИИ, машинное и глубокое обучение и взаимосвязь между тремя терминами.

Рынок искусственного интеллекта продолжает расти быстрее многих других — по данным аналитического агентства Tractica, в 2018 году мировой объем софтверного ИИ составил $9,5 млрд, а к 2025 году он вырастет в 12 раз до $118,6 млрд. Эта оценка учитывает 315 различных варианта применения ИИ в 30 индустриях, среди которых реклама, телекоммуникации, здравоохранение, ритейл и многие другие.

Согласно прогнозам IDC, в 2019 году мировые затраты на ИИ-системы составят $35,8 млрд, на 44% больше, чем в прошлом году. Самыми востребованными на рынке будут решения для автоматизирования клиентского сервиса, рекомендательные системы для повышения продаж и продукты для предотвращения угроз. Gartner стабильно помещает ИИ в свой топ технологий и технологических трендов.

Что такое искусственный интеллект (Artificial intelligence)

Сложности в определении искусственного интеллекта связаны с неоднозначностью понятий «интеллект» и «думать». В наиболее распространенном значении «искусственный интеллект» можно описать как способность машины выполнять когнитивные функции, которые свойственны человеку — умение рассуждать, обучаться и совершенствоваться на основе предыдущего опыта, решать определенные задачи, взаимодействовать с окружающей средой.

В качестве научной дисциплины ИИ появился ещё в 1956 благодаря профессору Джону МакКарти, который собрал группу ученых для работы над проектом по созданию «умных» машин, способных выполнять присущие человеку функции. Ранние разработки в области ИИ были направлены в основном на решение абстрактных логических и математических задач.

Однако уже в 1962 программа на основе ИИ обыграла профессионального игрока в шашки, а в 1965 система Dendral, созданная в Стэнфорде, смогла определить химические структуры с помощью анализа масс-спектрограмм. Ранние успехи на этом поприще мотивировали ученых продолжать изучение ИИ.

Различают три вида ИИ в зависимости от его возможностей: ограниченный (способен решать только конкретный тип задач), общий (может обучаться любым навыкам и решать любые задачи) и сверхразумный (во всех сферах жизни превосходит человеческий). Единственный вид интеллекта, который пока удалось создать — ограниченный. Система, которая позволяет вам транскрибировать аудио в тексты, не может одновременно заказать пиццу или сыграть в шахматы — для каждой из этих задач необходима разработка отдельных алгоритмов.

  • На данный момент все технологии, например, компьютерное зрение, обработка естественного языка, распознавание изображений и даже автономные автомобили, относятся к ограниченному ИИ (последние являются комбинацией нескольких «ограниченных интеллектов»). Известные примеры ограниченного ИИ — программа Deep Blue от IBM, которая в 1996 году обыграла в шахматы Гарри Каспарова, и программа AlphaGo от Google DeepMind, выигравшая в 2016 году в Го у корейского го-профессионала Ли Седоля.

Понятие «искусственный интеллект» само по себе ничего не говорит о методах, позволяющих машинам выполнять когнитивные функции. Один из таких методов — машинное обучение, которое начало активно развиваться в 1980-х гг, когда стало понятно, что более ранние методы не работают для обработки естественного языка или распознавания картинок.

Что такое машинное обучение (Machine learning)

Машинное обучение — это класс методов для решения задач искусственного интеллекта. Алгоритмы машинного обучения распознают паттерны в больших массивах данных и используют их для самообучения. Каждый новый массив данных позволяет алгоритмам совершенствоваться и адаптироваться в соответствии с полученной информацией, что позволяет постоянно улучшать точность рекомендаций и прогнозов.

Методы машинного обучения имитируют человеческое обучение. Представьте ребенка, который учится читать. Процесс обучения начинается не с зазубривания всех правил грамматики и орфографии: сначала ребенок читает простые, детские книги, затем переходит к более сложной литературе, из которой он получает новые знания и усваивает новые правила. По похожему принципу работает машинное обучение.

С развитием алгоритмов стало понятно, что некоторые задачи, например, распознавание речи или текста, компьютер решить всё ещё не может. В результате возникла идея нейронных сетей, которые имитируют не просто процесс обучения человека, но само устройство человеческого мозга.

Искусственные нейронные сети представляют из себя систему связанных между собой простых процессоров (искусственных нейронов), обменивающихся друг с другом сигналами (нервными импульсами). Нейронная сеть имитирует центральную нервную систему и может решать более сложные задачи машинного обучения — прогнозирование временных рядов, распознавание речи, компьютерное зрение и другие.

Машинное обучение можно разделить на три группы:

1. Контролируемое машинное обучение, или обучение с учителем (supervised machine learning) — для обучения алгоритмов используются labeled data (размеченные, или маркированные, данные). В контролируемом машинном обучении входные данные (X) и выходные данные (Y) известны. На предоставленном датасете из данных X и Y алгоритм обучается, чтобы затем предсказать значение Y на новом массиве данных.

  • Прогнозирование цены на недвижимость в зависимости от процентной ставки, времени года и других факторов;
  • Прогнозирование спроса на продукт и оптимизация цены на него;
  • Прогнозирования оттока клиентов;
  • Предотвращение разных видов мошенничества с банковскими картами.

2. Неконтролируемое машинное обучение, или обучение без учителя (unsupervised machine learning) — алгоритмы обучаются на unlabeled data (немаркированные, или неразмеченные, данные). В этом случае алгоритм получает только сырые входные данные, которые не требуют первичной обработки. Алгоритм анализирует датасет и самостоятельно проводит кластеризацию данных, разделяя их на группы со схожими показателями.

  • Сегментация клиентов для проведения более эффективной маркетинговой кампании;
  • Сегментация работников по вероятности профессионального выгорания;
  • Рекомендации фильмов группе людей со схожими интересами;
  • Рекомендации статей исходя из анализа прочитанных материалов.

3. Обучение с подкреплением (reinforcement learning) — алгоритм обучается самостоятельно (на сырых данных), взаимодействуя с незнакомой средой и получая фидбек на свои действия. Основная задача алгоритма — методом проб и ошибок выбрать те тактики, которые позволят максимизировать общую выгоду агента.

Популярная тестовая среда для обучения с подкреплением — компьютерные игры, работающие по такому же принципу. Например, в арканоидах игрок получает очки, когда разбивает блоки, и теряет жизни, если дает шарику упасть. В процессе обучения с подкреплением алгоритм машинного обучения научится всегда отбивать шарик и даже сможет выбрать оптимальную стратегию, которая позволит быстрее всего выбить все блоки.

  • Максимизация прибыли инвестиционного портфеля;
  • Обучение промышленных и складских роботов;
  • Оптимизация загруженности сетей электроснабжения в зависимости от спроса;
  • Оптимизация вождения беспилотных автомобилей.

4. Частичное обучение, или обучение с частичным привлечением учителя (semi-supervised learning) — алгоритмы обучаются одновременно на labeled и unlabeled data, причём количество неразмеченных данных обычно сильно превышает количество маркированных. У этого метода есть несколько преимуществ. Во-первых, маркировка огромного массива данных — долгий и дорогостоящий процесс. Во-вторых, маркировка всех данных в массиве может привести к появлению в модели систематической ошибки, вызванной человеческим фактором. Включение в модель unlabeled data одновременно снижает стоимость обучения алгоритма и позволяет сделать модель более точной.

  • Речевая аналитика;
  • Классификация веб-страниц и веб-контента;
  • Генетическое секвенирование.

Что такое глубокое, или глубинное, обучение (Deep learning)

Deep learning — набор методов машинного обучения, в которых используются нейронные сети с большим количеством нейронов и слоев для извлечения признаков. В многослойной нейронной сети помимо входного (принимающего данные) и выходного (выдающего результат) слоев есть один или несколько скрытых слоев вычислительных нейронов для обработки данных. При этом каждый последующий слой получает на входе выходные данные предыдущего.

С помощью глубокого обучения можно анализировать огромные массивы данных, прикладывая меньше человеческих усилий для их первичной обработки. Deep learning позволяет получать более точные результаты, чем другие методы машинного обучения.

Принцип глубокого обучения хорошо описан в блоге Oracle на живом примере. «Когда вам показывают изображение лошади, вы понимаете, что это лошадь, даже если никогда раньше не видели именно эту картинку. Не имеет значения, лежит ли лошадь на диване или одета как бегемот. Вы узнаете ее, потому что помните множество определяющих ее признаков: форму головы, количество и расположение ног и другие. Глубокое обучение тоже умеет распознавать эти признаки.»

Это особенно важно для таких технологий, как беспилотные автомобили, которым необходимо «знать», что именно их окружает — люди, машины, велосипеды, дорожные знаки, бордюры и другие элементы. Традиционные методы машинного обучения не могут решить все задачи, необходимые для реализации этой технологии.

Глубокое обучение используют для решения задач, связанных с распознаванием лиц, речи, текста, фото и видео. Несколько примеров таких задач:

  • Диагностика заболеваний по медицинским сканам;
  • Обнаружение продуктов с дефектами на производственной линии;
  • Генерация подписей к фотографиями;
  • Анализ восприятия логотипа и бренда компании для повышения эффективности маркетинга;
  • Перевод с одного языка на другой.
Ссылка на основную публикацию
Adblock
detector