Обсуждение:Глубокое обучение

за/против переименования

Ну, раз такое дело, приступим к аргументам за/против переименования. Соберу претендующие на авторитетность ссылки на источники, где используется термин "Глубокое обучение":

• 33-й семинар. Андрей Свитенков. Презентация доклада: http://ailab.ru/resources/downloads/materiali-seminara/doc_download/109-33-j-seminar-andrej-svitenkov-prezentatsiya-doklada
• Лектор Антон Конушин, курс "Введение в компьютерное зрение 2014": http://courses.graphics.cs.msu.ru/mod/resource/view.php?id=309
• Лектор Игорь Куралёнок, курс "Машинное обучение": http://compscicenter.ru/courses/machine-learning-2/2014-spring/316/
• Статья Хуршудов А. А. ОБУЧЕНИЕ МНОГОСЛОЙНОГО РАЗРЕЖЕННОГО АВТОЭНКОДЕРА НА ИЗОБРАЖЕНИЯХ БОЛЬШОГО МАСШТАБА: http://www.vkit.ru/index.php/component/content/article/54-2014-02-february/202-027-030 (в тегах указывается Глубокое обучение).
• Царегородцев Виктор Геннадьевич − ктн, специалист в области теории и практики применения искусственных нейронных сетей, статья: http://neuropro.ru/memo38.shtml (внизу статьи упоминание Глубокого обучения).
• Специалисты NVidia, обзорная статья: http://www.nvidia.ru/object/tesla-gpu-machine-learning-ru.html

--Max La (обс) 19:41, 31 августа 2014 (UTC)

• Выставил на переименование. РоманСузи 07:58, 18 января 2015 (UTC)

• Думаю, что можно не торопиться с итогом по переименованию. Юля Чурегина (студентка) взялась за перевод англовики (см. черновик). Когда будет результат (готовая статья), возможно, что-то прояснится. И, конечно, будем признательны участникам за замечания по статье, когда она будет выставлена на рецензирование… — Andrew Krizhanovsky 15:19, 13 ноября 2015 (UTC)

Для получения действительно качественной статьи я попросил ведущих российских ученых в области машинного обучения дать рекомендуемый перевод некоторым англоязычным терминам из области глубокого обучения, которые более всего на слуху. Переводы предложили:

Ветров Дмитрий Петрович, д.ф.-м.н., доцент, ученый секретарь каф. ММП ф-та ВМК МГУ, руководитель спецсеминара "Байесовские методы машинного обучения" и группы Байесовских методов в МГУ. Преподаватель Школы анализа данных Яндекс.

Воронцов Константин Вячеславович д.ф.-м.н. Зав. отделом «Интеллектуальные системы» Вычислительного центра ФИЦ ИУ РАН, Проф. каф. «Интеллектуальные системы» ФУПМ МФТИ. Доц. каф. «Математические методы прогнозирования» ВМиК МГУ. Преподаватель Школы анализа данных Яндекс.

Рекомендуется придерживаться данных переводов при написании статей по машинному обучению. Однако даже несмотря на наличие русскоязычного перевода термина при написании работ рекомендуется в скобках также приводить англоязычный вариант.

К сожалению, по поводу термина глубокое или глубинное обучение ученые к консенсусу не пришли — в научной группе Ветрова Д. П. привыкли к термину "глубинное", а в группе Воронцова К. В. — "глубокое". И у каждого свои аргументы "за" и "против".

Комментарий: Здесь не может быть каких-либо разночтений в выборе термина: «глубинное» — это обязательно расположение (глубинное залегание, глубинное бурение), а «глубокое» — это качество или свойство. Смысл глубокого обучения не в том, что обучение происходит где-то на глубине, а в том, что сама система решающих правил (или нейронная сеть) имеет иерархическую структуру со значительной глубиной… Что-то статья какая-то маленькая. По сравнению с английским вариантом. И по сравнению с глубиной темы. Даже если, многое здесь суть дань моде. --OZH (обс.) 13:22, 16 ноября 2017 (UTC)

• Суждение о том, что глубинное — это обязательно про расположение — неверно (ср. хотя бы «глубинные знания»), более того, термин «глубинное обучение» употребляется в источниках высшей авторитетности, и поэтому не нужно его изничтожать из статьи (хотя вариант «глубокое», по-видимому, побеждает, вот и книга вышла с таким названием), bezik° 13:33, 16 ноября 2017 (UTC)
  • Тут нужно, всё-таки, понимать разницу: «глубинные знания» — знания, которые находятся на глубине, которые скрыты вышележащими уровнями. В то же время, «глубокое» — это то, что предпологает хождение на глубину. OZH (обс.) 18:57, 29 мая 2023 (UTC)

Термины с "уверенным" русскоязычным переводом

Deep learning — глубокое или глубинное обучение

Shallow learning — малослойное обучение (а соответствующие сети малослойные)

Representation Learning, learning representations — обучение представлений

Handcrafted features — вручную построенные признаки, инженерия признаков, "инженерный подход" к построению признаков

Feature learning — выучивание признаков

Traning и learning — синонимы, необходимо переводить как "обучение" и то и другое, но строго не как "тренировка"

Explaining Away — эффект оправдания, эффект редукции причины

Word embedding — (внутреннее) представление слова

Deep belief networks — глубокая сеть доверия

Deep neural network — глубокая нейронная сеть

Stacked Auto-Encoders — вложенные автокодировщики

Denoising Auto-Encoders — шумоподавляющие автокодировщики

Contractive Auto-Encoders — сжимающие автокодировщики

Support Vector Machine — метод (не машина!) опорных векторов

Kernel Machine — ядровой метод/реализация/модификация в зависимости от контекста

MCMC — методы Монте-Карло с Марковскими цепями

Stochastic Maximum Likelihood — алгоритм стохастической максимизации правдоподобия

Semisupervised embedding — представление по обучению с неполной разметкой

Nearest neighbor graph — граф ближайших соседей

Local Coordinate Coding, LCC — алгоритм локального кодирования координат

Leveraging the modeled tangent spaces — использование моделей касательного пространства

Independent Subspace Analysis — анализ независимых подпространств

Smoothed n-gram models — сглаженные n-граммные модели

Pooling (в свёрточных сетях) — агрегирование, операция объединения

Softmax function — функция мягкого максимума, софтмакс

Similarity function — функция близости

Rectified linear unit (ReLU) — усеченное линейное преобразование

Cumulative density function (CDF) — функция распределения

Probability density function (PDF) — плотность вероятности

Parameterized transformation — параметризованное преобразование

Термины, пока не имеющие хорошего перевода:

Dropout — дропаут (может быть попробовать переводить как выбивание значений?) - лучше оставить это слово без перевода. Смысл в том что достаточно случайная часть данных выключается из обучения, что придаёт результату устойчивость от переучивания

Batches (как часть примеров выборки) — Пачки? Блоки? - серии

Perplexity — Недоумение?

Noisecontrastive estimation — отделение от шума?

Сontrastive divergence — "контрастирование", "сравнение расхождения», «сопоставительное отклонение»?

Predictive Sparse Decomposition — Предсказательная разреженная декомпозиция?

Spike-and-Slab RBMs — можно переводить как спайковый (распределение, больцмановская машина, и пр.) предполагая, что по контексту станет ясно, что имеется в виду характерный вид регуляризатора

Сredit assignment path (CAP) —

Manifold Tangent Classifier — Касательный классификатор на базе многообразий?

Score matching —

Estimated score —

Denoising score matching —

Ratio-matching —

mPoT модель (mean-product of Student’s T-distributions model) —

Tiled-convolution traning —

Parametric mapping (в контексте Learning a parametric mapping based on a neighborhood graph) —

Patch-based traning —

Deconvolutional networks (изобретение Зейлера) —

Max La 09:07, 6 декабря 2015 (UTC)

Предложу словечки.

• Dropout — дропаут
• Batches - серии
• Сredit assignment path (CAP) — путь передачи сигнала
• Score matching — соответствие по количеству набранных оценок
• Estimated score — набранные оценки
• Denoising score matching — соответствие по количеству набранных оценок при фильтрации шума
• Ratio-matching — соответствие по уровню
• Tiled-convolution traning — свёрточное обучение по квадратам
• Parametric mapping - параметрическое картирование (в контексте Learning a parametric mapping based on a neighborhood graph) — вообще mapping плохо соответствует слову "картирование", может лучше слово "параметрическое преобразование"
• Patch-based traning — обучение по фрагментам
• Deconvolutional networks (изобретение Зейлера) — разворачиваемая сеть, развёрточная сеть

неон (обс.) 21:42, 2 сентября 2017 (UTC)

• Терминологические вопросы гораздо удобнее решать, имея соответствующие энциклопедические статьи. --OZH (обс.) 13:25, 16 ноября 2017 (UTC)