September 29th, 2016

moose, transparent

правило 51

Для любого примера человеческой деятельности, сколь угодно редкой или узкой, в США имеется ассоциация специалистов по этому делу, с вебсайтом, академическим журналом, президентом, секретарем, казначеем, попечительским советом и периодическими конференциями.

Я много раз убеждался в истинности этого правила, и вот еще раз. Вчера я не подозревал, что есть такая отдельная дисциплина - история бухгалтерского учета. Сегодня я знаю, что есть - в США, разумеется - Академия Историков Бухгалтерского Учета (Academy of Accounting Historians), в которой состоит, на минутку, 500 членов, и которая 40 лет выпускает ученый журнал, который можно в интернете почитать. Много интересного, кстати. Легко увлечься и провести 2-3-4 часа за чтением статей о том, как Япония перенимала западные нормы ведения учетных книг, или что мы знаем о средневековых английских фермерах из сохранившихся после них журналов дебета и кредита.

Я всего лишь искал материалы об истории знаменитого метода двойной записи. Я не знал, что это целая... блин...

Это как "правило 34", только в другую сторону.
moose, transparent

теперь еще и переводы

Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation

Известная максима Марка Андриссена гласит: "ПО пожирает мир" (т.е. программное обеспечение подминает под себя и заменяет собой все больше физических видов деятельности в "реальном мире").

А в последние несколько лет у нас складывается порядок, при котором глубокое обучение пожирает ПО.

По транзитивности выходит, что глубокое обучение пожирает мир. И эта статья - еще один пример этого победоносного шествия глубокого обучения (многослойных нейронных сетей). Есть какая-то область с устоявшимися методами, алгоритмами, эвристиками, и тут приходят нейронные сети и одним махом перепрыгивают лучшие результаты до сих пор. На этот раз пришел черед машинного перевода.

У меня несколько смешанные чувства от таких новостей. Модели, которые строят нейронные сети, фундаментально намного более непроницаемы, чем методы, которые они заменяют - даже в такой области, как машинный перевод, где лучшие до сих пор подходы уже были статистическими и основанными на тренировке языковых моделей. Есть методы визуализации того, что учат разные слои сети, но они, когда работают, дают только очень приблизительное понимание. Если нейронные сети - это локальный тупик, т.е. есть какой-то максимум, которого они достигнут, но дальше этим путем не пройти, то на дороге к этому максимуму мы не получим полезной информации, которая может помочь в других подходах; мы получим только множество отлично работающих нейронных сетей, у каждой своя архитектура и ухищрения настройки, которые не складываются в общую теорию. Так мне кажется, по крайней мере, из моего дилетантского кресла.

Но очень круто, конечно.