Элементы Элементы большой науки

Поставить закладку

Напишите нам

Карта сайта

Содержание
Энциклопедия
Новости науки
LHC
Картинка дня
Библиотека
Видеотека
Книжный клуб
Задачи
Масштабы: времена
Детские вопросы
Плакаты
Научный календарь
Наука и право
ЖОБ
Наука в Рунете

Поиск

Подпишитесь на «Элементы»



ВКонтакте
в Твиттере
в Фейсбуке
на Youtube
в Instagram



Библиотека

 
Д. Элленберг
«Как не ошибаться». Глава из книги


Д. Дойч
«Структура Реальности: Наука параллельных вселенных». Глава из книги


В. Власов
В окаменевших лесах Аризоны


Н. Карпушина
Сокровище геометрии


Н. Семаков, А. Ковалев, А. Павлов, О. Федотова
Куда бежит магнитный полюс?


П. Образцов
«Удивительные истории о существах самых разных». Глава из книги


Б. Дружинин
Путешествие №1 по зоопарку элементов


К. Постнов
Быстрые радиовсплески: ключ к разгадке тайны


Н. Резник
Дорога на работу — путь к артриту


В. Гаврилов
Как зимующие птицы используют людей







Главная / Новости науки версия для печати

Два независимых исследования подтвердили глобальное ослабление синапсов во время сна

Написать комментарий
Вернуться

  06.02.2017 15:20  |   Влад Ответить   
 

Года два назад встроил периоды регуляризации в свои экспериментальные нейросети, и оно хорошо работало. По моему мнению, основанному только на экспериментах с искусственными нейросетями, это не неустранимый дефект, а фича такая, открывающая новые возможности для консолидации полезного опыта. На стадии обучения увеличить количество новых синапсов, а потом в процессе избирательной регуляризации вычистить их до исходного количества на много на много эффективнее, чем сразу запустить оба процесса обучения и и регуляризации имея дело с постоянным количеством синапсов.

Собственно приятно, что исследования на мышах подтвердили смутные гипотезы.


  06.02.2017 20:04  |   Марков Александр Ответить   
   

Очень интересно


  07.02.2017 00:51  |   Влад Ответить   
     

Я как-то даже хотел попробовать организовать встречу с вами на тему "почему эволюция идёт с ускорением с точки зрения математики", с этой точки зрения это близкородственные задачи, но потом подумал, что без экспирементального подтверждения к вам такие умники десятками ломятся. :)

 
  09.02.2017 19:39  |   VICTOR Ответить   
       

Какие-то условные параметры вроде "количество изобретений в год" явно выросло, если сравнить 2 периода:
1) 100-700 гг. нашей эры;
2) 1982-2002 гг. нашей эры.

А почему так произошло - есть несколько причин.

   
  09.02.2017 19:56  |   Влад Ответить   
         

Речь не об открытиях и сингулярности. То что на меметику распостраняются похожие законы логично, но очень трудно доказуемо формально, а кроме того эволюция живого от меметической революции очень сильно отличается метапараметрами в большинстве случаев.

Я имею в виду строго математическую трактовку того почему с ускорением идёт эволюция геномов живых существ. И как раз из-за того, что эту задачу можно строго формализовать и аргументы не сводятся к убедительности рассуждений эта задача становится гораздо более трудной.

     
  09.02.2017 22:13  |   VICTOR Ответить   
           

Из ускорения эволюции в геноме я видел только о том, что после общего предка людей и шимпанзе в несколько раз увеличились темпы "удвоения генов":
http://www.gazeta.ru/science/2009/02/12_a_2940904.shtml
Информация конечно на устаревших оценках, сейчас общего предка отнесли на отметку 10 миллионов лет.


  06.02.2017 21:42  |   ghost_in_machine Ответить   
   

Я бы немного подправил Ваши наблюдения с учетом своего опыта работы с искусственными нейронными сетями. В случае компьютерной программы нейронная сеть дизайнируется не методом самосборки, а «творцом» (всякую жесть типа генетических алгоритмов для перебора коммутаций в нейонных сетей в расчет не берем). Так вот, многие моменты организации природных НН (включая и сон/регуляризацию) будут оптимальны *только* с учетом сложности генных сетей необходимых для кодирования их самосборки.

 
  07.02.2017 00:39  |   Влад Ответить   
     

Согласен полностью. Поэтому мои сети со значительной самосборкой, они сами добавляют и удаляют синапсы и нейроны и и то и другое делают неравномерно и как раз с перебором коммутаций, не случайным, конечно, а с очень сильной эвристикой. Этого оказывается достаточно чтобы эффект проявился. А сейчас я к ним планирую прикрутить разделение неронов на семейства и генетический алгоритм настраивающий метапараметры семейств, надеюсь ещё больше увеличить выигрыш.

Но не сложность организации сети первична. Первична сложность задачи с которой плохо справляются сети без всех этих наворотов. Если мою сеть натравить на ирисы или вообще любую задачу с более или мене гладким адаптивным рельефом выигрыша никакого, я прверял. Неравномерная регуляризация выстреливает если в исходных данных есть паттерны, обобщение которых значительно повышает результат - именно это она помогает осуществлять.

   
  07.02.2017 01:52  |   ghost_in_machine Ответить   
       

У Вас, по-ходу, серьезные задачи, коллега. Очень интересно. Я вот до вашего поста был абсолютно уверен, что современный хард еще не способен подымать такое «многомерное обучение»… А на чем считаете, если не секрет? И сколько миллионов нейрнов/синапсов/сэмплов приходиться на Вашу среднюю НН? И правильно ли я понимаю, что “1D” обучение и оценка дизайна НН у Вас все же на backpropagation/deep-belief а не на вариации рандом чего-то там?
З.Ы. У меня, всякие молекулярные связывания со сложностью по формуле выше 1-2/1К/10 и это все весьма туго идет на 128-cpus (тредов не камней) Xeon E7-8867 от Dell.
З.Ы.Ы. Не буду спорить - природные НН действительно решают самую сложную из всех возможных задач - выжить. :)

     
  07.02.2017 08:51  |   Влад Ответить   
         

Задачи у меня синтетические, сложные для сети, но малой размерности. Так что миллионами я не оперирую. Всё на проце, пока изучаю возможности алгоритмов, а не машинное зрение на них. Ну и алгоритм специфический - много нужно писать руками, на проце проще.

Но тем не менее, такие алгоритмы железо современное вполне потянет, нужно только знать что именно делать. Неравномерная регуляризация тяжёлая, но весит как O(n) и запускается раз в эпоху. Так что накладных расходов на неё совсем немного. Эвристика от перекоммутации запускается часто, но весит при этом только O(log(n)) так что не всё так страшно. Ну и допрасходы на то что сама сеть оказывается сложнее на два обращения в массив по индексу, чем нормальная, потому что требуется поддерживать сеть с почти произвольным коннектомом, вот тут самое большое неудобство. А оценка дизайна - вообще копейки.

Алгоритм получается заметно сложнее того что обычно гоняют на кластерах титанов, но при миллионах всё равно должно получаться приемлемо. Когда на видюху рассчёты переведу померяю точно.

       
  07.02.2017 20:28  |   ghost_in_machine Ответить   
           

Ну как померяете то отпишитесь - очень интересно что получиться.


  06.02.2017 17:24  |   Kentavr Ответить   
 

Чего-то я так и не смог разобраться в запутанной терминологии статьи. В частности в подписи к Рис.1 использован на мой взгляд вводящий в заблуждение перевод, который я не смог понять: "Справа — синапс после бодрствования (Awake) и после сна (Asleep)". "после бодрствования" - это значит уже когда бодрствование закончено и наступил сон, т.е. на самом деле во время сна? И соответственно "после сна" - это когда уже сон закончился, т.е. во время бодрствования? Иными словами Awake - это во время сна, а Asleep - это во время бодрствования? Вряд ли. Может, было бы правильнее написать в переводе не "после", а "во время"?


  06.02.2017 17:43  |   Alter_Ego Ответить   
   

Это Александр ночью переводил и устал ))
Имеется в виду не просто сон и бодрствование, а состояния непосредственно до сна и после него, насколько я понял.

 
  06.02.2017 20:02  |   Марков Александр Ответить   
     

Awake - это зарезали бодрствующую мышку, которая сколько-то часов перед смертью не спала. Asleep - зарезали спящую мышку, которая сколько-то часов перед смертью спала.


  06.02.2017 18:22  |   Alter_Ego Ответить   
 

И тут работает что-то отдаленно напоминающее принцип "80/20" Парето: 80% синапсов ночью уменьшаются на 20% :) Правда, остальные 20% синапсов не увеличиваются. Хотя как-то иначе "ослабляются", согласно второй группе исследователей, если судить по рецепторным белкам.

Предположим, что 20% музыкантов симфонического оркестра вносят 80% вклада в звучание симфонии. Т.е. если убрать 80% тех, то еще можно получить удовольствие, а вот если замолчат 20% этих, то публика разойдется. Допустим, этим 20% платят больше, и отдыхают они тоже больше (потому что они ценнее и устают больше, поскольку выкладываются сильнее). Концерт=бодрствование. Сравнения - до концерта (=после сна) и по завершении (=перед сном).

Первая группа исследователей обнаружила, что 80% музыкантов после концерта получают вознаграждение на 20% меньше, чем "ценные" 20% оркестрантов (которым заплатят одинаково - как за концерт, так и за отдых). Вторая группа показала, что эти 20% музыкантов между концертами отдыхают больше. Нет противоречия.

Как-то так примерно... Или нет? )))


  07.02.2017 02:48  |   Юрий Федоров Ответить   
   

Вот это Вы завернули! Хотя мне тема симфонического оркестра и весьма близка, это Ваше сравнение (вероятно, имеющее целью упростить понимание описанной в статье картины?) мне куда менее понятно, чем сама статья.
Даже вызвало сомнение - а понял ли я вообще что-либо в статье? Настолько мало написанное Вами коррелирует с тем, что я себе понапредставлял по прочтении её)


  07.02.2017 13:54  |   VICTOR Ответить   
 

Возник вопрос. Упомянутые вещества - глутамат, белки GRIA1 и GRIA2 - у кого присутствуют? Не до нематод ведь? Нашел, что глутамат точно есть у позвоночных.
Из других веществ - ГАМК есть у млекопитающих.


  07.02.2017 14:14  |   Марков Александр Ответить   
   

Глутамат служит нейромедиатором у всех животных, имеющих нервную систему. Соответственно, у всех животных есть и глутаматные рецепторы.


Научная картинка дня


Новости науки по темам: антропология, археология, астрономическая научная картинка дня, астрономия, биология, биотехнологии, генетика, геология, затмения, информационные технологии, космос, лингвистика, математика, медицина, нанотехнологии, наука в России, наука и общество, Нобелевские премии, палеонтология, Первое апреля, психология, технологии, физика, химия, эволюция, экология, энергетика, этология

Новости науки по авторам: Валентин Анаников, Дарья Баранова, Вера Башмакова, Александр Бердичевский, Максим Борисов, Варвара Веденина, Александр Венедюхин, Михаил Волович, Михаил Гарбузов, Алексей Гиляров, Дмитрий Гиляров, Сергей Глаголев, Евгений Гордеев, Николай Горностаев, Владимир Гриньков, Дмитрий Дагаев, Юрий Ерин, Анастасия Еськова, Дмитрий Жарков, Андрей Журавлёв, Дмитрий Замолодчиков, Игорь Иванов, Вячеслав Калинин, Павел Квартальнов, Мария Кирсанова, Дмитрий Кирюхин, Александр Козловский, Юлия Кондратенко, Артем Коржиманов, Ольга Кочина, Аркадий Курамшин, Виталий Кушниров, Иван Лаврёнов, Алексей Левин, Андрей Логинов, Сергей Лысенков, Лейла Мамирова, Александр Марков, Мария Медникова, Вадим Мокиевский, Григорий Молев, Тарас Молотилин, Антон Морковин, Марат Мусин, Максим Нагорных, Елена Наймарк, Алексей Опаев, Петр Петров, Александр Пиперски, Константин Попадьин, Сергей Попов, Роман Ракитов, Татьяна Романовская, Александр Самардак, Александр Сергеев, Андрей Сидоренко, Виктория Скобеева, Даниил Смирнов, Павел Смирнов, Дарья Спасская, Любовь Стрельникова, Дмитрий Сутормин, Алексей Тимошенко, Александр Токарев, Александр Храмов, Мария Шнырёва, Сергей Ястребов, Светлана Ястребова

Новости науки по месяцам: 2017 III, II, I  2016 XII, XI, X, IX, VIII, VII, VI, V, IV, III, II, I  2015 XII, XI, X, IX, VIII, VII, VI, V, IV, III, II, I  2014 XII, XI, X, IX, VIII, VII, VI, V, IV, III, II, I  2013 XII, XI, X, IX, VIII, VII, VI, V, IV, III, II, I  2012 XII, XI, X, IX, VIII, VII, VI, V, IV, III, II, I  2011 XII, XI, X, IX, VIII, VII, VI, V, IV, III, II, I  2010 XII, XI, X, IX, VIII, VII, VI, V, IV, III, II, I  2009 XII, XI, X, IX, VIII, VII, VI, V, IV, III, II, I  2008 XII, XI, X, IX, VIII, VII, VI, V, IV, III, II, I  2007 XII, XI, X, IX, VIII, VII, VI, V, IV, III, II, I  2006 XII, XI, X, IX, VIII, VII, VI, V, IV, III, II, I  2005 XII, XI, X, IX, VIII, VII, VI, V, IV, III, II, I 

Новости науки почтой (рассылка на Subscribe.ru):

 


Где еще почитать научные новости: «Биомолекула», «Вокруг света», Газета.ру. Наука, «Индикатор», «Наука и жизнь», Наука и технологии РФ, «Научная Россия», «Популярная механика», РИА Наука, «Чердак», N+1, Naked Science

 


при поддержке фонда Дмитрия Зимина - Династия