Дедубликацию мы применили, чтобы дополнительно очистить выборку для каждого автора. Затем искусственно добавили в неё больше Пепперштейна, чтобы сётка во время обучения увидела его больше раз, чем всего остального.
Пока да, думаем ее еще получше потестить. 13В моноязычная ruGPT-3 тоже в клауде живет. на 1 Tesla V100 влезает только инференс, дообучение - 4 Tesla V100 минимум
Ну, по крайней мере люди, носители языка эти задачки решают очень хорошо - их вполне реально решить на 100%
Некоторые датасеты на machine reading и правда как будто из ЕГЭ взяты по формату.
Вот это подарок под новый год!!! Спасибо!
Спасибо!
Скажите, какие параметры выставить для оптимальной генерации? Какие рекомендуете?
А сделаете демку Huggingface? Или не влезет?
Ура, спасибо за работу!
А пробовали уже few-shot, zero-shot замерить на ней?
Хороший вопрос!
Дедубликацию мы применили, чтобы дополнительно очистить выборку для каждого автора. Затем искусственно добавили в неё больше Пепперштейна, чтобы сётка во время обучения увидела его больше раз, чем всего остального.
Вау! Впечатляющая работа! А будет в open source? И.. почему температура такая маленькая?
В целом, согласна по поводу нейронок, мы ещё не исследовали все, что они могут решать, даже в текущем сетапе.
Нейросеть в лице сбера получила свой гонорар, как по авторскому договору, только чуть переделанному))
AI-книга заменит программиста?))
А там есть и персонажи, и сюжет!
Это полноценные рассказы) В этом и фишка.
Конечно, это ещё не роман на 100 страниц, но на 5-10 страниц полноценный текст.
ПО, конечно, пока специализированное. Когда начнёт одна модель решать все задачи, и учиться новым - это уже по определению будет сильный ИИ.
Ожидания от моделей все время повышаются, но сама возможность решить такую новую задачу - имхо уже очень важный показатель.
Надо emojich'а прикрутить))
Попробуйте в колабе, действительно, там инференс занимает порядке 12 Gb
вроде все на месте
Почему?.. Когда мы брали го назад данные, все было на месте. Сейчас зашла на сайт - их больше всех: http://web-corpora.net/wsgi3/minorlangs/download
в строке "татарский" архив 40мб, башкирский - 96мб.
Там есть отдельные подкорпуса языков, вот тут на странице есть вкладка "скачать" : http://web-corpora.net/wsgi3/minorlangs/
Пробую зеро-шот перевод, получился красивый черри-пик
Пока да, думаем ее еще получше потестить. 13В моноязычная ruGPT-3 тоже в клауде живет. на 1 Tesla V100 влезает только инференс, дообучение - 4 Tesla V100 минимум
Я думаю, что можно, почему нет) Потестим ее тогда на mlsum