golovasteek Dec 26 2017 at 00:59

Асинхронная загрузка больших датасетов в Tensorflow

8 min

10K

Python*Machine learning*TensorFlow*

Tutorial

+13

Comments 9

zodiak Dec 26 2017 at 09:31

Dataset без Estimator как пиво без водки

yarric Dec 26 2017 at 09:52

А для Tensorflow есть средства визуального программирования вроде майкрософтовского Machine Learning Studio для Azure ML?

golovasteek Dec 26 2017 at 11:46

Я про такие не слышал. Но и не искал в общем-то.

AFH Dec 26 2017 at 11:39

Кстати, для «one hot»-вектора у tensorflow тоже есть удобная функция: tf.one_hot

golovasteek Dec 26 2017 at 11:45

Все верно. Но нету удобной функции, позволяющей удобно преобразовать именованные категории в one_hot. А значит функция преобразующая считвающая категорию из файла и представляющая ее в виде числа все равно нужна.

OverQuantum Dec 27 2017 at 15:21

А если данные лежат в одном файле (типа как в MNIST), но держать их все в памяти всё-таки не хочется — в какую сторону копать?

golovasteek Dec 27 2017 at 16:20

На вскидку, TextLineDataset должен подойти.
Или сделать датасет из

file.readlines()

ifilonov Dec 28 2017 at 21:16

Последний батч, возвращаемый итератором, может быть размером меньше BATCH_SIZE, так что все-таки делать

total += BATCH_SIZE

не вполне корректно. Один из возможных вариантов — среди прочего в sess.run считать что-то вроде tf.shape(img_batch)[0].

golovasteek Dec 29 2017 at 03:27

Верное замечаение.
Вообще правильнее решить задачу было бы с помощью tf.metrix.accuarcy, но в версии 1.4 статистику нельзя сбрасывать между эпохами, что не очень удобно.

Show the best of all time