О зависимости от объема данных. В теории надежности говорят о наработке (время — что в статье — ее частный случай). Для авто наработка скорее измеряется в км, а для винчестера — вполне возможно, в объеме обработанных данных или числе циклов включения-выключения. Вполне возможно, что удастся подобать такую единицу наработки, для которой отказы будут экспоненциальными.
«пока все откажут» — конечно, для наглядности. В реальности, делают не так, а следят за партией из N изделий. Пусть за год отказали 5 винчестеров (времена отказов фиксированы), а N-5 работают. Из этих данных и получают оценку λ. Чем дольше наблюдаем — тем лучше оценка.
1. Конечно. Если нарисовать типичный график интенсивности отказов, то будет что-то такое:
— Сначала идет приработка изделия — отказов много. бычно в этот период делают испытания — тупо заставляют изделия работать определенное время. Те, что не отказали — идут в продажу.
— Потом — долгий период примерно постоянной интенсивности отказов. Для него экспоненциальное распределение хорошо работает
— Последняя фаза старения — отработавшие изделия отказывают часто. (Но для производителя это несущественно — ему же надо просчитать издержки на гарантийный сервис — вы же понимаете, для чего все эти расчеты — для оптимизации сервиса)
2. Есть специальные методы и специальный софт. Самое простое соображение — нарисовать структурную схему изделия и, зная λ-характеристики комплектующих, вычислить оценку λ для всего изделия.
Прелесть экспоненциального распределения в том, что для получения этой оценки надо просто сложить λ комплектующих (про это будет следующая статья про надежность).
На то есть специальные методы. Основное развитие они получили в последние 20 лет, когда компьютеры стали мощные, и почти все, что угодно, можно посчитать по Монте-Карло. В наши дни никакой проблемы нет посчитать надежность, если есть исходные данные. Я использую вот этот софт.
Беда в том, что очень редко, когда для изделий (и/или комплектующих) есть что-то большее, чем число λ. Уже хорошо, когда оно есть.
Действительно, так делают редко (но иногда делают). Гораздо более простой способ следует из определения MTTF=среднее время до отказа. Пусть у нас есть серия из N изделий. Мы дожидаемся, пока все они откажут, и записываем время, когда произошел каждый отказ Ti. Очевидно, оценка MTTF=(среднее по Ti)=(суммаTi)/ N.
Есть и другие методы, учитывающие статистику по партии изделий, часть из которых отказала в известные моменты времени, а часть — работает (FRACAS, анализ Вейбулла). Основаны они на том, что оцениваем мы одно число, а статистику имеем кое-какую.
К слову, приведу пример моделирования Монте-Карло отказов партии из N=100 штук. (Показана гистограмма распределения отказов по времени и аппроксимация экспоненциальной плотностью вероятности).
Да, почти все очень интересно. Например, отслеживание техники по ГЛОНАСС и похожие задачи — на какой-то платформе IoT реализуете? Или сами писали весь код?
Ах, Вы же в Германии… Кстати, форум РТС — типа глобального тура, 18 марта будет в Берлине, и 3-го что-то в Эссене (в Москве — 24.02). liveexchange.ptc.com. Но серьезно рассчитывать на поддержку я бы не стал, хотя все бывает. Насколько я понял, Вам интересен Интернет вещей — смотрите на РТС, для них это новая тема, которую сейчас активно двигают (ThingWorx).
Спасибо за статью и прекрасный продукт! Маткад на планшете конечно нужен, об этом многие писали (В.Ф.Очков, в частности). Не знаю, появится ли когда-то сам Маткад от РТС на Андроиде или iOs (все же он сильно завязан на Windows).
К слову, на днях в Москве будет форум РТС — приходите, если интересно.
Навскидку не могу сказать, что умеет Маткад, а что нет — надо конкретную задачу смотреть. Про матрицу без перечисления элементов — вряд ли.
Контроль размерностей есть, в последних версиях даже чересчур навязчивый (опять же — зависит от задачи, хорош или плох). А вообще, символьные возможности Mathcad 15, мне кажется, лучше, чем в Prime.
Но символьный процессор — в платной версии (в Экспрессе выключен).
Спасибо за вопрос!
По 10 точкам я делаю регрессию, т.е. провожу прямую по МНК. Вообще говоря, ничего не мешает и по 3-м точкам провести. Будут разные оценки для стандартной ошибки регрессии (сигмы) — которая зависит в перую очередь от к-та корреляции.
Добавил в хвост статьи три графика для разного объема выборки N (10 и 100) и к-та корреляции R (два первых для 0.9, нижний — 0.5). Обратите внимание, на зависимость стандартной ошибки от R.
Про АКФ (автокорреляционная функция? По каким данным она у Вас нарисована?) будет во 2-й серии. Надо сказать, что датчики случайных чисел обычно дают не такие уж независимые данные. А в моей модели каждая пара данных (xi,zi) предполагается независимой (временной корреляции нет).
Все же оставлю обычный выбор, для чистоты эксперимента. Опросы — большей частью для накапливания данных. А по перечисленным темам, рано или поздно, по всем напишу.
Моя задача максимум — постепенно (по мере самообучения) сделать нормальный курс по современному «машинному обучению». Это — первая статья. Если посмотреть учебники, то они обычно начинаются как раз с регрессии. Вообще, насколько я понял, «машинное обучение» — это сборная солянка из разных областей: статистики, распознавания образов, обратных задач и т.д…
Не смог я, ученый, работать с LaTeX-ом. Пробовал, не понравилось (в начале 2000-х). В OpenOffice прекрасный модуль для ввода формул — по мне, лучше Word-а. Слово Питон меня пугает немного.
Я с Вами согласен почти во всем.
Моя мечта — написать цикл статей (возможно даже здесь на Хабре) по машинному обучению с Маткадовскими (правда, уже не Экспресс) примерами, взяв за основу пару американских открытых курсов.
Поверьте, при помощи Маткад можно решать и неравенства, и уравнения в частных производных, и обратные задачи, и жесткие ОДУ. И мне приходилось это делать. Позвольте еще раз порекомендовать свою книгу по вычислительной физике. Почти вся она (кроме томографии) посчитана на Маткаде 2001, и большая часть посвящена анализу данных и дифф.уравнениям. Ряд примеров из книги «вырос» из научной работы. Безусловно, применение Маткада ограничено ресурсоемкостью задачи. Типовая модель его использования — это быстрые расчеты «на коленке», разработка численных алгоритмов, самообучение, визуализация результатов. Как правило, в задачах, требовавших или работы с большими данными, и/или вычислительных мощностей — после Маткада шли руками программировать алгоритм на параллельную ЭВМ (уже не я, а коллеги).
О зависимости от объема данных. В теории надежности говорят о наработке (время — что в статье — ее частный случай). Для авто наработка скорее измеряется в км, а для винчестера — вполне возможно, в объеме обработанных данных или числе циклов включения-выключения. Вполне возможно, что удастся подобать такую единицу наработки, для которой отказы будут экспоненциальными.
— Сначала идет приработка изделия — отказов много. бычно в этот период делают испытания — тупо заставляют изделия работать определенное время. Те, что не отказали — идут в продажу.
— Потом — долгий период примерно постоянной интенсивности отказов. Для него экспоненциальное распределение хорошо работает
— Последняя фаза старения — отработавшие изделия отказывают часто. (Но для производителя это несущественно — ему же надо просчитать издержки на гарантийный сервис — вы же понимаете, для чего все эти расчеты — для оптимизации сервиса)
2. Есть специальные методы и специальный софт. Самое простое соображение — нарисовать структурную схему изделия и, зная λ-характеристики комплектующих, вычислить оценку λ для всего изделия.
Прелесть экспоненциального распределения в том, что для получения этой оценки надо просто сложить λ комплектующих (про это будет следующая статья про надежность).
Беда в том, что очень редко, когда для изделий (и/или комплектующих) есть что-то большее, чем число λ. Уже хорошо, когда оно есть.
Есть и другие методы, учитывающие статистику по партии изделий, часть из которых отказала в известные моменты времени, а часть — работает (FRACAS, анализ Вейбулла). Основаны они на том, что оцениваем мы одно число, а статистику имеем кое-какую.
К слову, приведу пример моделирования Монте-Карло отказов партии из N=100 штук. (Показана гистограмма распределения отказов по времени и аппроксимация экспоненциальной плотностью вероятности).
К слову, на днях в Москве будет форум РТС — приходите, если интересно.
Контроль размерностей есть, в последних версиях даже чересчур навязчивый (опять же — зависит от задачи, хорош или плох). А вообще, символьные возможности Mathcad 15, мне кажется, лучше, чем в Prime.
Но символьный процессор — в платной версии (в Экспрессе выключен).
По 10 точкам я делаю регрессию, т.е. провожу прямую по МНК. Вообще говоря, ничего не мешает и по 3-м точкам провести. Будут разные оценки для стандартной ошибки регрессии (сигмы) — которая зависит в перую очередь от к-та корреляции.
Добавил в хвост статьи три графика для разного объема выборки N (10 и 100) и к-та корреляции R (два первых для 0.9, нижний — 0.5). Обратите внимание, на зависимость стандартной ошибки от R.
Про АКФ (автокорреляционная функция? По каким данным она у Вас нарисована?) будет во 2-й серии. Надо сказать, что датчики случайных чисел обычно дают не такие уж независимые данные. А в моей модели каждая пара данных (xi,zi) предполагается независимой (временной корреляции нет).
Еще нашел русские ресурсы:
Моя мечта — написать цикл статей (возможно даже здесь на Хабре) по машинному обучению с Маткадовскими (правда, уже не Экспресс) примерами, взяв за основу пару американских открытых курсов.
Поверьте, при помощи Маткад можно решать и неравенства, и уравнения в частных производных, и обратные задачи, и жесткие ОДУ. И мне приходилось это делать. Позвольте еще раз порекомендовать свою книгу по вычислительной физике. Почти вся она (кроме томографии) посчитана на Маткаде 2001, и большая часть посвящена анализу данных и дифф.уравнениям. Ряд примеров из книги «вырос» из научной работы. Безусловно, применение Маткада ограничено ресурсоемкостью задачи. Типовая модель его использования — это быстрые расчеты «на коленке», разработка численных алгоритмов, самообучение, визуализация результатов. Как правило, в задачах, требовавших или работы с большими данными, и/или вычислительных мощностей — после Маткада шли руками программировать алгоритм на параллельную ЭВМ (уже не я, а коллеги).
— про модель Лоренца
— про бифуркации