Клуб Логистов | Логист.ру
https://old.logist.ru/archive/YaBB.cgi
Практика >> Запасы >> Сезонная декомпозиция
https://old.logist.ru/archive/YaBB.cgi?num=1217591015
Сообщение написано Архипов Станислав 01.08.2008 :: 15:43:35

Заголовок: Сезонная декомпозиция
Создано Архипов Станислав 01.08.2008 :: 15:43:35
Здесь (?) как-то поднимался уже вопрос, в каком порядке чистить данные - сначала тренд, или сначала сезонность. У меня наконец дошли руки расписать классический метод сезонной декомпозиции

...
Опубликованы части 5 и 6

Тренд. Сезонность. Классическая сезонная декомпозиция

http://consultingspb.com/node/25
http://consultingspb.com/node/27


----------------------------------------
См. также:
Необходима формула оптимизации склада запчастей http://logist.ru/forum/YaBB.cgi?num=1150892095
ПО для автоматизации закупочной деятельности http://logist.ru/forum/YaBB.cgi?num=1150892095
Страховой запас по запасным частям http://logist.ru/forum/YaBB.cgi?num=1170275522

Заголовок: Re: Сезонная декомпозиция
Создано Лапченков Дмитрий 01.08.2008 :: 21:56:18
Добрый вечер.
А если отслеживать сезон по-другому? Я, например, могу увидеть тренд только после снятия сезонности. Ведь тренд вовсе не обязан быть линейным. То есть я изначально строю различные варианты тренда (линейный, логарифмический, степенной, парабалический, гипербола, полиномы и т.д.) потом оцениваю сезонность, как разницу между трендом и фактом, данная разница содержить сезон и ошибку. По несколькм годам беру среднюю разность, получаю тренд с сезонностью. Далее оцениваю ошибку прогноза с сезоном. Там, где ошибка меньше, тот прогноз оптимальнее (тренд + сезонность). Не всегда таковым являлся линейный тренд. Обязательное условие - автоматизация процесса.
А данный классический метод, я использую для очисти данных перед
использованием ARMA и ARIMA

Заголовок: Re: Сезонная декомпозиция
Создано Шаврин Андрей 04.08.2008 :: 11:31:16
Добрый день.
Станислав, как и всегда, замечательно и образно описывает технологии вычислений. :)
Во время прочтения возникают некоторые вопросы: Почему выбираем мультипликативную модель? И если выбрали её, было бы хорошо рассмотреть различные методы нормировки  сезонных коэфф. С учетом геометрического среднего и арифметического среднего. Обе модели, на мой взгляд, имеют право на существование. Замечание Дмитрия, очень кстати: есть ли разница что делать сначала убирать тренд или сезонность. В вашей модели: f(t)*(a*t+b), где f(t)=f(t+T) это не существенно, а в других? И самый неприятный вопрос: Где эта сезонность начинается или отличие от флуктуаций.
В реальной жизни все эти и подобные вопросы часто разбиваются на недостаточность данных и влияние сторонних факторов. Чистая, "красивая" сезонность наблюдается редко и описывать её бывает проще "импульсными" моделями: форма повторяется, меняются параметры.

Заголовок: Re: Сезонная декомпозиция
Создано Семко Александр 04.08.2008 :: 22:50:33
Доброго дня!
Согласен с Андреем.
Большей частью только  разговоры о "шумах" и "флуктуациях", но не где не встречал более-менее внятного описания что есть что, и на сколько оно "шум" или "флуктуация". Один залётный оптовик в год- это возможно шум, а более частый оптовик но появление его прогнозу не поддаётся, и что брать будет не понятно, видимо тоже "шум", но считаться с ним уже приходится. Вот и встаёт вопрос "шумовой" декомпозиции.
С уважением.

Заголовок: Re: Сезонная декомпозиция
Создано Шаврин Андрей 05.08.2008 :: 10:41:15
День добрый!

Александр поднял один из самых любопытных вопросов - существование сезонности в спорадическом спросе. Насколько мне известно, методов её определения ещё не найдено.
Иногда это не просто теоретический вопрос. Например небольшой (или средних размеров) магазин запчастей. Чистая мука построить работающую модель спроса.

Заголовок: Re: Сезонная декомпозиция
Создано Семко Александр 05.08.2008 :: 21:40:08
Доброго дня!
Андрей, из Вашего поста следует, что есть печальный опыт борьбы с запчастью. :) Знакомая беда.
Если возвращаться к "шумам", может имеет смысл определиться ЧТО ТАКОЕ "ШУМ"? Ну или "флуктуации".
С уважением.

Заголовок: Re: Сезонная декомпозиция
Создано Архипов Станислав 06.08.2008 :: 14:13:27

Лапченков Дмитрий wrote:
Добрый вечер.
А если отслеживать сезон по-другому? Я, например, могу увидеть тренд только после снятия сезонности. Ведь тренд вовсе не обязан быть линейным. То есть я изначально строю различные варианты тренда (линейный, логарифмический, степенной, парабалический, гипербола, полиномы и т.д.) потом оцениваю сезонность, как разницу между трендом и фактом, данная разница содержить сезон и ошибку. По несколькм годам беру среднюю разность, получаю тренд с сезонностью. Далее оцениваю ошибку прогноза с сезоном. Там, где ошибка меньше, тот прогноз оптимальнее (тренд + сезонность). Не всегда таковым являлся линейный тренд. Обязательное условие - автоматизация процесса.
А данный классический метод, я использую для очисти данных перед
использованием ARMA и ARIMA



по большому счету это то же самое, только вместо скольщящего среднего используется аналитическое выравнивание. так что не вижу никакого противоречия :)

Заголовок: Re: Сезонная декомпозиция
Создано Архипов Станислав 06.08.2008 :: 14:31:55

Шаврин Андрей wrote:
Добрый день.
Станислав, как и всегда, замечательно и образно описывает технологии вычислений. :)
Во время прочтения возникают некоторые вопросы: Почему выбираем мультипликативную модель? И если выбрали её, было бы хорошо рассмотреть различные методы нормировки  сезонных коэфф. С учетом геометрического среднего и арифметического среднего. Обе модели, на мой взгляд, имеют право на существование. Замечание Дмитрия, очень кстати: есть ли разница что делать сначала убирать тренд или сезонность. В вашей модели: f(t)*(a*t+b), где f(t)=f(t+T) это не существенно, а в других? И самый неприятный вопрос: Где эта сезонность начинается или отличие от флуктуаций.
В реальной жизни все эти и подобные вопросы часто разбиваются на недостаточность данных и влияние сторонних факторов. Чистая, "красивая" сезонность наблюдается редко и описывать её бывает проще "импульсными" моделями: форма повторяется, меняются параметры.


статья - своего рода "учебная граната". я и не ставил себе цель описать все возможные варианты, только классический метод. отсюда же и взят только один вариант (наиболее распространенный на практике) в качестве учебной же задачи, иллюстрации метода.

поэтому и мультипликативная модель. для аддитивной ведь почти ничего не меняется :)

о порядке очистки: сначала убирают сезонность. но чтобы ее убрать, приходится  сгладить любым образом ряд, так что имеем в результате двухпроходную схему. причем вид сглаживания не очень и существен, поскольку коэффициенты будут усредняться. другое дело, что по уму после получения ряда коэффициентов может оказаться так, что метод сглаживания был уж очень нехорош. например, если ряд демонстрирует слишком большой размах в значениях или размах этот заметно растет/падает.

и вот только после очистки от сезонности уже можем делать предположения о виде трендовой кривой.

по поводу определения, есть ли сезонность и каков ее вид... существуют конечно методы в статистике, позволяющие оценить релевантность модели - через анализ остатков... но опять же, я писал для сугубых прикладников, для которых ряд - это ряд продаж конкретного продукта. и наличие и вид сезонности там определяются экспертным методом на раз-два. этого на практике достаточно :)

опять же. этим практикам необходим краткосрочный прогноз. а на коротком сроке любой тренд достаточно хорошо приближается к линейному. так что линейная мультипликативная модель для наших задач применима в 99% случаев, если случай этот с квазинепрерывным потреблением.

дискретно-спорадические ряды - это отдельный разговор :)

Заголовок: Re: Сезонная декомпозиция
Создано Архипов Станислав 06.08.2008 :: 14:36:28

Семко Александр wrote:
Доброго дня!
Согласен с Андреем.
Большей частью только  разговоры о "шумах" и "флуктуациях", но не где не встречал более-менее внятного описания что есть что, и на сколько оно "шум" или "флуктуация". Один залётный оптовик в год- это возможно шум, а более частый оптовик но появление его прогнозу не поддаётся, и что брать будет не понятно, видимо тоже "шум", но считаться с ним уже приходится. Вот и встаёт вопрос "шумовой" декомпозиции.
С уважением.


что есть шум, а что нет - это просто :)
это мы сами назначаем, когда определяем, как будем прогнозировать. мне лень повторяться, там же несколькими страницами ранее, в первых частях записок я про это писал...

Заголовок: Re: Сезонная декомпозиция
Создано Архипов Станислав 06.08.2008 :: 14:38:06

Семко Александр wrote:
Доброго дня!
Андрей, из Вашего поста следует, что есть печальный опыт борьбы с запчастью. :) Знакомая беда.
Если возвращаться к "шумам", может имеет смысл определиться ЧТО ТАКОЕ "ШУМ"? Ну или "флуктуации".
С уважением.


ваш покорный слуга проработал 14 лет в продажах автозапчастей  :P

Заголовок: Re: Сезонная декомпозиция
Создано Семко Александр 06.08.2008 :: 21:43:57
Станислав, доброго дня!

Рад встретить родственную душу, в плане запчастей. ;)
По поводу "страниц ранее", перечитаю снова, ранние страницы.
С уважением!

Заголовок: Re: Сезонная декомпозиция
Создано Шаврин Андрей 14.08.2008 :: 14:22:23
Коллеги,

Когда имеем дело со всякими там сезонностями - основная проблема, на мой взгляд, именно в определении погрешностей. Сколько данных обычно имеем для определения сезонных коэфф.? Правильно - очень мало. Фактически приходится вычислять среднее из 2-4 значений! О какой точности можно говорить? Вся суть сезонности в её экспертном понимании. Человеческий фактор  :(.
Если люди верят в то, что товар сезонный можем предоставить его коэфф., кривулины и т.п. Никакой особой науки тут ещё нет. Дальнейший выбор тренда из остатка ряда - задача ещё более забавная. С большой вероятностью можно определить общее направление тренда (вверх или вниз). С меньшей определить линейные параметры. Совершенно нереально, пользуясь только данными о продажах определить характер тренда (линейный, степенной, и т.п.). Тут, опять, всплывают экспертные данные, которые, как обычно, наN-ое делить. ;)
Что имеем в сухом остатке:
1. Достоверный (относительно) прогноз возможен только на короткие периоды времени - ИМХО квартал не больше. Всё, что дальше из области благих намерений и сладких обещаний.
2. Получившаяся модель (особенно сезонная) является частично экспертной (недостоверной). Определение её точности покажет насколько можно ей доверять. И определяет необходимость в её использовании. По Оккаме: не стоит увеличивать сущности без необходимости. Зачем делать сложно если точность не увеличивается?
3. Модели основанные только на определении средних значений невозможно сравнивать, если нет диапазонов достоверности результатов.

=> Есть ли сезонность или её нет, нам это не известно  ;D

P.S. ЗЧ это не "печальный опыт борьбы" - это трудные моменты познания своих сил.  :)

Заголовок: Re: Сезонная декомпозиция
Создано Семко Александр 17.08.2008 :: 21:28:02
Доброго дня!

Станислав, в Ваших страницах ранее нашёл, что шум - это то, что мы описать не можем. Встаёт вопрос, "на сколько мы можем?". Кстати о методах с подбором параметров или коэффициентов, то же эксп. сглаживание, тот же Хольт с Винтерсом, к таким методам отношусь очень осторожно.
Тут согласен с Андреем,  "человеческий фактор" ,это меня и пугает. Так же как и экспертные оценки. Потому при АВС анализе пользуюсь методом "соединим концы кривой и проведём касательную", ну и далее по тексту, как наиболее независимый от мнений и человеческого фактора. Что хочу сказать, методы основаные на субъективных оценках, и грубо говоря, подгонке параметров, коэффициентов, для лучшей апроксимации, конечно имеют право жить, но в достоверности результатов оных, сказать что сомневаюсь- значит ничего не сказать. Потому пытаюсь смотреть в другую сторону, правда пока не понял как связать некоторые моменты. Шоб независеть от мнения и уровня знании или незнаний какго-то Васи Пупкина. Шо имею в виду- тригонометрию. Может я не прав, но пока не убедился в этом.

С уважением!

Заголовок: Re: Сезонная декомпозиция
Создано Архипов Станислав 19.08.2008 :: 17:29:55

Шаврин Андрей wrote:
Коллеги,

Когда имеем дело со всякими там сезонностями - основная проблема, на мой взгляд, именно в определении погрешностей. Сколько данных обычно имеем для определения сезонных коэфф.? Правильно - очень мало. Фактически приходится вычислять среднее из 2-4 значений! О какой точности можно говорить? Вся суть сезонности в её экспертном понимании. Человеческий фактор  :(.
Если люди верят в то, что товар сезонный можем предоставить его коэфф., кривулины и т.п. Никакой особой науки тут ещё нет. Дальнейший выбор тренда из остатка ряда - задача ещё более забавная. С большой вероятностью можно определить общее направление тренда (вверх или вниз). С меньшей определить линейные параметры. Совершенно нереально, пользуясь только данными о продажах определить характер тренда (линейный, степенной, и т.п.). Тут, опять, всплывают экспертные данные, которые, как обычно, наN-ое делить. ;)
Что имеем в сухом остатке:
1. Достоверный (относительно) прогноз возможен только на короткие периоды времени - ИМХО квартал не больше. Всё, что дальше из области благих намерений и сладких обещаний.
2. Получившаяся модель (особенно сезонная) является частично экспертной (недостоверной). Определение её точности покажет насколько можно ей доверять. И определяет необходимость в её использовании. По Оккаме: не стоит увеличивать сущности без необходимости. Зачем делать сложно если точность не увеличивается?
3. Модели основанные только на определении средних значений невозможно сравнивать, если нет диапазонов достоверности результатов.

=> Есть ли сезонность или её нет, нам это не известно  ;D

P.S. ЗЧ это не "печальный опыт борьбы" - это трудные моменты познания своих сил.  :)



очень хочется поспорить. но не с чем  >:(

Заголовок: Re: Сезонная декомпозиция
Создано Архипов Станислав 19.08.2008 :: 17:42:55

Семко Александр wrote:
Доброго дня!

Станислав, в Ваших страницах ранее нашёл, что шум - это то, что мы описать не можем. Встаёт вопрос, "на сколько мы можем?". Кстати о методах с подбором параметров или коэффициентов, то же эксп. сглаживание, тот же Хольт с Винтерсом, к таким методам отношусь очень осторожно.
Тут согласен с Андреем,  "человеческий фактор" ,это меня и пугает. Так же как и экспертные оценки. Потому при АВС анализе пользуюсь методом "соединим концы кривой и проведём касательную", ну и далее по тексту, как наиболее независимый от мнений и человеческого фактора. Что хочу сказать, методы основаные на субъективных оценках, и грубо говоря, подгонке параметров, коэффициентов, для лучшей апроксимации, конечно имеют право жить, но в достоверности результатов оных, сказать что сомневаюсь- значит ничего не сказать. Потому пытаюсь смотреть в другую сторону, правда пока не понял как связать некоторые моменты. Шоб независеть от мнения и уровня знании или незнаний какго-то Васи Пупкина. Шо имею в виду- тригонометрию. Может я не прав, но пока не убедился в этом.

С уважением!


не обязательно не можем. часто даже и не хотим - точности прибавится на грош, а возни...
Андрей совершенно справедливо указывает на шаткость отыскания сезонности по малому количеству наблюдений. но возникает вопрос. что мы выберем в лично своей ситуации:

  • забить на сезонность вообще
  • пусть лучше ВП "экспертно" определит
  • пусть будет хоть такое среднее, но хоть основанное на объективном факте, чем никакого


по поводу п.2
метод определения сведется к тому же пристальному разглядыванию графика и придумыванию некой средней цифры. и это еще в лучшем случае :)

Заголовок: Re: Сезонная декомпозиция
Создано Семко Александр 19.08.2008 :: 23:35:08
Доброго дня, Станислав!

Есть пара ржавых мыслишек, или не ржавых. С Вашего позволения из "Записок дилетанта" возьму ряд данных и поколдую над ними, что б на основе тех же данных видеть разницу. Результатом поделюсь. Надеюсь, Вы, не будете против такого варианта.
Жду разрешения. А потом и продолжим дискуссию.

С уважением!

Заголовок: Re: Сезонная декомпозиция
Создано Архипов Станислав 20.08.2008 :: 15:48:29

Семко Александр wrote:
Доброго дня, Станислав!

Есть пара ржавых мыслишек, или не ржавых. С Вашего позволения из "Записок дилетанта" возьму ряд данных и поколдую над ними, что б на основе тех же данных видеть разницу. Результатом поделюсь. Надеюсь, Вы, не будете против такого варианта.
Жду разрешения. А потом и продолжим дискуссию.

С уважением!


да бога ради, кушайте, сколько хотите и можете даже домой взять :)

Заголовок: Re: Сезонная декомпозиция
Создано Семко Александр 20.08.2008 :: 21:11:43
И что, Вы думаете? Так и сделаем

С уважением!

Заголовок: Re: Сезонная декомпозиция
Создано Челевич Егор 11.09.2008 :: 20:02:59

Шаврин Андрей wrote:
Коллеги,

Когда имеем дело со всякими там сезонностями - основная проблема, на мой взгляд, именно в определении погрешностей. Сколько данных обычно имеем для определения сезонных коэфф.? Правильно - очень мало. Фактически приходится вычислять среднее из 2-4 значений! О какой точности можно говорить? Вся суть сезонности в её экспертном понимании. Человеческий фактор  :(.

Добрый день.
У меня данные всего за два года, недельные.
0. Сглаживаю выбросы.
1. Выделяю линейный тренд по МНК.
2. Смотрю есть ли годовая сезонность. Для этого вычисляю коэффициент корелляции между двумя годами. По критерию Стьюдента решаю: товар сезонный или нет.
3. Если есть сезонность, выделяю ее. (только я делаю фильтрацию на Фурье-преобразованиях, вместо усреднения коэффициентов сезонности (всего два года)).
В остатке получаю случайную компоненту, которую оцениваю статистически как нормально распределенную.
(точнее, поскольку меня интересует прогноз суммарного спроса за 6 недель, я суммирую факт. ряд, убираю уже определенный тренд и сезонность, и по этим остаткам получаю страховой запас).

Такая вот декомпозиция. Что скажете?

Заголовок: Re: Сезонная декомпозиция
Создано Шаврин Андрей 17.09.2008 :: 15:07:14
Добрый день.

Хороший метод Егор.
Если не секрет, какова величина уровня значимости?
Опять же и Фурье - это правильная штука для отыскания НАЛИЧИЯ сезонной и иной повторяемости. Однако, получаемая точность будет не велика. Проверьте - берите синус + шум и вставьте в Ваши данные по неделям. Результат Вас сильно расстроит.
С фильтром - аналогично. Если частота будет слишком большой или слишком маленькой - фильтрации не будет. В Вашем случае большая частота - несколько недель, малая частота - 1/n (n<3) всего периода данных (1/2 двух лет imho слишком малая частота). Вообще, суть выделения сезонности от сложности метода, на одном, не очень большом диапазоне данных, не изменится. Опять упираемся в вопросы веры ;-)
Если верим (себе, методам, экспертам), что сезонность есть - так тому и быть.
Ещё один момент. Если внимательно смотреть на календари разных лет, то можно обнаружить, что дни недели не совпадают с числами месяцов. Для того, чтобы избежать путаницы данные нужно приводить на один рабочий день в неделе. Впрочем, как и в случае с другими периодами. Далее, если удалось определить (оценить) дисперсию в одном периоде, её можно определить (оценить) в любом другом: Dn=n*D1. Т.е. суммировать ряд не обязательно. => -1 Операция.

Заголовок: Re: Сезонная декомпозиция
Создано Челевич Егор 17.09.2008 :: 19:36:21

Шаврин Андрей wrote:
Добрый день.

Хороший метод Егор.
Если не секрет, какова величина уровня значимости?

Использую формулу
tfact = Abs(r) * Sqr(N - 2) / Sqr(1 - r * r)
где r - коэф. корреляции, N - длина годового ряда.
Пробовал N=52 (недели) и N=4 (кварталы).
В первом случае сезонные тенденции внутри года сложно уловить из-за шума, влияющего на r.
Во втором - смущает малая выборка.
Поэтому использую месячные продажи (точнее суммирую по 4 недели, N=13), имхо, r адекватнее отражает сезонные колебания. Доверительную вероятность беру 0.65 (СТЬЮДРАСПОБР(0.35;11)=0.976)

Quote:
Опять же и Фурье - это правильная штука для отыскания НАЛИЧИЯ сезонной и иной повторяемости. Однако, получаемая точность будет не велика. Проверьте - берите синус + шум и вставьте в Ваши данные по неделям. Результат Вас сильно расстроит.

Андрей, не совсем понятно, почему.

Quote:
С фильтром - аналогично. Если частота будет слишком большой или слишком маленькой - фильтрации не будет. В Вашем случае большая частота - несколько недель, малая частота - 1/n (n<3) всего периода данных (1/2 двух лет imho слишком малая частота). Вообще, суть выделения сезонности от сложности метода, на одном, не очень большом диапазоне данных, не изменится. Опять упираемся в вопросы веры ;-)
Если верим (себе, методам, экспертам), что сезонность есть - так тому и быть.

Я не ставлю себе философский вопрос: есть сезонность или нет. Я ищу простую периодическую составляющую, способную улучшить прогноз. Простую - чтобы избежать подгонки под предыдущие данные.
Фурье использую фактически для этого упрощения: сгладить 52 сезонных коэффициента (которые кстати можно было получить, усреднив два года после вычета тренда).
Т.е. я не делаю Фурье за два года (хотя попробую как-нибудь - полосовой фильтр - оставив часть гармоник меньше года и выкинув те, что больше года). Усредняются все года, ряд длиной 52 фильтруется с помощью Фурье, оставляю пару-тройку высших гармоник и убираю остальные. Критерий оставлять/убирать гармонику простой: останавливаемся на той гармонике, которая не уменьшает дисперсию (или абс.отклонения) на всей истории.

Quote:
Ещё один момент. Если внимательно смотреть на календари разных лет, то можно обнаружить, что дни недели не совпадают с числами месяцов. Для того, чтобы избежать путаницы данные нужно приводить на один рабочий день в неделе. Впрочем, как и в случае с другими периодами. Далее, если удалось определить (оценить) дисперсию в одном периоде, её можно определить (оценить) в любом другом: Dn=n*D1. Т.е. суммировать ряд не обязательно. => -1 Операция.

Заголовок: Re: Сезонная декомпозиция
Создано Архипов Станислав 15.05.2009 :: 10:51:29

Архипов Станислав wrote:
Здесь (?) как-то поднимался уже вопрос, в каком порядке чистить данные - сначала тренд, или сначала сезонность. У меня наконец дошли руки расписать классический метод сезонной декомпозиции

...
Опубликованы части 5 и 6

Тренд. Сезонность. Классическая сезонная декомпозиция

http://consultingspb.com/node/25
http://consultingspb.com/node/27


напоминаю: сайт переехал по адресу http://scm-book.ru

Клуб Логистов | Логист.ру » Powered by YaBB 2.1!
YaBB © 2000-2005. All Rights Reserved.