# День 5. Как измерять работу бота честно — и что делать дальше > Сегодняшняя цель — научиться **читать** что бот наработал за прошедшие дни, отличать **сигнал от шума** в результатах, и понять как выглядит **дисциплина итерации**. Это самый важный день из пяти. Программисты пропускают его чаще всего, и именно поэтому большинство ботов умирают раньше времени. --- ## Зачем сегодня вообще что-то измерять К этому моменту у тебя есть запущенный бот на тестовом счёте. Он сделал какие-то сделки. Часть прибыльных, часть убыточных. Очень хочется посмотреть на цифру в правом верхнем углу и сказать «работает!» или «не работает!». Это **самый плохой** способ принимать решение. Маленький эксперимент. Если ты подкинешь монетку 10 раз — может выпасть 7 орлов и 3 решки. Это значит что монетка **поломанная**? Нет. Это значит что **выборка слишком маленькая**, чтобы делать вывод. Если подкинуть 1000 раз — будет около 500/500. С ботом то же самое. **Десять сделок ничего не доказывают**, ни в плюс, ни в минус. **Сто сделок** уже что-то показывают. **Тысяча сделок** — статистически достоверны. Но программистов — особенно начинающих — постоянно тянет принимать решения после **трёх дней**. «Бот теряет — переделать!» «Бот выиграл — оставить как есть!» Оба решения одинаково неверны. Этот день — про то как не быть тем программистом. Сегодня: 1. Какие метрики смотреть (короткий честный список) 2. Чего метрики **не** значат (типичные иллюзии) 3. Walk-forward — концепция честной проверки **на бумаге**, как идея 4. Цикл итерации: одна гипотеза → один тест → одно изменение 5. Когда делать **перерыв** — психологическая дисциплина 6. Критерии решения «продолжать или бросить» через 6 месяцев И в самом конце — **что есть дальше**, для тех кто всерьёз хочет идти глубже. Это будет **в самом конце**, без давления. Если ты решишь что тебе и пятидневки достаточно — это абсолютно нормально, **спасибо что прошёл вместе со мной**. --- ## Какие метрики смотреть Большинство людей смотрят только на одну цифру — **прибыль или убыток**. Это слишком грубо. Нужны несколько метрик которые в **сумме** показывают живой ли бот. ### Метрика 1. Win-rate (доля выигрышных сделок) Сколько процентов сделок закрылись в плюс. Например: из 50 сделок 28 в плюс — win-rate 56%. **Как читать:** - 70-80% и выше — почти всегда **подозрительно**, скорее всего это перегон по бэктесту, либо стратегия скоро сломается. Реальные хорошие стратегии редко бывают такими. - 50-60% — здоровый диапазон для большинства типов стратегий. Не идеал, но нормально. - 35-50% — может быть нормально для **трендовых** стратегий, где меньше выигрышей, но они крупнее. - Меньше 35% — обычно плохо. Либо логика входа поломана, либо стопы слишком узкие. **Один частый обман:** win-rate сам по себе **не говорит о прибыльности**. Можно иметь win-rate 90% и всё равно терять деньги, если редкие убыточные сделки большие. И наоборот — win-rate 40% при крупных выигрышах даёт прибыль. ### Метрика 2. Risk-Reward ratio (отношение средней прибыли к средним убыткам) Делишь среднюю прибыль на среднюю величину убытка. - Если средняя прибыль $20, средний убыток $10 → RR = 2.0 - Если средняя прибыль $5, средний убыток $15 → RR = 0.33 **Как читать:** - RR < 1 — каждая выигрышная сделка приносит **меньше** чем теряет проигрышная. Чтобы быть в плюсе, нужен **очень высокий** win-rate. Сложная комбинация. - RR = 1.0-1.5 — нормально для контр-трендовых стратегий с высоким win-rate. - RR = 1.5-2.5 — здоровое для трендовых стратегий. - RR > 3.0 — звучит замечательно, но в реале часто означает что **стоп-лосс слишком узкий**, и ты получаешь много мелких убытков подряд. ### Метрика 3. Максимальная просадка (max drawdown) Самое **глубокое** падение капитала от пика до последующего минимума. В процентах. Например: бот рос с $1000 до $1500, потом упал до $1200 — просадка от пика 20%. **Как читать:** - 5-15% — отличный результат для активной стратегии за месяц - 15-30% — нормально, многие профессионалы работают в этом диапазоне - 30-50% — болезненно, но не приговор - Больше 50% — чаще всего сигнал что стратегия **неправильная** и её надо переделывать. Восстановиться от просадки 50% — это нужно вырасти на 100%. **Главное правило:** просадка которую **ты можешь вытерпеть психологически** — обычно вдвое меньше чем ты думал когда был спокойным. Если ты при просадке 15% уже теряешь сон — твоя реальная толерантность 7-8%, не 15%. Запоминай это. ### Метрика 4. Profit factor Делишь сумму всех выигрышей на сумму всех убытков. - Если сумма прибыли $200, сумма убытков $150 → profit factor = 1.33 **Как читать:** - Меньше 1.0 — стратегия в минусе - 1.0-1.3 — слабая, на грани шума - 1.3-1.7 — нормальная - Больше 2.0 — отличная (если не подгонка) ### Метрика 5. Среднее время в позиции Сколько часов / дней бот держит позицию открытой в среднем. **Зачем смотреть:** показывает соответствует ли реальное поведение бота **намеренному**. Если ты заявил трендовую стратегию на 4-часовом таймфрейме, а среднее время в позиции 30 минут — что-то не так. Бот выходит **раньше** чем должен. ### Что записать на бумаге каждую неделю Шаблон для еженедельного отчёта самому себе: ``` Неделя N (даты) Сделок всего: ___ Прибыльных: ___ Убыточных: ___ Win-rate: ___% RR: ___ Profit factor: ___ Max drawdown за неделю: ___% Среднее время в позиции: ___ Самая большая прибыльная сделка: $___ Самая большая убыточная сделка: $___ Что показалось странным: ___ Что хочу изменить (одно): ___ ``` Каждое воскресенье пиши такой отчёт. Через 12 недель у тебя будет **дневник** который ценнее любого курса. --- ## Чего метрики **не** значат Типичные иллюзии начинающих алготрейдеров: ### Иллюзия 1. «Высокий win-rate = хорошая стратегия» Видели выше — нет. Можно иметь 90% и терять деньги. ### Иллюзия 2. «Если месяц в плюсе — стратегия рабочая» Один месяц — это слишком мало. Любая стратегия имеет **периоды удачи и периоды боли**. Если выводы делать после месяца, ты будешь **оставлять** случайно успешные стратегии и **выбрасывать** случайно неудачные. И то и другое — путь к катастрофе. Минимум для оценки — **3 месяца тестового счёта**. Лучше 6. ### Иллюзия 3. «Если бот лучше человеческой торговли — он работает» Большинство людей торгуют **хуже случайного выбора**. Сравнение «лучше чем я руками» — слабый стандарт. Сравнивать надо с **buy-and-hold** (просто купить и держать) на той же паре за тот же период. Если бот **не обыгрывает** простой buy-and-hold — может быть проще держать. ### Иллюзия 4. «Метрики на тестовом счёте = метрики на реальном» Они отличаются. На реальном счёте есть **проскальзывание** (твой ордер исполняется не по той цене на которую ты рассчитывал), есть **более высокие комиссии** иногда, есть **ликвидность** которая не та что в Testnet (где всегда «бесконечный покупатель»). Реальные результаты обычно **на 20-40% хуже** тестовых. ### Иллюзия 5. «Бэктест = будущая прибыль» Самая опасная иллюзия. Бэктест — это **проверка по прошлому**. Будущее не повторяет прошлое в точности. Если бэктест дал годовую доходность 80% — реально получится 20-30% в лучшем случае. Часто 0%. Иногда минус. --- ## Walk-forward — концепция без кода Самая правильная техника проверки стратегии — это **walk-forward валидация**. Не нужно писать её код руками — её сделает ИИ когда понадобится. Но **концепцию** нужно держать в голове, потому что она определяет всё. Идея простая. У тебя есть **год** исторических данных. Ты: 1. Берёшь первые 6 месяцев — настраиваешь параметры стратегии (это называется обучающая выборка) 2. Запускаешь стратегию **с этими параметрами** на следующий 1 месяц **которого ты ещё не видел** (тестовая выборка) 3. Смотришь как она работает 4. Сдвигаешь окно на месяц вперёд: обучающая 6 мес, тестовая следующий месяц 5. Повторяешь Это даёт тебе **серию** маленьких реальных тестов на данных которых стратегия не видела при настройке. Если стратегия стабильно работает на каждом тестовом окне — есть шанс что и в живом будущем будет работать. Если показывает результаты только на «своих» обучающих окнах — это перегон. **Зачем это знать:** когда увидишь у кого-то «годовая доходность 200% по моему боту» — спроси: **walk-forward** или просто бэктест на одном куске? Если просто бэктест — это **картинка**, не доказательство. Когда нужно перейти к реальным деньгам, ты попросишь Claude / Cursor: «прогони мою стратегию через walk-forward валидацию на N=12 окон по 1 месяцу». Он напишет код. Тебе важно **знать что попросить**. --- ## Цикл итерации После недели работы бота у тебя возникнет желание что-то **поменять**. Это нормально. Опасность — поменять **слишком много** одновременно. Правильный цикл: ``` 1. Наблюдаю что-то странное. (Пример: «бот закрывается по тайм-стопу слишком часто, не достигая тейка») 2. Формулирую одну гипотезу. (Пример: «возможно тайм-стоп 24 часа слишком короткий для 4-часового таймфрейма») 3. Делаю одно изменение. (Пример: «увеличиваю тайм-стоп до 48 часов, всё остальное оставляю») 4. Запускаю на следующую неделю. (Минимум 50-100 сделок) 5. Смотрю — изменилось ли поведение в нужную сторону? - Да → закрепил гипотезу. Можно искать следующую. - Нет → возвращаю как было, формулирую другую гипотезу. 6. Записываю в журнал что попробовал и что вышло. ``` Шесть шагов. Один цикл = одна неделя минимум. Не пять минут. Не один день. **Что НЕ надо делать:** - Менять три параметра одновременно — невозможно понять что именно повлияло - Менять параметры **в середине цикла** наблюдения — отменяет смысл наблюдения - Менять стратегию полностью после серии убытков — это не итерация, это паника **Хорошая итерация — медленная.** Если за 6 месяцев ты сделал **20 итераций** — это много. Большинство любителей делают 200 итераций за месяц и удивляются почему ничего не работает. --- ## Когда делать перерыв Это часть про которую почти никто не говорит, и она убивает больше карьер алготрейдеров чем плохие стратегии. Бот будет тебя бесить. Это гарантия. На третьей неделе, на шестой, на четвёртом месяце — обязательно будут периоды когда: - Логика правильная — а бот теряет десять дней подряд - Изменение которое ты внёс — сделало хуже, а не лучше - Ты видишь **очевидный** сигнал на графике — а бот его игнорирует - Стратегия работает — но мучительно медленно В эти моменты включается режим «надо что-то срочно сделать». Включи его — потеряешь дисциплину итерации, которую строил месяцами. **Правило:** когда возникает желание срочно поменять логику — **не делай ничего 24 часа**. Закрой ноутбук. Сходи в спортзал, погуляй, поспи. На следующий день перечитай свой журнал отчётов. В 80% случаев желание пройдёт. В 20% — оно превратится в **обоснованную** гипотезу которую надо проверить через нормальный цикл итерации. Это не лозунг про «майндсет». Это **практическая защита от себя**. Самые большие потери на алготрейдинге — не от плохих стратегий, а от **импульсивных вмешательств в работающие**. --- ## Решение: продолжать или бросить Через 6 месяцев у тебя будет **достаточно данных** чтобы принять одно из четырёх решений. ### Вариант 1. Продолжать как есть Признаки: - Бот работает 6 месяцев - Win-rate стабилен в твоём ожидаемом диапазоне (±10%) - Просадка не превышала твой заявленный лимит - Ты не сходил с ума, не теряешь сон, не лезешь руками Это **успех**. Можно начинать переход к малым реальным деньгам ($200-$500) и продолжать наблюдение. ### Вариант 2. Глубокий пересмотр стратегии Признаки: - Стратегия работала первые 2-3 месяца, потом перестала - Метрики ухудшились **по всем** линиям, не только прибыли - Ты видишь что **сам рынок** изменился (была боковина, пошёл сильный тренд — или наоборот) Не **бросай**, но **садись на бумагу** заново — день 3 этого курса с нуля. Возможно ты был прав в архетипе, но конкретная реализация требует обновления. ### Вариант 3. Сменить архетип Признаки: - За 6 месяцев стратегия в принципе **не работала** — даже не было периодов прибыли - Win-rate болтается ниже 30% постоянно - Параметры что бы ты ни менял — не помогают Возможно ты выбрал **не свой** архетип. Возвращайся ко второму дню. Перепиши свой профиль (время, капитал, характер). Может быть тебе подходит другой подход. ### Вариант 4. Бросить эту нишу Признаки: - За 6 месяцев бот теряет деньги - Ты потерял **интерес** к самому процессу — это уже не интересный инженерный вызов, а просто рутина - Ты понял что для тебя реальное время это слишком: ты не готов 1-2 часа каждый день этим заниматься Это **не провал**. Это **знание о себе**. Не каждый человек подходит для алготрейдинга. Лучше понять это после 6 месяцев и пойти в другую нишу программирования, чем биться головой ещё пять лет. Все четыре варианта — **уважаемые** результаты пройденного пути. Худший сценарий — **не принимать никакого решения** и продолжать «как-нибудь» полтора года. --- ## Задание на сегодня Это последнее задание курса. - [ ] **Записал** все метрики за прошедшие 4 дня (win-rate, RR, max drawdown — даже если сделок мало) - [ ] **Сформулировал одну гипотезу** что хочешь проверить на следующей неделе - [ ] **Создал шаблон еженедельного отчёта** в файл `journal.md` рядом с `bot.py` - [ ] **Принял решение** что делаешь следующие 4 недели — продолжать наблюдение / менять что-то / делать перерыв - [ ] **Прочитал самому себе вслух** свои три ответа из дня 1 (про капитал, время, план Б) — изменилось ли понимание после 5 дней? В Telegram канал заключительное сообщение: ``` День 5 — закрыл challenge! Что я понял за эти 5 дней (одно предложение): [ваш вывод] Самое неожиданное открытие: [одно] Следующие 4 недели я планирую: [наблюдать / менять / делать перерыв] ``` --- ## Что есть дальше — без давления Эти пять дней были спроектированы как **самостоятельный** маршрут. Если ты сделал всё домашнее и у тебя работает бот на тестовом счёте — **поздравляю**, ты пробежал больше чем 90% людей кто думал «может попробую алготрейдинг». Дальше тебе **не обязательно** ничего покупать. Можно идти своим путём, искать ответы в open-source проектах, читать книги, экспериментировать. Это полностью рабочий путь. Если же ты чувствуешь что **на пятидневке многое осталось не раскрыто** — у нас есть **полный курс на 10 модулей** на сайте nexus-bot.pro. Что покрыто там, чего **не было** в challenge: - Многотаймфреймовая фильтрация — как использовать сразу 3-4 таймфрейма для повышения качества сигналов - Бэктест-архитектура с walk-forward — рабочий шаблон для проверки стратегии - Риск-менеджмент на портфельном уровне — когда боты на нескольких парах одновременно - Инфраструктура: systemd, мониторинг, авто-перезапуск, оповещения в Telegram, логи которые работают - Live deployment — пошаговый переход с тестового счёта на малые реальные деньги - 5 шаблонов промптов для ИИ-помощников под каждый компонент бота - Доступ к закрытому Telegram-сообществу учеников Шесть тарифов в зависимости от уровня поддержки которая тебе нужна: - **$199** — курс полностью, без сообщества - **$299** — курс + закрытое сообщество в Telegram - **$399** — курс + сообщество + готовые шаблоны бэктестов - **$499** — курс + сообщество + шаблоны + код-ревью одного твоего бота от меня - **$599** — курс + сообщество + шаблоны + код-ревью + один на один встреча на час по Zoom - **Custom** — наставничество в течение трёх месяцев, обсуждается лично **Для тех кто прошёл challenge до конца** — скидка 30% на любой тариф в течение 48 часов с момента когда ты отправишь финальное сообщение в Telegram канал. Использовать промокод который я пришлю в личку (только тем кто отметился в Day 5 чате). И ещё — если ты **не готов** покупать, но у тебя остались вопросы — можешь продолжать сидеть в общем Telegram канале challenge. Его не закрываю. Я там буду периодически отвечать на вопросы новых участников, и старые тоже могут читать. --- ## Спасибо Ты прошёл от «не знаю с чего начать» до «у меня свой работающий бот, я понимаю каждое решение, я знаю как читать метрики и как итерировать дисциплинированно». Это — **больше** чем у 95% людей которые называют себя алготрейдерами. Что бы ты ни решил делать дальше — продолжать со мной или идти своим путём — **спасибо что прошёл со мной эти пять дней**. И помни: один из самых ценных инженерных навыков — это **уметь сказать "стоп" когда что-то не работает** и попробовать другое. Алготрейдинг — это не та область где обязательно надо «не сдаваться». Это область где надо **трезво считать** и **дисциплинированно решать**. Удачи. --- # Домашнее задание — День 5 (последний) > Сегодня меньше «делай», больше «читай свои данные и принимай решения». ## Чек-лист - [ ] **Метрики записаны** за прошедшие 4 дня (даже если сделок очень мало — пиши что есть) - [ ] **Одна гипотеза сформулирована** на следующую неделю наблюдения - [ ] **Шаблон еженедельного отчёта** создан в файл `journal.md` рядом с `bot.py` - [ ] **Решение принято** что делаю следующие 4 недели: наблюдать / менять что-то / перерыв - [ ] **Прочитал вслух** свои три ответа из Day 1 (капитал / время / план Б) — заметил изменение в понимании? --- ## Шаблон для метрик за прошедшие 4 дня > Заполни даже если сделок мало. Главное — увидеть **формат** в котором будешь записывать дальше. ``` ПЕРИОД: с ___ по ___ СТАТИСТИКА СДЕЛОК Сделок всего: ___ Прибыльных: ___ (___%) Убыточных: ___ (___%) КЛЮЧЕВЫЕ МЕТРИКИ Win-rate: ___% (хорошо: 50-65%, подозрительно: >75%) Risk-Reward: ___ (хорошо: 1.5-2.5) Profit factor: ___ (хорошо: >1.3) Max drawdown: ___% (тревожно: >30%) Среднее время в позиции: ___ часов ЭКСТРЕМУМЫ Самая крупная прибыль: $___ Самый крупный убыток: $___ ``` --- ## Шаблон для гипотезы на следующую неделю ``` НАБЛЮДЕНИЕ Что я заметил странного в работе бота: ________________________________________________ ГИПОТЕЗА Возможная причина: ________________________________________________ ИЗМЕНЕНИЕ Что я меняю (одно, конкретно): ________________________________________________ КРИТЕРИЙ УСПЕХА Я считаю что гипотеза подтвердилась если: ________________________________________________ КОГДА ПРОВЕРЯЮ Через сколько сделок (не дней): ___ (минимум 50) ``` --- ## Шаблон еженедельного отчёта (для `journal.md`) ``` # Журнал работы бота ## Неделя 1 — даты ___ Сделок всего: ___ Прибыльных: ___ / Убыточных: ___ Win-rate: ___% RR: ___ Max drawdown: ___% Что показалось странным: ___ Что хочу изменить (одно): ___ ## Неделя 2 — даты ___ [повтор шаблона] ... ``` Это твой главный документ на следующие месяцы. Каждое воскресенье — новая запись. --- ## Решение на следующие 4 недели Выбери один из четырёх вариантов и **запиши** в журнал почему именно этот: ### А. Продолжать как есть Признаки: бот работает, метрики стабильны, ты спокоен. **Ничего не меняй**, наблюдай ещё месяц. ### Б. Сделать одно изменение по гипотезе Признаки: видишь конкретную странность, есть гипотеза. Делаешь **одно** изменение, наблюдаешь следующую неделю. ### В. Сделать перерыв на неделю Признаки: ты раздражён ботом, хочется срочно что-то поменять. **Закрой ноутбук**. Через неделю перечитай журнал — желание скорее всего пройдёт. ### Г. Глубокий пересмотр Признаки: бот **в принципе** не работает 5 дней (никаких сделок / только убытки / непредсказуемое поведение). Возвращайся к Day 2-3 — переоценивай выбор архетипа и формулировку. --- ## Самопроверка из Day 1 Открой ответы на три честных вопроса которые писал в первый день: 1. Какой капитал готов реально потерять? 2. Сколько часов в неделю реально могу выделить? 3. Что сделаю через 6 месяцев если бот не работает? **Перечитай.** Изменилось ли что-то в твоём понимании после пяти дней? Если **да** — обнови ответы. Это нормально и хорошо. Реальный опыт меняет оценки. Если **нет** — отлично. Значит ты мыслил здраво ещё в начале. --- ## Финальное сообщение в Telegram ``` День 5 — закрыл challenge! Что я понял за эти 5 дней (одно предложение): [твой вывод] Самое неожиданное открытие: [одно] Следующие 4 недели я планирую: [наблюдать / менять / делать перерыв / переосмыслить] ``` После этого сообщения — пришлю тебе в личку **промокод на скидку 30%** на полный курс nexus-bot.pro. Действует 48 часов. Без давления — если сегодня не время, можешь использовать позже когда определишься. --- ## Что я тебе хочу сказать на прощание Ты прошёл больше чем 95% людей которые когда-либо начинали путь алготрейдинга. Большинство сходят с дистанции на втором-третьем дне когда понимают что это не про быстрый заработок. Что бы ты ни решил дальше — продолжать со мной в курсе или идти своим путём — **спасибо что прошёл со мной эти пять дней**. Удачи.