Трейдери, які прагнуть спробувати торгову ідею на живому ринку, часто роблять помилку повністю покладаючись на результати повторного тестування, щоб визначити, чи буде система вигідною. Хоча бектестинг може надати торговцям цінну інформацію, вона часто вводить в оману, і це лише одна частина процесу оцінювання.
Тестування поза вибіркою та тестування продуктивності в майбутньому надають додаткове підтвердження щодо ефективності системи та можуть показати справжні кольори системи до того, як реальна грошова одиниця з’явиться на лінії. Хороша кореляція між результатами тестування, вибіркових результатів та результатів тестування в майбутньому є життєво важливим для визначення життєздатності торгової системи.
Основи зворотного тестування
Під повторним тестуванням розуміється застосування торгової системи до історичних даних для перевірки того, як система працювала б протягом визначеного періоду часу. Багато сучасних торгових платформ підтримують тестування. Трейдери можуть перевірити ідеї за допомогою декількох натискань клавіш та отримати уявлення про ефективність ідеї, не ризикуючи коштами на торговому рахунку. Під час повторного тестування можна оцінити прості ідеї, як-от те, як би виконувався пересувний середній кросовер на історичних даних, або більш складні системи з різноманітними входами та тригерами.
Поки ідею можна кількісно оцінити, вона може бути підтверджена. Деякі торговці та інвестори можуть шукати досвід кваліфікованого програміста, щоб розробити ідею в тестувальну форму. Як правило, це передбачає програміст, що кодує ідею на власній мові, розміщеній торговою платформою. Програміст може включати визначені користувачем вхідні змінні, які дозволяють трейдеру "налаштувати" систему.
Прикладом цього може слугувати проста кросовер-система, що рухається середньою мірою, зазначена вище: Торговець зможе ввести (або змінити) довжини двох ковзаючих середніх значень, що використовуються в системі. Торговець міг би спробувати визначити, яка довжина ковзних середніх показників мала б найкращі результати за історичними даними.
Оптимізаційні дослідження
Багато торгових платформ також дозволяють проводити оптимізаційні дослідження. Це тягне за собою введення діапазону для вказаного входу і дозволити комп'ютеру "робити математику", щоб зрозуміти, який вхід був би найкращим. Багатозмінна оптимізація може зробити математику для двох або більше змінних, щоб визначити, які комбінації мали б найкращий результат.
Наприклад, торговці можуть сказати програмі, які вклади вони хочуть додати до своєї стратегії; тоді вони будуть оптимізовані до їх ідеальних ваг з урахуванням перевірених історичних даних.
Повторне тестування може бути захоплюючим тим, що збиткова система часто може бути магічним чином перетворена на машину для отримання грошей з кількома оптимізаціями. На жаль, налаштування системи для досягнення найбільшого рівня минулої прибутковості часто призводить до системи, яка буде погано працювати в реальній торгівлі. Ця надмірна оптимізація створює системи, які добре виглядають лише на папері.
Підгонка кривої - це використання аналітичної оптимізації для створення найбільшої кількості виграшних торгів з найбільшою вигодою за історичними даними, використаними в період тестування. Хоча це виглядає вражаюче в результатах повторної перевірки, підгонка кривих призводить до ненадійних систем, оскільки результати, по суті, розроблені на замовлення для конкретних даних та періоду часу.
Повторне тестування та оптимізація дають багато переваг для трейдера, але це лише частина процесу при оцінці потенційної торгової системи. Наступний крок торговця - застосувати систему до історичних даних, які не використовувались на початковій фазі бетестизації.
Дані проби у порівнянні з вибірковими даними
Тестуючи уявлення про історичні дані, корисно резервувати часовий період історичних даних для цілей тестування. Початкові історичні дані, на яких тестується та оптимізується ідея, називаються як вибіркові дані. Набір даних, який було зарезервовано, відомий як позабіржові дані. Ця установка є важливою частиною процесу оцінювання, оскільки забезпечує спосіб перевірки ідеї щодо даних, які не були складовою в оптимізаційній моделі.
Як результат, ідея жодним чином не впливатиме на вибіркові дані, і торговці зможуть визначити, наскільки добре система може працювати на нових даних, тобто в реальній торгівлі.
Перед початком будь-якого зворотного тестування або оптимізації, торговці можуть відкласти відсоток історичних даних, які потрібно зарезервувати для тестування поза вибіркою. Один із методів - розділити історичні дані на третини та відокремити третину для використання у вибіркових тестах. Для початкового тестування та будь-якої оптимізації повинні використовуватися лише дані проби.
На малюнку нижче показано часовий рядок, в якому третина історичних даних зарезервована для вибіркових випробувань, а дві третини використовуються для тестування у вибірці. Хоча на малюнку нижче зображені дані проби, що не є вибіркою на початку тесту, типові процедури мали б вибіркову частину, що безпосередньо передує передній продуктивності.
Часовий рядок, що представляє відносну довжину даних проби та вибірок, які не використовуються для вибірки, що використовуються в процесі зворотного тестування. Зображення Джулі Банг © Інвестопедія 2020
Кореляція означає схожість між показниками та загальними тенденціями двох наборів даних. Кореляційні показники можна використовувати при оцінці звітів про ефективність стратегії, створених протягом тестового періоду (особливість, яку надає більшість торгових платформ). Чим сильніша кореляція між ними, тим більша ймовірність того, що система буде добре працювати в ході тестування ефективності роботи та торгівлі в реальному часі.
На малюнку нижче зображено дві різні системи, які були протестовані та оптимізовані на даних проб, а потім застосовано до вибіркових даних. Діаграма зліва показує систему, яка чітко підходила до кривих, щоб добре працювати над даними вибірки та повністю виходила з ладу щодо даних, що не є вибіркою. На графіку праворуч показана система, яка працювала як на даних, так і поза вибіркою.
Дві криві власного капіталу. Дані про торгівлю перед кожною жовтою стрілкою представляють тестові вибірки. Торги, створені між жовтою та червоною стрілками, свідчать про тестування поза вибіркою. Торги після червоних стрілок проходять з фаз переднього тестування ефективності.
Після розробки торгової системи з використанням даних проб, вона готова застосувати до вибіркових даних. Трейдери можуть оцінювати та порівнювати результати діяльності між даними вибірки та вибірками.
Якщо між тестуванням у вибірці та поза вибіркою є невелика кореляція, як, наприклад, ліва діаграма на малюнку вище, ймовірно, що система була надмірно оптимізована і не матиме належних результатів при торгівлі в реальному часі. Якщо існує сильна кореляція ефективності, як це видно з правильної діаграми, наступна фаза оцінювання передбачає додатковий тип тестування поза вибіркою, відомий як пряме тестування ефективності.
Основи тестування працездатності вперед
Перевірка ефективності роботи в майбутньому, також відома як торгівля папером, надає трейдерам ще один набір вибіркових даних, за якими можна оцінити систему. Переднє тестування продуктивності - це моделювання фактичної торгівлі та передбачає дотримання логіки системи на реальному ринку. Його також називають торгівлею на папері, оскільки всі торги здійснюються лише на папері; тобто записи та виходи з торгівлі документально підтверджуються разом із будь-яким прибутком або збитком для системи, але реальні торги не здійснюються.
Важливим аспектом перевірки працездатності в майбутньому є точне дотримання логіки системи; в іншому випадку, важко, якщо не неможливо, точно оцінити цей крок процесу. Торговці повинні бути чесними щодо будь-яких торгових в'їздів та виходів та уникати поведінки, як вишня вибору торгів чи не включаючи торгівлю на папері, раціоналізуючи те, що "я ніколи не брав би цю торгівлю". Якщо торгівля відбулася б за логікою системи, її слід задокументувати та оцінити.
Багато брокерів пропонують змодельований торговий рахунок, де можна розміщувати торги та обчислювати відповідні прибутки та збитки. Використання імітованого торгового рахунку може створити напівреалістичну атмосферу, на якій можна практикувати торгівлю та додатково оцінювати систему.
На малюнку вище показані також результати попереднього тестування продуктивності на двох системах. Знову ж таки, система, представлена на лівій діаграмі, не виходить за рамки початкового тестування на вибіркових даних. Однак система, показана на правильній діаграмі, продовжує добре працювати на всіх етапах, включаючи тестування працездатності вперед. Система, яка показує позитивні результати з хорошим співвідношенням між вибіркою, поза вибіркою та тестуванням ефективності роботи, готова до впровадження на ринку.
Суть
Повторне тестування є цінним інструментом, доступним у більшості торгових платформ. Поділ історичних даних на кілька наборів для забезпечення тестування у вибірці та поза вибіркою може забезпечити торговців практичними та ефективними засобами для оцінки торгової ідеї та системи. Оскільки більшість трейдерів застосовують методи оптимізації при повторному тестуванні, важливо потім оцінити систему за чистими даними, щоб визначити її життєздатність.
Продовження вибіркових випробувань за допомогою тестування продуктивності наперед забезпечує ще один рівень безпеки перед виведенням на ринок системи, яка ризикує реальною грошовою готівкою. Позитивні результати та хороша кореляція між вибіркою та вибірковими тестуваннями та тестуванням наперед ефективністю підвищують ймовірність того, що система буде ефективно працювати в реальній торгівлі.
