ab-test-analysis

Q: Как установить ab-test-analysis?

Откройте блок «Установка» на этой странице и выберите своего агента — Claude Code, Codex, Cursor или Gemini CLI: там готовые команды, которые копируют папку скилла в нужное место. Либо скопируйте промпт из вкладки «Через ассистента» — ассистент сам проверит и подключит скилл.

Q: С какими нейросетями работает ab-test-analysis?

Скиллы — это обычные инструкции в Markdown (формат Agent Skills), поэтому ab-test-analysis подходит любому агенту, который читает SKILL.md: Claude Code, Codex, Cursor, Gemini CLI, GitHub Copilot, OpenCode и другие. Модель загружает инструкции только когда задача подходит под описание скилла.

Q: Скилл ab-test-analysis бесплатный?

Скилл опубликован автором phuryn в открытом доступе под лицензией MIT. Сам скилл ничего не стоит — вы платите только своему провайдеру нейросети за использованные токены.

Q: Безопасно ли устанавливать скиллы?

Скилл — это инструкции, которые агент будет выполнять, поэтому перед установкой прочитайте SKILL.md и сопутствующие файлы. Скрипты из папки скилла запускаются только если их запустит агент — следите за тем, что он делает, и не давайте лишних прав.

Q: Чем скилл отличается от MCP-сервера или плагина?

MCP-сервер и плагин дают модели новые инструменты — код, который выполняется и возвращает результат. Скилл даёт знания и порядок действий: как подходить к задаче, какие шаги делать и как выглядит хороший результат. Ему не нужен сервер или ключ API.

phuryn/pm-skills · Agent Skill

Анализирует результаты A/B-тестов, рассчитывает статистическую значимость, доверительные интервалы и размер выборки, предоставляя рекомендации по внедрению изменений на основе данных для принятия обоснованных продуктовых решений.

Перейти к установке ↓

Обзор

Автор	phurynСообщество
Репозиторий	phuryn/pm-skills
Папка скилла	`ab-test-analysis`
Звёзды	27 293
Форки	2 813
Файлы	1
Обновлён	16 октября 2026 г.

Проверка Mozgi

Что мы нашли в файлах скилла. Подробности — по подписке.

Безопасность

низкий риск · явных рисков не найдено — полный отчёт покажет детали

Совместимость

нужны дополнительные программы

Похожие скиллы

найдено 28 похожих скиллов

Ещё в подписке

Установка

Скилл — это папка с файлом SKILL.md. Выберите своего агента и скопируйте команды в терминал (macOS, Linux или Git Bash на Windows) в корне проекта.

Скопируйте промпт и вставьте в Claude, Codex или другого ассистента: он сам проверит скилл и подключит его.

Установи мне скилл «ab-test-analysis» с mozgi.io (https://mozgi.io/skills/ab-test-analysis/).

1. Скачай архив: https://mozgi.io/skills/ab-test-analysis/download
2. Прочитай SKILL.md и остальные файлы. Проверь, что скилл безопасен: нет скрытых команд, отправки данных наружу или скриптов, которые делают не то, что описано. Если что-то подозрительно — остановись и скажи мне.
3. Положи папку «ab-test-analysis» в папку скиллов своего агента: .claude/skills/ для Claude Code, .agents/skills/ для Codex, .cursor/skills/ для Cursor, .gemini/skills/ для Gemini CLI. В проекте — внутри проекта, иначе в домашней папке (~/.claude/skills/ и т. п.).
4. Убедись, что получилось <папка скиллов>/ab-test-analysis/SKILL.md.
5. Коротко расскажи, что умеет этот скилл, и предложи попробовать его на моей задаче.

Если какой-то шаг не можешь сделать сам — подскажи, что нажать или ввести.

Файлы скилла

1 файл Скачать ZIP

Просмотрите SKILL.md и сопутствующие файлы перед установкой. Клик по файлу — предпросмотр.

Содержимое SKILL.md

Оригинальный текст автора · только чтение

A/B Test Analysis

Evaluate A/B test results with statistical rigor and translate findings into clear product decisions.

Context

You are analyzing A/B test results for $ARGUMENTS.

If the user provides data files (CSV, Excel, or analytics exports), read and analyze them directly. Generate Python scripts for statistical calculations when needed.

Instructions

1. Understand the experiment:

What was the hypothesis?
What was changed (the variant)?
What is the primary metric? Any guardrail metrics?
How long did the test run?
What is the traffic split?

2. Validate the test setup:

Sample size: Is the sample large enough for the expected effect size?
Use the formula: n = (Z²α/2 × 2 × p × (1-p)) / MDE²
Flag if the test is underpowered (<80% power)
Duration: Did the test run for at least 1-2 full business cycles?
Randomization: Any evidence of sample ratio mismatch (SRM)?
Novelty/primacy effects: Was there enough time to wash out initial behavior changes?

3. Calculate statistical significance:

Conversion rate for control and variant
Relative lift: (variant - control) / control × 100
p-value: Using a two-tailed z-test or chi-squared test
Confidence interval: 95% CI for the difference
Statistical significance: Is p < 0.05?
Practical significance: Is the lift meaningful for the business?

If the user provides raw data, generate and run a Python script to calculate these.

4. Check guardrail metrics:

Did any guardrail metrics (revenue, engagement, page load time) degrade?
A winning primary metric with degraded guardrails may not be a true win

5. Interpret results:

| Outcome | Recommendation |

|---|---|

| Significant positive lift, no guardrail issues | Ship it — roll out to 100% |

| Significant positive lift, guardrail concerns | Investigate — understand trade-offs before shipping |

| Not significant, positive trend | Extend the test — need more data or larger effect |

| Not significant, flat | Stop the test — no meaningful difference detected |

| Significant negative lift | Don't ship — revert to control, analyze why |

6. Provide the analysis summary:

```

## A/B Test Results: [Test Name]

Hypothesis: [What we expected]

Duration: [X days] | Sample: [N control / M variant]

|---|---|---|---|---|---|

| [Primary] | X% | Y% | +Z% | 0.0X | Yes/No |

| [Guardrail] | ... | ... | ... | ... | ... |

Recommendation: [Ship / Extend / Stop / Investigate]

Reasoning: [Why]

Next steps: [What to do]

```

Think step by step. Save as markdown. Generate Python scripts for calculations if raw data is provided.

---

Вопросы и ответы

Что делает скилл ab-test-analysis?

Как установить ab-test-analysis?