Labs / Lab 003
¿Un skill de diseño le gana a no usar ninguno?
2 min de lectura Flujos con Claude Code · Evaluación Read in English
Laboratorio de ejemplo con datos inventados. Existe solo para ver el diseño y no debe publicarse.
- Pregunta
- ¿Un skill de diseño le gana a no usar ninguno?
- Veredicto
- No concluyente. La diferencia entre skills fue menor que la diferencia entre dos corridas del mismo skill.
- Cómo se midió
- 6 skills y un control sin skill, 3 corridas cada uno, voto a ciegas de 40 personas.
- Repositorio
- github.com/renatogm24/lab-003-design-skills
Hipótesis
Los skills de diseño prometen páginas más cuidadas con el mismo pedido. Si eso se cumple, una página hecha con un skill debería ganar un voto a ciegas frente a una hecha sin ninguno, y el orden de los skills debería mantenerse más o menos igual de una corrida a otra.
Montaje
- Un solo pedido: la página de un taller de sábado en Lima, en español.
- Siete condiciones: seis skills de diseño públicos y un control sin skill.
- Tres corridas por condición, con el mismo modelo y la misma configuración, cada una en una sesión nueva.
- Cuarenta personas votaron a ciegas por la mejor página en cada una de las tres rondas.
Resultados
| Condición | Media | Rango | Amplitud (pts) |
|---|---|---|---|
| Skill A | 17% | 9–24% | 15 |
| Skill B | 16% | 11–22% | 11 |
| Skill C | 15% | 6–25% | 19 |
| Sin skill | 14% | 10–19% | 9 |
| Skill D | 14% | 8–20% | 12 |
| Skill E | 13% | 9–18% | 9 |
| Skill F | 11% | 5–17% | 12 |
La mejor media y la peor están a 6 puntos. La amplitud promedio entre corridas de una misma condición es de 12 puntos. El control queda en la mitad de la tabla.
Qué significa
Con tres corridas no puedo distinguir estos skills entre sí, ni decir que alguno le gana a no usar ninguno. Una sola corrida habría dado un orden que parece seguro, y uno distinto cada vez.
Límites
- Un solo pedido y un solo modelo. Otra tarea podría separar los skills.
- Tres corridas son una muestra pequeña; diez por condición acortarían los rangos.
- Votaron conocidos, no el público de la página.
Cómo reproducirlo
git clone https://github.com/renatogm24/lab-003-design-skills
cd lab-003-design-skills
make run RUNS=3 # construye las 21 páginas
make vote # sirve la página del voto a ciegas