Tentang
Riset yang berafiliasi dengan Apple tentang evaluasi kemampuan interface hasil generasi dalam mendukung user journey yang realistis. FlowEval menjalankan tugas tervalidasi pada website referensi dan hasil generasi yang setara, membandingkan navigation trace dengan metrik kemiripan berbasis referensi, lalu menguji keselarasan skor tersebut dengan penilaian pakar UI.
Ringkasan
Mengapa FlowEval Memberi Perspektif Baru:
1. Evaluasi interaction-first: Mengukur task flow lengkap, bukan hanya mengandalkan screenshot atau correctness kode
2. Referensi tepercaya: Membandingkan situs hasil generasi dengan trace dari interface berkualitas tinggi yang telah dikenal
3. Metode yang dapat diotomatisasi: Memakai computer-use agent dan tugas navigasi untuk mengumpulkan urutan interaksi yang sebanding
4. Diagnostik yang mudah ditafsirkan: Kemiripan trace dapat menunjukkan bagian flow hasil generasi yang menyimpang dari pengalaman referensi
5. Bukti keselarasan dengan manusia: Melaporkan korelasi kuat antara metrik berbasis referensi dan evaluasi pakar terhadap UI yang dihasilkan
1. Evaluasi interaction-first: Mengukur task flow lengkap, bukan hanya mengandalkan screenshot atau correctness kode
2. Referensi tepercaya: Membandingkan situs hasil generasi dengan trace dari interface berkualitas tinggi yang telah dikenal
3. Metode yang dapat diotomatisasi: Memakai computer-use agent dan tugas navigasi untuk mengumpulkan urutan interaksi yang sebanding
4. Diagnostik yang mudah ditafsirkan: Kemiripan trace dapat menunjukkan bagian flow hasil generasi yang menyimpang dari pengalaman referensi
5. Bukti keselarasan dengan manusia: Melaporkan korelasi kuat antara metrik berbasis referensi dan evaluasi pakar terhadap UI yang dihasilkan
Tag
ui-evaluationinteraction-flowscomputer-use-agentsbenchmarkhuman-evaluation