Основным структурообразующим элементом импровизации является джазовая фраза. Она главная синтагматическая единица. Импровизация в традиционном джазе — музыкальное построение разработочного типа, состоящее, как правило, из линейного чередования не объединенных в более обширную структурную целостность фраз. Фразовые построения индивидуальной импровизации в новом джазе также обычно не порождают композиционных структур высшего порядка. Это свойство джазовой импровизации («фразовость структуры») сближает ее с вокальной музыкой, где существует аналогичное структурное явление. Видимо, родство объясняется генезисом джазового искусства — его родословная восходит к негритянскому вокальному фольклору (блюз, спиричуэл, госпел). Отсюда — высокая вокализация джазовой фразы, ее необычайная близость тембральным особенностям человеческого голоса.
Формально джазовая фраза строится с помощью джазовой артикуляции, получившей в джазе фантастическую изощренность (опять же благодаря высокой вокализации и вербализации фразировки). По существу джазовая фраза — характерный показатель особенностей эстетического сознания импровизатора; именно по типу и качеству фразировки джазмена можно судить об уровне его импровизационного мышления. Фраза в джазе (наряду с интонемой) также основной носитель идиоматики жанра. Джазовая идиома всегда выступает как фразеологизм.

Таким образом, фраза — не только главный структурообразующий, но и важный семантический компонент импровизации.
Фраза возникает как внутренне специализированная- звуковая цепочка. Примером внутренне не специализированного построения может служить орнамент. Поэтому в отличие от безграничной «открытости» текста в орнаменте джазовая фраза обладает идеей конструкции (отмеченными началом и концом). Фраза строится как соединение неэквивалентных элементов (по этому принципу всю импровизацию можно при желании представить в виде единой фразы). Лишь связи разнородных элементов создают структуры конечного типа. Складывающиеся в единое структурное целое разнородные мотивы лишь внутри него получают определенную специализацию. Как смысл мотива не существует вне фразы, так и смысл фразы не равен ей самой, а вытекает из ее позиции в тексте импровизации, из ее связей с другими фразами (все конструктивные связи фразы глубоко семантичны).