Creation/improvement of a smart voice robot on Asterisk

There is a voice robot in Asterisk, written in PHP through PHP-AGI according to the scheme: "playback of recording" -> "recording of the subscriber's voice" -> "recognition" -> "selection of the context of the dial plan according to the occurrence of keywords". Disadvantages of the current robot. It listens only after it speaks, i.e., it cannot react in the moment to the subscriber's response. It uses a ready-made set of recordings to voice the subscriber, as clear speech cannot be achieved with artificial synthesis. The set of words for possible response options is without training and is inserted manually.
In the current project, it uses speech recognition through Kaldi.
It is necessary to refine the robot (or create a new one) that can react in the moment (stop its speech and recognize the subscriber's speech) to the client's words and move to the necessary stages of the dial plan depending on the client's responses. Also, it should synthesize speech to sound like a real person (so that it cannot be distinguished from a robot).

Имеется голосовой робот в asterisk, написанный на php через php-agi по схеме: "проигрывание записи"->"запись голоса абонента"->"раcпознование"->"выбор контекста диалплана в соответствии с попаданием ключевых слов". Минусы текущего робота. Слушает только после того как сам скажет, т.е. не может в моменте реагировать на реакцию абонента. Использует готовый набор записей для озвучки абоненту, т.к. нельзя добиться четкой речи при искусственном синтезе. Набор слов для возможных вариантов ответов без обучения и вставляется вручную.
В текущем проекте использует распознавание речи через kaldi.
Необходимо доработать робота(или создать нового), который сможет в моменте реагировать(останавливать свою речь и распознавать речь абонента) на слова клиента и переходить на нужные ступени диалплана в зависимости от ответов клиента. А также синтезировать речь под речь реального человека (чтобы нельзя было отличить от робота)