Windows Speech Platform SDK: скачать и использовать для разработки речевых приложений

Разработка речевых приложений стала очень популярной в последнее время, и Windows Speech Platform SDK от Microsoft предоставляет разработчикам все необходимые инструменты для создания таких приложений. Этот SDK обеспечивает разработку и использование собственных речевых команд, поддерживаемых в Windows 11 и Windows 10.

Основная секция SDK — это компрессированный набор API, помеченных как Cognitive Services Speech API. Этот API позволяет разработчикам создавать приложения с функцией текст-в-речь, пакетируя Azure Cognitive Services Speech SDK. Вы также можете загрузить SDK с Github, который является сервером для кода и различных инструментов.

Он работает на разных версиях Windows, включая Windows Vista и Windows 11, и обеспечивает уникальные возможности синтеза речи, такие как распознавание и синтез речи на уровне модуля, файлы источников данных, интеграция с DirectX9 и многое другое.

SDK также поддерживает различные языки, включая английский, русский, китайский и другие. Он может быть использован для разработки речевых приложений на различных платформах, включая Java, Windows, Android, Xamarin и Unity, и работает с многочисленными устройствами.

Требования к системе

Для скачивания и использования Windows Speech Platform SDK необходимо учесть следующие системные требования:

• Операционная система: Windows Vista и выше, как в 32-битной, так и в 64-битной версии.
• Процессор: x86 (32-бит) или x64 (64-бит).
• Оперативная память: не менее 512 МБ.
• Свободное место на жестком диске: для скачивания и установки пакета будет необходимо около 1 ГБ свободного места.
• Звуковое устройство: для использования речевых функций необходимо наличие аудиодрайвера и подключенного устройства.

Также важно учесть следующие дополнительные требования:

• Для полноценной поддержки системы используйте последнюю версию Windows Speech Platform SDK, а также установите библиотеку libssl10x.
• Для загрузки пакета SDK вы можете воспользоваться репозиторием на GitHub.
• Для разработки речевых приложений, которые используют функции распознавания и синтеза речи, используйте фреймворк Microsoft Cognitive Services Speech SDK.
• Для установки SDK и его зависимостей, таких как Python или Xcode, рекомендуется использовать пакетный менеджер для вашей операционной системы.
• Если вы разрабатываете приложения для платформы MacOS, обратите внимание на поддержку SDK и необходимость установки дополнительных компонентов.
• Для создания приложений с поддержкой функций синтеза и распознавания речи, вам также потребуется установить Speech Platform Runtime.
• При разработке приложений, которые используют функции перевода речи на человекоподобные тексты, рекомендуется использовать Azure Cognitive Services.
• Для установки SDK и его зависимостей вы можете воспользоваться инструкциями и рекомендациями, предоставленными в официальной документации.

Важно учитывать требования к системе перед установкой и использованием Windows Speech Platform SDK. Убедитесь, что ваша система полностью соответствует указанным требованиям, чтобы получить лучший результат и полную поддержку функций речи в режиме реального времени.

Требования к системе

Для установки и использования Windows Speech Platform SDK необходимо убедиться, что ваша система соответствует следующим требованиям:

Платформы

Windows Speech Platform SDK поддерживает следующие операционные системы:

Операционная система	Минимальные требования
Windows 11	DirectX 12 Процессор: четырехядерный и выше Оперативная память: 8 ГБ и выше Свободное место на жестком диске: 10 ГБ
Windows 10	DirectX 10 или более поздняя версия Процессор: двухъядерный и выше Оперативная память: 4 ГБ и выше Свободное место на жестком диске: 5 ГБ
Windows 8.1	DirectX 11 Процессор: двухъядерный и выше Оперативная память: 4 ГБ и выше Свободное место на жестком диске: 5 ГБ
Windows 7	DirectX 10 Процессор: двухъядерный и выше Оперативная память: 2 ГБ и выше Свободное место на жестком диске: 3 ГБ

Установка и настройка

Для установки Windows Speech Platform SDK следуйте инструкциям, приведенным ниже:

1. Скачайте SDK с официального сайта.
2. Выполните установку SDK на своей системе.
3. Убедитесь, что все зависимости установлены.

После успешной установки Windows Speech Platform SDK вы готовы приступить к разработке речевых приложений с использованием этого SDK.

Text-to-speech

Речевые возможности платформы Windows сейчас доступны и в качестве стартового пакета для Xamarin.iOS и Android, а также вершинных платформ (UWP и .NET Core/Windows). Для всех указанных платформ есть отдельные модули синтеза речи, доступные для загрузки. В данной статье мы рассмотрим два основных синтеза речи, которые можно установить в вашей системе.

Cognitive Services SpeechSDK

Первый и наиболее широко используемый синтез речи — это Microsoft Speech SDK. Он предоставляет API для работы с синтезом речи, а также другими когнитивными услугами Microsoft. Этот SDK обеспечивает синтез речи на устройствах Windows и на платформе .NET Core. Вам потребуется установить пакет `Microsoft.CognitiveServices.Speech.Synthesis`, чтобы начать работать с Speech SDK. Вы можете его скачать через NuGet или с помощью команды `Install-Package Microsoft.CognitiveServices.Speech.Synthesis`.

Microsoft.CognitiveServices.Speech.Synthesis

В случае, если вы разрабатываете приложение с помощью платформы Node.js или JavaScript, вам следует рассмотреть возможность использования библиотеки `microsoft-cognitiveservices-speech-sdk`. Она обеспечивает синтез речи на основе тех же сервисов, что и Speech SDK. Для ее установки вам потребуется выполнить команду `npm install microsoft-cognitiveservices-speech-sdk` в вашем проекте. Также примечательно, что SDK Microsoft.CognitiveServices.Speech.Synthesis не доступно на платформах ARM64, в то время как SDK `microsoft-cognitiveservices-speech-sdk` может быть использовано на многих платформах.

Так что, в зависимости от ваших потребностей и целей, вы можете выбрать один из этих SDK для создания ваших речевых приложений. И не забывайте, что для работы с Cognitive Services, вам также понадобится подключение к Azure Cognitive Services.

Python; Образец исходного кода

Для использования платформы Windows Speech Platform SDK с Python требуются некоторые предварительные условия. Во-первых, убедитесь, что на вашем компьютере установлен Python. Во-вторых, установите набор инструментов разработки, который поддерживается платформой Windows Speech Platform SDK.

Для установки инструментов на операционной системе Windows используйте следующую команду:

pip install windows-tools

Платформа Windows Speech Platform SDK также поддерживается на других платформах, таких как macOS и Debian. На macOS инструменты устанавливаются с помощью следующей команды:

brew install windows-tools

На операционной системе Debian необходимо установить инструменты следующим образом:

sudo apt-get install windows-tools

Использование Windows Speech Platform SDK с Python

После установки Windows Speech Platform SDK с помощью Python вы можете использовать его для создания приложений, поддерживающих распознавание и синтез речи.

Для создания модуля с поддержкой речи на проектном уровне используйте следующий код:

import speechsdk
speech_recognition_module = speechsdk.SpeechRecognizer()
speech_synthesis_module = speechsdk.SpeechSynthesizer()
speech_translation_module = speechsdk.SpeechTranslationRecognizer()

Вы также можете использовать Windows Speech Platform SDK вместе с другими языками программирования, такими как C#, JavaScript, Swift и другими. Обратите внимание, что доступность определенных возможностей и инструментов может различаться в зависимости от языка программирования.

Образец исходного кода Python

Ниже приведен образец исходного кода Python, демонстрирующий использование Windows Speech Platform SDK для распознавания речи и синтеза речи:

import speechsdk
# Создание экземпляра SpeechRecognizer
speech_recognizer = speechsdk.SpeechRecognizer()
# Определение обработчика событий для распознавания речи
def recognized(args):
print("Распознано: {}".format(args.result.text))
speech_recognizer.recognized.connect(recognized)
# Начало распознавания речи
speech_recognizer.start_continuous_recognition()
# Создание экземпляра SpeechSynthesizer
speech_synthesizer = speechsdk.SpeechSynthesizer()
# Синтез речи
result = speech_synthesizer.synthesize_text("Привет, как дела?")
# Воспроизведение синтезированной речи
speech_synthesizer.play(result)

Это только один из множества возможных способов использования Windows Speech Platform SDK с помощью Python. При разработке речевых приложений вы можете использовать различные модули и функции для получения доступа к различным возможностям платформы.

Custom Text-to-speech

Windows Speech Platform SDK предоставляет разработчикам возможность создания уникальных и инновационных речевых приложений с поддержкой собственного текста в реальном времени. В этом разделе мы рассмотрим введение в создание и использование собственной речи в приложениях.

Установка SDK

Прежде чем начать разработку речевых приложений с использованием Windows Speech Platform SDK, вам понадобится установить соответствующие инструменты и компоненты. Вот несколько инструкций по установке:

1. Установите Visual Studio или Visual Studio Code, если у вас их еще нет.
2. Установите Microsoft.CognitiveServices.Speech SDK, используя инструмент NuGet или пакетный менеджер Visual Studio. Вы можете установить его с помощью следующей команды: Install-Package Microsoft.CognitiveServices.Speech.
3. Установите дополнительные требования и зависимости, если они требуются для вашей разрабатываемой платформы или операционной системы.

Создание Custom Text-to-speech

Для создания приложения с собственной речью вам необходимо выполнить следующие шаги:

1. Импортируйте необходимые библиотеки и ресурсы в свой проект. Библиотека Microsoft.CognitiveServices.Speech, поддерживающая различные языки, должна быть доступна для использования.
2. Используйте API для отправки команд для создания или воспроизведения речи. Например, вы можете использовать методы SpeechSynthesisResult для создания речи и SpeechSynthesizer для ее воспроизведения.
3. Настройте параметры речи, такие как язык, темп речи, голос и другие свойства, чтобы сделать вашу речь более уникальной и настраиваемой.

Пример использования

Вот пример кода для создания собственной речи с использованием Windows Speech Platform SDK:

// Импортировать необходимые библиотеки
using Microsoft.CognitiveServices.Speech;
using System;
class Program
{
static async Task Main()
{
// Установить настройки речи
var config = SpeechConfig.FromSubscription("your-subscription-key", "your-service-region");
config.SpeechSynthesisLanguage = "en-US";
config.SpeechSynthesisVoiceName = "Microsoft Server Speech Text to Speech Voice (en-US, JessaRUS)";
// Создать объект синтезатора речи
using (var synthesizer = new SpeechSynthesizer(config))
{
// Создать речь
using (var result = await synthesizer.SpeakTextAsync("Привет, это пример простого использования собственной речи!"))
{
// Воспроизвести речь
if (result.Reason == ResultReason.SynthesizingAudioCompleted)
{
// Действие при успешном создании речи
}
else if (result.Reason == ResultReason.Canceled)
{
// Действие при отмене создания речи
var cancellation = SpeechSynthesisCancellationDetails.FromResult(result);
Console.WriteLine($"CANCELED: Reason={cancellation.Reason}");
if (cancellation.Reason == CancellationReason.Error)
{
Console.WriteLine($"Ошибка: {cancellation.ErrorDetails}");
}
}
}
}
}
}

Этот пример демонстрирует создание и воспроизведение собственной речи с использованием Windows Speech Platform SDK. Вы можете настроить язык, голос и другие параметры речи для получения идеального результата.

Таким образом, используя Windows Speech Platform SDK и создав собственную речь, разработчики могут создавать уникальные и инновационные приложения, поддерживающие речь в реальном времени.

Установка Microsoft Speech Platform SDK 11

Введение

Перед установкой Microsoft Speech Platform SDK 11 убедитесь, что ваша система соответствует следующим требованиям:

• Операционная система Windows на базе ядра Windows 7 или выше;
• Процессор с тактовой частотой 1 ГГц или выше;
• Оперативная память не менее 512 МБ;
• Свободное место на жестком диске не менее 500 МБ;
• DirectX 9.0с или более поздней версии.

Шаги по установке

Следуйте инструкциям ниже, чтобы установить Microsoft Speech Platform SDK 11:

1. Перейдите на официальный сайт Microsoft и найдите страницу с заглавием «Microsoft Speech Platform SDK 11».
2. На странице загрузки найдите ссылку для скачивания SDK и щелкните по ней.
3. Скачайте установочный файл SDK на ваш компьютер.
4. Запустите установочный файл и следуйте инструкциям мастера установки.
5. Во время установки убедитесь, что выбраны все необходимые компоненты, включая синтез речи и скрипты.
6. После завершения установки будет создана директория с примерами приложений и ресурсами SDK.

Использование SDK

После установки Microsoft Speech Platform SDK 11 вы можете использовать его для разработки речевых приложений с помощью различных языков программирования, таких как C#, JavaScript или Python. SDK также поддерживается на различных платформах, включая Windows и Android.

SDK предоставляет набор API и моделей обучения, которые позволяют разработчикам создавать приложения с функциями синтеза речи, распознавания и диаризации. Кроме того, SDK обеспечивает поддержку различных сценариев, таких как разработка персональных ассистентов или многоустройственных систем.

Известные проблемы

При использовании Microsoft Speech Platform SDK 11 могут возникать следующие известные проблемы:

• При использовании языка программирования JavaScript необходимо убедиться, что предварительно установлен пакет libssl10x;
• Для различных языков и сценариев могут потребоваться дополнительные ресурсы и модели обучения.

Обратите внимание, что SDK предназначен для разработки речевых приложений и не является инструментом для транскрибирования или поддержки системы телефонии.

Batch transcription

Batch transcription allows you to process multiple audio files and transcribe them into text. This can be useful in applications such as telephony services, meeting transcription, or developing multi-device voice-activated apps.

To use batch transcription, you need to install the Windows Speech Platform SDK and the corresponding speech recognition language pack for each language you need to support. You also need a compatible microphone or audio input device.

Here are the requirements to get started with batch transcription:

Requirements	Description
Windows Speech Platform SDK	Download and install the SDK. Make sure to select the version based on the target operating system, such as Windows 10 or earlier.
Speech recognition language pack	Install the language pack for each language you want to transcribe. Note that not all languages are supported, so make sure to check the list of supported languages.
Audio files	Provide the input audio files that you want to transcribe. Supported formats include WAV, MP3, and others.

Once you have everything set up, you can use the SpeechRecognitionEngine class from the System.Speech.Recognition namespace to create a batch transcription script. Below is an example in C#:

using System;
using System.Speech.Recognition;
class Program
{
static void Main()
{
// Load language pack for the desired language
var recognizer = new SpeechRecognitionEngine(new System.Globalization.CultureInfo("en-US"));
// Add a handler for the recognition event
recognizer.SpeechRecognized += Recognizer_SpeechRecognized;
// Load audio files
recognizer.SetInputToWaveFile("audio1.wav");
recognizer.SetInputToWaveFile("audio2.wav");
// ...
// Start the recognition process
recognizer.Recognize();
}
static void Recognizer_SpeechRecognized(object sender, SpeechRecognizedEventArgs e)
{
// Process the recognized text
Console.WriteLine("Recognized: " + e.Result.Text);
}
}

In the above example, the script creates an instance of the SpeechRecognitionEngine class and loads the desired language pack. It then sets the input audio files and defines a handler for the recognition event. Finally, it starts the recognition process and prints the recognized text to the console.

Batch transcription can also be done using other programming languages such as JavaScript, Python, or C++. Additionally, there are frameworks and libraries available that make batch transcription easier to implement, such as the Microsoft Cognitive Services Speech SDK or the Google Cloud Speech-to-Text API.

For more information about batch transcription and the Windows Speech Platform SDK, refer to the official documentation and resources provided by Microsoft.

Custom agent scenarios

В разработке речевых приложений для операционной системы Windows есть возможность использовать Windows Speech Platform SDK. Но помимо этого также существует возможность создания более специфических сценариев при помощи Cognition Services Speech SDK от Microsoft. Подобные агенты могут использоваться для различных целей на разных устройствах, включая Xamarin.Mac и многоустройственные системы.

При создании агента с помощью Microsoft Cognitive Services Speech SDK, можно использовать различные опции и возможности для создания более сложных агентов с поддержкой чтения текста, распознавания речи и синтеза речи в режиме онлайн. Чтобы разработать агента, требуется установить SDK на все устройства, на которых будет использоваться агент.

Основные возможности, которые предоставляет Speech SDK, включают синтез речи, распознавание речи и чтение текста. Для создания агентов с заданными сценариями, необходимо использовать определенную версию SDK. Различные версии SDK могут иметь разные возможности и ограничения.

При разработке таких агентов необходимо учитывать возможные изменения в системе, например, удаление поддержки некоторых модулей или синтеза на определенных языках. Для более гибкой работы с агентами также можно использовать нативные и управляемые инструменты.

Агенты могут использоваться для вызова Cortana или других голосовых помощников. Также возможна поддержка агентов на разных устройствах и системах, при условии установки SDK и поддержки нужных модулей.

Создание агентов с заданными сценариями предполагает тегирование данных и использование специальных инструментов. Это позволяет настроить агента для различных задач и использовать его в разных ситуациях. При этом они могут поддерживать конвертацию речи в текст и наоборот.

Для разработки агентов можно использовать репозиторий npm и модули на языке Node.js. Для корректной работы требуется установка необходимых зависимостей, включая libssl1.0.x.

Видео:

App Development with Cortana & the Speech SDK #19

App Development with Cortana & the Speech SDK #19 автор: Jayden 171 перегляд 8 років тому 15 хвилин