Sử dụng System.Speech với Kinect

Question

Tôi đang phát triển một bài phát biểu nguyên mẫu cho ứng dụng phụ đề văn bản cho một dự án Đại học. Tôi sẽ sử dụng nhận dạng cử chỉ trong dự án của tôi vào cuối, vì vậy tôi nghĩ rằng nên sử dụng Kinect làm nguồn micrô, thay vì sử dụng micrô bổ sung. Ý tưởng ứng dụng của tôi là để nhận ra các bài phát biểu tự phát như câu dài và phức tạp (tôi hiểu nó sẽ không phải là lời nói chính tả sẽ không hoàn hảo). Tôi đã nhìn thấy nhiều mẫu giọng nói Kinect, nơi nó làm cho một tham chiếu đến Microsoft.Speech, nhưng không phải System.Speech. Khi tôi cần đào tạo công cụ phát biểu và tải DictationGrammar vào Công cụ nhận dạng giọng nói, Microsoft.Speech là lựa chọn duy nhất cho tôi.

Tôi đã cố gắng làm cho nó hoạt động trong khi sử dụng Kinect làm nguồn âm thanh micrô trực tiếp, nhưng vì tôi đang tải Kinect để xem trước video và nhận dạng cử chỉ, tôi không thể truy cập nó dưới dạng micrô trực tiếp.

Đây là mã truy cập vào micro trực tiếp mà không cần tải phần cứng Kinect cho cử chỉ, vv, và hoạt động hoàn hảo:

private void InitializeSpeech() 
{ 
    var speechRecognitionEngine = new SpeechRecognitionEngine(); 
    speechRecognitionEngine.SetInputToDefaultAudioDevice(); 
    speechRecognitionEngine.LoadGrammar(new DictationGrammar()); 
    speechRecognitionEngine.RecognizeAsync(RecognizeMode.Multiple); 
    speechRecognitionEngine.SpeechRecognized += (s, args) => MessageBox.Show(args.Result.Text); 
} 

Và đây là nơi mà tôi cần phải truy cập vào các nguồn truy cập thông qua Kinect khi nó đã được nạp, mà không làm gì cả. Nay tôi muốn được thực hiện:

using (var audioSource = new KinectAudioSource()) 
{ 
    audioSource.FeatureMode = true; 
    audioSource.AutomaticGainControl = false; 
    audioSource.SystemMode = SystemMode.OptibeamArrayOnly; 

    var recognizerInfo = GetKinectRecognizer(); 
    var speechRecognitionEngine = new SpeechRecognitionEngine(recognizerInfo.Id); 

    speechRecognitionEngine.LoadGrammar(new DictationGrammar()); 
    speechRecognitionEngine.SpeechRecognized += (s, args) => MessageBox.Show(args.Result.Text); 

    using (var s = audioSource.Start()) 
    { 
     speechRecognitionEngine.SetInputToAudioStream(s, new SpeechAudioFormatInfo(EncodingFormat.Pcm, 16000, 16, 1, 32000, 2, null)); 
     speechRecognitionEngine.RecognizeAsync(RecognizeMode.Multiple); 
    } 
} 

Vì vậy, câu hỏi là, nó thậm chí có thể sử dụng System.Speech thay vì Microsoft.Speech với Kinect SDK hiện tại, và những gì tôi làm sai trong mẫu mã thứ 2 ?

GetKinectRecognizer Phương pháp

private static RecognizerInfo GetKinectRecognizer() 
{ 
    Func<RecognizerInfo, bool> matchingFunc = r => 
    { 
     string value; 
     r.AdditionalInfo.TryGetValue("Kinect", out value); 
     return "True".Equals(value, StringComparison.InvariantCultureIgnoreCase) && "en-US".Equals(r.Culture.Name, StringComparison.InvariantCultureIgnoreCase); 
    }; 

    return SpeechRecognitionEngine.InstalledRecognizers().Where(matchingFunc).FirstOrDefault(); 
} 

Answer 1

Từ thí nghiệm của riêng tôi, tôi có thể nói với bạn rằng bạn có thể trong thực tế sử dụng cả hai thư viện cùng một lúc.

Hãy thử mã này thay vì mã hiện tại của bạn (chắc chắn rằng bạn thêm một tham chiếu đến System.Speech, rõ ràng):

using (var audioSource = new KinectAudioSource()) 
{ 
    audioSource.FeatureMode = true; 
    audioSource.AutomaticGainControl = false; 
    audioSource.SystemMode = SystemMode.OptibeamArrayOnly; 

    System.Speech.Recognition.RecognizerInfo ri = GetKinectRecognizer(); 
    var speechRecognitionEngine = new SpeechRecognitionEngine(ri.Id); 

    speechRecognitionEngine.LoadGrammar(new DictationGrammar()); 
    speechRecognitionEngine.SpeechRecognized += (s, args) => MessageBox.Show(args.Result.Text); 

    using (var s = audioSource.Start()) 
    { 
     speechRecognitionEngine.SetInputToAudioStream(s, new SpeechAudioFormatInfo(EncodingFormat.Pcm, 16000, 16, 1, 32000, 2, null)); 
     speechRecognitionEngine.RecognizeAsync(RecognizeMode.Multiple); 
    } 
} 

Good Luck !!!