Взявшись за руки, вытяните java-веб-робот II (конец)

Введение

В прошлой статье мы кратко рассказали о решении использования Springboot с Alibaba Cloud Xiaomi для реализации текстового робота. Предыдущий адрес:Наггетс.Талант/пост/687488….

В этой главе будут представлены решения и решения по интеграции для интеллектуальных голосовых роботов.

2. Решения

1. Внедрить необходимый SDK в проект maven

         <dependency>
               <groupId>com.aliyun</groupId>
               <artifactId>aliyun-java-sdk-core</artifactId>
               <version>4.5.2</version>
           </dependency>
           <dependency>
               <groupId>com.alibaba.nls</groupId>
               <artifactId>nls-sdk-tts</artifactId>
               <version>2.1.6</version>
           </dependency>
   <dependency>    
         <groupId>com.alibaba.nls</groupId>  
         <artifactId>nls-sdk-transcriber</artifactId>   
         <version>2.1.6</version>
   </dependency>
   

2. Интегрировать код asr в проект

    public void process() {
           SpeechSynthesizer synthesizer = null;
           try {
               //创建实例，建立连接。
               synthesizer = new SpeechSynthesizer(client, getSynthesizerListener());
               synthesizer.setAppKey(appKey);
               //设置返回音频的编码格式
               synthesizer.setFormat(OutputFormatEnum.WAV);
               //设置返回音频的采样率
               synthesizer.setSampleRate(SampleRateEnum.SAMPLE_RATE_16K);
               //发音人
               synthesizer.setVoice("siyue");
               //语调，范围是-500~500，可选，默认是0。
               synthesizer.setPitchRate(100);
               //语速，范围是-500~500，默认是0。
               synthesizer.setSpeechRate(100);
               //设置用于语音合成的文本
               synthesizer.setText("欢迎使用阿里巴巴智能语音合成服务，您可以说北京明天天气怎么样啊");
               // 是否开启字幕功能（返回相应文本的时间戳），默认不开启，需要注意并非所有发音人都支持该参数。
               synthesizer.addCustomedParam("enable_subtitle", false);
               //此方法将以上参数设置序列化为JSON格式发送给服务端，并等待服务端确认。
               long start = System.currentTimeMillis();
               synthesizer.start();
               logger.info("tts start latency " + (System.currentTimeMillis() - start) + " ms");
               SpeechSynthesizerDemo.startTime = System.currentTimeMillis();
               //等待语音合成结束
               synthesizer.waitForComplete();
               logger.info("tts stop latency " + (System.currentTimeMillis() - start) + " ms");
           } catch (Exception e) {
               e.printStackTrace();
           } finally {
               //关闭连接
               if (null != synthesizer) {
                   synthesizer.close();
               }
           }
       }
   

3. Интегрировать метод TTS в проект

   public void process() {
   		SpeechSynthesizer synthesizer = null;
   		try {
   			//创建实例，建立连接。
   			synthesizer = new SpeechSynthesizer(client, getSynthesizerListener());
   			synthesizer.setAppKey(appKey);
   			//设置返回音频的编码格式
   			synthesizer.setFormat(OutputFormatEnum.valueOf(ttsParam.getFormat()));
   			//设置返回音频的采样率
   			synthesizer.setSampleRate(ttsParam.getSampleRate() == 8000 ? SampleRateEnum.SAMPLE_RATE_8K : SampleRateEnum.SAMPLE_RATE_16K);
   			//发音人
   //			synthesizer.setVoice("Aixia");
   			synthesizer.setVoice(ttsParam.getVoice());
   			//语调，范围是-500~500，可选，默认是0。
   			synthesizer.setPitchRate(0);
   			//语速，范围是-500~500，默认是0。
   			synthesizer.setSpeechRate(ttsParam.getSpeechRate());
   			//设置用于语音合成的文本
   			synthesizer.setText(ttsParam.getText());
   			// 是否开启字幕功能（返回相应文本的时间戳），默认不开启，需要注意并非所有发音人都支持该参数。
   			synthesizer.addCustomedParam("enable_subtitle", false);
   			//此方法将以上参数设置序列化为JSON格式发送给服务端，并等待服务端确认。
   			long start = System.currentTimeMillis();
   			synthesizer.start();
   			log.info("tts start latency " + (System.currentTimeMillis() - start) + " ms");
   			SpeechSynthesizerUtil.startTime = System.currentTimeMillis();
   			//等待语音合成结束
   			synthesizer.waitForComplete();
   			log.info("tts stop latency " + (System.currentTimeMillis() - start) + " ms");
   		} catch (Exception e) {
   			e.printStackTrace();
   		} finally {
   			//关闭连接
   			if (null != synthesizer) {
   				synthesizer.close();
   			}
   		}
   	}
   

Поскольку интеллектуальный голосовой робот должен часто передавать байты, он использует длинный веб-сокет соединения для взаимодействия с потоком байтов.

Введение в веб-сокеты:

Проще говоря: традиционная http-связь отключается после однократного обмена данными, и сервер не может активно передавать информацию клиенту. И длинный веб-сокет соединения решает эту проблему

1. Внедрить необходимый SDK в проект maven

           <dependency>
               <groupId>org.springframework.boot</groupId>
               <artifactId>spring-boot-starter-websocket</artifactId>
           </dependency>
   

2. Интегрированный метод доступа к голосовому потоку

       /**
        * 1.获取到前台传输来的语音流，并且储存到asr需要识别的文件中
        * 2.WebScoketUtils.intentSwitchMap判断机器人是否可以说话
        * 3.判断公共变量中使用存有TTS语音文件，如果存在的话，就转换为byte数组传输给前台
        * @param message
        * @param session
        * @param uid
        * @param roleType
        * @throws IOException
        */
   @OnMessage(maxMessageSize = 1024000)
       public void onMessage(byte[] message, Session session, @PathParam("uid") String uid, @PathParam("roleType") int roleType) throws IOException {
           String keyId = WebScoketUtils.getScoketKey(uid, roleType);
           writeFile(message, uid, roleType);
           try {
               if (null != WebScoketUtils.userMap.get(keyId) && !WebScoketUtils.userMap.get(keyId).equals("")) {
                   if ("on".equals(WebScoketUtils.intentSwitchMap.get(keyId))) {
                       log.info("机器人说话");
                       String filePath = WebScoketUtils.userMap.get(keyId);
                       WebScoketUtils.userMap.remove(keyId);
                       onMessageByte(keyId, filePath);
                       WebScoketUtils.intentSwitchMap.put(keyId, "off");
                   }
               }
           } catch (Exception e) {
               e.printStackTrace();
           }
       }
   

3. Интеграция прослушивает, покидает ли пользователь событие

      @OnClose
       public void onClose(Session session, @PathParam("uid") String uid, @PathParam("roleType") int roleType) {
           remove(session, uid, roleType);
       }
   

6. Внешняя интеграция HZRecorder2.js (плагин для записи)