登录/注册
与非网论坛 »首页 › 话题 › #竞赛 › 2024 汽车应用创意挑战赛：基于树莓派5 SX1278 模块以及 ...

赞

回答

收藏

2024 汽车应用创意挑战赛：基于树莓派5 SX1278 模块以及FFT声...

#竞赛 #竞赛 1097 人阅读 | 0 人回复 | 2025-03-03

本帖最后由 donatello 于 2025-3-3 15:31 编辑

2024 汽车应用创意挑战赛：基于树莓派5 SX1278 模块以及FFT声纹采集算法的语音识别反馈系统


1. 作品简介
作品采用在得捷商城购买的树莓派5 8GB内存开发板，通过TTL串口与SX1278模块进行通信，并接入一些外部必要硬件模块，软件程序接入百度语音云，使之实现无线通信+语音识别+反馈控制的一个系统。


2.系统框图（图文结合）



树莓派5 8GB内存开发板通过TTL串口与SX1278模块进行通信，模块的模拟输出端接功放模块，功放模块接树莓派5 8GB内存开发板的GPIO模拟输入引脚，另一SX1278模块通过无线信号与SX1278模块进行通信，并接入一个麦克风模块用于声音录入。树莓派5 开发板通过摄像头麦克风录入声音，通过以太网连接百度语音云实现反馈控制。


3.流程图（图文结合）

树莓派5处理无线模块的声音模拟数据是以帧（frame）为单位的，每一帧可以是256/512/1024/2048字节，每一帧数据量越大，则读取一帧数据的时间就越长，以本作品的1024字节为一帧为例，每一秒可以处理大约16帧数据，也就是16384字节的声音模拟数据，这个声音模拟数据的指标也跟设备的码率挂钩，以USB摄像头自带的麦克风为例，市面上常用的USB免驱摄像头采集声音模拟数据一般是16384码率或者44000码率，码率越大，每秒发给USB主机的声音模拟数据量就越多，但是声音质量也会有所下降。树莓派5接收到一帧声音模拟数据之后，立刻进行FFT，众所周知FFT的结果就是频域结果，横轴是频率，纵轴是强度，现在的AI声纹大模型就是对频域结果进行处理，对每个频率的强度分析就可以得出多方面的数据，比如男声还是女声，汉字的平仄，英文的语气等等，这是一套非常复杂且完善的流程，我这里只做简单的声纹判断，也就是区分人的语音和环境杂音，只要有人说话就开始进行语音识别：

有人语音的帧即为有效帧，将所有连续的有效帧保存就能生成语音文件。

百度语音云的短语句识别是通过传输声音WAV文件来实现的，因此在上述步骤，将生成的只有有效帧的语音文件通过TCP协议发送到百度语音云平台，即可完成语音识别，树莓派5开发板再通过平台返回的语音内容进行相应操作。

4.各部分功能说明（图文结合）
首先是将有效帧识别并保存为WAV文件的步骤：
  1. FILE *file = fopen(SAVE_WAV_FILE , "wb");
  2.     if (!file)
  3.     {
  4.         printf("ERROR: Can't open output file.\n");
  5.         return -1;
  6.     }
  7.     Write_Wav_Header(file, CHANNELS, sample_rate, BITS_PER_SAMPLE, 0);

  9.     int buffer_size = frames_per_period * CHANNELS * BITS_PER_SAMPLE / 8;
  10.     //printf("frames_per_period = %d.\n" , frames_per_period);
  11.     //printf("buffer_size = %d.\n" , buffer_size);
  12.     char *buffer = (char *) malloc(buffer_size);

  14.     float buffer_float[1024];
  15.     float buffer_fft[512];
  16.     uint32_t buffer_fft_256[256];
  17.     uint32_t buffer_fft_seg_aver_64[64];

  19.     int total_bytes = 0;
  20.     count = 0;
  21.     while (total_bytes < SAMPLE_RATE * CHANNELS * BITS_PER_SAMPLE / 8)
  22.     //while(1)
  23.     {
  24.         memset(buffer_fft_seg_aver_64_sum , NULL , sizeof(buffer_fft_seg_aver_64_sum));
  25.         pcm = gpio_ad_read(handle , buffer , frames_per_period);

  27.         for(i = 0 ; i < buffer_size ; i ++)
  28.         {
  29.             //printf("%d " , buffer[i]);
  30.             buffer_float[i] = buffer[i] * 1.0;
  31.         }
  32.         FFTW_Mag_Test(buffer_float , buffer_fft);

  34.         //printf("buffer_size = %d.\n" , buffer_size);
  35.         //buffer_size == 1024
  36.         //buffer_fft_32[512]
  37.         //buffer_fft_seg_aver_16[32]

  39.         for(i = 0 ; i < buffer_size / 4 ; i ++)
  40.         {
  41.             buffer_fft_256[i] = (uint32_t)(buffer_fft[i] / 50.0);
  42.         }

  44.         for(i = 0 ; i < buffer_size / 4 ; i += 4)
  45.         {
  46.             buffer_fft_seg_aver_64[i / 4] =
  47.             (uint32_t)
  48.             (
  49.             (buffer_fft[i] +
  50.             buffer_fft[i + 1] +
  51.             buffer_fft[i + 2] +
  52.             buffer_fft[i + 3]
  53.             ) / 320.0
  54.             );

  56.             buffer_fft_seg_aver_64_sum[i / 4] +=
  57.             (uint32_t)
  58.             (
  59.             (buffer_fft[i] +
  60.             buffer_fft[i + 1] +
  61.             buffer_fft[i + 2] +
  62.             buffer_fft[i + 3]
  63.             ) / 200.0
  64.             );
  65.             //printf("buffer_fft_seg_aver_8 i:%d %d.\n" , i / 8 , buffer_fft_seg_aver_8[i / 8]);
  66.         }

  68.         LCD_Waveform_Graph_Whole_Add_Single(100 , 256 , 20 , 300 , buffer_fft_256 , LCD_COLOR_WHITE_32 , 0 , LCD_COLOR_RED_32 , 1);

  70.         LCD_Waveform_Chart(100 , 1700 , 660 , 300 , buffer_fft_seg_aver_64_sum , 64 , 22 , 5 , LCD_COLOR_WHITE_32 , 0 , LCD_COLOR_BLUE_32);
  71.         
  72.         LCD_Show_ASCII_32(100 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '0');

  74.         LCD_Show_ASCII_32(222 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '5');

  76.         LCD_Show_ASCII_32(330 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '1');
  77.         LCD_Show_ASCII_32(342 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '0');

  79.         LCD_Show_ASCII_32(444 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '1');
  80.         LCD_Show_ASCII_32(460 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '5');

  82.         LCD_Show_ASCII_32(558 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '2');
  83.         LCD_Show_ASCII_32(574 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '0');

  85.         LCD_Show_ASCII_32(788 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '3');
  86.         LCD_Show_ASCII_32(804 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '0');

  88.         LCD_Show_ASCII_32(1018 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '4');
  89.         LCD_Show_ASCII_32(1034 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '0');

  91.         LCD_Show_ASCII_32(1248 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '5');
  92.         LCD_Show_ASCII_32(1264 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '0');

  94.         LCD_Show_ASCII_32(1480 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '6');
  95.         LCD_Show_ASCII_32(1496 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '0');

  97.         LCD_Show_ASCII_32(1548 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '6');
  98.         LCD_Show_ASCII_32(1564 , 980 , LCD_COLOR_BLUE_32 , LCD_COLOR_CYAN_32 , '3');
  99.         
  100.         LCD_Effect_32("/dev/fb0");

  102.         if (pcm == -EPIPE)
  103.         {
  104.             printf("ERROR: XRUN.\n");
  105.             snd_pcm_prepare(pcm_handle);
  106.         } else if (pcm < 0)
  107.         {
  108.             printf("ERROR: Can't read from PCM device.\n");
  109.         }
  110.         else
  111.         {
  112.             fwrite(buffer, 1, buffer_size, file);
  113.             total_bytes += buffer_size;
  114.             count ++;
  115.             //printf("count = %d total_bytes = %d\n" , count , total_bytes);
  116.         }
  117.         //usleep(50*1000);
  118.     }

  120.     uint32_t sum_6_and_8 = 0;
  121.     uint32_t sum_10_31 = 0;
  122.     uint32_t sum_60_62 = 0;

  124.     sum_6_and_8 = buffer_fft_seg_aver_64_sum[6] + buffer_fft_seg_aver_64_sum[8];
  125.    
  126.     // for(i = 1 ; i <= 4 ; i ++)
  127.     // {
  128.     //     //printf("i = %d %d.\n" , i , buffer_fft_seg_aver_8_sum[i]);
  129.     //     sum_1_4 += buffer_fft_seg_aver_8_sum[i];
  130.     // }
  131.     // for(i = 10 ; i <= 31 ; i ++)
  132.     // {
  133.     //     //printf("i = %d %d.\n" , i , buffer_fft_seg_aver_8_sum[i]);
  134.     //     sum_10_31 += buffer_fft_seg_aver_8_sum[i];
  135.     // }

  137.     printf("%d %d %d %d .\n" , buffer_fft_seg_aver_64_sum[2] , buffer_fft_seg_aver_64_sum[4] , buffer_fft_seg_aver_64_sum[6]
  138.      , buffer_fft_seg_aver_64_sum[8]);

  140.     //printf("1 = %d 2 = %d 3 = %d 4 = %d.\n" , buffer_fft_seg_aver_8_sum[1] , buffer_fft_seg_aver_8_sum[2] ,
  141.     //buffer_fft_seg_aver_8_sum[3] , buffer_fft_seg_aver_8_sum[4]);

  143.     // if(sum_1_2 >= 9000 && sum_12_22 >= 17000 && sum_12_22 <= 30000 && sum_49_54 >= 9500 && sum_60_62 >= 9000)
  144.     // {
  145.     //     printf("Human Voice 1 , while.\n");
  146.     // }
  147.     // else if(sum_1_2 >= 7500 && sum_12_22 >= 20000 && sum_12_22 <= 30000 && sum_49_54 >= 11500 && sum_60_62 >= 8000)
  148.     // {
  149.     //     printf("Human Voice 2 , while.\n");
  150.     // }
  151.     // else if(sum_1_2 >= 6500 && sum_12_22 >= 23000 && sum_12_22 <= 25000 && sum_49_54 >= 12000 && sum_60_62 >= 8500)
  152.     // {
  153.     //     printf("Human Voice 3 , while.\n");
  154.     // }
  155.     // else if(sum_1_2 >= 8000 && sum_12_22 >= 21000 && sum_12_22 <= 30000 && sum_49_54 >= 10000 && sum_60_62 >= 9000)
  156.     // {
  157.     //     printf("Human Voice 4 , while.\n");
  158.     // }   

  160.     fseek(file, 0, SEEK_SET);
  161.     Write_Wav_Header(file , CHANNELS , sample_rate , BITS_PER_SAMPLE , total_bytes);

  163.     free(buffer);
  164.     fclose(file);
复制代码

上述代码中FFTW_Mag_Test()函数就是FFT工作的函数，将时域信号转为频域信号，FFT结果数组为buffer_fft[]，是浮点类型的，需要转为整型才可以进行汇总，汇总结果数组为buffer_fft_seg_aver_64_sum()，这个数组的意义是buffer_fft[]数组按相邻若干个数据的求和结果，也就是在信号处理领域常见的频谱数组。

然后是接入百度语音云并进行语音识别的函数，这个直接照抄百度语音云给出的示例代码即可：
  1. RETURN_CODE Baidu_TSR(char baidu_api_key[] , char baidu_secret_key[] , char baidu_cuid[] , char baidu_tsr_filename[] , char baidu_tsr_format[] , uint32_t baidu_tsr_dev_pid ,
  2. char baidu_tsr_scope[] , uint32_t baidu_tsr_rate)
  3. {
  4.     char token[MAX_TOKEN_SIZE];
  5.     char url[300];
  6.     char header[50];
  7.     FILE *fp;
  8.     Json::Reader reader;
  9.     Json::Value root;

  11.     RETURN_CODE res;

  13.     curl_global_init(CURL_GLOBAL_ALL);

  15.     fp = fopen(baidu_tsr_filename , "r");
  16.     if (fp == NULL)
  17.     {
  18.         char cwd[200];
  19.         getcwd(cwd,sizeof(cwd));
  20.         snprintf(g_demo_error_msg , BUFFER_ERROR_SIZE,
  21.                  "current running directory does not contain file %s, %s", baidu_tsr_filename , cwd);
  22.         return ERROR_ASR_FILE_NOT_EXIST;
  23.     }
  24.    
  25.     res = speech_get_token(baidu_api_key , baidu_secret_key , baidu_tsr_scope , token);
  26.     if (res == RETURN_OK)
  27.     {
  28.         CURL *curl = curl_easy_init();
  29.         char *cuid = curl_easy_escape(curl , baidu_cuid , strlen(baidu_cuid));

  31.         snprintf(url, sizeof(url), "%s?cuid=%s&token=%s&dev_pid=%d",
  32.                 baidu_tsr_url , baidu_cuid , token , baidu_tsr_dev_pid);

  34.         curl_free(cuid);

  36.         struct curl_slist *headerlist = NULL;

  38.         snprintf(header, sizeof(header), "Content-Type: audio/%s; rate=%d", baidu_tsr_format ,
  39.                 baidu_tsr_rate);
  40.         headerlist = curl_slist_append(headerlist, header);

  42.         int content_len = 0;
  43.         char *result = NULL;
  44.         char *audio_data = read_file_data(fp , &content_len);
  45.         curl_easy_setopt(curl, CURLOPT_URL, url);
  46.         curl_easy_setopt(curl, CURLOPT_POST, 1);
  47.         curl_easy_setopt(curl, CURLOPT_CONNECTTIMEOUT, 5); // 连接5s超时
  48.         curl_easy_setopt(curl, CURLOPT_TIMEOUT, 60); // 整体请求60s超时
  49.         curl_easy_setopt(curl, CURLOPT_HTTPHEADER, headerlist); // 添加http header Content-Type
  50.         curl_easy_setopt(curl, CURLOPT_POSTFIELDS, audio_data);
  51.         curl_easy_setopt(curl, CURLOPT_POSTFIELDSIZE, content_len);
  52.         curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, writefunc_tsr);
  53.         curl_easy_setopt(curl, CURLOPT_WRITEDATA, &result);

  55.         CURLcode res_curl = curl_easy_perform(curl);
  56.         baidu_xtts_string.clear();

  58.         if (res_curl != CURLE_OK)
  59.         {
  60.             snprintf(g_demo_error_msg, BUFFER_ERROR_SIZE, "perform curl error:%d, %s.\n" , res , curl_easy_strerror(res_curl));
  61.             res = ERROR_ASR_CURL;
  62.         }
  63.         else
  64.         {
  65.             //printf("result = %s\n", result);
  66.             if (reader.parse(result , root))
  67.             {
  68.                 baidu_xtts_string = root["result"][0].asString();
  69.                 printf("baidu_xtts_string = %s.\n"  , baidu_xtts_string.c_str());
  70.             }
  71.         }

  73.         curl_slist_free_all(headerlist);
  74.         free(audio_data);
  75.         free(result);
  76.         curl_easy_cleanup(curl);
  77.     }
  78.    
  79.     if (fp != NULL)
  80.     {
  81.         fclose(fp);
  82.     }

  84.     curl_global_cleanup();
  85.     return res;
  86. }
复制代码

最后就是根据语音返回结果来进行各种操作了，这个就不多赘述，只是简单的字符串判断。

5. 结语
总的来说，树莓派5的强大性能，使得它在处理语音数据输入，FFT算法，还是访问百度语音云的时候都非常轻松，整体流程非常顺畅不存在卡顿的情况，更由于其本身就是MPU，比起MCU平台的性能强大得多。非常感谢主办方得捷和协办方与非网，也感谢协办方工作人员&联络员Seven，日天兄辛苦了。祝得捷平台，与非网平台今后举办的活动更加红火，让广大的电子爱好者充分发挥才能。
收藏 转播 分享 顶 踩
分享到：
回复

使用道具 举报

返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 注册/登录

本版积分规则

avatar
85 积分
2 主题
+ 关注
关闭

站长推荐上一条 /3 下一条

  • 手机版| 小黑屋|

© 2010 - 2025 苏州灵动帧格网络科技有限公司 版权所有 ICP经营许可证 苏B2-20140176 | 苏ICP备14012660号-6 | 苏公网安备 32059002001874号