{"id":28807,"date":"2024-09-02T05:00:00","date_gmt":"2024-09-02T03:00:00","guid":{"rendered":"https:\/\/sii.pl\/blog\/?p=28807"},"modified":"2024-09-02T08:52:41","modified_gmt":"2024-09-02T06:52:41","slug":"rozwoj-oprogramowania-audio-dla-systemow-embedded","status":"publish","type":"post","link":"https:\/\/sii.pl\/blog\/rozwoj-oprogramowania-audio-dla-systemow-embedded\/","title":{"rendered":"Rozw\u00f3j oprogramowania audio dla system\u00f3w embedded"},"content":{"rendered":"\n

Obecnie s\u0142uchawki bezprzewodowe s\u0105 bardziej popularne ni\u017c jeszcze kilka lat temu ze wzgl\u0119du na to, \u017ce technologia w nich u\u017cywana oraz d\u0142ugo\u015b\u0107 dzia\u0142ania na jednym \u0142adowaniu zosta\u0142y znacznie poprawione. Jednym z podstawowych element\u00f3w technologii w nich zastosowanych jest aktywna redukcja ha\u0142asu<\/strong> (ANC, ang. Active Noise Cancellation).<\/p>\n\n\n\n

ANC to technologia, kt\u00f3ra zmniejsza d\u017awi\u0119ki otoczenia poprzez generowanie d\u017awi\u0119k\u00f3w o przeciwnej fazie, co skutecznie je niweluje. System ANC wykorzystuje mikrofony do rejestrowania ha\u0142asu otoczenia, a nast\u0119pnie przetwarza je, aby stworzy\u0107 anty-ha\u0142as odtwarzany przez g\u0142o\u015bniki. T\u0119 technologi\u0119 stosuje si\u0119 powszechnie w s\u0142uchawkach, samochodach i innych urz\u0105dzeniach, zapewniaj\u0105c u\u017cytkownikom cichsze i bardziej komfortowe warunki do s\u0142uchania ulubionej muzyki.<\/p>\n\n\n\n

ANC najlepiej dzia\u0142a na d\u017awi\u0119ki o niskiej cz\u0119stotliwo\u015bci, kt\u00f3re s\u0105 wolno-zmienne, jest za to mniej skuteczna wobec nieprzewidywalnych, szybko-zmiennych ha\u0142as\u00f3w.<\/p>\n\n\n\n

\"Schemat<\/a>
Ryc. 1 Schemat blokowy nowoczesnych s\u0142uchawek bezprzewodowych<\/figcaption><\/figure>\n\n\n\n

W tym artykule przybli\u017c\u0119 wam podstawy tworzenia aplikacji audio<\/strong>, omawiaj\u0105c mikrokontrolery dedykowane do tego typu zastosowa\u0144 oraz metody optymalizacji kodu, zw\u0142aszcza algorytm\u00f3w DSP<\/strong>. Poka\u017c\u0119, jak krok po kroku zbudowa\u0107 sw\u00f3j pierwszy system audio<\/strong> oraz na co warto zwr\u00f3ci\u0107 uwag\u0119 podczas jego projektowania. Na zako\u0144czenie przedstawi\u0119 i om\u00f3wi\u0119 osi\u0105gni\u0119te wyniki.<\/p>\n\n\n\n

Jaki powinien by\u0107 fundament systemu audio?<\/strong><\/h2>\n\n\n\n

Rozw\u00f3j oprogramowania audio dla przeno\u015bnych system\u00f3w embedded zasilanych z baterii niesie ze sob\u0105 dodatkowe wyzwania zwi\u0105zane z optymalizacj\u0105 wydajno\u015bci. Systemy embedded, stosowane m.in.: w s\u0142uchawkach, cechuj\u0105 si\u0119 ograniczonymi zasobami sprz\u0119towymi, co wymaga tworzenia oprogramowania o minimalnym zu\u017cyciu procesora i pami\u0119ci, przy jednoczesnym utrzymaniu wysokiej jako\u015bci d\u017awi\u0119ku. Kluczowe znaczenie ma r\u00f3wnie\u017c zarz\u0105dzanie latencj\u0105, poniewa\u017c ka\u017cde op\u00f3\u017anienie jest niepo\u017c\u0105dane, zw\u0142aszcza w aplikacjach czasu rzeczywistego.<\/p>\n\n\n\n

Aby sprosta\u0107 tym wyzwaniom, mo\u017cemy wykorzysta\u0107 m.in.: nast\u0119puj\u0105ce mikrokontrolery.<\/p>\n\n\n\n

    \n
  1. Procesor DSP<\/strong> \u2013 pierwsz\u0105 opcj\u0105 jest wyb\u00f3r dedykowanego procesora DSP. Przyk\u0142adem mo\u017ce by\u0107 linia SHARC<\/a> od firmy Analog Devices. Procesory te s\u0105 taktowane zegarem do 400 MHz oraz oferuj\u0105 FPU obs\u0142uguj\u0105cy liczby zmiennoprzecinkowe w formacie 32 oraz 40 bitowym. Dodatkowo wspiera on operacje SIMD i posiada 5 Mb pami\u0119ci RAM L1 on-chip oraz 8 Mb RAM L2 \u00ad\u2013 dzi\u0119ki temu b\u0119dziemy mie\u0107 szybki dost\u0119p do danych naszych algorytm\u00f3w, co bezpo\u015brednio prze\u0142o\u017cy si\u0119 na wydajno\u015b\u0107 systemu.<\/li>\n\n\n\n
  2. Mikrokontroler posiadaj\u0105cy SIMD i FPU<\/strong> \u2013 drug\u0105 opcj\u0105, kt\u00f3ra jest ta\u0144sza i prostsza, jest konwencjonalny mikrokontroler, kt\u00f3ry wspiera operacje SIMD oraz posiada FPU. Mo\u017ce by\u0107 to ESP32-S3 lub mikrokontroler wyposa\u017cony w rdze\u0144 ARM-Cortex-M4 lub wy\u017cszy. Dzi\u0119ki temu mo\u017cemy u\u017cy\u0107 tylko jednego kontrolera i \u201eprzyspieszy\u0107\u201d nasze algorytmy, u\u017cywaj\u0105c operacji wektorowych.<\/span><\/li>\n\n\n\n
  3. Mikrokontroler z zewn\u0119trznym modu\u0142em DSP<\/strong> \u00ad\u2013 trzeci\u0105 opcj\u0105 jest wykorzystanie mikrokontrolera opartego np. na rdzeniu ARM z dodatkowym koprocesorem DSP. W tym przypadku modu\u0142 DSP b\u0119dzie pre-programowany do wykonywania konkretnych algorytm\u00f3w (np. filtrowania), a sam mikrokontroler b\u0119dzie odpowiedzialny tylko za obs\u0142ug\u0119 stworzonej aplikacji.<\/li>\n<\/ol>\n\n\n\n

    Zbudujmy sw\u00f3j pierwszy pipeline audio<\/strong><\/h2>\n\n\n\n

    W celu stworzenia podstawowej aplikacji audio u\u017cyj\u0119 popularnego mikrokontrolera ESP32-S3. Posiada on bardzo dobry SDK, kt\u00f3ry pozwala na szybkie prototypowanie aplikacji. Dodatkowo jest szeroko dost\u0119pnym i tanim mikrokontrolerem z du\u017cym wsparciem spo\u0142eczno\u015bci. Dzi\u0119ki temu mo\u017cemy skupi\u0107 si\u0119 g\u0142\u00f3wnie nad rozwi\u0105zaniami, kt\u00f3re mo\u017cna zastosowa\u0107 w aplikacji.<\/p>\n\n\n\n

    Kolejnym krokiem w tworzeniu naszego systemu jest wyb\u00f3r rodzaju aplikacji, kt\u00f3r\u0105 chcemy zaimplementowa\u0107 na pocz\u0105tek. Mo\u017cemy wyr\u00f3\u017cni\u0107 kilka typ\u00f3w przetwarzania audio<\/strong>:<\/p>\n\n\n\n

      \n
    1. Generowanie sygna\u0142u<\/strong> \u2013 system otrzymuje dane z zewn\u0119trznego \u017ar\u00f3d\u0142a i przekszta\u0142ca je na d\u017awi\u0119k. Przyk\u0142adem jest klawiatura MIDI, kt\u00f3ra przekszta\u0142ca naci\u015bni\u0119cia klawiszy w odpowiednie d\u017awi\u0119ki.<\/li>\n\n\n\n
    2. Analizowanie sygna\u0142u<\/strong> \u2013 system przyjmuje sygna\u0142 audio i analizuje go, np. za pomoc\u0105 FFT. Przyk\u0142adem mo\u017ce by\u0107 analizator widma sygna\u0142u.<\/li>\n\n\n\n
    3. Przetwarzanie sygna\u0142u<\/strong> \u2013 system pobiera sygna\u0142 audio, przetwarza go za pomoc\u0105 algorytm\u00f3w DSP, a nast\u0119pnie przesy\u0142a przetworzony sygna\u0142 na zewn\u0105trz aplikacji, np. do g\u0142o\u015bnik\u00f3w. Przyk\u0142adem mo\u017ce by\u0107 system ANC lub efekty gitarowe.<\/li>\n<\/ol>\n\n\n\n

      W tym artykule b\u0119dziemy budowa\u0107 aplikacj\u0119, kt\u00f3ra b\u0119dzie przetwarza\u0107 sygna\u0142 audio<\/strong>. Jak w takim razie nasz system b\u0119dzie wiedzia\u0142, co przetwarza\u0107? Mo\u017cemy u\u017cy\u0107 przetwornika ADC, cyfrowego mikrofonu, modu\u0142u SAI, karty d\u017awi\u0119kowej USB\u2026 \u2013 odpowiedzi na to pytanie jest wiele.<\/p>\n\n\n\n

      Kt\u00f3ry z wymienionych b\u0119dzie najlepszy?<\/strong> U\u017cyj\u0119 ulubionej odpowiedzi ka\u017cdego in\u017cyniera \u2013 to zale\u017cy \ud83d\ude42 Zale\u017cy Ci na niskiej latencji sygna\u0142u, a Tw\u00f3j algorytm nie wymaga przetwarzania blokowego? Wybierz dobry przetwornik ADC i przetwarzaj sygna\u0142 pr\u00f3bka po pr\u00f3bce. Mo\u017cesz zaakceptowa\u0107 wy\u017csz\u0105 latencj\u0119 sygna\u0142u lub Twoje algorytmy przetwarzaj\u0105 sygna\u0142 blokowo? W tym przypadku mo\u017cesz wybra\u0107 zar\u00f3wno przetwornik ADC jak i rozwi\u0105zania cyfrowe wykorzystuj\u0105ce I2S czy SAI.<\/p>\n\n\n\n

      Czym jest I2S?<\/strong><\/h2>\n\n\n\n

      I2S (ang. Inter-IC Sound) to standardowy protok\u00f3\u0142 komunikacyjny zaprojektowany do cyfrowego przesy\u0142ania sygna\u0142\u00f3w audio mi\u0119dzy uk\u0142adami scalonymi, takimi jak mikrokontrolery, kodeki audio i cyfrowe przetworniki sygna\u0142\u00f3w (DSP).<\/p>\n\n\n\n

      G\u0142\u00f3wne cechy I2S to:<\/p>\n\n\n\n