Klank- en video-ontwikkeling en -leer

Ons neem eerstens aan dat iemand geen klank- en video-basis het nie en nog nooit kennis oor digitale seinverwerking verwerf het nie. Die wiskundige grondslag is basies op hoërskoolvlak, maar hy is vertroud met die ontwikkeling van C / C ++, ten minste vertroud met die opstel en ontfouting van IDE onder 'n sekere platform.

Fokus op die twee oopbronprojekte ffmpeg en webRTC, kyk hoofsaaklik na die videogedeelte van ffmpeg en die klankgedeelte van webRTC.

Eerstens, begin met video-dekodering. Dit is die eenvoudigste een. Die basiese kode vir die oproep van ffmpeg-video-dekodering is slegs ongeveer 100 reëls. Video-dekodering hoef slegs h.264 te verstaan, 80% + tonele is in hierdie koderingsformaat, verstaan basiese H.264 sps pps NAL en ander lêerformaatkonsepte, verstaan die beginsel van YUV-beeldformaat en verstaan die omskakeling van YUV na RGB , Sodat u die beeldweergawe kan doen, kan u 'n eenvoudige videospeler bereik. (Basies in die eerste fase)

Om aan te leer oor videokodering, word dit dan aanbeveel om met x264 te begin. 'N Eenvoudige oproep tot x264-koderingskode is minder as 100 reëls. Encoding is ingewikkelder as om te dekodeer deurdat dekodering geen parameters moet instel nie, en enkodering het 'n groot aantal parameters wat ingestel moet word. Aan die begin, moet u net 'n paar basiese begrippe verstaan, soos raamsnelheid, algemene vloei-beheermetodes ABR CRF, GOP, I / B Wat beteken / P Frame onderskeidelik. (Vertroud met die X264-kodering weer)

Die codec van die klankdeel is soortgelyk aan die van die video. In die beginfase hoef u slegs die twee encoders EAAC + en Silk te verstaan, die konsepte van klankkanaal, sampling rate, ens. Te verstaan, en die Wave-lêerformaat te verstaan. Kan 'n eenvoudige klankspeler wees. (Maak 'n klankspeler)

Die ingewikkelde deel van klank is nie die codec nie, maar die klankeffek. Kyk na die Audio Processing-module in webRTC en verstaan die volgende konsepte: ontkenning van NS, echo-kansellasie-AEC, demping-opsporing van VAD, outomatiese versterkingsbeheer AGC en die ingeboude webRTC. Alhoewel die algoritme nie die beste is nie, kan dit 90% + van die probleme oplos, en dit is die moeite werd om dit te leer. (Leer webrtc klankverwerking)

Nadat ek dit geleer het, moet ek nadink oor 'n vraag of ek 'n ingenieursroete of 'n algoritmiese roete wil volg. As dit 'n algoritmiese roete is, moet ek wiskunde leer. Agter digitale verwerking van sein is 'n groot aantal basiese wiskundige teorieë. As dit 'n ingenieursroete is, moet u die ontwikkeling van platforms oor die verskillende platforms leer, die versameling, afspeel en verwerking van klank en video onder verskillende platforms leer, en die optimalisering van monteertaal onder verskeie platforms leer. (Platform verwant)

Klank en video is 'n baie diep veld, en u sal nooit in 'n leeftyd klaar wees met leer nie, maar hierdie vak het die voordeel dat die spoed van kennisopdatering relatief stadig is, dat die geleerde dinge nie maklik uitgeskakel kan word nie, en dat die ervaring opgaar. is baie belangrik.v