3. ġbir
L-akkwist jinkludi prinċipalment żewġ aspetti: l-akkwist tal-vidjow u l-akkwist tal-awdjo. Il-vidjo jinġabar mill-kamera, li jinvolvi l-operat rilevanti tal-kamera u l-issettjar tal-parametri tal-kamera. Minħabba d-differenzi fil-kameras ta 'diversi manifatturi tal-mowbajl, hemm xi nases f'dan ir-rigward, li se jiġu deskritti fl-artikolu dwar il-kamera. L-awdjo jinġabar permezz ta ’mikrofonu. Il-mikrofoni ta 'telefowns ċellulari differenti jappoġġjaw rati differenti ta' teħid ta 'kampjuni tal-awdjo, u xi drabi l-awdjo jeħtieġ li jkun ikkanċellat eku sabiex isostni l-funzjoni tal-mikrofonu.
Punti ewlenin tat-teknoloġija tal-qbid tal-vidjow:
Iċċekkja jekk il-kamera tistax tintuża;
L-immaġni maqbuda mill-kamera hija orizzontali, u l-immaġni maqbuda teħtieġ li tiddawwar sa ċertu punt qabel ma tintwera;
Hemm serje ta 'daqsijiet ta' immaġini minn fejn tagħżel il-kamera. Meta d-daqs tal-immaġni maqbuda huwa inkonsistenti mad-daqs tal-iskrin tat-telefon ċellulari, huwa meħtieġ ipproċessar speċjali;
Il-kamera tat-telefon Android għandha serje ta 'stati, u l-operazzjoni korrispondenti tal-kamera teħtieġ li tkun fl-istat korrett;
Bosta parametri tal-kamera tat-telefon Android għandhom kwistjonijiet ta 'kompatibilità, u dawn il-kwistjonijiet ta' kompatibilità għandhom jiġu ttrattati aħjar.
Punti ewlenin tat-teknoloġija tal-qbid tal-awdjo:
Iċċekkja jekk il-mikrofonu jistax jintuża;
Ħtieġa li tinstab l-appoġġ tat-telefown ċellulari għal ċerta rata ta 'teħid ta' kampjuni tal-awdjo;
F'xi każijiet, huwa meħtieġ li jitwettaq proċessar ta 'kanċellazzjoni ta' eku fuq l-awdjo;
Issettja d-daqs tal-buffer korrett waqt il-qbid tal-awdjo.
Nota: Aktar tard se jkun hemm artiklu speċjali dwar il-kollezzjoni
4. ipproċessar
L-ipproċessar tal-vidjo
Is-sbuħija issa hija kważi konfigurazzjoni standard ta 'softwer ta' xandir dirett bit-telefon ċellulari. Wara t-tisbiħ, l-ospitant għandu dehra ogħla u huwa aktar attraenti għall-partitarji. Hemm ukoll xi applikazzjonijiet ta 'xandira diretta ta' Android li jistgħu jagħrfu wiċċ l-ospitant u jżidu animazzjonijiet divertenti. Effetti speċjali, xi kultant irridu wkoll inżidu watermark mal-video.
Fil-fatt, it-tisbiħ tal-vidjow u ż-żieda ta 'effetti speċjali huma pproċessati permezz ta' OpenGL. Hemm GLSurfaceView f'Android, li huwa simili għal SurfaceView, iżda jista 'jingħata b'Renderer. In-nisġa tista 'tiġi ġġenerata permezz ta' OpenGL, SurfaceTexture tista 'tiġi ġġenerata permezz tal-Id tat-tessut, u SurfaceTexture tista' tingħata lil Camera, u finalment l-iskrin ta 'preview tal-kamera u OpenGL huma konnessi permezz tan-nisġa, sabiex serje ta' operazzjonijiet jistgħu jsiru permezz ta 'OpenGL .
Il-proċess kollu ta 'tisbiħ mhu xejn ħlief li jiġġenera tessut ġdid permezz tat-teknoloġija FBO f'OpenGL ibbażat fuq it-tessut previst mill-Kamera, u mbagħad tuża t-tessut il-ġdid biex tiġbed fuq l-onDrawFrame () fir-Renderer. Iż-żieda ta 'watermark hija li l-ewwel tikkonverti stampa f'tessut, u mbagħad tuża OpenGL għad-disinn. Iż-żieda ta 'effetti speċjali dinamiċi pendant hija iktar ikkumplikata. L-ewwelnett, huwa meħtieġ li titwettaq analiżi algoritmika biex jiġu identifikati l-partijiet korrispondenti tal-wiċċ tal-bniedem ibbażati fuq l-immaġni ta 'previżjoni kurrenti, u mbagħad tiġbed immaġini korrispondenti fuq kull parti korrispondenti. Ir-realizzazzjoni tal-proċess kollu hija kemmxejn diffiċli.
Il-figura li ġejja hija flowchart tal-proċess kollu tas-sbuħija:
Proċess ta 'sbuħija
L-istampa hawn taħt turi l-effetti tas-sbuħija u l-animazzjoni tajjeb ħafna.
Beauty
Effetti ta 'animazzjoni u watermarks
Nota: Se jkun hemm artiklu speċjali dwar OpenGL u r-realizzazzjoni tal-proċess kollu.
Ipproċessar tal-awdjo
F'xi każijiet, l-ospitant jeħtieġ iżid xi ħsejjes addizzjonali biex iżid l-atmosfera tax-xandir dirett, bħal applause u l-bqija. Mod wieħed kif tittrattah huwa li ddoqq il-ħoss addizzjonali direttament, sabiex il-mikrofonu jiġborha u mbagħad jirrekordjaha flimkien, iżda dan it-tip ta 'proċessar ma jaħdimx meta l-ankra tilbes headphones jew teħtieġ twettaq proċessar ta' kanċellazzjoni ta 'eku fuq il-ħoss . Peress li l-funzjoni korrispondenti ma ġietx miżjuda mal-proġett tagħna, għalissa ma hemm l-ebda esperjenza relevanti x'nistgħu naqsmu, nistgħu nżidu din il-funzjoni aktar tard, u mbagħad naqsmuha miegħek.
5. kodifikazzjoni
Permezz tal-kamera u l-mikrofonu, nistgħu niġbru d-dejta tal-vidjow u awdjo korrispondenti, iżda din hija dejta mhux ipproċessata f'format fiss. Ġeneralment, il-kamera tiġbor qafas wieħed b'qafas, u l-mikrofonu jiġbor id-dejta tal-awdjo tal-PCM. Jekk din id-dejta tintbagħat direttament, l-ammont ta 'dejta ħafna drabi jkun kbir ħafna, u jirriżulta fi ħela kbira ta' wisa 'ta' frekwenza, għalhekk ħafna drabi huwa meħtieġ li tikkodifika vidjo u awdjo qabel ma tibgħat.
Kodifikazzjoni tal-vidjo
1. Kodifikazzjoni ta 'tbassir
Kif nafu lkoll, immaġni hija magħmula minn ħafna hekk imsejħa pixels. Numru kbir ta 'statistika turi li hemm korrelazzjoni qawwija bejn il-pixels fl-istess stampa. Iktar ma tkun iqsar id-distanza bejn żewġ pixels, iktar tkun b'saħħitha l-korrelazzjoni. F'termini ta 'profani, iktar ma jkunu viċini l-valuri taż-żewġ pixels. Għalhekk, in-nies jistgħu jużaw din il-korrelazzjoni bejn il-pixels biex iwettqu kodifikazzjoni tal-kompressjoni. Dan il-metodu ta 'kompressjoni jissejjaħ kodifikazzjoni ta' tbassir intra-frame. Mhux dan biss, il-korrelazzjoni bejn il-frejms li jmissu hija ġeneralment aktar b'saħħitha mill-korrelazzjoni bejn il-pixels fi frejm, u l-proporzjon tal-kompressjoni huwa wkoll akbar. Jista 'jidher li billi tuża l-korrelazzjoni bejn il-pixels (intra-frame) u l-korrelazzjoni bejn il-frejms, jiġifieri, issib il-pixel ta' referenza korrispondenti jew il-frejm ta 'referenza bħala l-valur imbassar, il-kodifikazzjoni tal-kompressjoni tal-vidjow tista' tiġi realizzata.
2. Ibdel il-kodifikazzjoni
Numru kbir ta ’statistika turi li s-sinjal tal-vidjow fih l-iktar komponenti ta’ frekwenza baxxa u ta ’frekwenza baxxa li jużaw ħafna enerġija, jiġifieri, il-parti ċatta tal-immaġni, u ammont żgħir ta’ komponenti ta ’frekwenza għolja, jiġifieri, id-dettalji tal- immaġni. Għalhekk, jista 'jintuża metodu ieħor għall-kodifikazzjoni tal-vidjow. Wara li l-immaġni tgħaddi minn ċerta trasformazzjoni matematika, l-immaġni fid-dominju trasformat tinkiseb (kif muri fil-figura), fejn u u v huma l-koordinati tal-frekwenza spazjali rispettivament.
Ibdel il-kodifikazzjoni
3. Kodifikazzjoni bbażata fuq il-forma tal-mewġ
Il-kodifikazzjoni bbażata fuq il-forma tal-mewġ tuża metodu ta ’kodifikazzjoni ibrida bbażat fuq blokka li jikkombina kodifikazzjoni ta’ tbassir u kodifikazzjoni ta ’trasformazzjoni. Sabiex tnaqqas il-kumplessità tal-kodifikazzjoni u tagħmel l-operazzjoni tal-kodifikazzjoni tal-vidjo aktar faċli biex twettaq, meta tuża l-metodu ibridu tal-kodifikazzjoni, l-ewwel taqsam immaġini fi blokki ta 'daqs fiss, bħal blokka 8 × 8 (jiġifieri, 8 ringieli kull blokka, 8 pixels kull ringiela), Blokk 16 × 16 (16 linji kull blokka, 16 pixels kull linja) u l-bqija, u mbagħad ikkompressa u tikkodifika l-blokka.
Minn meta l-ITU-T ħarġet l-ewwel standard ta 'kodifikazzjoni tal-vidjow diġitali-H.261 fl-1989, huwa suċċessivament ħareġ standards ta' kodifikazzjoni tal-vidjow bħal H.263 u standards ta 'terminals multimedjali bħal H.320 u H.323. Il-Grupp ta 'Esperti tal-Istampi li Jiċċaqilqu (MPEG) taħt ISO ddefinixxa MPEG-1, MPEG-2, MPEG-4 u divertiment ieħor u kompressjoni tat-TV diġitali li tikkodifika standards internazzjonali.
F'Marzu 2003, ITU-T ippromulgat l-istandard tal-kodifikazzjoni tal-vidjow H.264. Mhux biss jagħmel il-kompressjoni tal-vidjow imtejba b'mod sinifikanti meta mqabbel ma 'standards preċedenti, iżda għandu wkoll affinità tajba tan-netwerk, speċjalment għall-IP tal-Internet, netwerk mobbli mingħajr fili u prestazzjoni oħra ta' trażmissjoni tal-vidjo tan-netwerk li hija faċli biex tiżbalja, faċli biex timblokka, u mhux faċli biex tiggarantixxi QoS . . Dawn il-kodifiki tal-vidjo kollha jużaw kodifikazzjoni ibrida bbażata fuq blokki, li huma kollha kodifikazzjoni bbażata fuq il-forma tal-mewġ.
4. Kodifikazzjoni bbażata fuq il-kontenut
Hemm ukoll teknoloġija ta 'kodifikazzjoni bbażata fuq il-kontenut, fejn il-qafas tal-vidjow huwa l-ewwel maqsum f'reġjuni li jikkorrispondu għal oġġetti differenti, u mbagħad ikkodifikat. Speċifikament, tikkodifika l-għamla, il-moviment u n-nisġa ta 'oġġetti differenti. Fl-aktar każ sempliċi, kontorn bidimensjonali jintuża biex jiddeskrivi l-għamla ta 'oġġett, vettur tal-moviment jintuża biex jiddeskrivi l-istat tal-moviment tiegħu, u nisġa hija deskritta b'forma ta' mewġa tal-kulur.
Meta t-tipi ta 'oġġetti fis-sekwenza tal-vidjow huma magħrufa, jista' jintuża kodifikazzjoni bbażata fuq l-għarfien jew ibbażata fuq mudell. Pereżempju, għal uċuħ tal-bniedem, ġew żviluppati xi wajerframmi predefiniti biex jikkodifikaw il-karatteristiċi tal-wiċċ. F'dan iż-żmien, l-effiċjenza tal-kodifikazzjoni hija għolja ħafna, u ftit bits biss huma meħtieġa biex jiddeskrivu l-karatteristiċi tagħha. Għal espressjonijiet tal-wiċċ (bħal rrabjata, kuntenta, eċċ.), Imgieba possibbli jistgħu jiġu kkodifikati bis-semantika. Billi n-numru ta 'mġieba possibbli ta' oġġett huwa żgħir ħafna, tista 'tinkiseb effiċjenza ta' kodifikazzjoni għolja ħafna.
Il-metodu ta 'kodifikazzjoni adottat minn MPEG-4 huwa kemm kodifikazzjoni ibrida bbażata fuq blokki kif ukoll metodu ta' kodifikazzjoni bbażata fuq il-kontenut.
5. Innittjar artab u iebes
Hemm żewġ modi kif timplimenta video coding fuq il-pjattaforma Android, wieħed huwa soft coding u l-ieħor huwa hard coding. Għal editjar artab, ħafna drabi jiddependi fuq is-cpu u juża l-poter tal-kompjuter tal-cpu biex iwettaq kodifikazzjoni. Pereżempju, nistgħu nniżżlu l-librerija tal-kodifikazzjoni x264, niktbu l-interface jni rilevanti, u mbagħad ngħaddu fid-dejta tal-immaġini korrispondenti. Wara l-ipproċessar mil-librerija x264, l-immaġni oriġinali tiġi kkonvertita f'vidjo f'format h264.
Il-kodiċi iebes juża l-MediaCodec ipprovdut minn Android innifsu. Biex tuża MediaCodec, għandek bżonn tgħaddi fid-dejta korrispondenti. Din id-dejta tista 'tkun informazzjoni dwar l-immaġni tiegħek jew Surface. Il-wiċċ huwa ġeneralment irrakkomandat, li huwa aktar effiċjenti. Surface juża direttament buffers tad-dejta tal-vidjow lokali mingħajr immappjar jew ikkupjar tagħhom lil ByteBuffers; għalhekk, dan l-approċċ se jkun aktar effiċjenti. Meta tuża Surface, normalment ma tistax taċċessa direttament id-dejta tal-vidjow oriġinali, imma tista 'tuża l-klassi ImageReader biex ikollok aċċess għal frejms tal-vidjow dekodifikati (jew oriġinali) mhux affidabbli. Dan xorta jista 'jkun iktar effiċjenti milli tuża ByteBuffers, minħabba li xi buffers lokali jistgħu jiġu mmappjati biex jidderieġu ByteBuffers. Meta tuża l-modalità ByteBuffer, tista 'tuża l-klassi Image u l-metodi getInput / OutputImage (int) biex ikollok aċċess għall-qafas tad-dejta tal-vidjo oriġinali.
Nota: L-artikolu li ġej se jiddeskrivi speċifikament kif twettaq kodifikazzjoni tal-vidjow
Audio kodifikazzjoni
AudioRecord jista 'jintuża f'Android biex jirrekordja ħoss, u l-ħoss irreġistrat huwa ħoss PCM. Jekk trid tesprimi l-ħoss bil-lingwa tal-kompjuter, trid tiddiġitalizza l-ħoss. L-iktar mod komuni biex jiġi diġitizzat il-ħoss huwa permezz tal-Modulazzjoni tal-Kodiċi tal-Pulse (PCM). Il-ħoss jgħaddi mill-mikrofonu u jiġi kkonvertit f'serje ta 'sinjali ta' bidliet fil-vultaġġ. Il-mod kif tikkonverti sinjal bħal dan f'format PCM huwa li tuża tliet parametri biex jirrappreżentaw il-ħoss. Dawn huma: in-numru ta 'kanali, in-numru ta' bits ta 'kampjunar, u l-frekwenza ta' kampjunar.
1. Frekwenza tal-kampjunar
Jiġifieri, il-frekwenza tal-kampjunar, li tirreferi għan-numru ta 'drabi li kampjun tal-ħoss jinkiseb kull sekonda. Iktar ma tkun għolja l-frekwenza tal-kampjunar, aħjar tkun il-kwalità tal-ħoss u iktar tkun realistika r-riproduzzjoni tal-ħoss, iżda fl-istess ħin tokkupa aktar riżorsi. Minħabba r-riżoluzzjoni limitata tal-widna umana, frekwenza għolja wisq ma tistax tiġi distinta. Hemm 22KHz, 44KHz u livelli oħra f'kards tal-ħoss ta '16-il bit. Fost dawn, 22KHz huwa ekwivalenti għall-kwalità tal-ħoss ta 'xandir FM ordinarju, u 44KHz huwa ekwivalenti għall-kwalità tal-ħoss ta' CD. Il-frekwenza kurrenti tal-kampjunar komuni ma taqbiżx 48KHz.
2. Numru ta 'bits tal-kampjunar
Jiġifieri, il-valur tal-kampjunar jew il-valur tal-kampjunar (jiġifieri, l-amplitudni tal-kampjun tal-kampjunar hija kkwantizzata). Huwa parametru użat biex ikejjel il-varjazzjoni tal-ħoss, u jista 'jingħad ukoll li huwa r-riżoluzzjoni tal-sound card. Iktar ma jkun kbir il-valur tagħha, iktar tkun għolja r-riżoluzzjoni u iktar tkun qawwija l-qawwa tal-ħoss.
Fil-kompjuter, in-numru ta 'bits ta' teħid ta 'kampjuni huwa ġeneralment ta' 8 bits u 16-il bits, imma jekk jogħġbok innota li 8 bits ma jfissirx li taqsam l-ordinata fi 8 partijiet, iżda maqsuma fi 2 sat-8 qawwa, li hija 256 parti; l-istess jgħodd għal 16-il bit. Huwa jaqsam l-ordinata fi 2 sas-16-il qawwa ta '65,536.
3. Numru ta 'kanali
Huwa faċli li tifhem li hemm monofoniċi u sterjofoniċi. Il-ħoss monofoniku jista 'jiġi prodott biss minn kelliem wieħed (xi wħud huma wkoll ipproċessati f'żewġ kelliema biex joħorġu l-istess ħoss tal-kanal), u stereo pcm jista' jagħmel żewġ kelliema It-tnejn ħoss (ġeneralment hemm diviżjoni tax-xogħol bejn il-kanali tax-xellug u tal-lemin), sabiex tkun tista 'tħoss l-effett spazjali aktar.
Allura, issa nistgħu niksbu l-formula għall-kapaċità tal-fajl pcm:
Kapaċità tal-ħażna = (frekwenza tal-kampjunar number️ numru ta 'bits tal-kampjunar channel️ kanal ✖️ ħin) ➗ 8 (unità: numru ta' bytes)
Jekk l-awdjo huwa trasmess kollu fil-format PCM, il-wisa 'tal-frekwenza okkupata hija relattivament kbira, għalhekk l-awdjo jeħtieġ li jkun ikkodifikat qabel it-trasmissjoni.
Diġà hemm xi formati tal-ħoss użati ħafna, bħal wav, MIDI, MP3, WMA, AAC, Ogg, eċċ. Meta mqabbla mal-format pcm, dawn il-formati jikkompressaw id-dejta tal-ħoss, li tista 'tnaqqas il-wisa' tal-frekwenza tat-trasmissjoni.
Il-kodifikazzjoni tal-awdjo tista 'wkoll tinqasam f'żewġ tipi: soft coding u hard coding. Għal editjar artab, niżżel il-librerija tal-kodifikazzjoni korrispondenti, ikteb il-jni korrispondenti, u mbagħad għaddi d-dejta għall-kodifikazzjoni. Il-kodiċi iebes juża l-MediaCodec ipprovdut minn Android innifsu.
Nota: L-artikolu li ġej se jiddeskrivi speċifikament kif twettaq kodifikazzjoni tal-awdjo
6, ippakkjar
Il-vidjo u l-awdjo għandhom bżonn jiddefinixxu l-format korrispondenti matul il-proċess tat-trasmissjoni, sabiex ikun jista 'jiġi analizzat b'mod korrett meta jiġi trasmess għat-tarf oppost.
1. HTTP-FLV
Fl-era tal-Web 2.0, l-aktar tipi popolari ta 'websajts huma naturalment Youtube minn barra, websajts Youku u Tudou fiċ-Ċina. Il-kontenut tal-vidjow ipprovdut minn siti bħal dawn jista 'jingħad li għandu l-merti tiegħu stess, iżda kollha jużaw il-Flash bħala trasportatur tal-plejbek tal-vidjow mingħajr eċċezzjoni. Il-bażi teknika li tappoġġja dawn is-siti tal-vidjow hija Flash Video (FLV). FLV huwa format tal-vidjow tal-midja streaming ġdid fjamant, li juża l-pjattaforma tal-Flash Player użata ħafna fuq il-paġni tal-web biex tintegra l-vidjow fl-animazzjoni Flash. Fi kliem ieħor, sakemm il-viżitaturi tal-websajt jistgħu jaraw animazzjonijiet Flash, jistgħu naturalment jaraw vidjows tal-format FLV mingħajr il-ħtieġa li jinstallaw plug-ins tal-vidjo addizzjonali. L-użu ta 'vidjows FLV iġib konvenjenza kbira għat-tixrid tal-vidjow.
HTTP-FLV jinkapsula dejta awdjo u vidjo fi FLV, u mbagħad tittrasmettiha lill-klijent permezz tal-protokoll HTTP. Bħala l-uploader, il-vidjo u l-awdjo fil-format FLV biss għandhom jiġu trasmessi lis-server.
Ġeneralment, il-vidjo u l-awdjo fil-format FLV ġeneralment jużaw il-format h264 għall-vidjo, u l-awdjo ġeneralment juża l-format AAC-LC.
Il-format FLV huwa li l-ewwel jittrażmetti l-informazzjoni tal-header FLV, imbagħad jittrażmetti l-metadata bil-parametri tal-vidjo u awdjo (Metadata), imbagħad jittrażmetti l-informazzjoni tal-parametru tal-vidjo u tal-awdjo, u mbagħad jittrażmetti d-dejta tal-vidjo u tal-awdjo.
Nota: L-artikolu li ġej jiddeskrivi FLV fid-dettall
2. RTMP
RTMP huwa l-akronimu għal Real Time Messaging Protocol. Il-protokoll huwa bbażat fuq TCP u huwa grupp ta 'protokoll, inkluż protokoll bażiku RTMP u RTMPT / RTMPS / RTMPE u bosta varjanti oħra. L-RTMP huwa protokoll tan-netwerk iddisinjat għall-komunikazzjoni tad-dejta f'ħin reali. Jintuża prinċipalment għall-komunikazzjoni tal-awdjo, vidjo u dejta bejn il-pjattaforma Flash / AIR u streaming media / server interattiv li jappoġġja l-protokoll RTMP.
Il-protokoll RTMP huwa protokoll ta 'trasmissjoni f'ħin reali mniedi minn Adobe, li jintuża prinċipalment għal trasmissjoni f'ħin reali ta' flussi ta 'awdjo u vidjo bbażati fuq il-format flv. Wara li jkollok id-dejta tal-vidjow u tal-awdjo kkodifikata, l-ewwel huwa meħtieġ ippakkjar FLV, u mbagħad ippakkjat f'format rtmp, u mbagħad trasmess.
Biex tuża l-format RTMP għat-trażmissjoni, l-ewwel trid tikkonnettja mas-server, imbagħad toħloq nixxiegħa, imbagħad ippubblika n-nixxiegħa, u mbagħad ittrasmetti d-dejta tal-vidjo u awdjo korrispondenti. It-trażmissjoni sħiħa hija definita minn messaġġi, rtmp tiddefinixxi diversi forom ta 'messaġġi, u sabiex il-messaġġi jintbagħtu tajjeb, il-messaġġi huma maqsuma fi blokki, li jagħmel il-protokoll kollu iktar ikkumplikat.
Nota: Artikli aktar tard jiddeskrivu l-RTMP fid-dettall
Hemm ukoll bosta forom oħra ta 'protokolli, bħall-RTP, eċċ. Il-prinċipji ġenerali huma simili, għalhekk mhux se nispjegahom waħda waħda.
7. ipproċessar fqir tan-netwerk
Il-vidjo u l-awdjo jistgħu jintbagħtu fil-ħin taħt netwerk tajjeb, mingħajr ma jikkawżaw l-akkumulazzjoni ta 'dejta tal-vidjo u awdjo lokalment, l-effett tax-xandir dirett huwa bla xkiel, u d-dewmien huwa żgħir. F'ambjent ta 'netwerk ħażin, jekk id-dejta tal-awdjo u tal-vidjow ma tistax tintbagħat, għandna bżonn nipproċessaw id-dejta tal-awdjo u tal-vidjow. Ġeneralment hemm erba 'metodi ta' proċessar għal dejta tal-vidjo u awdjo f'ambjent ta 'netwerk fqir: disinn tal-buffer, sejbien tan-netwerk, proċessar ta' telf ta 'qafas, u proċessar ta' tnaqqis tar-rata tal-bits.
1. Disinn tal-buffer
Id-dejta tal-vidjow u tal-awdjo tiġi ttrasferita għall-buffer, u l-mittent iġib id-data mill-buffer u jibgħatha, u b'hekk jifforma modalità asinkronika produttur-konsumatur. Il-produttur jeħtieġ biss li jimbotta d-dejta tal-vidjow u awdjo miġbura u kkodifikata lejn il-buffer, u l-konsumatur huwa responsabbli biex joħroġ id-data mill-buffer u jibgħatha.
Buffer tal-vidjow u tal-awdjo
Il-frejm tal-vidjow biss huwa muri fil-figura hawn fuq, u ovvjament hemm frejms tal-awdjo korrispondenti ġewwa. Biex tibni mudell ta 'produttur-konsumatur mhux sinkroniku, Java pprovda klassi tajba. Peress li t-telf tal-frejm, l-inserzjoni, it-tneħħija, eċċ jeħtieġ li jiġu pproċessati aktar tard, huwa ovvju li LinkedBlockingQueue hija għażla tajba ħafna.
2. Sejbien tan-netwerk
Proċess importanti fil-proċess ta 'proċessar ħażin tan-netwerk huwa l-iskoperta tan-netwerk. Meta n-netwerk isir fqir, jista 'jinstab malajr u mbagħad jiġi pproċessat kif xieraq. Dan jagħmel ir-rispons tan-netwerk aktar sensittiv u l-effett ikun ħafna aħjar.
Aħna nikkalkulaw id-dejta fil-buffer tal-input kull sekonda u d-dejta mibgħuta f'ħin reali. Jekk id-dejta mibgħuta hija iżgħar mid-dejta fil-buffer tal-input, allura l-bandwidth tan-netwerk mhix tajba. F'dan iż-żmien, id-dejta fil-buffer se tkompli tiżdied. Attiva l-mekkaniżmu korrispondenti.
3. Ipproċessar tal-qafas tal-waqgħa
Meta tinstab degradazzjoni tan-netwerk, it-telf tal-qafas huwa mekkaniżmu ta 'rispons tajjeb. Wara li l-vidjow jiġi kkodifikat, hemm frejms ewlenin u frejms mhux ewlenin. Il-qafas ewlieni huwa stampa sħiħa, u l-qafas mhux ewlieni jiddeskrivi l-bidla relattiva tal-immaġni.
L-istrateġija tal-waqgħa tal-qafas tista 'tiġi definita waħedha. Ħaġa waħda li għandek tinnota hija: jekk trid twaqqa 'frejms P (frejms mhux ewlenin), għandek bżonn twaqqa' l-frejms kollha mhux ewlenin bejn iż-żewġ frejms ewlenin, inkella jseħħu mużajk. Id-disinn tal-istrateġija għat-telf tal-qafas ivarja skont il-ħtiġijiet, u tista 'tfassalha int stess.
4. Rata ta 'tnaqqis tal-kodiċi
Fl-Android, jekk hard coding jintuża għall-kodifikazzjoni, f'ambjent ta 'netwerk fqir, nistgħu nbiddlu r-rata tal-bit tal-hard coding f'ħin reali biex ix-xandira diretta tkun aktar faċli. Meta jinstab li l-ambjent tan-netwerk huwa fqir, nistgħu wkoll innaqqsu r-rata tal-bit tal-vidjo u l-awdjo waqt li nwaqqgħu l-frejms. Meta l-verżjoni Android sdk tkun akbar minn jew ugwali għal 19, tista 'tgħaddi parametri lil MediaCodec biex tbiddel ir-rata tal-bits tad-dejta mill-kodifikatur iebes.
Bitrate tal-Bundle = Bundle ġdid (); bitrate.putInt (MediaCodec.PARAMETER_KEY_VIDEO_BITRATE, bps * 1024);
mMediaCodec.setParameters (bitrate);
8. ibgħat
Wara diversi ipproċessar, id-dejta trid tintbagħat finalment, dan il-pass huwa relattivament sempliċi. Kemm jekk huwa HTTP-FLV jew RTMP, nużaw TCP biex nistabbilixxu konnessjoni. Qabel ix-xandira diretta, għandek bżonn tikkonnettja mas-server permezz tas-Socket biex tivverifika jekk tistax tikkonnettja mas-server. Wara l-konnessjoni, uża dan is-Socket biex tibgħat data lis-server, u għalaq is-Socket wara li tintbagħat id-data.
