Recherche avancée

Sur d’autres sites (9434)

• FFMPEG Api conversion from YUV420P to RGB produces strange output

  20 novembre 2024, par fasc8

  I'm using the FFMPEG Api in Rust to get RGB images from video files.

  


  While some videos work correct and I get the frames back as expected, some work not. Or at least the result is not the way I expected it to be.

  


  The code I use in Rust :

  


  ffmpeg::init().unwrap();

let in_ctx = input(&Path::new(source)).unwrap();
let input = in_ctx
    .streams()
    .best(Type::Video)
    .ok_or(ffmpeg::Error::StreamNotFound)?;

let decoder = input.codec().decoder().video()?;

let scaler = Context::get(
    decoder.format(),
    decoder.width(),
    decoder.height(),
    Pixel::RGB24,
    decoder.width(),
    decoder.height(),
    Flags::FULL_CHR_H_INT | Flags::ACCURATE_RND,
)?; // <--- Is basically sws_getContext

// later to get the actual frame
let mut decoded = Video::empty();
if self.decoder.receive_frame(&mut decoded).is_ok() {
    let mut rgb_frame = Video::empty();
    self.scaler.run(&decoded, &mut rgb_frame)?; // <--- Does sws_scale
    println!("Converted Pixel Format: {}", rgb_frame.format() as i32);
    Ok(Some(rgb_frame))
}


  


  Which should roughly translate to C like so :

  


  // Get the context and video stream
SwsContext * ctx = sws_getContext(imgWidth, imgHeight,
                              imgFormat, imgWidth, imgHeight,
                              AV_PIX_FMT_RGB24, 0, 0, 0, 0);
sws_scale(ctx, decoded.data, decoded.linesize, 0, decoded.height, rgb_frame.data, rbg_frame.linesize);


  


  And like I said earlier, sometimes it works fine and I get the expected frame back. But sometimes I get something like this :
Weird result image

  


  I saved the images as .ppm files for quick visual comparison. I used this method, which basically writes the bytes to a file with a simple .ppm header :

  


  fn save_file(frame: &Video, index: usize) -> std::result::Result<(), std::io::Error> 
{
    let mut file = File::create(format!("frame{}.ppm", index))?;
    file.write_all(format!("P6\n{} {}\n255\n", frame.width(), frame.height()).as_bytes())?;
    file.write_all(frame.data(0))?;
    Ok(())
}


  


  Here you can see that on the left side there is a good image result vs. on the right side there is a bad image result.
Comparison of the .ppm files

  


  To come to the question now :

  


  Why is this happening. I tested everything on my side and the only thing left is ffmpeg conversion. FFMPEG seems to convert these two test files differently even though it reports YUV420P as format for both. I cannot figure out what the difference may be...

  


  Here the info for the two video files i used :

  


  Good video file :

  


  General
Complete name                            : /mnt/smb/Snapchat-174933781.mp4
Format                                   : MPEG-4
Format profile                           : Base Media / Version 2
Codec ID                                 : mp42 (isom/mp42)
File size                                : 1.90 MiB
Duration                                 : 9 s 612 ms
Overall bit rate                         : 1 661 kb/s
Encoded date                             : UTC 2021-07-28 22:09:36
Tagged date                              : UTC 2021-07-28 22:09:36
eng                                      : -180.00

Video
ID                                       : 512
Format                                   : AVC
Format/Info                              : Advanced Video Codec
Format profile                           : High@L3.1
Format settings                          : CABAC / 1 Ref Frames
Format settings, CABAC                   : Yes
Format settings, Reference frames        : 1 frame
Format settings, GOP                     : M=1, N=30
Codec ID                                 : avc1
Codec ID/Info                            : Advanced Video Coding
Duration                                 : 9 s 598 ms
Bit rate                                 : 1 597 kb/s
Width                                    : 480 pixels
Height                                   : 944 pixels
Display aspect ratio                     : 0.508
Frame rate mode                          : Variable
Frame rate                               : 29.797 FPS
Minimum frame rate                       : 15.000 FPS
Maximum frame rate                       : 30.000 FPS
Color space                              : YUV
Chroma subsampling                       : 4:2:0
Bit depth                                : 8 bits
Scan type                                : Progressive
Bits/(Pixel*Frame)                       : 0.118
Stream size                              : 1.83 MiB (96%)
Title                                    : Snap Video
Language                                 : English
Encoded date                             : UTC 2021-07-28 22:09:36
Tagged date                              : UTC 2021-07-28 22:09:36
Color range                              : Full
colour_range_Original                    : Limited
Color primaries                          : BT.709
Transfer characteristics                 : BT.601
transfer_characteristics_Original        : BT.709
Matrix coefficients                      : BT.709
Codec configuration box                  : avcC

Audio
ID                                       : 256
Format                                   : AAC LC
Format/Info                              : Advanced Audio Codec Low Complexity
Codec ID                                 : mp4a-40-2
Duration                                 : 9 s 612 ms
Bit rate mode                            : Constant
Bit rate                                 : 62.0 kb/s
Channel(s)                               : 1 channel
Channel layout                           : C
Sampling rate                            : 44.1 kHz
Frame rate                               : 43.066 FPS (1024 SPF)
Compression mode                         : Lossy
Stream size                              : 73.3 KiB (4%)
Title                                    : Snap Audio
Language                                 : English
Encoded date                             : UTC 2021-07-28 22:09:36
Tagged date                              : UTC 2021-07-28 22:09:36


  


  Bad video file :

  


  General
Complete name                            : /mnt/smb/Snapchat-1989594918.mp4
Format                                   : MPEG-4
Format profile                           : Base Media / Version 2
Codec ID                                 : mp42 (isom/mp42)
File size                                : 2.97 MiB
Duration                                 : 6 s 313 ms
Overall bit rate                         : 3 948 kb/s
Encoded date                             : UTC 2019-07-11 06:43:04
Tagged date                              : UTC 2019-07-11 06:43:04
com.android.version                      : 9

Video
ID                                       : 1
Format                                   : AVC
Format/Info                              : Advanced Video Codec
Format profile                           : Baseline@L3.1
Format settings                          : 1 Ref Frames
Format settings, CABAC                   : No
Format settings, Reference frames        : 1 frame
Format settings, GOP                     : M=1, N=30
Codec ID                                 : avc1
Codec ID/Info                            : Advanced Video Coding
Duration                                 : 6 s 313 ms
Bit rate                                 : 3 945 kb/s
Width                                    : 496 pixels
Height                                   : 960 pixels
Display aspect ratio                     : 0.517
Frame rate mode                          : Variable
Frame rate                               : 29.306 FPS
Minimum frame rate                       : 19.767 FPS
Maximum frame rate                       : 39.508 FPS
Color space                              : YUV
Chroma subsampling                       : 4:2:0
Bit depth                                : 8 bits
Scan type                                : Progressive
Bits/(Pixel*Frame)                       : 0.283
Stream size                              : 2.97 MiB (100%)
Title                                    : VideoHandle
Language                                 : English
Encoded date                             : UTC 2019-07-11 06:43:04
Tagged date                              : UTC 2019-07-11 06:43:04
Color range                              : Limited
Color primaries                          : BT.709
Transfer characteristics                 : BT.709
Matrix coefficients                      : BT.709
Codec configuration box                  : avcC


  


  Or as a diff image :

  


  The problem is that I am not that familiar with ffmpeg yet I don't know all the quirks it has.

  


  I hope someone can point me in the right direction.

  


• Ffmpeg burnt in subtitles out of sync when converting to hls

  19 mai 2020, par user1503606

  I have a file that has subtitles burn into it and they are perfectly in sync.

  



  Here is the file. https://983yqbz442.s3.amazonaws.com/little-mermaid-captions.mp4

  



  I run this command to convert to hls and it creates the .ts files and the .vtt files.

  



  ffmpeg -i little-mermaid-captions.mp4 -profile:v baseline -level 3.0 -s 640x360 -start_number 0 -hls_time 10 -hls_list_size 0 -f hls index.m3u8


  



  I also then create a master.m3u8 file in the same folder with the following.

  



  #EXTM3U
#EXT-X-VERSION:3
#EXT-X-INDEPENDENT-SEGMENTS
#EXT-X-STREAM-INF:BANDWIDTH=800000,RESOLUTION=640x360,SUBTITLES="subtitles"
index.m3u8
#EXT-X-MEDIA:TYPE=SUBTITLES,GROUP-ID="subtitles",NAME="English",DEFAULT=YES,AUTOSELECT=YES,FORCED=NO,LANGUAGE="ENG",URI="index_vtt.m3u8"


  



  Now if I play the master.m3u8 file the subtitles are now out of sync and are about 1 sec to quick. I understand this is probably a setting I am missing through FFmpeg but really stuck on this and would appreciate any insight.

  



  Thanks

  



  More info.

  



  Here is a link to the direct .m3u8 this can be opened in Safari.

  



  https://983yqbz442.s3.amazonaws.com/hlstests/master.m3u8

  



  The generated vtt file is here.

  



  https://983yqbz442.s3.amazonaws.com/hlstests/subs-0.vtt

  



  If you look at the start of the .vtt file you will see this.

  



  WEBVTT

00:06.840 --> 00:10.320
once long ago in the deep blue below


  



  It should start at 00:06.840 but when playing the .m3u8 file in Safari you should see it starts at around 5 seconds not 6 about a second too early.

  


• Transcoding rtsp over http

  24 novembre 2016, par NikiDon

  Before I explain my problem : Sorry for bad English and if you want you can help me on my spelling too.

  I have a low cost IP camera who give only a RTSP link :
  192.168.x.x/onvif2
  It doesn’t need authentication to see video... my router doesn’t have open ports^^

  I want to trancode rtsp ( because of html can’t play it) with FFMPEG to send it on a server node.js ( express ) and in index.html play stream in video tag :

  Server.js :

  <code class="echappe-js">&lt;script&gt;<br />
  
      var express = require('express');<br />
  
      var path = require('path');<br />
  
      var app = express();<br />
  
      var server = require('http').Server(app);<br />
  
      var io = require('socket.io')(server);<br />
  
  <br />
  
      app.use(express.static(path.join(__dirname, 'public')));<br />
  
  <br />
  
      app.get('/', function (req, res) {<br />
  
          res.sendFile(__dirname + '/index.html');<br />
  
      });<br />
  
  <br />
  
      server.listen(8080);<br />
  
      console.log(&quot;server run at 127.0.0.1:8080&quot;);<br />
  
  <br />
  
      io.on('connection',function(socket){<br />
  
          socket.emit('hello','hello user');<br />
  
      });<br />
  
  &lt;/script&gt;
  
  

  and index.html :

      <video style="background-color: black;" width="480" height="270" autoplay="autoplay">
  
      <source src="http://127.0.0.1:8080/vid2.mp4" type="video/mp4" codecs="avc1.42E01E, mp4a.40.2"> 
  
      </source></video>
  
  
  
      <code class="echappe-js">&lt;script&gt;<br />
  
          var socket = io.connect();<br />
  
          socket.on('hello',function(data){<br />
  
              console.log(data);<br />
  
          });<br />
  
  <br />
  
      &lt;/script&gt;
  ffmpeg -i rtsp ://192.168.x.x/onvif2 -crf 30 -preset ultrafast -acodec aac -strict experimental -ar 44100 -ac 2 -b:a 96k -vcodec libx264 -r 25 -b:v 500k -f flv http://127.0.0.1:xx/vid2.mp4
  
  
  

  The camera starts but I can’t find vid2.mp4

  How can I replace ffserver with a node server (http? udp ?...)