Recherche avancée

Sur d’autres sites (8215)

• How to make video from images using Java + x264 ; cross platform solution required

  19 octobre 2014, par Shashank Tulsyan

  I have made a software which records my entire day into a video.
  Example video : https://www.youtube.com/watch?v=ITZYMMcubdw (Note : >16hrs compressed in 2mins, video speed too high, might cause epilepsy :P )

  The approach that I use right now is, Avisynth + x264 + Java.
  This is very very efficient. The video for entire day is created in 3-4mins, and reduced to a size of 40-50MB. This is perfect, the only issue is that this solution is not cross platform.
  Does anyone have a better idea ?

  I tried using java based x246 libraries but

  1. They are slow as hell
  2. The video output size is too big
  3. The video quality is not satisfactory.

  Some website suggest a command such as :

  x264.exe --crf 18 --fps 24 --input-res 1920x1080 --input-csp rgb -o "T:\crf18.mkv" "T:\___BBB\big_buck_bunny_%05d.png"

  There are 2 problems with this approach.

  1. As far as I know, x264 does accept image sequence as input, ffmpeg does
  2. The input images are not named in sequence such as image01.png , image02.png etc. They are named as timestamp_as_longinteger.png . So inorder to allow x264 to accept these images as input, I have to rename all of them ( i make a symbolic link for all images in a new folder ). This approach is again unsatisfactory, because I need more flexibility in selecting/unselecting files which would be converted to a video. Right now my approach is a hack.

  The best solution is x264. But not sure how I can send it an image sequence from Java. That too, images which are not named in sequential fashion.

  ---

  BTW The purpose of making video is going back in time, and finding out how time was spend/wasted.
  The software is aware of what the user is doing. So using this I can find out (visually) how a class evolved with time. How much time I spend on a particular class/package/module/project/customer. The granuality right now is upto the class level, I wish to take it to the function level. The software is called jitendriya.

  

  ---

  Here is 1 solution
  How does one encode a series of images into H264 using the x264 C API ?

  But this is for C. If I have to do the same in java, and in a cross plaform fashion, I will have to resort to JNA/JNI. JNA might have a significant performance hit. JNI would be more work.
  FFMpeg also looks like a nice alternative, but I am still not satisfied by any of these solutions looking at the pros and cons.

  ---

  Solution Adapted.

  package weeklyvideomaker;
  
  
  
  import java.awt.AWTException;
  
  import java.awt.Rectangle;
  
  import java.awt.Robot;
  
  import java.awt.Toolkit;
  
  import java.awt.image.BufferedImage;
  
  import java.io.File;
  
  import java.io.IOException;
  
  import java.io.OutputStream;
  
  import java.util.Calendar;
  
  import java.util.LinkedList;
  
  import java.util.logging.Level;
  
  import java.util.logging.Logger;
  
  import neembuu.release1.util.StreamGobbler;
  
  import org.shashaank.activitymonitor.ScreenCaptureHandler;
  
  import org.shashaank.jitendriya.JitendriyaParams;
  
  
  
  /**
  
   *
  
   * @author Shashank
  
   */
  
  public class DirectVideoScreenHandler implements ScreenCaptureHandler {
  
      private final JitendriyaParams  jp;
  
  
  
      private String extension="264";
  
      private boolean lossless=false;
  
      private String fps="24/1";
  
  
  
      private Process p = null;
  
      private Rectangle r1;
  
      private Robot r;
  
  
  
      private int currentDay;
  
  
  
      private static final String[]weeks={"sun","mon","tue","wed","thu","fri","sat"};
  
  
  
      public DirectVideoScreenHandler(JitendriyaParams jp) {
  
          this.jp = jp;
  
      }
  
  
  
      public String getExtension() {
  
          return extension;
  
      }
  
  
  
      public void setExtension(String extension) {
  
          this.extension = extension;
  
      }
  
  
  
      public boolean isLossless() {
  
          return lossless;
  
      }
  
  
  
      public void setLossless(boolean lossless) {
  
          this.lossless = lossless;
  
      }
  
  
  
      public String getFps() {
  
          return fps;
  
      }
  
  
  
      public void setFps(String fps) {
  
          this.fps = fps;
  
      }
  
  
  
      private static int getday(){
  
          return Calendar.getInstance().get(Calendar.DAY_OF_WEEK) - 1;
  
      }
  
  
  
      public void make()throws IOException,AWTException{
  
          currentDay = getday();
  
          File week = jp.getWeekFolder();
  
  
  
          String destinationFile = week+"\\videos\\"+weeks[currentDay]+"_"+System.currentTimeMillis()+"_direct."+extension;
  
  
  
          r = new Robot();
  
          r1 = getScreenSize();
  
  
  
          ProcessBuilder pb = makeProcess(destinationFile, 0, r1.width, r1.height);
  
  
  
          p = pb.start();
  
          StreamGobbler out = new StreamGobbler(p.getInputStream(), "out");
  
          StreamGobbler err = new StreamGobbler(p.getErrorStream(), "err");
  
          out.start();err.start();
  
      }
  
  
  
      private static Rectangle getScreenSize(){
  
          return new Rectangle(Toolkit.getDefaultToolkit().getScreenSize());
  
      }
  
  
  
      private void screenShot(OutputStream os)throws IOException{        
  
          BufferedImage bi = r.createScreenCapture(r1);
  
          int[]intRawData = ((java.awt.image.DataBufferInt)
  
                  bi.getRaster().getDataBuffer()).getData();
  
          byte[]rawData = new byte[intRawData.length*3];
  
          for (int i = 0; i < intRawData.length; i++) {
  
              int rgb = intRawData[i];
  
              rawData[ i*3 + 0 ] = (byte) (rgb >> 16);
  
              rawData[ i*3 + 1 ] = (byte) (rgb >> 8);
  
              rawData[ i*3 + 2 ] = (byte) (rgb);
  
          }
  
          os.write(rawData);
  
      }
  
  
  
      private ProcessBuilder makeProcess(String destinationFile, int numberOfFrames,
  
              int width, int height){
  
          LinkedList<string> commands = new LinkedList&lt;>();
  
          commands.add("\""+encoderPath()+"\"");
  
          if(true){
  
              commands.add("-");
  
              if(lossless){
  
                  commands.add("--qp");
  
                  commands.add("0");
  
              }
  
              commands.add("--keyint");
  
              commands.add("240");
  
              commands.add("--sar");
  
              commands.add("1:1");
  
              commands.add("--output");
  
              commands.add("\""+destinationFile+"\"");
  
              if(numberOfFrames>0){
  
                  commands.add("--frames");
  
                  commands.add(String.valueOf(numberOfFrames));
  
              }else{
  
                  commands.add("--stitchable");
  
              }
  
              commands.add("--fps");
  
              commands.add(fps);
  
              commands.add("--input-res");
  
              commands.add(width+"x"+height);
  
              commands.add("--input-csp");
  
              commands.add("rgb");//i420
  
          }
  
          return new ProcessBuilder(commands);
  
      }
  
  
  
      private String encoderPath(){
  
          return jp.getToolsPath()+File.separatorChar+"x264_64.exe";
  
      }
  
  
  
      @Override public void run() {
  
          try {
  
              if(p==null){
  
                  make();
  
              }
  
              if(currentDay!=getday()){// day changed
  
                  destroy(); 
  
                  return;
  
              }
  
              if(!r1.equals(getScreenSize())){// screensize changed
  
                  destroy();
  
                  return;
  
              }
  
              screenShot(p.getOutputStream());
  
          } catch (Exception ex) {
  
              Logger.getLogger(DirectVideoScreenHandler.class.getName()).log(Level.SEVERE, null, ex);
  
          }
  
      }
  
  
  
      private void destroy()throws Exception{
  
          p.getOutputStream().flush();
  
          p.getOutputStream().close();
  
          p.destroy();
  
          p = null;
  
      }
  
  
  
  }
  
  </string>

  ---

  package weeklyvideomaker;
  
  
  
  import org.shashaank.jitendriya.JitendriyaParams;
  
  
  
  /**
  
   *
  
   * @author Shashank
  
   */
  
  public class DirectVideoScreenHandlerTest {
  
      public static void main(String[] args)throws Exception {
  
          JitendriyaParams  jp = new JitendriyaParams.Builder()
  
                  .setToolsPath("F:\\GeneralProjects\\JReminder\\development_environment\\tools")
  
                  .setOsDependentDataFolderPath("J:\\jt_data")
  
                  .build();
  
          DirectVideoScreenHandler w = new DirectVideoScreenHandler(jp);
  
          w.setExtension("264");
  
          w.setFps("24/1");
  
          w.setLossless(false);
  
          w.make();
  
  
  
          for (int i = 0; ; i++) {
  
              w.run();
  
              Thread.sleep(1000);
  
          }
  
      }
  
  }

• FFMPEG Cutting Commercials puts audio out of sync

  11 septembre 2014, par JaBbA

  Ubuntu 14.04.1 with the real ffmpeg loaded (same problem with the avconv version).

  I’m trying to take files created in MythTV with a HDPVR, cut the commercials and put the video into an MP4 container for use with MythRoku.

  the command

  ffmpeg -i $file -acodec copy -vcodec copy -f mp4 file.mp4

  Works fine. Once I update the database, I can watch the file in MythRoku or Plex.

  However, when I try to cut out the commercials, the audio gets out of sync by just over 1 second (audio delayed) whenever I cut past the 0 mark. Totem Video player and VLC both play the resulting video fine, but I can see a "hitch" at the beginning while they are syncing the audio, so I know the information on the audio sync is in the file somewhere. Mythroku and Plex both are out of sync when playing the file. The MythTV Frontend player actually does play it correctly, and I can hear the "hitch" as it syncs the audio.

  After hours of reading posts and playing with settings, I’ve got it down to this :

  If I say :

  ffmpeg -i $file -acodec copy -vcodec copy -f mp4 -ss 0 -t <anything> out.mp4</anything>

  The file is fine, plays both locally and in MythRoku/Plex

  But if I advance the start any amount - even 1 second - audio is out of sync

  ffmpeg -i $file -acodec copy -vcodec copy -f mp4 -ss 1 -t <anything> out.mp4</anything>

  I’ve tried splitting the video (as mp4) and audio (as ac3) first, splitting them separately, and then putting them back together as the last step, but I get the same results.

  The information is in the file - Totem, VLC and the Frontend all can figure it out. How can I get ffmpeg to figure out the sync and write the file so it’s correct ?

  Original file :

  mythtv@marvin:~$ mediainfo /var/lib/mythtv/recordings/2225_20140824001500.mpg
  
  General
  
  ID                                       : 0 (0x0)
  
  Complete name                            :     /var/lib/mythtv/recordings/2225_20140824001500.mpg
  
  Format                                   : MPEG-TS
  
  File size                                : 4.03 GiB
  
  Duration                                 : 1h 45mn
  
  Overall bit rate mode                    : Variable
  
  Overall bit rate                         : 5 491 Kbps
  
  
  
  Video
  
  ID                                       : 4113 (0x1011)
  
  Menu ID                                  : 1 (0x1)
  
  Format                                   : AVC
  
  Format/Info                              : Advanced Video Codec
  
  Format profile                           : Main@L4.0
  
  Format settings, CABAC                   : Yes
  
  Format settings, ReFrames                : 4 frames
  
  Format settings, GOP                     : M=4, N=32
  
  Codec ID                                 : 27
  
  Duration                                 : 1h 45mn
  
  Bit rate mode                            : Variable
  
  Bit rate                                 : 4 831 Kbps
  
  Maximum bit rate                         : 20.0 Mbps
  
  Width                                    : 1 280 pixels
  
  Height                                   : 720 pixels
  
  Display aspect ratio                     : 16:9
  
  Frame rate                               : 59.940 fps
  
  Color space                              : YUV
  
  Chroma subsampling                       : 4:2:0
  
  Bit depth                                : 8 bits
  
  Scan type                                : Progressive
  
  Bits/(Pixel*Frame)                       : 0.087
  
  Stream size                              : 3.55 GiB (88%)
  
  Color primaries                          : BT.709
  
  Transfer characteristics                 : BT.709
  
  Matrix coefficients                      : BT.709
  
  
  
  Audio
  
  ID                                       : 4352 (0x1100)
  
  Menu ID                                  : 1 (0x1)
  
  Format                                   : AC-3
  
  Format/Info                              : Audio Coding 3
  
  Mode extension                           : CM (complete main)
  
  Format settings, Endianness              : Big
  
  Codec ID                                 : 129
  
  Duration                                 : 1h 45mn
  
  Bit rate mode                            : Constant
  
  Bit rate                                 : 384 Kbps
  
  Channel(s)                               : 2 channels
  
  Channel positions                        : Front: L R
  
  Sampling rate                            : 48.0 KHz
  
  Bit depth                                : 16 bits
  
  Compression mode                         : Lossy
  
  Delay relative to video                  : -6ms
  
  Stream size                              : 289 MiB (7%)

  File cut from 0 :

  mythtv@marvin:~$ mediainfo 2225_20140824001500_1.mp4
  
  General
  
  Complete name                            : 2225_20140824001500_1.mp4
  
  Format                                   : MPEG-4
  
  Format profile                           : Base Media
  
  Codec ID                                 : isom
  
  File size                                : 58.5 MiB
  
  Duration                                 : 1mn 45s
  
  Overall bit rate mode                    : Variable
  
  Overall bit rate                         : 4 676 Kbps
  
  Writing application                      : Lavf54.63.104
  
  
  
  Video
  
  ID                                       : 1
  
  Format                                   : AVC
  
  Format/Info                              : Advanced Video Codec
  
  Format profile                           : Main@L4.0
  
  Format settings, CABAC                   : Yes
  
  Format settings, ReFrames                : 4 frames
  
  Format settings, GOP                     : M=4, N=32
  
  Codec ID                                 : avc1
  
  Codec ID/Info                            : Advanced Video Coding
  
  Duration                                 : 1mn 45s
  
  Bit rate mode                            : Variable
  
  Bit rate                                 : 4 281 Kbps
  
  Maximum bit rate                         : 20.0 Mbps
  
  Width                                    : 1 280 pixels
  
  Height                                   : 720 pixels
  
  Display aspect ratio                     : 16:9
  
  Frame rate mode                          : Variable
  
  Frame rate                               : 59.940 fps
  
  Minimum frame rate                       : 59.920 fps
  
  Maximum frame rate                       : 59.960 fps
  
  Color space                              : YUV
  
  Chroma subsampling                       : 4:2:0
  
  Bit depth                                : 8 bits
  
  Scan type                                : Progressive
  
  Bits/(Pixel*Frame)                       : 0.077
  
  Stream size                              : 53.6 MiB (92%)
  
  Color primaries                          : BT.709
  
  Transfer characteristics                 : BT.709
  
  Matrix coefficients                      : BT.709
  
  
  
  Audio
  
  ID                                       : 2
  
  Format                                   : AC-3
  
  Format/Info                              : Audio Coding 3
  
  Mode extension                           : CM (complete main)
  
  Format settings, Endianness              : Big
  
  Codec ID                                 : ac-3
  
  Duration                                 : 1mn 45s
  
  Bit rate mode                            : Constant
  
  Bit rate                                 : 384 Kbps
  
  Channel(s)                               : 2 channels
  
  Channel positions                        : Front: L R
  
  Sampling rate                            : 48.0 KHz
  
  Bit depth                                : 16 bits
  
  Compression mode                         : Lossy
  
  Stream size                              : 4.81 MiB (8%)

  File cut from 1 second with audio sync problem :

  mythtv@marvin:~$ mediainfo 2225_20140824001500_2.mp4
  
  General
  
  Complete name                            : 2225_20140824001500_2.mp4
  
  Format                                   : MPEG-4
  
  Format profile                           : Base Media
  
  Codec ID                                 : isom
  
  File size                                : 68.0 MiB
  
  Duration                                 : 2mn 0s
  
  Overall bit rate mode                    : Variable
  
  Overall bit rate                         : 4 750 Kbps
  
  Writing application                      : Lavf54.63.104
  
  
  
  Video
  
  ID                                       : 1
  
  Format                                   : AVC
  
  Format/Info                              : Advanced Video Codec
  
  Format profile                           : Main@L4.0
  
  Format settings, CABAC                   : Yes
  
  Format settings, ReFrames                : 4 frames
  
  Format settings, GOP                     : M=4, N=32
  
  Codec ID                                 : avc1
  
  Codec ID/Info                            : Advanced Video Coding
  
  Duration                                 : 1mn 58s
  
  Bit rate mode                            : Variable
  
  Bit rate                                 : 4 394 Kbps
  
  Maximum bit rate                         : 20.0 Mbps
  
  Width                                    : 1 280 pixels
  
  Height                                   : 720 pixels
  
  Display aspect ratio                     : 16:9
  
  Frame rate mode                          : Variable
  
  Frame rate                               : 59.940 fps
  
  Minimum frame rate                       : 59.920 fps
  
  Maximum frame rate                       : 59.960 fps
  
  Color space                              : YUV
  
  Chroma subsampling                       : 4:2:0
  
  Bit depth                                : 8 bits
  
  Scan type                                : Progressive
  
  Bits/(Pixel*Frame)                       : 0.080
  
  Stream size                              : 62.3 MiB (92%)
  
  Color primaries                          : BT.709
  
  Transfer characteristics                 : BT.709
  
  Matrix coefficients                      : BT.709
  
  
  
  Audio
  
  ID                                       : 2
  
  Format                                   : AC-3
  
  Format/Info                              : Audio Coding 3
  
  Mode extension                           : CM (complete main)
  
  Format settings, Endianness              : Big
  
  Codec ID                                 : ac-3
  
  Duration                                 : 2mn 0s
  
  Bit rate mode                            : Constant
  
  Bit rate                                 : 384 Kbps
  
  Channel(s)                               : 2 channels
  
  Channel positions                        : Front: L R
  
  Sampling rate                            : 48.0 KHz
  
  Bit depth                                : 16 bits
  
  Compression mode                         : Lossy
  
  Stream size                              : 5.49 MiB (8%)

• How to stream and play video using ffplay without buffering

  3 novembre 2014, par grzebyk

  I want to stream a live webcam video and display it on android device with the lowest latency possible. I am streaming video from a computer over rtsp protocol and I am able to watch the stream with 150ms latency on the second computer using ffplay -fflags nobuffer rtsp://xxx.xxx.xxx.xxx:port/test.sdp command.

  So far I have successfully compiled ffmpeg4android library. Unfortunately this library uses NDK which I am not familiar with. All I want to do is to be able to invoke the same command and display the video on the android SurfaceView.

  How can I call for such command ?