Recherche avancée
Médias (1)
-
Rennes Emotion Map 2010-11
19 octobre 2011, par
Mis à jour : Juillet 2013
Langue : français
Type : Texte
Autres articles (35)
-
Des sites réalisés avec MediaSPIP
2 mai 2011, parCette page présente quelques-uns des sites fonctionnant sous MediaSPIP.
Vous pouvez bien entendu ajouter le votre grâce au formulaire en bas de page. -
Gestion générale des documents
13 mai 2011, parMédiaSPIP ne modifie jamais le document original mis en ligne.
Pour chaque document mis en ligne il effectue deux opérations successives : la création d’une version supplémentaire qui peut être facilement consultée en ligne tout en laissant l’original téléchargeable dans le cas où le document original ne peut être lu dans un navigateur Internet ; la récupération des métadonnées du document original pour illustrer textuellement le fichier ;
Les tableaux ci-dessous expliquent ce que peut faire MédiaSPIP (...) -
De l’upload à la vidéo finale [version standalone]
31 janvier 2010, parLe chemin d’un document audio ou vidéo dans SPIPMotion est divisé en trois étapes distinctes.
Upload et récupération d’informations de la vidéo source
Dans un premier temps, il est nécessaire de créer un article SPIP et de lui joindre le document vidéo "source".
Au moment où ce document est joint à l’article, deux actions supplémentaires au comportement normal sont exécutées : La récupération des informations techniques des flux audio et video du fichier ; La génération d’une vignette : extraction d’une (...)
Sur d’autres sites (3029)
-
Anomalie #4756 : Régressions liées aux évolutions des styles du privé
17 mai 2021, par RastaPopoulos ♥Les variantes de box notice, success etc, ont l’air de ne pas avoir pile le même radius en haut à gauche que les autres de base : si on met inverse+notice par ex, on voit le noir qui dépasse sous le jaune en haut à gauche.
-
Anomalie #4756 : Régressions liées aux évolutions des styles du privé
17 mai 2021, par RastaPopoulos ♥Bé ça reste des variantes de boites avec juste les choix aplat/ombres etc qui changent. Ça me parait un peu bizarre que ce soit pas le même arrondi quand on est dans le même composant (qu’éventuellement ça soit pas le même radius entre box et button ok, mais là c’est entre box). Ça se voit parce que j’ai testé de combiner, mais même sans, ça me parait à corriger. :)
Cela dit, au moins pour certaines, notamment inverse, ça me parait logique de pouvoir combiner, on peut vouloir inverse pour se détacher + notice ou erreur parce que c’est attention danger. Mais c’est un autre point que l’uniformisation des radius. :)
-
How to get currecnt AVFrame siquential number after av_seek_frame ?
14 mai 2021, par Aleksey TimoshchenkoI am new in decoder and FFmpeg. What I need is to implement the logic that can read frames with some step (ex:20), in other words, I have a file and I need to read frames 0, 20, 40, 60...


what I do is



AVFrame * m_pAVFrame = nullptr;
int firstFrameIdx = 0;

while(true)
{

if(firstFrameIdx > 0)
{
int64_t seekTarget = FrameToPts(m_pAVStream, firstFrameIdx);
nRet = av_seek_frame(m_pAVFormatCtx, m_streamIdx, seekTarget, AVSEEK_FLAG_FRAME);
}

nRet = av_read_frame(m_pAVFormatCtx, m_pAVPkt);
ret = avcodec_send_packet(m_pAVCodecCtx, m_pAVPkt);
ret = avcodec_receive_frame(m_pAVCodecCtx, m_pAVFrame);

firstFrameIdx+=20;
}



But problem is that
av_seek_framemoves the pointer to the Iframe, lets say the video file has keyframes each 15(of course it could be a different number) like 0, 15, 30... So it means that if I try to seek to frame 20 actually I get to frame 15.

I see that
AVFramehas a propertycoded_picture_numberthat could be useful in my case, I tried to put these returned values to the vector and I see that these values irrelevant



what I expected to see there is
0, 15, 30, 45...

It'll be useful if I for example can make a seek then get a frame to ask the order number (ex:15) then I can understand that Iframe is 15 and in order to reach frame 20 I need to read and skip 5 frames so as a result, I get to frame 20, but as you see above after the seek I ask the order number and get weird values like
0, 2, 1, 3...there is nothing to do with it...

I feel like there is some basic knowledge that I miss, could someone explain how to make a seek logic and get to the right frame ?


UPDATE


Init logic


bool FFmpegDecoder::Init(unsigned char const * pData, int dataSize, int reqId, bool bUseHWAccel, FFmpegDecoderCallback * pCB)
{
 Deinit();

 // From memory:
 if (pData == nullptr || dataSize == 0)
 {
 printf("FFmpegDecoder::Init FAILED: neither filename nor memory data were given !\n");
 return false;
 }
 m_pIoCtx = std::make_shared<aviocontextmem>(pData, dataSize);

 if (m_pIoCtx->IsValid() == false)
 {
 printf("FFmpegDecoder::Init FAILED: m_pIoCtx is nullptr !\n");
 return false;
 }

 m_reqId = reqId;
 m_bUseHWAccel = bUseHWAccel;
 m_pCB = pCB;
 m_pData = pData;
 m_dataSize = dataSize;

 m_bRequestedAbort = false;

 m_pAVPkt = av_packet_alloc();
 av_init_packet(m_pAVPkt);

 m_pAVFrame = av_frame_alloc();
 m_pAVFrameRGB = av_frame_alloc();

 if (m_bUseHWAccel)
 {
 m_pSwAVFrameForHw = av_frame_alloc();
 }

 m_pAVFormatCtx = avformat_alloc_context();
 m_pIoCtx->initAVFormatContext(m_pAVFormatCtx);

 if (avformat_open_input(&m_pAVFormatCtx, "", nullptr, nullptr) != 0)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in avformat_open_input\n");
 return false;
 }

 if (avformat_find_stream_info(m_pAVFormatCtx, nullptr) < 0)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in avformat_find_stream_info\n");
 return false;
 }


 //av_dump_format(ctx_format, 0, "", false);
 for (int i = 0; i < (int)m_pAVFormatCtx->nb_streams; i++)
 {
 if (m_pAVFormatCtx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO)
 {
 m_streamIdx = i;
 m_pAVStream = m_pAVFormatCtx->streams[i];
 break;
 }
 }
 if (m_pAVStream == nullptr)
 {
 printf("FFmpegDecoder::InitFFmpeg: failed to find video stream\n");
 return false;
 }

 m_pAVCodec = avcodec_find_decoder(m_pAVStream->codecpar->codec_id);
 if (!m_pAVCodec)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in avcodec_find_decoder\n");
 return false;
 }

 m_pAVCodecCtx = avcodec_alloc_context3(m_pAVCodec);
 if (!m_pAVCodecCtx)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in avcodec_alloc_context3\n");
 return false;
 }

 if (avcodec_parameters_to_context(m_pAVCodecCtx, m_pAVStream->codecpar) < 0)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in avcodec_parameters_to_context\n");
 return false;
 }

 if (m_bUseHWAccel)
 {
 AVHWDeviceType hwDevType = AV_HWDEVICE_TYPE_DXVA2;
 g_hwPixFormat = find_fmt_by_hw_type(hwDevType);
 m_pAVCodecCtx->get_format = get_hw_format;
 av_opt_set_int(m_pAVCodecCtx, "refcounted_frames", 1, 0);
 if (av_hwdevice_ctx_create(&m_pBufferRefForHw, hwDevType, NULL, NULL, 0) < 0)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in av_hwdevice_ctx_create\n");
 return false;
 }
 m_pAVCodecCtx->hw_device_ctx = av_buffer_ref(m_pBufferRefForHw);
 }

 if (avcodec_open2(m_pAVCodecCtx, m_pAVCodec, nullptr) < 0)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in avcodec_open2\n");
 return false;
 }

 m_pAVFrameRGB->format = AV_PIX_FMT_BGR24;
 m_pAVFrameRGB->width = m_pAVCodecCtx->width;
 m_pAVFrameRGB->height = m_pAVCodecCtx->height;
 if (av_frame_get_buffer(m_pAVFrameRGB, 32) != 0)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in av_frame_get_buffer\n");
 return false;
 }

 m_streamRotationDegrees = GetAVStreamRotation(m_pAVStream);
 m_estimatedFramesCount = 0;
 assert(m_pAVFormatCtx->nb_streams > 0);
 if (m_pAVFormatCtx->nb_streams > 0)
 {
 m_estimatedFramesCount = m_pAVFormatCtx->streams[0]->nb_frames;
 }

 //InitConvertColorSpace
 // Init converter from YUV420p to BGR:
 if (m_bUseHWAccel)
 {
 m_pSwsCtxConvertImg = sws_getContext(m_pAVCodecCtx->width, m_pAVCodecCtx->height, AV_PIX_FMT_NV12, m_pAVCodecCtx->width, m_pAVCodecCtx->height, AV_PIX_FMT_RGB24, SWS_FAST_BILINEAR, NULL, NULL, NULL);
 }
 else
 {
 m_pSwsCtxConvertImg = sws_getContext(m_pAVCodecCtx->width, m_pAVCodecCtx->height, m_pAVCodecCtx->pix_fmt, m_pAVCodecCtx->width, m_pAVCodecCtx->height, AV_PIX_FMT_RGB24, SWS_FAST_BILINEAR, NULL, NULL, NULL);
 }
 if (!m_pSwsCtxConvertImg)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in sws_getContext\n");
 return false;
 }

 m_bInitOK = true;
 return true;
}
</aviocontextmem>

Decoding logic with last changes


void FFmpegDecoder::DecodeWithStep(int step)
{
 step = 20;
 int currentFramePos = 0;
 int number_of_errors = 0;
 const int MAX_ERROR_NUM = 10;

 while (true)
 {
 if (step > 0)
 {
 int seekPos = currentFramePos + step;
 int64_t seekTarget = FrameToPts(m_pAVStream, seekPos);

 if (av_seek_frame(m_pAVFormatCtx, m_streamIdx, seekTarget, AVSEEK_FLAG_FRAME) < 0)
 {
 number_of_errors++;
 }
 else
 {
 currentFramePos = seekPos;
 m_is_seeked = true;
 }
 }

 if (av_read_frame(m_pAVFormatCtx, m_pAVPkt) == 0)
 {
 if (m_pAVPkt->stream_index == m_streamIdx) //to make sure that I dont get packets from other streams
 {
 if (m_is_seeked)
 {
 avcodec_flush_buffers(m_pAVCodecCtx);
 m_is_seeked = false;
 }

 if (avcodec_send_packet(m_pAVCodecCtx, m_pAVPkt) == 0)
 {
 printf("----- BATCH\n");

 while (avcodec_receive_frame(m_pAVCodecCtx, m_pAVFrame) == 0)
 {
 ProcessFrame(m_pAVFrame);
 av_frame_unref(m_pAVFrame);
 currentFramePos++;
 printf("----- cur position (%d) \n", currentFramePos);
 }
 }

 av_packet_unref(m_pAVPkt);
 }
 }
 else
 {
 number_of_errors++;
 }

 if (number_of_errors == MAX_ERROR_NUM)
 {
 printf("EXIT\n");
 break;
 }
 }
}


UPDATE


Init logic


bool FFmpegDecoder::Init(unsigned char const * pData, int dataSize, int reqId, bool bUseHWAccel, FFmpegDecoderCallback * pCB)
{
 Deinit();

 // From memory:
 if (pData == nullptr || dataSize == 0)
 {
 printf("FFmpegDecoder::Init FAILED: neither filename nor memory data were given !\n");
 return false;
 }
 m_pIoCtx = std::make_shared<aviocontextmem>(pData, dataSize);

 if (m_pIoCtx->IsValid() == false)
 {
 printf("FFmpegDecoder::Init FAILED: m_pIoCtx is nullptr !\n");
 return false;
 }

 m_reqId = reqId;
 m_bUseHWAccel = bUseHWAccel;
 m_pCB = pCB;
 m_pData = pData;
 m_dataSize = dataSize;

 m_bRequestedAbort = false;

 m_pAVPkt = av_packet_alloc();
 av_init_packet(m_pAVPkt);

 m_pAVFrame = av_frame_alloc();
 m_pAVFrameRGB = av_frame_alloc();

 if (m_bUseHWAccel)
 {
 m_pSwAVFrameForHw = av_frame_alloc();
 }

 m_pAVFormatCtx = avformat_alloc_context();
 m_pIoCtx->initAVFormatContext(m_pAVFormatCtx);

 if (avformat_open_input(&m_pAVFormatCtx, "", nullptr, nullptr) != 0)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in avformat_open_input\n");
 return false;
 }

 if (avformat_find_stream_info(m_pAVFormatCtx, nullptr) < 0)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in avformat_find_stream_info\n");
 return false;
 }


 //av_dump_format(ctx_format, 0, "", false);
 for (int i = 0; i < (int)m_pAVFormatCtx->nb_streams; i++)
 {
 if (m_pAVFormatCtx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO)
 {
 m_streamIdx = i;
 m_pAVStream = m_pAVFormatCtx->streams[i];
 break;
 }
 }
 if (m_pAVStream == nullptr)
 {
 printf("FFmpegDecoder::InitFFmpeg: failed to find video stream\n");
 return false;
 }

 m_pAVCodec = avcodec_find_decoder(m_pAVStream->codecpar->codec_id);
 if (!m_pAVCodec)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in avcodec_find_decoder\n");
 return false;
 }

 m_pAVCodecCtx = avcodec_alloc_context3(m_pAVCodec);
 if (!m_pAVCodecCtx)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in avcodec_alloc_context3\n");
 return false;
 }

 if (avcodec_parameters_to_context(m_pAVCodecCtx, m_pAVStream->codecpar) < 0)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in avcodec_parameters_to_context\n");
 return false;
 }

 if (m_bUseHWAccel)
 {
 AVHWDeviceType hwDevType = AV_HWDEVICE_TYPE_DXVA2;
 g_hwPixFormat = find_fmt_by_hw_type(hwDevType);
 m_pAVCodecCtx->get_format = get_hw_format;
 av_opt_set_int(m_pAVCodecCtx, "refcounted_frames", 1, 0);
 if (av_hwdevice_ctx_create(&m_pBufferRefForHw, hwDevType, NULL, NULL, 0) < 0)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in av_hwdevice_ctx_create\n");
 return false;
 }
 m_pAVCodecCtx->hw_device_ctx = av_buffer_ref(m_pBufferRefForHw);
 }

 if (avcodec_open2(m_pAVCodecCtx, m_pAVCodec, nullptr) < 0)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in avcodec_open2\n");
 return false;
 }

 m_pAVFrameRGB->format = AV_PIX_FMT_BGR24;
 m_pAVFrameRGB->width = m_pAVCodecCtx->width;
 m_pAVFrameRGB->height = m_pAVCodecCtx->height;
 if (av_frame_get_buffer(m_pAVFrameRGB, 32) != 0)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in av_frame_get_buffer\n");
 return false;
 }

 m_streamRotationDegrees = GetAVStreamRotation(m_pAVStream);
 m_estimatedFramesCount = 0;
 assert(m_pAVFormatCtx->nb_streams > 0);
 if (m_pAVFormatCtx->nb_streams > 0)
 {
 m_estimatedFramesCount = m_pAVFormatCtx->streams[0]->nb_frames;
 }

 //InitConvertColorSpace
 // Init converter from YUV420p to BGR:
 if (m_bUseHWAccel)
 {
 m_pSwsCtxConvertImg = sws_getContext(m_pAVCodecCtx->width, m_pAVCodecCtx->height, AV_PIX_FMT_NV12, m_pAVCodecCtx->width, m_pAVCodecCtx->height, AV_PIX_FMT_RGB24, SWS_FAST_BILINEAR, NULL, NULL, NULL);
 }
 else
 {
 m_pSwsCtxConvertImg = sws_getContext(m_pAVCodecCtx->width, m_pAVCodecCtx->height, m_pAVCodecCtx->pix_fmt, m_pAVCodecCtx->width, m_pAVCodecCtx->height, AV_PIX_FMT_RGB24, SWS_FAST_BILINEAR, NULL, NULL, NULL);
 }
 if (!m_pSwsCtxConvertImg)
 {
 printf("FFmpegDecoder::InitFFmpeg: error in sws_getContext\n");
 return false;
 }

 m_bInitOK = true;
 return true;
}
</aviocontextmem>

void FFmpegDecoder::DecodeWithStep(int step)
{
 step = 20;
 int currentFramePos = 0;
 int number_of_errors = 0;
 const int MAX_ERROR_NUM = 10;
 int seekPos = 0;

 while (true)
 {
 if (step > 1)
 {
 seekPos = currentFramePos + step;
 int64_t seekTarget = FrameToPts(m_pAVStream, seekPos);

 if (av_seek_frame(m_pAVFormatCtx, m_streamIdx, seekTarget, AVSEEK_FLAG_FRAME) < 0)
 {
 number_of_errors++;
 }
 else
 {
 m_is_seeked = true;
 }
 }

 while (true)
 {
 if (av_read_frame(m_pAVFormatCtx, m_pAVPkt) == 0)
 {
 if (m_pAVPkt->stream_index == m_streamIdx) //to make sure that I dont get packets from other streams
 {
 if (m_is_seeked)
 {
 avcodec_flush_buffers(m_pAVCodecCtx);
 m_is_seeked = false;
 }

 if (avcodec_send_packet(m_pAVCodecCtx, m_pAVPkt) == 0)
 {
 int ret = 0;
 while (ret >= 0)
 {
 ret = avcodec_receive_frame(m_pAVCodecCtx, m_pAVFrame);

 if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
 {
 av_frame_unref(m_pAVFrame);
 break;
 }

 currentFramePos = m_pAVFrame->display_picture_number; //In order to get position of currect frame (seek move poiter to the key frame)

 if (currentFramePos < seekPos) //Some frames need to be skiped in order to reach needed frame
 {
 printf("----- SKIP : cur position (%d) \n", currentFramePos);
 av_frame_unref(m_pAVFrame);
 continue;
 }

 ProcessFrame(m_pAVFrame); //needed frame was processed
 av_frame_unref(m_pAVFrame);
 printf("----- cur position (%d) \n", currentFramePos);
 break;
 }
 }

 av_packet_unref(m_pAVPkt);
 }
 else
 {
 av_packet_unref(m_pAVPkt); //we got a frame from the wrong stream
 }
 }
 else
 {
 number_of_errors++;
 }

 if (number_of_errors == MAX_ERROR_NUM)
 {
 printf("EXIT1\n");
 break;
 }
 }

 if (number_of_errors == MAX_ERROR_NUM)
 {
 printf("EXIT2\n");
 break;
 }
 }
}


int64_t FrameToPts(AVStream* pavStream, int frame)
{
 return (int64_t(frame) * pavStream->r_frame_rate.den * pavStream->time_base.den) /
 (int64_t(pavStream->r_frame_rate.num) * pavStream->time_base.num);
}


Syndiquer tout le site
