Recherche avancée

Médias (91)

Autres articles (111)

  • Publier sur MédiaSpip

    13 juin 2013

    Puis-je poster des contenus à partir d’une tablette Ipad ?
    Oui, si votre Médiaspip installé est à la version 0.2 ou supérieure. Contacter au besoin l’administrateur de votre MédiaSpip pour le savoir

  • Script d’installation automatique de MediaSPIP

    25 avril 2011, par

    Afin de palier aux difficultés d’installation dues principalement aux dépendances logicielles coté serveur, un script d’installation "tout en un" en bash a été créé afin de faciliter cette étape sur un serveur doté d’une distribution Linux compatible.
    Vous devez bénéficier d’un accès SSH à votre serveur et d’un compte "root" afin de l’utiliser, ce qui permettra d’installer les dépendances. Contactez votre hébergeur si vous ne disposez pas de cela.
    La documentation de l’utilisation du script d’installation (...)

  • La sauvegarde automatique de canaux SPIP

    1er avril 2010, par

    Dans le cadre de la mise en place d’une plateforme ouverte, il est important pour les hébergeurs de pouvoir disposer de sauvegardes assez régulières pour parer à tout problème éventuel.
    Pour réaliser cette tâche on se base sur deux plugins SPIP : Saveauto qui permet une sauvegarde régulière de la base de donnée sous la forme d’un dump mysql (utilisable dans phpmyadmin) mes_fichiers_2 qui permet de réaliser une archive au format zip des données importantes du site (les documents, les éléments (...)

Sur d’autres sites (6596)

  • Revision f82c61b886 : Merge "make DC_PRED for i4x4 to use real pixels only" into experimental

    22 avril 2013, par Paul Wilkins

    Merge "make DC_PRED for i4x4 to use real pixels only" into experimental

  • Revision 6ce718eb18 : Merge "End of orientation zero group experiment" into experimental

    22 avril 2013, par Deb Mukherjee

    Changed Paths : Modify /vp9/decoder/vp9_decodframe.c Modify /vp9/encoder/vp9_encodemb.c Modify /vp9/encoder/vp9_rdopt.c Merge "End of orientation zero group experiment" into experimental

  • Zipping Conda Environment Breaks Audioread's Backend (Python/Pyspark)

    25 octobre 2017, par Tim

    I have previously build pyspark environments using conda to package all dependancies and ship them to all the nodes at runtime. Here’s how I create the environment :

    `conda/bin/conda create -p conda_env --copy -y python=2  \
    
numpy scipy ffmpeg gcc libsndfile gstreamer pygobject audioread librosa`
    

    
`zip -r conda_env.zip conda_env`

    Then sourcing conda_env and running pyspark shell I can successfully execute :

    `import librosa
    
y, sr = librosa.load("test.m4a")`

    Note without the environment sourced this script results in an error as ffmpeg/gstreamer are NOT installed on my locally.

    Submitting a script to the cluster results in a librosa.load error which traces back to audioread indicating the backend (either gstreamer or ffmpeg) can no longer be found in the zipped archive environment. The stacktrace is below :

    Submit :

    `PYSPARK_PYTHON=./NODE/conda_env/bin/python spark-submit --verbose \
    
        --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./NODE/conda_env/bin/python \
    
        --conf spark.yarn.appMasterEnv.PYTHON_EGG_CACHE=/tmp \
    
        --conf spark.executorEnv.PYTHON_EGG_CACHE=/tmp \
    
        --conf spark.yarn.executor.memoryOverhead=1024 \
    
        --conf spark.hadoop.validateOutputSpecs=false \
    
        --conf spark.driver.cores=5 \
    
        --conf spark.driver.maxResultSize=0 \
    
        --master yarn --deploy-mode cluster --queue production \
    
        --num-executors 20 --executor-cores 5 --executor-memory 40G \
    
        --driver-memory 20G --archives conda_env.zip#NODE \
    
        --jars /data/environments/sqljdbc41.jar \
    
        script.py`

    Trace :

    `Caused by: org.apache.spark.api.python.PythonException: Traceback (most recent call last):
    
  File "/mnt/yarn/usercache/user/appcache/application_1506634200253_39889/container_1506634200253_39889_01_000003/pyspark.zip/pyspark/worker.py", line 172, in main
    
    process()
    
  File "/mnt/yarn/usercache/user/appcache/application_1506634200253_39889/container_1506634200253_39889_01_000003/pyspark.zip/pyspark/worker.py", line 167, in process
    
    serializer.dump_stream(func(split_index, iterator), outfile)
    
  File "/mnt/yarn/usercache/user/appcache/application_1506634200253_39889/container_1506634200253_39889_01_000003/pyspark.zip/pyspark/serializers.py", line 263, in dump_stream
    
    vs = list(itertools.islice(iterator, batch))
    
  File "script.py", line 245, in <lambda>
    
  File "script.py", line 119, in download_audio
    
  File "/mnt/yarn/usercache/user/appcache/application_1506634200253_39889/container_1506634200253_39889_01_000003/NODE/conda_env/lib/python2.7/site-packages/librosa/core/audio.py", line 107, in load
    
    with audioread.audio_open(os.path.realpath(path)) as input_file:
    
  File "/mnt/yarn/usercache/user/appcache/application_1506634200253_39889/container_1506634200253_39889_01_000003/NODE/conda_env/lib/python2.7/site-packages/audioread/__init__.py", line 114, in audio_open
    
    raise NoBackendError()
    
NoBackendError`
    
</lambda>

    My question is : How can I package this archive so that librosa (really audioread) is able to find the backend and load .m4a files ?

Navigation