来自 澳门威尼斯人平台 2019-12-04 16:28 的文章
当前位置: 澳门威尼斯人平台 > 澳门威尼斯人平台 > 正文

摄像播放–踩坑小计

视频播放–踩坑小计

2018/06/09 · JavaScript · 视频

原文出处: chenjsh36   

 

随着流量时代的到来和硬件技术的提升,越来越多的网站希望能在PC端或移动端播放自己的视频,而 <video>的兼容性的逐渐完善,使得开发者更愿意使用它来实现视频播放场景。

本篇文章主要罗列__视频播放的通用场景及各场景下踩过的坑__,希望能__帮助开发者在遇到需求开发时能更快地选择合适的技术方案同时减少采坑的次数__。

遇到的问题

公司官网首页需要播放一段介绍公司情况的视频,类似于宣传性质!给到我的是 mp4 格式的视频 300 MB,这个显然不能直接放到网页上播放!

显然要想的是该如何缩小视频文件大小!

趁着idea正在下载安装solidity插件的功夫,我开个新坑。首先这个坑是关于智能合约开发的,用于记录下我在学习开源区块链的项目中踩的各种各样的坑。(项目github地址:黑马程序员 120天全栈区块链开发 开源教程)

本文主要是排查Android一个播放语音问题带来的ANR异常以及有时播放失败的Bug
阅读本文大概需要花费3分钟。

场景一:自动播放

autoPlay 布尔属性;指定后,视频会马上自动开始播放,不会停下来等着数据载入结束。

视频自动播放可以在页面打开且资源加载足够的情况下让视频自动播放,减少一次用户点击的交互,同时可以应用在动效背景、H5仿视频通话的功能。不过由于各种原因,自动播放无论在PC端还是移动端都有不同程度的限制。

网页播放视频格式对比

目前我了解到的方便在网页上播放的视频格式有 flv,swf,mp4等等!

flv 和 swf 需要浏览器支持 「adobe flash」可是据我所知不是所有的浏览器都支持 flash 的,比如到就遇到 chrome 浏览器就不支持flash,但是听说有办法解决,这里我就不赘述了!

我采用的是 mp4 格式 + H5 <video>标签,这个所有的浏览器都支持,具有很好的普及型和兼容性!

前段时间我开始跟着视频学习以太坊及智能合约的开发,然出师未半而一开始就卡在了环境的安装上。首先是NodeJs插件的安装,在idea的plugin中搜索到的nodejs无论如何都无法下载,窃以为是网络原因。后在官网中搜索该插件,下载的最新版本插件却无法安装在我之前使用的老版本idea中。无奈只好选择老版本的nodejs插件,安装完后却发现该插件无法使用。极度崩溃的我只好选择换一个最新版本的idea,终于安装完成。

引言

最近项目中的IM模块收到反映,语音消息点了之后正在播放却没有声音,有时甚至直接ANR异常,因项目中的IM采用的是网易的云信,所以第一时间请教了云信的技术人员,得到的回复是他们的SDK播放语音是直接封装调用了系统的Api,没有做任何处理。既然这样,那就只好自己研究下问题啦

移动端

MP4 

MP4 是一种视频文件格式,但是视频文件格式下又有很多编码格式,现在常用的只有 H264 和 MPEG4格式    H263 和VP6格式 已淘汰!

H.264被MPEG组织称作AVC(Advanced Video Codec/先进视频编码),是MPEG4标准的第10部分,用来取代之前MPEG4第2部分(简称MPEG4P2)所制定的视频编码,因为AVC有着比MPEG4P2强很多的压缩效率。最常见的MPEG4P2编码器有divx和xvid(开源),最常见的AVC编码器是x264(开源)

MPEG-4是一套用于音频、视频信息的压缩编码标准,由国际标准化组织(ISO)和国际电工委员会(IEC)下属的“動態影像专家组”(Moving Picture Experts Group,即MPEG)制定,第一版在1998年10月通過,第二版在1999年12月通過。MPEG-4格式的主要用途在於網上串流、光碟、語音傳送(視訊電話),以及電視廣播

经过选择我决定使用 H.264,于是采用格式工厂对原来的视频格式进行格式转换,选择 MP4 输出设置选择 AVC 480p,点击确定,然后选择输出位置

澳门威尼斯人平台 1

点击确定,然后点击开始转换就行

澳门威尼斯人平台 2

转换完成后还是很不错的,300 MB 的文件转换完成后变成的 29 MB 左右,而且清晰度也不错!

随之而来的是idea的破解问题,这个问题的解决方法网上有很多,但视频中给的方法我觉得很是不错。通过视频中的方法顺利的得到了正版idea的激活,写代码起来心情都舒畅了许多。

问题定位

首先从IM的SDK中的语音播放类入手,发现确实是调用了Android的系统语音播放。

澳门威尼斯人平台 3

IM的SDK源码

那么我们去看一下Android的媒体播放类MediaPlayer的这几个方法的源码,分析一下问题,先看一下MediaPlayer的setDataSource方法,

澳门威尼斯人平台 4

setDataSource

通过注释可以看到,这个方法是支持传递本地文件路径或者是一个网络路径的,猜测是否是因为在ui线程加载网络资源,导致了anr,我们接着往下看

澳门威尼斯人平台 5

setDataSource的重载方法里对传入的数据来源做了区分,最后调用了native的setDataSource方法。

然后我们看一下prepare方法

澳门威尼斯人平台 6

从注释可以看到,prepare方法还有另外一个prepareAsync方法,

澳门威尼斯人平台 7

根据注释可以看到,prepareAsync方法是异步的去准备资源,基本验证了我们之前的猜想,因为他们最终都是调用了c++层的代码,这里我们直接去看一下他们的源码

源码位置frameworks/av/media/libmedia/mediaplayer.cpp

status_t MediaPlayer::prepare()
{
    ALOGV("prepare");
    Mutex::Autolock _l(mLock);
    mLockThreadId = getThreadId();
    if (mPrepareSync) {
        mLockThreadId = 0;
        return -EALREADY;
    }
    mPrepareSync = true;
    status_t ret = prepareAsync_l();
    if (ret != NO_ERROR) {
        mLockThreadId = 0;
        return ret;
    }

    if (mPrepareSync) {
        mSignal.wait(mLock);  // wait for prepare done
        mPrepareSync = false;
    }
    ALOGV("prepare complete - status=%d", mPrepareStatus);
    mLockThreadId = 0;
    return mPrepareStatus;
}
status_t MediaPlayer::prepareAsync()
{
    ALOGV("prepareAsync");
    Mutex::Autolock _l(mLock);
    return prepareAsync_l();
}

可以看到,不管是prepare还是prepareAsync方法,最终都是会调用prepareAsync_l(),但是prepare方法中多了这一段,

    if (mPrepareSync) {
        mSignal.wait(mLock);  // wait for prepare done
        mPrepareSync = false;
    }

在这里调用了wait方法进行了等待,所以使得java层达到同步调用的效果,然后在prepare完成之后会调用notify方法唤醒它,代码如下

void MediaPlayer::notify(int msg, int ext1, int ext2, const Parcel *obj)
{
    ...
    case MEDIA_PREPARED:
        ALOGV("prepared");
        mCurrentState = MEDIA_PLAYER_PREPARED;
        if (mPrepareSync) {
            ALOGV("signal application thread");
            mPrepareSync = false;
            mPrepareStatus = NO_ERROR;
            mSignal.signal();
        }
        break;
}

IOS

早期必须要有用户手势(user gesture)video标签才可以播放; 从版本10开始修改了video的规则,苹果放宽了inline和autoplay,策略如下(仅适用于Safari浏览器):

  • <video> elements will be allowed to autoplay without a user gesture if their source media contains no audio tracks.(无音频源的 video 元素 允许自动播放)
  • <video muted> elements will also be allowed to autoplay without a user gesture.(禁音的 video 元素允许自动播放)
  • If a <video> element gains an audio track or becomes un-muted without a user gesture, playback will pause.(如果 video 元素在没有用户手势下有了音频源或者变成非禁音,会暂停播放)
  • <video autoplay> elements will only begin playing when visible on-screen such as when they are scrolled into the viewport, made visible through CSS, and inserted into the DOM.(video 元素屏幕可见才开始播放)
  • <video autoplay> elements will pause if they become non-visible, such as by being scrolled out of the viewport.(video元素不可见后停止播放)

边加载边播放的 MP4

由于 MP4 的视频文件信息默认是放置在文件末尾,也就导致了必须要把文件加载完毕才能播放视频,这显然是不好的,所以下面采用 「MP4 Fast Start」进行转化一下,把文件信息移动到视频文件的前面,这样浏览器在加载时就可以一边加载一遍播放了!

然而真•小白NodeJs程序员的我,对什么express,express-generator简直是一窍不通。因此辛辛苦苦下载好了NodeJs的插件,心心念念的等着idea安装完环境好开始撸代码,却苦苦的等了10几分钟的express-generator,怀疑是电脑卡的我还重新建了个项目,同样卡在此步骤。

解决方法

通过看源码,果然可以确定是因为prepare方法会直接在当前线程去读取资源,即使资源文件是一个网络资源,当网络条件比较差即弱网情况下时,那么发生ANR的几率就会十分高了,而且如果请求中断或者文件不完整,也会导致播放失败,解决方法之一的话可以采用下面的方式去播放一个语音

       MediaPlayer mediaPlayer = new MediaPlayer();
       mediaPlayer.setDataSource(url);
       mediaPlayer.prepareAsync();
       mediaPlayer.setOnPreparedListener(new MediaPlayer.OnPreparedListener() {
           @Override
           public void onPrepared(MediaPlayer mp) {
               mp.start();
           }
       });

但是为了使对网络资源下载的过程可控,还是推荐大家自己做判断,使用自己的网络下载方式去下载资源文件然后再将其的本地路径交由MediaPlayer播放。

由于项目中的IM使用的是云信的SDK,所以我们也不好改动他们的代码,就只好在调用sdk的方法前自己先做判断,若是网络资源则先下载好才去调用sdk的方法,然后也向云信反映了这个问题,他们也表示应该做容错处理,应该会在后续版本改进吧。


安卓

__早期__同样需要用户手势才可以播放; 安卓的 chrome 53 后放宽了自动播放策略,策略不同于IOS的Safari,需要同时对 video 设置 autoplay 和 muted(是否禁音),才允许自动播放; __安卓的 FireFox 和 UC 浏览器__支持任何情况下的自动播放; 安卓的其他浏览器暂时不清楚情况;

于是只能上网搜索是否有遇到相同问题的,未果。后怀疑是The Great Wall ,却发现搭建完梯子后依旧不起作用。于是学习的劲头冷却了一大半,一直至今日勉强鼓起勇气再新建项目,依旧卡住。

如果觉得对你有所帮助,请点个赞,谢谢。你的鼓励是我最大的动力。

PC端

早期是__支持自动播放,但__近来 Safari、Chrome 陆续修改了自动播放的策略……

后不知怎么的脑袋开了窍,再搜索关键词idea开发node,在CSDN上终于找到了解决方法。解决方法见此:intellij IDEA创建nodejs项目---环境搭建

欢迎关注EoniJJ的简书

不定期与你分享关于Android开发的点点滴滴。

澳门威尼斯人平台,Safari 浏览器

__Safari 10 后__带音频的视频和音频默认禁止自动播放,更多信息可以参考这篇文章;

Chrome(旧版本) 下自动播放:

澳门威尼斯人平台 8

Safari (10后)不自动播放:

澳门威尼斯人平台 9

好不容易终于过了express-generator这一关,却在cli.js一步上又卡了很久,幸好视频有说第一次建立项目会比较久,耐心等待后终于构建完成。

本文由澳门威尼斯人平台发布于澳门威尼斯人平台,转载请注明出处:摄像播放&#8211;踩坑小计

关键词: