チームラボの画像処理エンジニアチーム

Transcript

1. We are the future. Copyright (C) teamLab Inc. All rights

   reserved. 画像処理エンジニア Computer Visionチーム 画像処理エンジニア - 画像処理・点群処理部門 - 機械学習部門 - システム開発部門 数理最適化エンジニア

2. We are the future. Copyright (C) teamLab Inc. All rights

   reserved. 2001年創業。最新のテクノロジーを活用したソリューション、大規模なシステム開発や、プロダク ト、デジタルコンテンツの制作、都市計画や建築空間設計などを行う。 アーティスト、プログラマ、エンジニア、CGアニメーター、数学者、建築家など、デジタル社会の 様々な分野のスペシャリストから構成されているウルトラテクノロジスト集団で、アート、サイエン ス、テクノロジー、クリエイティビティの境界を越えて、集団的創造をコンセプトに活動している。 チームラボ
 会社概要

3. We are the future. Copyright (C) teamLab Inc. All rights

   reserved. 事業概要 Solution クライアントの課題や要望を咀嚼して、構想策定・ 要件定義からデザイン・実装まで一気通貫でサービス開 発を行います。 Art 集団的創造をコンセプトに、アートコレクティブ・チームラ ボとしてデジタルテクノロジーを使った 新しいアートを創っています。

4. We are the future. Copyright (C) teamLab Inc. All rights

   reserved. 営業職なし、95%がものづくりを担当するメンバー 海外からジョインしたメンバーが全体の15% 社員構成 サウンドプログラマー インタラクティブ ハードウェア 機械学習・画像処理 スマホアプリ Technology Creative Catalyst 1000人 Other Webアプリ

5. We are the future. Copyright (C) teamLab Inc. All rights

   reserved. CVチーム（画像処理・数理最適化エンジニア） 
 ▶主な業務 インタラクティブアート作品における人や 物体のリアルタイムセンシング ▶検出対象 人々がいる場所や触れたポイント 鳥や遊具などを検出します Copyright (C) teamLab Inc. All rights reserved. 花と我と同根、庭と我と一体 風の中の散逸する鳥の彫刻群


6. We are the future. Copyright (C) teamLab Inc. All rights

   reserved. CVチーム体制 
 CV チーム ・センシングの制御を行う 　アプリの設計、開発 ・チーム内の開発基盤の設計、導入 センシング システム開発 機械学習 ・アート作品で使われる物体認識 　モデル開発、改良 ・機械学習用のパイプライン開発 ・2D、3D点群を用いた物体認識 　アルゴリズム開発 ・古典的な画像処理を用いた 　アルゴリズムの開発 ・新規センサーの検証 画像・点群処理 ・アート作品の空間設計に 　用いるアルゴリズム開発 ・センシングを用いた物体制御 数理最適化 ・2D、3D点群を用いた物体認識 ・古典的画像処理を用いた開発 ・新規センサーの検証、導入 CVチーム（画像処理エンジニア・数理最適化エンジニア）には４つの部門があります。 


7. We are the future. Copyright (C) teamLab Inc. All rights

   reserved. 他チームと連携しながら作品をゼロから形にしていきます。 
 
 Computer Vision チーム アート作品開発の体制 　　　 
 　　　 カタリスト
 　　 　　　 ・全体統括
 　　　　 ・スケジュール管理 
 　　　 
 　　　 デザイナー
 　　 　　 ・コンセプト制作
 　　 　 ・素材作成
 　　　 
 　　　アーキテクト
 　　 　　・建築・空間設計
 　　　 
 サウンドチーム
 ・音響設計
 ・SE・BGM制作
 　　　 
 ハードウェアチーム
 ・デバイス開発
 ・LEDなどの機器の制御 
 　　　 
 インタラクティブチーム
 ・プロジェクション作品 
 ・映像を動かす


8. We are the future. Copyright (C) teamLab Inc. All rights

   reserved. ▶概要
 池の上の船の軌跡を投影する作品 
 ▶CVチームの役割
 　 船の位置の検出
 ▶ポイント
 センサーの目の前に雑草が生えてくるので 
 定期的に刈る必要があります 
 キャリブレーションのために池の隅々まで 
 船を漕ぐのが大変でした 
 Copyright (C) teamLab Inc. All rights reserved. 小舟と共に踊る鯉によって描かれる 
 水面のドローイング
 We are the future. 作品紹介

9. We are the future. Copyright (C) teamLab Inc. All rights

   reserved. ▶概要 　 泡の塊を風で浮かせる作品 ▶CVチームの役割 泡の塊の位置の検出 竜巻装置の制御 人の位置の検出 ▶ポイント 最初はただ「泡を検出したい！」という依頼で 適切なセンサーを見つけるのに苦労しました 仕様が決まっていないまま開発・設営を迎え、 試行錯誤しながら作品に落とし込んでいきました 作品紹介 Copyright (C) teamLab Inc. All rights reserved. 質量のない雲、彫刻と生命の間 We are the future.

10. We are the future. Copyright (C) teamLab Inc. All rights

    reserved. ▶概要 　 スマホで撮影した動物を捕まえる作品 ▶CVチームの役割 撮影した動物の特定ロジックの開発 スマホアプリへの組み込み ▶ポイント シミュレーションのデータと、実際にスマホ・ カメラで撮影した画像の差が大きくて大変 スマホに詳しくないメンバーが 苦労しながらアプリへの組み込みを 実現しています 作品紹介 Copyright (C) teamLab Inc. All rights reserved. 捕まえて集める森 We are the future.

11. We are the future. Copyright (C) teamLab Inc. All rights

    reserved. ▶概要 　 空中にランプが浮いている作品 ▶CVチームの役割 一筆書きの経路を実現できるランプの配置の計算 人の位置の検出 ▶ポイント 人が近づくとランプの色が順番に変わっていき、 一筆書きで全てのランプに伝播します 数理最適化を使って上記条件を満たす美しい配置を 計算します 案件ごとに様々な空間・施工的な制約に対応していきます ランプの森 Copyright (C) teamLab Inc. All rights reserved. We are the future. 作品紹介

12. We are the future. Copyright (C) teamLab Inc. All rights

    reserved. ▶年齢層 全員20代〜30代 ▶経歴は様々 画像処理、機械学習、物理、数学、 電子工学、芸術など様々な分野から ▶国際色豊か 韓国、中国、ケニア、 インドネシアのメンバーなど CVチームのメンバー 34人のメンバー

13. We are the future. Copyright (C) teamLab Inc. All rights

    reserved. 使用技術要素 ▶よく使う技術 ▪ RGBカメラ ▪ IRカメラ ▪ 2D測域センサー ▪ 3D測域センサー ▪ デプスカメラ ▪ サーモカメラ ▶よく使うセンサー ※　他にも作品に活用出来そうなものは何でも試します ※　社内で最先端の研究は行っていませんが、 　　論文を読んで最新の技術を応用することはあります Copyright (C) teamLab Inc. All rights reserved.

14. We are the future. Copyright (C) teamLab Inc. All rights

    reserved. ▶勉強会 メンバーが興味をもったテーマについて の勉強会を定期的に行っています 実績：Deep Learning、C++、光学、 基本情報、UX、ドキュメント管理、 テストなど ▶モブプログラミング 毎週、興味あるメンバーで集まって 複数人でのプログラミングを行っています タスク例：案件で困った時、新しい技術を 一緒に触ってみる、など CVチームでの取り組み

15. We are the future. Copyright (C) teamLab Inc. All rights

    reserved. チームラボの画像処理エンジニアの特徴 仕様検討 作品として 面白さのすり合わせ ▶検討からスタート ・技術的に可能かどうか ・センサーの種類 ・アルゴリズム開発 実際の展示設営に 携わる ▶オフィス作業 　ばかりではない ・検証空間でデータ収集 ・センサーの物理的な 　角度調整 ・国内外の展示案件 　を経験できる アウトプットが 分かりやすい ▶大規模な展示案件　 に関わる ・自分が作った作品への　 達成感 ・リリースされると 　感慨深い ・お客様のリアクション　を SNSで直接確認 仕様検討 Copyright (C) teamLab Inc. All rights reserved. 仕様検討 空間・機材設計 仕様検討 検証 展示現場設営 仕様検討 リリース 自然界に存在しない 環境・課題 ▶特殊な空間・対象 ・プロジェクションで 　照らされた空間 ・全面ミラーの空間 ▶センシングに 　適した空間設計 ・空間設計や素材の選定

16. We are the future. Copyright (C) teamLab Inc. All rights

    reserved. ▶新しいことを勉強する意欲のある方 現メンバーは元���画像処理の経験がなかった 人がほとんどです 画像処理以外のタスクも多いので、 常に新しいことを学ぶ必要があります ▶粘り強さと柔軟性 現場作業では粘り強さが求められます 実物を見た上での仕様変更もあるので 柔軟性も重要です ▶自分で考えて柔軟に行動できる方 手法は明確に決まっていないことが多いので、　 　 自由に設計できます 作品をより良くするためにどうすれば良いか 常に考え続ける必要があります ▶チーム開発が好きな方 CVチーム内では基本的にチームで開発します チーム外の人とも「一緒に作品を作り上げる」という 意識が重要です CVチームが求めるメンバー

17. Confidential We are the future. Copyright (C) teamLab Inc. All

    rights reserved. ご応募お待ちしてます！

18. Confidential We are the future. Copyright (C) teamLab Inc. All

    rights reserved. カジュアル面談 通年採用

19. Confidential We are the future. Copyright (C) teamLab Inc. All

    rights reserved. 追加資料

20. We are the future. Copyright (C) teamLab Inc. All rights

    reserved. アート以外の業務（約 1割くらい）：ソリューション事業との連携も行います。 アート以外の業務 ▶チームラボイメージサーチ CVチームの役割 　特徴抽出・類似画像検索などの 　画像処理アルゴリズム開発 ▶チームラボカメラ CVチームの役割 　インタラクティブサイネージの開発

21. Confidential We are the future. Copyright (C) teamLab Inc. All

    rights reserved. センシング業務のフロー

22. We are the future. Copyright (C) teamLab Inc. All rights

    reserved. 作品の構想が上がると、カタリストがそれをビジュアルチームに伝 え、作品のイメージを作成します。 センシングが必要な場合、 CVチームへ依頼がとんで来ます。 こんなの作 りたいよね センシング業務のフロー 構想・企画

23. We are the future. Copyright (C) teamLab Inc. All rights

    reserved. 実際にセンシングが可能かどうかの検証を行います。 作品の試作版と共にセンサーを設置してデータ撮影やアルゴ リズムの模索を行います。 検討した仕様や手法を元に、代表によるレビューを重ね、セン シングの方針を固めていきます。 センシング業務のフロー 仕様検討・手法検討・レビュー

24. We are the future. Copyright (C) teamLab Inc. All rights

    reserved. センシング機材を3D モデリングツールで配置します。 センシング業務のフロー 空間・機材設計

25. We are the future. Copyright (C) teamLab Inc. All rights

    reserved. 実際の展示期間で長期稼働するアプリケーションを開発し ています。 現場での導入を簡単にできるよう、パラメーター調整でき るアプリケーションを作成します。 センシング業務のフロー アプリ開発

26. We are the future. Copyright (C) teamLab Inc. All rights

    reserved. 現場の空間を物理的に作り上げます。 センシング業務のフロー 施工

27. We are the future. Copyright (C) teamLab Inc. All rights

    reserved. 施工が終了したらチームラボのメンバーが現場入りします。 センサーの画角やアプリの調整を行います。 映像・サウンド側のアプリと疎通し、正常にセンシングが行えている か確認します。 ＊現場では様々なトラブルが発生します センシング業務のフロー 展示現場設営

28. We are the future. Copyright (C) teamLab Inc. All rights

    reserved. オープンのギリギリまで調整を行った後、 プロモーション用の作品撮影を経て、無事リリースとなります。 センシング業務のフロー リリース

29. We are the future. Copyright (C) teamLab Inc. All rights

    reserved. 設営後も ・センサーのずれ ・接続不良 ・謎の誤検出 など、様々な問題が生じるので保守対応を行います。 センシング業務のフロー 保守・運営