We are elated to announce that a work of our project on visual state change prediction has been accepted and will be presented at COLING2022. Keisuke Shirai, Atsushi Hashimoto, Taichi Nishimura, Hirotaka Kameko, Shuhei Kurita, Yoshitaka Ushiku, Shinsuke Mori, “Visual Recipe Flow: A Dataset for Learning Visual State Changes of…

We will present a summary of our project for a cross-modal understanding of manufacturing procedures on 1st July in HCII2022. Atsushi Hashimoto, Taichi Nishimura, Yoshitaka Ushiku, Hirotaka Kameko, Shinsuke Mori, “Cross-modal Representation Learning for understanding Manufacturing Procedure”, HCII 2022 This work has been done in collaboration with Prof. …

7月1日にHCII2022において製造工程をクロスモーダルに理解するためのプロジェクトに関する解説を行います． Atsushi Hashimoto, Taichi Nishimura, Yoshitaka Ushiku, Hirotaka Kameko, Shinsuke Mori, “Cross-modal Representation Learning for understanding Manufacturing Procedure”, HCII 2022 この研究は京都大学森信介教授との共同研究の成果です． 背景 近年は機械学習技術の核心がめざましく，かつては難しいとされていた様々な課題が解決しています．そのような状況の中で，未だに解くことができていない問題の一つが長いコンテキストをどのように扱うかという問題です．調理は複数の工程からなり，かつ，各工程の内容はそれ以前に行われる工程に依存するという点で，そのような長いコンテキストを伴う応用の典型例となっており，ここ数年で研究が活発化しています．

We are happy to announce that one of our project will be presented in a long oral session at MIRU2022. Rintaro Yanagi, Atsushi Hashimoto, Shusaku Sone, Naoya Chiba, Jiaxin Ma, Yoshitaka Ushiku, “Edge-selective Feature Weaving for point cloud matching” [arxiv][code] This is an achievement by our internship trainee, Rintaro Yanagi…

国内の画像処理系学会最大のシンポジウムであるMIRU2022において下記の研究をロングオーラルセッションで発表します． Rintaro Yanagi, Atsushi Hashimoto, Shusaku Sone, Naoya Chiba, Jiaxin Ma, Yoshitaka Ushiku, “Edge-selective Feature Weaving for point cloud matching” [arxiv][code] この研究は柳凜太郎さん(北海道大学博士課程学生)による弊社におけるインターンの成果です． 概要 画像処理分野には2つの視覚的要素の対応関係をマッチングする課題がたくさんあります．本研究では2つの3次元点群モデルにおいて，点単位での対応付けを見つけ出す3次元点群マッチングという問題(図1)に取り組んでいます．3次元点群マッチングは図1のような人体姿勢の詳細追跡課題となる他，LiDARなどの距離センサーから得られる時系列データから観測点レベルの追跡結果を得るための基盤技術であり，自動運転やロボティクスを始めとして様々な応用が考えられます．

オムロンサイニックエックスで実施された下記の研究がコンピュータビジョンにおける最難関会議の一つであるIEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR2021)に採録されました． Yu Qing, Atsushi Hashimoto, and Yoshitaka Ushiku, “Divergence Optimization for Noisy Universal Domain Adaptation” accepted to CVPR2021. [arXiv] これは第一著者である郁青さん(東大)の弊社におけるインターンの成果です． 教師なしドメイン適応とは？ 深層学習の出現以降，機械学習技術を応用したサービスや製品が次々に開発されています．しかし，機械学習技術を利用する場合，開発段階で技術者が収集した正解付きデータと，実際にサービスや製品が利用される運用環境で観測されるデータには異なる偏りが生じることがあります．このような偏りはドメインシフトと呼ばれ，学習済みモデルの推定精度を下げてしまうことが知られています．この機械学習技術を応用する上で避けては通れない問題を解決するために，近年様々な問題設定が提案されていますが，その中でも最も活発に研究が行われているのが教師なしドメイン適応(Unsupervised Domain Adaptation: UDA)です． UDAは事前に技術者がデータを収集した環境（ソースドメイン）の正解付きデータと運用環境（ターゲットドメイン）から収集した正解なしデータを手がかりに，運用環境の正解データなしでドメインシフトを解消することを目指す問題設定です．

We are delighted to announce that one of our papers got accepted to the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR2021). Yu Qing, Atsushi Hashimoto, and Yoshitaka Ushiku, “Divergence Optimization for Noisy Universal Domain Adaptation” accepted to CVPR2021. [arXiv] [cvf][github] [YouTube] This work is an achievement by the…

クックパッド株式会社の原島純氏と弊社シニアリサーチャーの橋本敦史が共同執筆した下記の書籍がオーム社より3/18に出版されました． 「キッチン・インフォマティクス-料理を支える自然言語処理と画像処理」 原島 純 , 橋本 敦史 (共著) 出版社: オーム社 概要（オーム社Webサイトより引用） 料理を支える自然言語処理と画像処理を学ぼう！ クックパッドや楽天レシピなどのレシピサービスは、多くの方にとってなじみ深い、日常的に使用するものです。ほかにも、写真を撮るだけで食事が記録できるアプリや、トレーに載せた食品をスキャンすると精算ができる画像認識型のレジなど、身の回りには食に関係する情報技術が多数存在します。 本書は、そういったレシピや料理画像を題材として、言葉や画像を扱う技術について解説します。 たとえばクックパッドには、投稿されたレシピの文章を解析して、自動的にカテゴリ分けする機能があります。これには、自然言語処理という言葉を扱う技術が活用されています。

オムロンサイニックエックスでのインターン成果を元に，奈良先端科学技術大学院大学(NAIST)の松本研，渡辺研で発展させた下記の研究を発表した本多右京さんが言語処理学会第27回年次大会(NLP2021)において若手奨励賞を受賞されました．なお，この研究は自然言語系の国際会議 EACL2021においても発表予定です． 本多右京 , 牛久祥孝, 橋本敦史, 渡辺太郎 , 松本裕治, 画像と単語の不一致を考慮した疑似教師ありキャプション生成, NLP2021 研究の概要 画像キャプション生成は，画像から自然言語で説明文を生成するタスクです．このような生成を行うためには「画像」と「その画像を説明する文」のペアからなる大規模なデータセットが必要となります．しかしながら，そのような大規模データセットが常に準備できるとは限りません．一方で，単に画像のみ，あるいは文のみ，というデータは容易に収集可能です．本研究では，ペアにはなっていない画像と文を用いた場合に画像キャプション生成という課題をどの程度まで解くことができるのかを明らかにするための疑似教師ありキャプション生成という課題に対して，従来以上の精度を達成できる新たな手法を提案しました．また，これを事前学習に用いて，後段で従来手法を適用することで，さらに精度向上を測ることができることも確認しました．