Japanese / English

ナチュラルビジョン　ー 高色再現映像システムの開発 ー

---

現在、デジタル放送やブロードバンドでの映像配信など、デジタル映像は広く一般に利用されつつあり、さらに遠隔医療、電子商取引、電子美術館等への利用も期待されている。このような応用分野では、映像が単に鑑賞されるだけでなく診断や商取引等に利用されるので、映像情報自体が価値をもつことになる。ところが従来の映像システムでは、実物の色を忠実に再現できていない。例えば我々がデジタルカメラで人物や風景等を撮影して画面に表示すると、再現される色が実物と異なるということを経験する。
　ナチュラルビジョンは、従来の３原色（赤(R)・緑(G)・青(B)）を超える新しい映像通信システムを開発し、実物が目の前にあるときに限りなく近い色・光沢・質感等を持つ映像を再現することを目的としている（図１）。RGBの３原色の代りにマルチスペクトルカメラ（図２）等を用いて光のスペクトルの情報を入力することで、撮影時と異なる照明環境の下でも実物を直接見る場合と同様に忠実な色を再現する。表示側でも４以上の原色を用いた多原色ディスプレイにより、従来のディスプレイでは表現できない鮮やかな色表示を可能にする（図３）。そしてこれらの入出力機器間で忠実な色情報を交換するため、多原色映像信号の伝送・保存技術等の研究を行っている。

図１　映像通信システムにおける忠実な色再現の考え方

図２　マルチスペクトルカメラの外観

図３　多原色による色再現範囲の拡大

本プロジェクトは、1999年に総務省の予算で通信・放送機構（４月１日から独立行政法人情報通信研究機構(NICT)）の直轄研究として開始され、赤坂ナチュラルビジョンリサーチセンターにおいて2006年まで研究が進められた。直轄研究では、同機構が研究スペースや機材、人件費等を用意し、主に企業からの出向による研究員が研究を担う。プロジェクトリーダを本学の大山永昭教授が、サブリーダを千葉大学の羽石秀昭助教授と筆者の２名が務め、オリンパス、NTTデータ、NTTコミュニケーションズ、松下電器、日立製作所から常駐の研究員が参加し、また非常勤の研究員として上記企業の他、凸版印刷、大日本印刷、NHK等が加わって研究が行われた。その他、ドイツ・メキシコ等から研究員を招き、共同で研究を行った。
　現在はNICTによる委託研究「マルチスペクトル映像収集・伝送技術の研究開発」として引き続き研究が進められている。
　また、参加企業（１６社）により、「ナチュラルビジョン普及促進協議会」が設立され、リサーチセンターの運営の支援、実証実験への協力、実用化に向けた取り組みなどを行っている。学生は、協議会を通じた共同研究員としてプロジェクトに参加している。大学で行った研究テーマについて、リサーチセンターの機材を用いて実験を行ったり、新たな機器の開発に反映させたりしている。
　NICTの直轄研究は、基礎・応用研究から実用化へ結びつける掛け橋と位置付けられており、新技術のシステム化、各種応用分野への適用、標準化への貢献などの活動を期待されている。実際、多原色ディスプレイによる高精細で高彩度な映像表示システム、マルチスペクトル動画ハイビジョンカメラ等は世界で始めて具現化されたものである。また、研究開発と同時に、普及に向けた活動として、産官学の関係者に対する研究内容のデモンストレーションを頻繁に行っている。百聞は一見に如かず、色再現性は実際に見なければ理解できない。研究開始から2003年3月までにのべ550人余りの見学者があった。

1999年のプロジェクト開始から2003年3月まで静止画を対象とした研究を行っていたが、2002年に動画に関する研究項目を追加し、2006年3月まで「動画ナチュラルビジョン」の研究開発を行った。現在は、より実用的なシステムの開発、実証実験、普及に向けた活動を継続している。
　静止画の研究開発では、16バンドのマルチスペクトルカメラで撮影した画像をもとに、従来の3原色表示装置、4原色フラットパネル液晶ディスプレイ、6原色プロジェクタ［図４、５］等に忠実な色再現を行う技術を確立してきた。また、忠実な色情報を交換するための画像データフォーマットを開発し、国際標準化機関への提案を行っている。実証実験としては、皮膚科や病理診断等の医療応用、カタログ印刷のためのスタジオ撮影、美術品・文化遺産などのデジタルアーカイブ（アステカ文明時代の絵文字「Codice」の収集実験）などを通じて有効性を実証してきた。動画ナチュラルビジョンでは、6バンドHDTVカメラ［図６］を用いて高い色再現性を持つ動画像の収録、編集、再現を行うシステムを開発している。さらに、多原色ディスプレイによる、多彩な色を使えるコンピュータグラフィックスを実現している。
　人間の視覚は、基本的には3種類の波長帯域に感度を持つセンサーで色を知覚しているが、その感度特性には個人差がある。これまでに、マルチスペクトル・多原色の技術に基づく映像システムによって、個人差があっても、実物と表示画像の色を一致させることができることを実証している。
　今後、リアルタイム伝送の技術開発などを進め、遠隔医療における動画像伝送へ適用することなどを予定している。

図４　試作された多原色ディスプレイ

図５　CIE a*-b* 平面（等明度面）、L*-C*平面（等色相面）上での６原色DLPディスプレイの色再現域（青線），比較として３原色DLPディスプレイ（赤線）、自然反射物体の色域 (Pointer＋SOCSGamut）（緑線）を示す。６原色表示により自然物体の色域をほぼカバーしている。

図６　　６バンドHDTV動画カメラの構成

• 平成11年度～平成15年度「ナチュラルビジョンの研究開発プロジェクト」成果報告書，通信・放送機構、情報通信研究機構 (2000-2006)
• 山口雅浩，”多原色ディスプレイ，”　カラーフォーラム’99論文集，(1999) 73-79
• T. Ajito, T. Obi, M. Yamaguchi, and N. Ohyama, “Six-primary color projection display for expanded color gamut reproduction,” Proceedings of International Symposium on Multispectral Imaging and Color Reproduction for Digital Archives, Chiba, Japan, (1999) 135-138
• T. Ajito, T. Obi, M. Yamaguchi, and N. Ohyama, “Expanded color gamut reproduced by six-primary projection display,” Proc. SPIE, Vol.3954 (2000) 130-137
• M. Yamaguchi, Y. Murakami, T. Uchiyama, K. Ohsawa, and N. Ohyama, “Natural Vision: Visual Telecommunication based on Multispectral Technology,” IDW ’00 (2000) 1115-1118
• Y. Murakami, H. Manabe, T. Obi, M. Yamaguchi, N. Ohyama, “Spectral reflectance estimation from multi-band image using color chart,” Optics Communications, vol.188, (2001) 47-54
• T. Ajito, K. Ohsawa, T. Obi, M. Yamaguchi, and N. Ohyama, “Color conversion method for multiprimary display using matrix switching,” Optical Review, vol.8, no.3, (2001) 191-197
• F. Konig, K. Ohsawa, M. Yamaguchi, N. Ohyama, and B. Hill, “A multiprimary Display: Discounting observer metamerism,” AIC Color’01, (Rochester, NY, USA), Proc. SPIE 4421, (2001) 898-901
• K. Ohsawa, F. Konig, M. Yamaguchi, and N. Ohyama, “Multi-primary display optimized for CIE1931 and CIE1964 color matching functions,” 9th Congress of the International Colour Association, AIC Color’01 (Rochester, NY, USA), Proc. SPIE 4421, (2001) 939-942
• K. Ohsawa, F. Konig, M. Yamaguchi, and N. Ohyama, “Color matching experiment using 6-primary display,” 3rd International Conference on Multispectral Color Science, Joensuu, Finland, (2001) 85-88
• S. Takamura and N. Kobayashi, “Constructing a uniform color space for visually lossless color representation and image coding,” IEEE International Conference on Image Processing, Thessaloniki, Greece, (2001) 4805
• Y. Murakami, H. Manabe, T. Obi, M. Yamaguchi, and N. Ohyama, ” Multispectral Image Compression for Color Reproduction; Weighted KLT and Adaptive Quantization based on Visual Color Perception,” IS&T/SID Nineth Color Imaging Conference (Scottsdale, AZ, USA) (2001) 68-72
• M. Yamaguchi, “Medical Application of a Color Reproduction System with a Multispectral Camera,” Digital Color Imaging in Biomedicine, (2001) 33-38
• 石井順一郎，村上百合，小尾高史，山口雅浩，大山永昭，”LED光源を用いた時分割式多原色表示方法の開発”，カラーフォーラム2001，(2001) 93-96
• 山口雅浩，”ナチュラルビジョン　－分光情報に基づく色再現システム，”　日本写真学会誌，vol.65, no.4, (2002) 251-257
• N. Ohyama, M. Yamaguchi, H. Haneishi, “Concept and technologies of naturtal vision system,” Proc. IDW ’02, (2002) 11-14
• M. Yamaguchi, T. Teraji, K. Ohsawa, T. Uchiyama, H. Motomura, Y. Murakami, and N. Ohyama, “Color image reproduction based on the multispectral and multiprimary imaging: Experimental evaluation,” Proc. SPIE, vol.4663 (2002) 15-26
• H. Motomura, N. Ohyama, M. Yamaguchi, H. Haneishi, K. Kanamori, S. Sannohe, “Development of Six-Primary HDTV display system,” Proc. Int. Display Research Conference, (2002) 563-566
• F. Konig, K. Ohsawa, M. Yamaguchi, N. Ohayama and B. Hill, “A multiprimary display: optimized control values for displaying tristimulus values,” Proc. of PICS conference, (2002) 215-220
• Y. Murakami, H. Manabe, T. Obi, M. Yamaguchi, and N. Ohyama, ” Adaptive quantization in multispectral image compression for equalizing visual error degradation,” J. Imaging Science and Technology, vol.46, no.6, (2002) 507-512
• 山口雅浩，”ナチュラルビジョンの医療応用”、Medical Imaging Technology Vol.20, No.2 (2002) 105-110
• 土田勝、村上百合、小尾高史、山口雅浩、大山永昭 照明光のスペクトル情報を用いた対応点の追跡 画像電子学会誌 31 2 210-216 2002
• M. Yamaguchi, “Natural vision: spectrum-based natural-color image reproduction system,” Electronic Imaging, SPIE Technical Group Newsletter, 12, No.2, (2002) 3
• M. Yamaguchi, “Multiprimary Displays for natural color reproduction,” Proceedings of the 2nd International Meeting on Information Display (IMID 02), (2002) 999-1004
• Y. Murakami, T. Obi, M. Yamaguchi, and N. Ohyama, “Nonlinear estimation of spectral reflectance based on Gaussian mixture distribution for color image reproduction,” Applied Optics, Vol.41, No.23, (2002) 4840-4847
• Y. Murakami, T. Obi, M. Yamaguchi, and N. Ohyama, “A Method for the Evaluation of Color Estimation from Multispectral Data,” IS&T/SID Tenth Color Imaging Conference, Scottsdale, AZ, USA, (2002) 112-116
• S. Komura, I. Hiyama, and N. Ohyama,, “Four-Primary-Color LCD for Natural Vision,” Information Display, 8/03 (2003) 18-21
• H. Motomura, “Color conversion for a multi-primary display using linear interpolation on equi-luminance plane method (LIQUID),” J. Int. SID, Vol.11, No.2, (2003) 371-378
• K. Ohsawa, H. Fukuda, Y. Komiya, M. Yamaguchi, and N. Ohyama, “Spectrum-based color reproduction system for motion picture,” Proc. SPIE, vol.5008, (2003) 229-236
• H. Motomura, K. Ohsawa, N. Ohyama, M. Yamaguchi, and H. Haneishi, “Natural Vision image data file format for spectral-based color reproduction system,” Proc. the. PICS Conference, Rochester, USA, (2003) 278-284
• 内田篤志、大澤健郎、小宮康宏、山口雅浩、羽石秀昭、大山永昭、”マルチスペクトルカメラによるカタログ用商品撮影、”　日本印刷学会春季研究発表会講演予稿集、(2003) 131-134
• K. Ohsawa, T. Ajito, H. Fukuda, Y. Komiya, H. Haneishi, M. Yamaguchi, and N. Ohyama, “Six-band HDTV camera system for spectrum-based color reproduction,” J. Imaging Science and Technology, vol.48, no.2, (2004) 85-92
• Y. Murakami, J. Ishii, T. Obi, M. Yamaguchi, and N. Ohyama, “Color conversion method for multi-primary display for spectral color reproduction,”Journal of Electronic Imaging, 17, 4, (2004) 701-708
• Y. Murakami, N. Hatano, J. Takiue, M. Yamaguchi, and N. Ohyama, “Evaluation of smooth tonal change reproduction on multi-primary display: comparison of color conversion algorithms,” Proc. SPIE, vol.5289, (2004) 275-283
• T. Abe, M. Yamaguchi, Y. Murakami, N. Ohyama,Y. Yagi, “Color correction of pathological images for different staining-condition slides,” HealthCom 2004, Odawara, Japan, (2004) 218-223
• J. Kishimoto, M. Yamaguchi , H. Haneishi, and N. Ohyama, “IRODORI – A Color-rich Palette Based on Natural Vision Technology-,” ACM SIGGRAPH 2004 Emerging Technology (2004) Link to SIGGRAPH 04 site
• M. Yamaguchi, M. Mitsui, R. Iwama, H. Haneishi and N. Ohyama, “Real-time video reproduction using six-band HDTV camera and six-primary display,” 12th Color Imaging Conference, Late breaking news session, (2004)
• R. Mase, Y. Kawasaki, Y. Murakami, T. Obi, M. Yamaguchi and N. Ohyama, “Multispectral image compression for high-quality color reproduction using JPEG2000,” Proc SPIE, Vol.5308, (2004) 808-815
• H. Kanazawa, “Spherical average multi-primary color decomposition method,” 12th Color Imaging Conference (2004)
• P. A. Bautista, T. Abe, M. Yamaguchi, Y. Yagi and N. Ohyama, “Digital staining of pathological tissue specimens using spectral transmittance,” Medical Imaging, San Diego, USA, Proc. SPIE, Vol. 5747, 1892-1903 (2005).
• Pinky A. Bautista, Tokiya Abe, Masahiro Yamaguchi, Yukako Yagi, Nagaaki Ohyama, “Digital staining for multispectral images of pathological tissue specimens based on combined classification of spectral transmittance,” Computerized Medical Imaging and Graphics, Vol. 29, No. 8, (2005), 649-657
• S. Yu, Y. Murakami, T. Obi, M. Yamaguchi, and N. Ohyama, “Improvements for Multispectral Image Compression for Color Reproducibility with Preservation to Spectral Accuracy,” ICIP 2005, IEEE International Conference on Image Processing, Vol. 2, II- 710-13
• H. Fukuda, T. Uchiyama, H. Haneishi, M. Yamaguchi, and Nagaaki Ohyama, “Development of 16-bands multispectral image archiving system,” Electronic Imaging 2005, Color Imaging: Processing, Hardcopy, and Applications X, Proc. SPIE, San Jose, USA, 2005
• M. Yamaguchi1, M. Mitsui, Y. Murakami, H. Fukuda, N. Ohyama, and Y. Kubota, ” Multispectral color imaging for dermatology: application in inflammatory and immunologic diseases,” 13th Color Imag. Conf. (2005) 52-58
• M. Yamaguchi, H. Haneishi, H. Fukuda, J. Kishimoto, H. Kanazawa, M. Tsuchida, R. Iwama, and Nagaaki Ohyama, “High-fidelity video and still-image communication based on spectral information: Natural Vision system and its applications,” Spectral Imaging: Eighth International Symposium on Multispectral Color Science Proc. of SPIE-IS&T Electronic Imaging, SPIE Vol. 6062, (2006) 60620G
• Y. Murakami, K. Ietomi, M. Yamaguchi, and N. Ohyama, “Maximum a posteriori estimation of spectral reflectance from color image and multipoint spectral measurements,” Appl. Opt., 46, 28, 7068-7082 (2007).
• M. Yamaguchi, H. Haneishi, N. Ohyama, “Beyond Red-Green-Blue(RGB): Spectrum-Based Color Imaging Technology,” Journal of Imaging Science and Technology, vol. 52, No. 1, 010201-1-15 (Jan/Feb 2008)
• Yuri Murakami, Ken Fukura, Masahiro Yamaguchi, Nagaaki Ohyama, “Color reproduction from low-SNR multispectral images using spatio-spectral Wiener estimation,” Opt. Express, Vol. 16, No. 6, (2008), 4106-4120
• Yuri Murakami, Masahiro Yamaguchi, and Nagaaki Ohyama, “Piecewise Wiener estimation for reconstruction of spectral reflectance image by multipoint spectral measurements,” Appl. Opt. 48, 2188-2202 (2009) 

著書

• カラーマネジメント技術 拡張色空間とカラーアピアランス, 東京電機大学出版局, (2008), 210-227 （分担）
• 分光画像処理入門, 三宅洋一編,（財）東京大学出版会, (2006), 95-166, （分担） 

関連記事

• “『脱３原色』に走り出すデジタルカメラとプリンター，”　日経エレクトロニクス，pp.69-78, Oct., 2003
• プリンタが6色インクならばディスプレイも6原色ディスプレイへ – 280兆色の世界/赤坂ナチュラルビジョンリサーチセンター, マイコミジャーナル，SIGGRAPH 2004 – EMERGING TECHNOLOGIES展示セクション(1)，2004/08/14

Link

• NV-XML フォーマット仕様書
• （独）情報通信研究機構　赤坂ナチュラルビジョンリサーチセンター
• ナチュラルビジョン普及促進協議会
• IT戦略本部会合でのデモ（政府インターネットテレビ：2:47～2:56）

Last update 2008/03/07
2004.12.20　Masahiro Yamaguchi