WO2018159579A1 - 表示操作端末およびそれを用いる表示操作分離システム - Google Patents
表示操作端末およびそれを用いる表示操作分離システム Download PDFInfo
- Publication number
- WO2018159579A1 WO2018159579A1 PCT/JP2018/007129 JP2018007129W WO2018159579A1 WO 2018159579 A1 WO2018159579 A1 WO 2018159579A1 JP 2018007129 W JP2018007129 W JP 2018007129W WO 2018159579 A1 WO2018159579 A1 WO 2018159579A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- terminal
- unit
- electronic device
- input
- Prior art date
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 76
- 230000005540 biological transmission Effects 0.000 claims abstract description 77
- 238000004891 communication Methods 0.000 claims description 141
- 230000006854 communication Effects 0.000 claims description 141
- 238000000034 method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 62
- 238000010586 diagram Methods 0.000 description 22
- 239000000463 material Substances 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 230000007175 bidirectional communication Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000012905 input function Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000012776 electronic material Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007645 offset printing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 229920006255 plastic film Polymers 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000007779 soft material Substances 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000004078 waterproofing Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
Definitions
- electronic devices that provide the above-described computing environment are typically portable PCs such as smartphones, laptop personal computers (PCs), and tablet terminals.
- PCs personal computers
- tablet terminals the use of these electronic devices by users involves various restrictions.
- a typical example is restrictions based on hardware specifications such as the weight of electronic devices, the power source duration of batteries, and the size.
- a smartphone has a voice call function as a mobile station, and therefore has a strong restriction on a size suitable for being always carried. Due to this upper size limit, display devices on smartphones are still not always sufficient despite destroying the keyboard and occupying the largest surface of the plate-like housing. Elderly people are difficult to read small letters, and the content that can be enjoyed on a small screen is limited.
- Electronic book terminals are mainly electronic paper and liquid crystal display devices.
- Electronic paper ensures the fineness of character-based offset printing as long as it is limited to monochrome and still image display. Even if it is a monochrome still image display, if display with a certain quality is possible, restrictions such as securing a power source and charging, weight, and size related to batteries are less likely to be conscious.
- the e-book system reduces the weight of publications, the time and effort of management, and the problem of distribution inventory, which greatly benefits users and publishers.
- the display on the current electronic book terminal that employs electronic pavers is such that the display of text-based displays in publications can be viewed without stress.
- a screen that is smaller than a traditional publication, although it is an electronic device can sometimes only be tolerated.
- a liquid crystal display device is employed, the same problems as those of the PC and tablet terminal described above are encountered.
- Patent Document 1 Utility Model Registration No. 3172006.
- the present invention makes it a subject to solve at least any one of the various subject mentioned above.
- the present invention provides a display operation terminal that can utilize a display function and a touch input function that are the same as or similar to those mounted on an electronic device, and a display operation separation system using the display operation terminal. , It makes the user feel as much as possible and draws out the capabilities of electronic devices without any hesitation. As a result, the present invention makes it possible to exert the original appeal even if the content has been halved by the fact that the electronic device has only a small screen. This will contribute to further expansion of the user base. In addition, the present invention feels difficult to use in conventional small electronic devices (for example, smartphones) for physical reasons, or difficult to use in heavy electronic devices (for example, conventional tablet terminals). It also contributes to the expansion of the user base to the people who come.
- a terminal receiving unit that receives a display signal indicating display content from at least one electronic device, and the display content indicated by the display signal is at least one of a still image and a moving image, or those
- a terminal display unit having a display area to be presented to the user by combination, a touch operation input unit that receives an input by a touch operation from the user and generates a touch operation signal, and an operation input signal including the touch operation signal
- a terminal transmission unit that transmits to the electronic device; a communication control unit that controls establishment and release of connection with the electronic device by at least one of the terminal reception unit and the terminal transmission unit; and the terminal reception unit.
- It can measure the intensity of receivable types of radio waves, and send a detection signal indicating the radio wave intensity received by the terminal receiver A wave intensity detector, and the communication controller controls at least one of the terminal receiver and the terminal transmitter based on the detection signal from the radio wave intensity detector, and the electronic device A display operation terminal for establishing the connection is provided.
- the display operation terminal of the above aspect can be manufactured in a light weight with a wide display area in principle. This is because capabilities other than the minimum functions necessary for display and input and communication for them can be realized by utilizing the functions of the electronic device. From another viewpoint, for example, a display unit or touch input unit of a size that cannot be used in the past is used for the display operation terminal of the above aspect in comparison with a smartphone or the like that has a practical upper limit. Can do. For this reason, it is possible to provide the user with an easy-to-use operating environment having a larger size for utilizing various functions of the electronic device. In a specific embodiment, since a terminal having minimum necessary functions such as display and touch input is provided, realistic restrictions and obstacles when aiming to reduce the size while reducing the size are removed.
- the display operation terminal can be thinned to a thickness of about several millimeters, and can be light and flexible, providing an extremely light feeling of use. Ultimately, it would also be possible to realize the appearance of resin boards that are used as “pencil boards” placed on the back of paper when writing on paper with a writing instrument.
- an electronic device including a device transmission unit that transmits the display signal, and a device reception unit that receives the operation input signal, Display contents for the electronic device are transmitted to the display operation terminal, and a touch operation input for the display operation terminal is transmitted to the electronic device, thereby displaying the display contents of the electronic device and a touch operation for the display contents.
- a display operation separation system that is executed in the display operation terminal.
- the hardware of the electronic device included in the display operation separation system of the above aspect can be assumed to be a smartphone equipped with an appropriate communication module, a portable PC such as a laptop PC, and a tablet terminal.
- a function unit for appropriately transmitting display contents and receiving a touch operation input from the display operation terminal is a display operation terminal.
- a portable PC such as a smartphone, a laptop PC, and a tablet terminal into an electronic device included in the display operation separation system
- an appropriate module for example, a communication module
- these electronic devices can be used in cooperation with the display operation terminal of the above aspect. This enhances the convenience for the user, and also affects the request from the user for the electronic device itself.
- the display function and input function required for the smartphone itself will not be as important as before, and for example, the user will begin to think that a minimum display size is sufficient. Even in that case, when viewed as a whole display operation separation system combining them, a lighter display operation terminal having an enlarged display unit is provided, which is much higher than conventional electronic devices. Convenience can be realized.
- the electronic devices include, as representative examples, portable PCs such as smartphones and laptop PCs, and tablet terminals, but are not limited thereto.
- each element for defining the invention can be realized by arbitrarily combining software and hardware.
- an element described in the description of the present application by the expression “to part” such as a display unit may be one or more hardware units to realize a target function, and if necessary, In some cases, it is realized by combining one or more units of software components and one or more units of data or information used to realize the characteristics of the hardware as operations or procedures.
- One unit of the software component at this time includes an application program, an execution library, an API (Application Programming Interface), a protocol stack, a device driver, and the like, and includes a combination of two or more thereof. Even elements defined by the same expression may be realized by different hardware of the same type, and different elements specified by different expressions may be realized by one hardware. In addition, an operation may be specified to define the characteristics of each element, and the order in the operation is not necessarily described in the execution order.
- FIG. 1 It is a schematic diagram which shows the typical example of operation
- FIG. 1 it is a schematic diagram showing a configuration of a display operation separation system in which the number of electronic devices is two or more and the number of display operation terminals is one.
- FIG. 1 is a schematic diagram showing the overall configuration of a display operation separating system 10 of the present embodiment.
- the display operation separation system 10 typically includes a display operation terminal 100 and an electronic device 200.
- the display operation terminal 100 includes a terminal reception unit 130, a display unit 110, a touch operation input unit 120, and a terminal transmission unit 140.
- the terminal receiving unit 130 receives a display signal 132 indicating display content from at least one electronic device 200.
- the display unit 110 has a display area 110a that presents the display content indicated by the display signal 132 to the user by at least one of a still image and a moving image, or a combination thereof. At least one of a still image and a moving image or a combination thereof includes arbitrary display information such as an image, video, text data, and computer graphic display that can be viewed in the display area 110a.
- the touch operation input unit 120 receives an input by a touch operation from a user and generates a touch operation signal.
- the terminal transmission unit 140 transmits an operation input signal 142 including a touch operation signal to the electronic device 200.
- a typical example of display contents displayed on the display unit 110 of the display operation terminal 100 is the same as the display contents to be displayed on the electronic device 200 and the display contents that should have been displayed.
- the function of presenting such display contents on a display unit of another device and multiplexing or transferring the display contents is called mirroring in the prior art, and the term is used in this application.
- the display unit 110 is an arbitrary display device such as an organic EL display (OLED), for example, and the detailed specifications of the display area 110a of the display unit 110 in the display operation terminal 100 are determined in consideration of various viewpoints. .
- OLED organic EL display
- the size of the electronic device 200 is generally in a range that does not interfere with carrying at all times.
- a display area 110a having a larger display capacity (total number of pixels) than that when the electronic device 200 is used alone is provided. Since the display unit 110 having the display unit 110 can be mounted, it is possible to provide a user with a wide area display that is not limited by the size of the display unit 210. Thus, the size of the display area 110a is important in that it is an incentive for the user to add the display operation terminal 100 in addition to the electronic device 200.
- the display unit 110 of the same size as that of A4 or letter-size paper is also useful for applications that refer to paper-oriented materials.
- the viewpoint of the balance between the convenience and the manufacturing efficiency described here is appropriately determined according to the intended use including whether the user picks it up, the user group, or the allowable cost.
- the touch operation input unit 120 can be any touch type input device that allows a user to specify a position limited to at least some extent in order to reflect his / her intention and input with a fingertip.
- an arbitrary touch input method such as a capacitance method or a resistance film method is employed.
- the object for specifying the position includes not only the fingertip of the user but also a finger pad, a pen tip subjected to electrical conduction, a pen that operates by electromagnetic induction, and the like, and one or more positions may be specified simultaneously.
- the touch position detection range of the touch operation input unit 120 typically matches the display area 110a of the display unit 110 or in order to detect an input in a peripheral part outside the outer frame of the display area 110a.
- the size is slightly larger than the display area 110a.
- the external appearance of the touch operation input unit 120 and the display unit 110 combined in this way is like an integrated device of a display device and a position input device, which is also called a touch panel.
- a touch panel For example, ipad (registered trademark) product group of US Apple Inc. Components similar to those of such tablet terminals are lined up.
- the touch operation input unit 120 that coincides with the display area 110a is made of a material that is transparent to light so that the presence of the touch operation input unit 120 cannot be visually recognized by the user, or is integrated with the display unit 110. It is preferable to do.
- a touch operation signal is output from the touch operation input unit 120.
- the display operation terminal 100 performs bidirectional communication with the electronic device 200.
- the display operation terminal 100 and the electronic device 200 are connected to each other by wireless communication.
- the electronic device 200 includes a device transmission unit 240 and a device reception unit 230.
- the terminal receiver 130 communicates with the device transmitter 240, and the terminal transmitter 140 communicates with the device receiver 230.
- the display content (display content) displayed on the display unit 110 when the user is using the display operation terminal 100 is obtained from the electronic device 200. For this reason, in a situation where the display content from the electronic device 200 is displayed on the display operation terminal 100 and some operation is performed on the display operation terminal 100, the electronic device 200 transmits to the display operation terminal 100 in the bidirectional communication.
- the terminal reception unit 130 and the device transmission unit 240 are responsible for transferring the display signal 132 indicating the display content, and the terminal transmission unit 140 and the device transmission unit 142 are configured to transfer the operation input signal 142 that conveys the operation input from the display operation terminal 100 to the electronic device 200.
- the device receiving unit 230 takes charge.
- the communication connection protocol (communication protocol) that can be adopted for these communications is, for example, Miracast (or WiDi), LTE Direct, Bluetooth (registered trademark) (hereinafter referred to as “BT”), BLE (Bluetooth (registered trademark) Low Energy) and WiFi Direct (both are registered trademarks) can be employed.
- BT Bluetooth
- BLE Bluetooth (registered trademark) Low Energy)
- WiFi Direct both are registered trademarks
- Two-way communication In the display operation separation system 10 of the present embodiment, communication for the display signal 132 between the terminal receiver 130 and the device transmitter 240 and an operation input signal between the terminal transmitter 140 and the device receiver 230
- the protocol may be the same or different in both the communication for 142.
- the display content of the display content included in the communication for the display signal 132 includes an image and a video, and the amount of data is large.
- the communication for the operation input signal 142 is input data by the touch operation input unit 120, and the data amount is small.
- an appropriate protocol may be selected and combined separately for each of the communication for the display signal 132 and the communication for the operation input signal 142.
- the authentication procedure for pairing in the present embodiment It is not essential to carry out as specified.
- a protocol for communication for the display signal 132 from the electronic device 200 to the display operation terminal 100 it is assumed that bidirectional communication is defined in the protocol and mutual authentication is possible.
- the display operation separation system 10 according to the present embodiment uses a different protocol used for communication for the operation input signal 142 from the display operation terminal 100 to the electronic device 200 instead of mutual authentication.
- Mutual authentication is also possible.
- the display operation separation system 10 according to the present embodiment can be used for various applications and purposes of use. For this reason, as an option, an additional structure and the characteristic can be provided to the structure mentioned above.
- the display operation terminal 100 after the connection with the electronic device 200 is released does not hold information (data) that can reproduce the display content.
- the display operation terminal 100 is manufactured by a normal mounting method, the display operation terminal 100 is manufactured as a computing device that operates a microprocessor (not shown) using software (program) and an operating system (OS) for functioning itself. .
- the display operation terminal 100 also includes a nonvolatile recording medium in accordance with the mounting form.
- a configuration in which communication contents are temporarily stored in such a nonvolatile recording medium can be considered.
- the display operation terminal 100 reproduces information that should be concealed at a timing not intended by the user by itself, there is a security risk. For this reason, it is useful to erase the display contents from the above-described nonvolatile storage medium.
- the display operation terminal 100 further includes an additional finger operation input unit such as a button.
- the finger operation input unit typically receives an operation input by a finger from the user and is disposed at a position outside the display area 110a. It is useful that such a signal by the finger operation input unit is included in a part of the operation input signal sent by the terminal transmission unit 140 and transmitted to the electronic device.
- the electronic device 200 to be combined is one in which some kind of finger operation input unit is mounted, it is advantageous that the finger operation input unit in the display operation terminal 100 also performs the same function.
- the display operation terminal 100 It is also preferable to equip the display operation terminal 100 with an additional input unit other than the finger operation input unit.
- a sensor for detecting the entire direction and its change can be incorporated in the display operation terminal 100, and the inclination of the entire display operation terminal 100 can be included in a part of the operation input signal. If the whole is tilted and programmed to mean "go forward", the user displays the display content (such as an electronic book) displayed on a page basis and holds the display operation terminal 100 with one hand. The page turning operation can be easily performed while browsing.
- the entire display operation terminal 100 is made to be at least partially flexible, it is also preferable that the display operation terminal 100 is equipped with a sensor that detects that the user bends.
- the display operation terminal 100 employed in the display operation separation system 10 of this embodiment is also typically operated by a battery.
- Wireless power connection has been put into practical use by a non-contact power transmission technology such as Qi (US Wireless Power Consortium). Further, this power connection can be used for charging the internal battery of the display operation terminal 100.
- the external battery described above is installed in the operation terminal 100 and used for the display operation terminal 100 and the electronic device 200 in close proximity to each other, and in addition to the power of the display operation terminal 100, all of the electric power of the electronic device 200 or It may be something that covers a part.
- a battery installed in the electronic device 200 can be used as an external battery for the display operation terminal 100.
- the display operation terminal 100 uses wireless power connection, the connectors can be reduced or eliminated from the display operation terminal 100, so that it is easy to design to improve convenience such as drip-proofing and waterproofing. Therefore, there are fewer obstacles in how to use alcohol sterilization when brought into a sterile room.
- the display operation terminal 100 as a whole has a certain degree of flexibility and elasticity. Can be granted. Since the display operation terminal 100 having flexibility and elasticity can be used very easily, it is possible to provide the user with maximized convenience.
- an electronic device 200 used in combination with the display operation terminal 100 in the display operation separation system 10 will be described. If what can become the electronic device 200 is illustrated, a smart phone, portable PC, and a tablet terminal will be typical. These are given a certain degree of portability by themselves, and are expected to be directly operated by the user, and have a display unit (device display unit). Other than these, what can be the electronic device 200 is a desktop PC, a server computer, or the like. It can be said that the requirement for the electronic device 200 is a computing device, which itself provides a display function to a user, accepts input from the user, and implements a necessary communication function.
- the electronic device 200 of the present embodiment is not limited to this.
- the necessary hardware requirements are not special.
- wireless communication with a necessary communication protocol is possible if wireless communication is performed.
- the electronic device 200 employed in the display / operation separation system 10 has a surface with fewer restrictions than a smartphone that has been used so far.
- the electronic device 200 may be extremely small. This is because if the display and input can be left to the display operation terminal 100, it is not necessary to increase the size of the display unit in terms of convenience. For this reason, in the case of adopting an existing smartphone for the electronic device 200, if the display operation terminal 100 is of a sufficient size, the request for increasing the size of the electronic device 200 for the purpose of usability is eased. There is practical significance. However, this embodiment does not particularly limit the size of either the display operation terminal 100 or the electronic device 200.
- the display operation separation system 10 is typically used in a one-to-one connection in which the display operation terminal 100 and the electronic device 200 are combined one by one.
- the display operation terminal 100 When used in a one-to-one connection, the display operation terminal 100 is typically used in a state where a combination with the electronic device 200 is assumed to some extent.
- processing for mutual authentication is required.
- FIG. 2 is a schematic diagram showing a configuration when such a function is implemented in the display operation terminal 100 using this wireless communication.
- the display operation terminal 100 includes a communication control unit 162, a pairing information recording unit 164, and a radio wave intensity detection unit 166 for the automatic start function.
- the communication control unit 162 controls establishment and release of connection with the electronic device 200 by the terminal receiving unit 130 and the terminal transmitting unit 140.
- the pairing information recording unit 164 stores pairing information 164a for registering the electronic device 200 as one of the connection authenticated devices.
- the pairing information 164a is implemented, for example, in a file format managed on an operating system for causing the display operation terminal 100 to function.
- the radio wave intensity detection unit 166 is connected to the terminal receiving unit 130 and can determine the intensity of the type of radio waves that can be received, and sends a detection signal 166a that can indicate the received radio wave intensity by the terminal receiving unit 130.
- the radio wave intensity detection unit 166 detects the radio wave intensity indicating whether or not there is a problem in maintaining the connection after the electronic device 200 and the display operation terminal 100 establish the communication connection.
- the display operation terminal 100 may employ a technique of, for example, issuing a signal for searching for the electronic device 200 through the terminal transmission unit 140 and detecting a radio wave emitted by the electronic device 200 as a reception confirmation corresponding thereto. it can.
- the display operation terminal 100 and the electronic device 200 have already been paired in advance, and the electronic device 200 has already been registered as a connection authenticated device in the pairing information 164a of the display operation terminal 100.
- Registered in the pairing information 164a is general pairing information for wireless communication. For example, Miracast, BT, NFC, etc.
- the mutual authentication information is first set for pairing. It is of any communication protocol as required.
- the communication control unit 162 determines whether the received radio wave intensity is stronger than a predetermined intensity reference value based on the detection signal 166a from the radio wave intensity detection unit 166.
- the communication control unit 162 controls the terminal receiving unit 130 and the terminal transmitting unit 140 to establish a connection with the electronic device 200.
- the display operation terminal 100 connects to the electronic device 200 with a few steps. It can be established and can provide high convenience to the user.
- the display operation terminal 100 detects that the electronic device 200 is very close by NFC. At that time, the display content cannot be received by the terminal receiver 130 yet.
- pairing information for NFC stored in pairing information 164a is used. Since the devices need to be close to each other in order to establish the NFC connection, the detection of the electronic device 200 by the display operation terminal 100 itself becomes the operation of the radio wave intensity detection unit 166.
- the Miracast connection is established in response to the NFC connection establishment. For this purpose, the pairing information for Miracast stored in the pairing information 164a is used.
- the display operation terminal 100 can receive the display signal 132 indicating the display content through the terminal receiving unit 130. Further, as a third stage, communication at the BT is established. Also in this case, the pairing information for BT stored in the pairing information 164a is used. Thereby, the display operation terminal 100 can transmit the operation input signal 142 including the touch operation signal to the electronic device 200 by the terminal transmission unit 140.
- the automatic start function shown in FIG. 2 is also executed when the power is turned on, for example, when the display operation terminal 100 is turned off. If the pairing information recording unit 164 is mounted by a nonvolatile memory or the like, the information is retained even when the power is turned off.
- the wired communication is set to a higher priority than the wireless communication in the same level of mirroring. Is advantageous.
- either or both of the terminal receiver 130 and the terminal transmitter 140 further communicate with the electronic device 200 by wired communication.
- the pairing information by protocol 174a registers an electronic device as one of connection-authenticated devices for wired communication.
- the trial sequence information 176a stored in the trial sequence setting unit 176 sets the trial order higher than the wireless communication for the wired communication.
- wired communication unlike wireless communication, it is not always necessary to set a trial time, so the trial time does not necessarily have to be set.
- the function management control unit 204 It is controlled by the function management control unit 204 so that the screen is returned to a screen that does not include the voice call screen or the home screen that is the default screen for operation. Since this display content is also mirrored on the display operation terminal 100, the display content is presented on the terminal display unit 110.
- the operation input signal output from the touch operation input unit 120 when the user of the display operation terminal 100 inputs to the touch operation input unit 120 is transmitted to the remote input reception unit 282 via the terminal transmission unit 140 and the device reception unit 230. Accepted. Since this operation is a screen that does not include the voice call screen before the start of the call or is a user input to the home screen, the user does not need to see the voice call screen, and the size of the display operation terminal 100 is reduced.
- FIG. 8 is a schematic diagram showing a configuration when a touch-type keyboard is displayed on the display operation terminal 100 in the display operation separation system 10 of the present embodiment.
- the electronic device 200 includes a device display unit 210, a cursor control unit 212, an input control unit 222, and a remote input reception unit 282.
- the device display unit 210 presents display contents to the user.
- the cursor control unit 212 displays an input cursor indicating the input position in the input enabled column 210b included in the display content of the device display unit 210.
- the input control unit 222 controls input display contents at the input position in the device display unit 210.
- the wireless communication is stopped by releasing the connection from one or both of the electronic device 200 and the display operation terminal 100 after the transmission / reception of the entire unit content is completed.
- the display operation terminal 100 can display the content related to the display of the unit content stored in the terminal content recording unit 192 on the terminal display unit 110 after the connection with the electronic device 200 is released.
- the cancellation of the wireless connection described above means that the connection is at least temporarily canceled, and there is a possibility that the connection is established again thereafter.
- the display operation separation system 10 of the present embodiment can be further devised when the content to be handled is mainly a still image.
- content mainly composed of still images include, for example, a browsing document file having a plurality of pages, an electronic book file, a web page, a Twitter (registered trademark) screen, a text message application program screen, a mail message screen, Can be mentioned.
- FIG. 9 also shows the configuration of the display operation separation system 10 used for image content.
- the device receiving unit 230 of the electronic device 200 receives operation input signals from the first display operation terminal 100A and the second display operation terminal 100B in a distinguished manner from each other.
- the display contents for the electronic device 200 can be confirmed on both the first display operation terminal 100A and the second display operation terminal 100B, and an input operation to the electronic device 200 is performed from both sides. be able to.
- the device receiving unit 230 can perform the receiving operation by distinguishing between the first and second display operation terminals 100A and 100B.
- the device display control unit 288 superimposes a selection prompt 288a on the display content as additional display content for selecting which of the first display operation terminal 100A and the second display operation terminal 100B should accept the operation input signal.
- the device input receiving unit 286 is configured to receive an input of a selection result from a user of the electronic device.
- the device input receiving unit 286 receives a signal by touch input from the touch operation input unit 220, for example. Thereafter, the remote input receiving unit 282 operates to selectively receive an operation input signal from either the first display operation terminal 100A or the second display operation terminal 100B according to the selection result.
- table-type mirroring terminal The versatility of this embodiment is extremely high, and the use of the display operation separation systems 10, 12, and 14 is not limited to the above-described handheld devices. For example, due to the recent generalization of large-sized and high-definition display devices, a sufficiently high-quality display can be realized even if the display of a plurality of electronic devices is simultaneously displayed on one display device. For example, it is realistic to display the respective smartphones brought by a plurality of users on one display device. For example, for a user who is seated facing each side in a table type and shares a table top, a table-integrated terminal in which a display device is arranged on a part or all of the table top ( Also called “table type mirroring terminal”.
- the same number of mirror image data transmission paths as the number of people who use the table at the same time are mounted on the display operation terminal of this embodiment.
- This image data transmission path is paired one-to-one with each smartphone.
- a connection port of a USB terminal is mounted.
- a screen is mounted on the upper surface of the table top of the table-type mirroring terminal, and a plurality of people can use it in a posture that looks down on the same screen at the same time.
- An arbitrary number of mirroring screens are displayed in a designated area on the table-type mirroring terminal.
- the mirroring transmission line can be realized by using Miracast (or WiFi Direct) wirelessly.
- This connection may be wired.
- it can be realized by a USB cable connection.
- the touch input operations of the table-type mirroring terminal are distinguished from each other and transmitted to the respective smartphones by BT connection, cable connection, or the like between each smartphone and the table-type mirroring terminal.
- the table-type mirroring terminal is equipped with a speaker, it is also useful to synthesize and output all the sound from the connected smartphone from the connected smartphone.
- the communication control unit it is possible to control to perform bidirectional communication only with a specific communication carrier or a specific electronic device, for example, control of a display operation terminal and display of an image from the electronic device. Furthermore, it is also possible to set the communication carrier or electronic device other than the specific one so that only one direction, for example, an image from the electronic device can be displayed.
- the present embodiment can be modified in various ways.
- the electronic device 200 or the display operation terminal 100 according to the present embodiment can be implemented even if configured to be configured by combining functional blocks.
- a functional block is a functional block that allows users to function independently by preparing parts that should be constituent elements of an electronic device or display / operation terminal in advance so that they have some degree of freedom in combination with each other. This refers to a method that allows users to configure a single terminal by selecting them. The user can realize a necessary function by selecting a function block and connecting the function blocks to each other. Therefore, the function of the electronic device or the display operation terminal can be realized at a cost burden of only the minimum necessary function.
- Main functional blocks for an electronic device or a display operation terminal that is, a display unit, a battery unit, a WiFi and BT wireless unit, a camera unit, and a television receiving unit are realized as follows.
- the battery unit is composed of one or more serial signal terminals mainly composed of battery cells and a power management IC.
- a power supply device or a charging power source is connected to a serial terminal such as a USB
- the battery cell is charged with the power supplied from the outside by sensing it.
- a device or a functional block that requires power supply is connected to the serial terminal, the power charged in the battery cell is supplied.
- the power management IC performs these controls.
- the WiFi and BT radio units are mainly composed of WiFi signal processing, BT signal processing and RF radio units, and one or more serial terminals. When power is supplied from the serial terminal, the WiFi and BT wireless units start to operate, perform data communication, and output a video signal to the connected display unit.
- the cellular radio unit is mainly composed of a cellular signal processing unit, an RF radio unit, an antenna unit, and one or more serial terminals.
- the application CPU unit When the application CPU unit is connected, data to be transmitted / received is exchanged with the application CPU unit, and control itself is operated by a command transmitted from the application CPU unit.
- the camera unit is mainly composed of a camera body, buttons, and an image processor, and takes an image by pressing a button or an external command.
- image data is output to the application CPU unit.
- image data is output to the display unit.
- the TV receiving unit mainly includes a TV receiving tuner, a TV antenna, a signal processor, and one or more serial terminals.
- a TV receiving tuner When power is supplied from the outside, the operation starts, and the TV radio wave received by the antenna is demodulated to receive a video signal.
- the received video signal is output to the application signal processing unit when the application CPU unit is connected, and is output to the display unit when the display unit is connected without being connected.
- Step 1 Each functional block detects that a new functional block has been added while the terminal type A is realized. This can be realized by periodically inquiring about the connected functional block via the serial terminal. It is determined that each functional block is independently changed to the terminal type B.
- Step 2 When the application CPU unit is connected, this functional block detects what all the connected functional blocks are, and determines that the terminal type B is changed.
- Step 3 Software for realizing the terminal type B is activated in each functional block.
- the display operation terminal of the present invention and the display operation separation system using the same can be used for any computing device.
- Display operation separation system 100 Display operation terminal 100a One surface 100b The other surface 110 Display unit, terminal display unit 110a Display area 110b Keyboard image 112 Setting prompt 114 Display control unit 116 Cursor search unit 120 Touch operation input unit 122 touch keyboard control unit 130 terminal reception unit 132 display signal 140 terminal transmission unit 142 operation input signal 150 terminal connection terminal group 162 communication control unit, terminal communication control unit 164 pairing information recording unit, terminal pairing information recording unit 164a pairing Information, terminal pairing information 166 radio wave intensity detection unit 166a detection signal 172 reception control unit 174 pairing information recording unit by protocol 174a pairing information by protocol 176 trial sequence setting unit 176a trial Kens information 192 Terminal content recording unit 194 Terminal image content recording unit 200 Electronic device 200A First electronic device 200B Second electronic device 200c Connection surface 202 Voice call processing unit 204 Function management control unit 210 Display unit, device display unit 210a Display area 210b Inputable field 212 Cursor control unit 220 Touch operation input unit 222 Input control unit 230 Device reception unit 240 Device transmission unit 250 Device connection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
電子機器の表示および入力による利便性を向上させるために、本発明のある実施形態では、端末受信部130、端末表示部110、タッチ操作入力部120、および端末送信部140を備える表示操作端末が提供される。端末受信部が表示内容を示す表示信号132を他の電子機器200から受信し、端末表示部が表示エリア110aにて表示信号が示す表示内容をなす静止画および動画の少なくともいずれかまたはそれらの組み合わせを使用者に呈示する。タッチ操作入力部が使用者からのタッチ操作による入力を受け付けタッチ操作信号を生成し、端末送信部はタッチ操作信号を含む操作入力信号142を電子機器に送信する。ユーザーは表示操作端末を使いつつあたかも電子機器を使用しているかのように表示内容を確認したりタッチ操作入力をすることができる。本発明では上記表示操作端末と電子機器を含む表示操作分離システムも提供される。
Description
本発明は表示操作端末およびそれを用いる表示操作分離システムに関する。さらに詳細には、本発明は、電子機器の表示および入力における利便性を高める表示操作端末およびそれを用いる表示操作分離システムに関する。
近年、IT機器の高性能化やポータブル化を背景に、様々な情報内容(コンテンツ)をユーザーに提供したり、さらにユーザーの行動を支援したりすることができるコンピュータ機器(本出願において「電子機器」と呼ぶ)が広く普及している。なかでもLTE(Long Term Evolution)や4G(4th Generation)等のワイドバンドな移動体通信網や、公衆またはプライベートな無線LANが提供されている環境でそれらの通信能力を備えた電子機器を用いれば、場所、時間の制約を殆ど受けることのないインターネット接続が実現し、ユーザーに高い利便性を提供することができる。インターネットと並びその利便性を支えているのが、各電子機器の高品質なインターフェース(Human Computer Interaction)である。高精細で美しい表示、そのような表示に対応した入力や操作を可能にするタッチ入力操作、そしてこれらを緊密に連携させる制御ソフトウェアは、ごく自然な使用感をユーザーにもたらすよう注意深くチューニングされており、コンピューティング機器の操作であることを使用者に忘れさせるほどに直観的で洗練された使用感を実現している。結果、旧来のキャラクタベースやキーボード主体のコンピューティング環境では普及が難しかった幅広いユーザー層もIT機器の発展の恩恵に浴している。
現時点で上述したコンピューティング環境を提供する電子機器は、スマートフォン、ラップトップパーソナルコンピューター(PC)などのポータブルPC、そしてタブレット端末が典型的なものである。しかし、これら電子機器のユーザーによる使用には種々の制約を伴う。その代表が電子機器の重量・電池等の電源持続時間・サイズといったハードウェア仕様に基づく制約である。スマートフォンは、移動局としての音声通話機能を備えるが故に常時携行するのに適するサイズへの制約が強い。このサイズ上限のため、スマートフォンでのディスプレイ装置は、キーボードを駆逐し板状の筐体の最大面をほぼ占有しているにもかかわらず、なお必ずしも十分ではない。高齢者には小さな字は読みにくく、また、小さい画面で楽しめるコンテンツは限られている。またその強い制約の下で動作時間を確保できる電力は、音声通話やその待受けの動作時間とのトレードオフとなってその一部のみが表示やコンピューティングに振り分けられる。ポータブルPCは高いコンピューティング能力と引き替えに、実用的な持続時間でその電力消費をまかなう電池が大型となり、1kgを下回るものが市販されているとはいえ、長時間手に持ち続けるには重い。そしてタブレット端末は、PCからキーボードを取り除いたもの、またはスマートフォンから音声通話機能を除いて大型化したものと考えてよく、例えば対角328mm=12.9インチ程度までのディスプレイ装置を持ち薄型ではあるが、いまだハードウェアのもつ重量や電源の制約をユーザーに強く意識させる。タブレット端末のうち十分な大きさの表示が得られるものは、長時間持ち続けるには重すぎる。
やや異なる視点からのアプローチとして、適用用途の専用性への限定と引き替えに上記制約下のトレードオフ要素間のバランスをシフトさせて成立しているシステムも存在する。例えば旧来は出版物として頒布されていた書籍や雑誌がインターネットを経由して電子データとしてダウンロード販売される電子書籍がある程度の普及を見ている。電子書籍システムで使用される端末(「電子書籍端末」)に採用されているディスプレイ装置は、主に電子ペーパーや液晶表示装置である。電子ペーパーはモノクロや静止画表示に限れば文字主体のオフセット印刷程度の精細度を確保している。モノクロ静止画表示であってもある程度の品位での表示が可能であれば、電子機器につきものの電源の確保や電池に関する充電、重量、サイズといった制約は意識されにくくなる。同時に、電子書籍システムでは出版物の重量の制約や管理の手間、流通在庫の問題が少なくなり、ユーザーおよび出版物提供事業者のメリットは大きい。しかし、電子ペーバーを採用する現状の電子書籍端末における表示は、出版物のうち文字主体の表示をストレス無く閲覧できる程度、というのが実情である。カラー動画表示のようなリッチコンテンツに頻繁に接している現代の一般的消費者には、電子機器であるのに旧来の出版物より小さな画面は時として我慢を強いるものでしかない。かといって液晶表示装置を採用すれば、上述したPCやタブレット端末と同様の問題に直面する。
現状の電子機器の制約を取り払うべく、一部機能を分離することも試みられている。例えばスマートフォンと連携することを前提としたウォッチ型端末(スマートウォッチ)や、眼鏡型のウエアラブル表示装置なども構想され一部は量産もされている。しかし現状では十分な普及には至っていない。身体への装着による「理想的な常時携行」が抵抗なくユーザーに受け入れられているわけではない。また、旧来のリストウォッチに類似のサイズやスタイルが採用されている現状では、スマートフォンと連携してその呼出装置として使われたり、身体から心拍ログやGPSログを容易に取れることなどの新たな用途を広げはするものの、これまでの電子機器の課題を解決するものとはなっていない。
スマートフォン・ディスプレイの画面転送コントロール装置の例が特許文献1(実用新案登録第3172006号公報)に開示されている。
本発明は、上述した種々の課題の少なくともいずれかを解決することを課題とする。本発明は、電子機器に搭載されているものと同じまたは類似する表示機能およびタッチ入力機能を活用できる表示操作端末や、それを用いた表示操作分離システムを提供することにより、電子機器の大きさ、重さをユーザーに可能な限り意識させず、電子機器の持つ能力をあますことなく引き出すものである。これにより本発明は、電子機器が小さな画面しか持たないことにより魅力が半減してしまっていたようなコンテンツであっても、それが本来持っている魅力を発揮させることを可能にすることにより、さらなるユーザー層の拡大に貢献するものである。また、本発明は、身体的な理由のために従来の小型の電子機器(例えばスマートフォン)に使いづらさを感じていたり、重量のある電子機器(例えば従来のタブレット端末)に使いづらさを感じていたりする人々へのユーザー層のさらなる拡大にも貢献するものである。
本発明者は、適切に設計された表示と操作のための装置を実現できれば、電子機器の能力を活用してユーザーに高い利便性を提供しうることに気付いた。例えばスマートフォンを所有しているユーザーにとっては、スマートフォンをタブレット端末のように活用することができたり、さらにタブレット端末でも実現し得ない軽快な使用感が実現できれば、そのユーザーに高い利便性が提供される。スマートフォンユーザであれば、機能が重複するタブレット端末を買い増しする必然性は乏しいものの、既に所有するスマートフォンの利便性を一層高めたり拡張できたりする表示操作装置を追加してスマートフォンの能力を一層引き出すことができるなら、有用なものと感じるだろう。そして、本発明者は、音楽を楽しむための装置にとってイヤホンやヘッドセットに相当するような、ユーザーへの情報の提示およびユーザーからの入力の受付のための専用の端末装置を、表示とタッチ入力を想定した電子機器に対しても想定できることに気づき、本発明を完成させた。
すなわち、本発明のある態様においては、表示内容を示す表示信号を少なくとも一つの電子機器から受信する端末受信部と、該表示信号が示す前記表示内容を静止画および動画の少なくともいずれかまたはそれらの組み合わせによって使用者に呈示する表示エリアをもつ端末表示部と、該使用者からのタッチ操作による入力を受け付け、タッチ操作信号を生成するタッチ操作入力部と、前記タッチ操作信号を含む操作入力信号を前記電子機器に送信する端末送信部と、前記端末受信部および前記端末送信部の少なくともいずれかによる前記電子機器との接続の確立および解除を制御する通信制御部と、前記端末受信部に接続され、受信可能な種類の電波の強度を測定でき、前記端末受信部による受信電波強度を示しうる検知信号を送出する電波強度検知部とを備えており、前記通信制御部は、前記電波強度検知部からの前記検知信号に基づいて前記端末受信部および前記端末送信部の少なくともいずれかを制御して前記電子機器との接続を確立させるものである表示操作端末が提供される。
上記態様の表示操作端末は、原理的に広い表示面積で軽量に作製することができる。というのは、表示および入力と、それらのための通信に必要な最低限の機能以外の能力を電子機器の機能を活用して実現しうるからである。別の視点から説明すれば、例えばスマートフォンなどのサイズに事実上の上限のあるものとの比較において、従来採用し得ないサイズの表示部やタッチ入力部を上記態様の表示操作端末に採用することができる。このため、電子機器の持つ様々な機能を活用するためのより大きなサイズをもち使いやすい使用環境をユーザーに提供することができる。具体的な実施態様においては、表示とタッチ入力といった必要最小限の機能を持つ端末が提供されることから、大型化しつつ軽量化すること目指す際の現実的制約や障害が取り除かれる。そしてその表示操作端末を数mm程度の厚みに薄型化したり、さらには軽さと可撓性も持たせることができ、極めて軽快な使用感を提供することも視野に入る。究極的には、筆記用具にて紙に筆記する際に紙背面に配置される「下敷き(pencil boards)」として採用される樹脂板のような姿も実現できるであろう。
本発明の別の態様においては、上記態様の表示操作端末と、前記表示信号を送信する機器送信部と前記操作入力信号を受信する機器受信部とを備えた電子機器とを備えており、前記電子機器のための表示内容が前記表示操作端末に送信され、前記表示操作端末のためのタッチ操作入力が前記電子機器に送信されることにより、該電子機器の表示内容の表示とそれに対するタッチ操作が前記表示操作端末において実行される表示操作分離システムも提供される。
上記態様の表示操作分離システムに含まれる電子機器のハードウェアは、適切な通信モジュールなどを搭載したスマートフォン、ラップトップPCなどのポータブルPC、そしてタブレット端末などを想定するとすることができる。これら電子機器を上記態様の表示操作分離システムの電子機器として機能させるためには、適切に表示内容を送信し、また、表示操作端末からのタッチ操作の入力を受け付けるための機能手段が表示操作端末に必要となる。例えばスマートフォン、ラップトップPCなどのポータブルPC、そしてタブレット端末を表示操作分離システムに含まれる電子機器とするためには、ハードウェアとしての適切なモジュール(例えば通信モジュール)が装備されていることに加え、それらモジュールを表示操作端末と連携させるためのソフトウェアが当該電子機器に実装される。その結果、上記態様の表示操作端末を連携させてこれら電子機器を使用することができる。このことは、ユーザーの利便性を高めるものであると同時に、電子機器それ自体に対するユーザーからの要求にも影響を与える。スマートフォンを例に挙げれば、そのスマートフォン自体に要求される表示機能や入力機能は従前ほどには重視されなくなり、例えば表示部は最小限のサイズのもので十分、とユーザーが思い始めるであろう。その場合であっても、それらを組合せた表示操作分離システム全体としてみると、大型化した表示部をもつ軽量化した表示操作端末が提供されることから、従来の電子機器から比べ遙かに高い利便性を実現することができる。
本出願の説明全般において、電子機器のうちには、スマートフォン、ラップトップPCなどのポータブルPC、そしてタブレット端末を代表例として含んでおり、これらに限定されるものではない。さらに、発明を規定するための各要素は、ソフトウェアとハードウェアを任意に組合せることにより実現することができる。例えば表示部などの「~部」との表現によって本出願の記載中にて説明される要素は、目的の機能を実現するために、1以上のハードウェアであることがあり、また必要に応じ、当該ハードウェアの特性を動作や手順として実現するために使用される1単位以上のソフトウェア・コンポーネントや1単位以上のデータや情報と組合せることにより実現されることがある。この際のソフトウェア・コンポーネントの1単位は、アプリケーションプログラム、実行ライブラリ、API(Application Programming Interface)、プロトコルスタック、デバイスドライバなどを含み、それらを2以上の組合せたものも含む。同一の表現で規定される要素であっても、同種の別のハードウェアによって実現されることがあり、別々の表現で規定される別々の要素が一のハードウェアにより実現されることもある。また、各要素の特性を規定するために動作が明示される場合があり、その動作における順序は必ずしも実行順に説明されているわけではない。
本発明のいずれかの態様では、電子機器の制約を取り払いつつユーザーにとっての利便性を最大化する実用性の高い手法が提供される。
以下、図面を参照して本発明に係る表示操作端末を含む表示操作分離システムに関する実施形態を説明する。当該説明に際し特に言及がない限り、共通する部分または要素には共通する参照符号が付されている。また、図中、各実施形態の要素のそれぞれは、必ずしも互いの縮尺比を保って示されてはいない。
1.全体構成
本実施形態の基本となるシステムとして、表示操作分離システム10が提供される。図1は本実施形態の表示操作分離システム10の全体構成を示す模式図である。表示操作分離システム10は、典型的には表示操作端末100と電子機器200を備えている。
本実施形態の基本となるシステムとして、表示操作分離システム10が提供される。図1は本実施形態の表示操作分離システム10の全体構成を示す模式図である。表示操作分離システム10は、典型的には表示操作端末100と電子機器200を備えている。
2.端末の構成
表示操作端末100は、端末受信部130、表示部110、タッチ操作入力部120、および端末送信部140を備えている。端末受信部130は、表示内容を示す表示信号132を少なくとも一つの電子機器200から受信する。表示部110は、表示信号132が示す表示内容を静止画および動画の少なくともいずれかまたはそれらの組み合わせによって使用者に呈示する表示エリア110aをもつ。静止画および動画の少なくともいずれかまたはそれらの組み合わせは、表示エリア110aにおいて視認されることが可能な画像、映像、テキストデータ、コンピュータグラフィック表示などの任意の表示情報を含む。タッチ操作入力部120は、使用者からのタッチ操作による入力を受け付け、タッチ操作信号を生成する。端末送信部140は、タッチ操作信号を含む操作入力信号142を電子機器200に送信する。なお、表示操作端末100の表示部110に表示される表示内容の典型例は、電子機器200にて表示されるべき表示内容や、表示されるべきであった表示内容と同一のものである。このような表示内容を別の機器の表示部にも呈示して多重化したり転送したりする機能は、従来の技術においてミラーリングと呼ばれるため、本出願でもその用語を用いる。
表示操作端末100は、端末受信部130、表示部110、タッチ操作入力部120、および端末送信部140を備えている。端末受信部130は、表示内容を示す表示信号132を少なくとも一つの電子機器200から受信する。表示部110は、表示信号132が示す表示内容を静止画および動画の少なくともいずれかまたはそれらの組み合わせによって使用者に呈示する表示エリア110aをもつ。静止画および動画の少なくともいずれかまたはそれらの組み合わせは、表示エリア110aにおいて視認されることが可能な画像、映像、テキストデータ、コンピュータグラフィック表示などの任意の表示情報を含む。タッチ操作入力部120は、使用者からのタッチ操作による入力を受け付け、タッチ操作信号を生成する。端末送信部140は、タッチ操作信号を含む操作入力信号142を電子機器200に送信する。なお、表示操作端末100の表示部110に表示される表示内容の典型例は、電子機器200にて表示されるべき表示内容や、表示されるべきであった表示内容と同一のものである。このような表示内容を別の機器の表示部にも呈示して多重化したり転送したりする機能は、従来の技術においてミラーリングと呼ばれるため、本出願でもその用語を用いる。
2-1.表示部
表示部110は、例えば有機ELディスプレイ(OLED)など、任意の表示デバイスであり、表示操作端末100における表示部110の表示エリア110aの詳細な仕様は種々の観点を加味して決定される。例えば、電子機器200が従来のものと同様のハードウェア仕様をもつスマートフォンである場合、そのサイズは常時携行に支障の無い範囲のものが一般的である。必然的に表示部210の表示エリア210aは小さくなり、例えば、対角152mm=6インチ程度が上限の目安となる。そのような電子機器200と組み合わせる場合に、表示操作端末100が十分なサイズをもつものであれば、電子機器200を単独で使用するよりも広く大きな表示容量(総画素数)の表示エリア110aをもつ表示部110を搭載できることとなって、表示部210のサイズに制約されることのない広い面積の表示をユーザーに提供することができる。このように、表示エリア110aのサイズは、ユーザーにとって電子機器200に加えて表示操作端末100を追加しようとすることについてのインセンティブとなる点で重要である。表示操作端末100の具体的サイズは、例えば257mm×182mmの矩形(日本におけるB5サイズであり、日本における単行本のサイズに近しい)であれば手にとって用いる機器における使いやすさをユーザーにもたらす。また、表示操作端末100を実施して製造する際には部品として採用される表示部の製造効率の観点も加味される。例えば、上記257mm×182mmに相当する面積を持ちディスプレイデバイスを効率的に生産できるサイズの一つが270mm×152mmの矩形(対角310mm=12.2インチ)である。このサイズは映画向けコンテンツの視聴に最適なものの一つである16:9の画面比率になっている。また、手にとって使用する際の保持の容易さよりも表示サイズお大きさを優先することも可能である。例えばA4またはレターサイズの紙面と同程度の表示部110を提供することも、紙面向け資料を参照する用途では有用である。ここに述べた利便性と製造効率のバランスの観点は、ユーザーが手に取るかを含めた想定する用途やユーザー層、または許容されるコストに応じ適宜に決定される。
表示部110は、例えば有機ELディスプレイ(OLED)など、任意の表示デバイスであり、表示操作端末100における表示部110の表示エリア110aの詳細な仕様は種々の観点を加味して決定される。例えば、電子機器200が従来のものと同様のハードウェア仕様をもつスマートフォンである場合、そのサイズは常時携行に支障の無い範囲のものが一般的である。必然的に表示部210の表示エリア210aは小さくなり、例えば、対角152mm=6インチ程度が上限の目安となる。そのような電子機器200と組み合わせる場合に、表示操作端末100が十分なサイズをもつものであれば、電子機器200を単独で使用するよりも広く大きな表示容量(総画素数)の表示エリア110aをもつ表示部110を搭載できることとなって、表示部210のサイズに制約されることのない広い面積の表示をユーザーに提供することができる。このように、表示エリア110aのサイズは、ユーザーにとって電子機器200に加えて表示操作端末100を追加しようとすることについてのインセンティブとなる点で重要である。表示操作端末100の具体的サイズは、例えば257mm×182mmの矩形(日本におけるB5サイズであり、日本における単行本のサイズに近しい)であれば手にとって用いる機器における使いやすさをユーザーにもたらす。また、表示操作端末100を実施して製造する際には部品として採用される表示部の製造効率の観点も加味される。例えば、上記257mm×182mmに相当する面積を持ちディスプレイデバイスを効率的に生産できるサイズの一つが270mm×152mmの矩形(対角310mm=12.2インチ)である。このサイズは映画向けコンテンツの視聴に最適なものの一つである16:9の画面比率になっている。また、手にとって使用する際の保持の容易さよりも表示サイズお大きさを優先することも可能である。例えばA4またはレターサイズの紙面と同程度の表示部110を提供することも、紙面向け資料を参照する用途では有用である。ここに述べた利便性と製造効率のバランスの観点は、ユーザーが手に取るかを含めた想定する用途やユーザー層、または許容されるコストに応じ適宜に決定される。
なお、表示部110は、有機ELディスプレイには限られず、液晶表示装置や、他の任意のディスプレイ部品を採用することができる。表示操作端末100では表示と入力、そしてそれらに関する通信以外に電力を消費する要素は少ない。このため、表示装置のために割り当てられる電力の比率は比較的高く、その点で表示部110の選択における制約は弱い。また、消費電力の小さい表示装置を選択すれば、電池など電源に割り当てる重量が小さくできたり、電池持続時間を延ばしたりすることができ、利便性が高まる。なお、本出願において、表示操作端末100の表示部110と電子機器200の表示部210のように互いに類似した機能の要素を機能上の違いに着目した名称で説明する場合に、互いに他から区別するために、それぞれに表示操作端末100を示す「端末」および電子機器200を示す「機器」との表現を明示して端末表示部110および機器表示部210と呼ぶことがある。他の要素についても同様である。
2-2.タッチ操作入力部
タッチ操作入力部120は、ユーザーが自らの意図を反映するために少なくともある程度限定した位置を特定して指先で入力することが可能な任意のタッチ式入力装置とすることができる。典型的には、静電容量方式、抵抗膜方式等の任意のタッチ入力方式を採用する。位置を特定する物体は、使用者の指先に加え、指の腹、導電処理したペン先、電磁誘導により動作するペンなどを含み、一以上の位置を同時に特定できるものであってもよい。タッチ操作入力部120のタッチ位置検知範囲は、典型的には、表示部110の表示エリア110aと一致しているか、表示エリア110aの外枠を外れた周辺部での入力を検知するために、表示エリア110aよりやや大きいサイズとされる。このように組合わされたタッチ操作入力部120と表示部110の外観は、タッチパネルとも呼ばれる表示装置と位置入力装置の統合デバイスのようなものとなり、例えば米国Apple社iPad(登録商標)製品群等のようなタブレット端末とも近しい構成要素が並ぶものとなる。表示エリア110aと一致しているタッチ操作入力部120は、ユーザーには存在が視認できないように光に対して透明な材質で作製されていたり、また、表示部110と一体化しているものを採用することが好ましい。タッチ操作入力部120からはタッチ操作信号が出力される。
タッチ操作入力部120は、ユーザーが自らの意図を反映するために少なくともある程度限定した位置を特定して指先で入力することが可能な任意のタッチ式入力装置とすることができる。典型的には、静電容量方式、抵抗膜方式等の任意のタッチ入力方式を採用する。位置を特定する物体は、使用者の指先に加え、指の腹、導電処理したペン先、電磁誘導により動作するペンなどを含み、一以上の位置を同時に特定できるものであってもよい。タッチ操作入力部120のタッチ位置検知範囲は、典型的には、表示部110の表示エリア110aと一致しているか、表示エリア110aの外枠を外れた周辺部での入力を検知するために、表示エリア110aよりやや大きいサイズとされる。このように組合わされたタッチ操作入力部120と表示部110の外観は、タッチパネルとも呼ばれる表示装置と位置入力装置の統合デバイスのようなものとなり、例えば米国Apple社iPad(登録商標)製品群等のようなタブレット端末とも近しい構成要素が並ぶものとなる。表示エリア110aと一致しているタッチ操作入力部120は、ユーザーには存在が視認できないように光に対して透明な材質で作製されていたり、また、表示部110と一体化しているものを採用することが好ましい。タッチ操作入力部120からはタッチ操作信号が出力される。
2-3.通信
表示操作分離システム10において表示操作端末100は、電子機器200と双方向の通信を行う。典型的には、表示操作端末100と電子機器200が無線通信により相互に接続される。このために電子機器200には、機器送信部240と機器受信部230が備わっている。端末受信部130は機器送信部240と、また端末送信部140は機器受信部230とそれぞれ通信を行う。ユーザーが表示操作端末100を使用している場合に表示部110に示される表示内容(表示コンテンツ)は、電子機器200から得られるものである。このため、表示操作端末100にて電子機器200からの表示コンテンツを表示し、表示操作端末100で何らかの操作を行う状況では、上記双方向の通信のうち、電子機器200から表示操作端末100への表示内容を示す表示信号132の転送を端末受信部130および機器送信部240が担い、その逆の表示操作端末100から電子機器200へ操作入力を伝える操作入力信号142の転送を端末送信部140および機器受信部230が担う。
表示操作分離システム10において表示操作端末100は、電子機器200と双方向の通信を行う。典型的には、表示操作端末100と電子機器200が無線通信により相互に接続される。このために電子機器200には、機器送信部240と機器受信部230が備わっている。端末受信部130は機器送信部240と、また端末送信部140は機器受信部230とそれぞれ通信を行う。ユーザーが表示操作端末100を使用している場合に表示部110に示される表示内容(表示コンテンツ)は、電子機器200から得られるものである。このため、表示操作端末100にて電子機器200からの表示コンテンツを表示し、表示操作端末100で何らかの操作を行う状況では、上記双方向の通信のうち、電子機器200から表示操作端末100への表示内容を示す表示信号132の転送を端末受信部130および機器送信部240が担い、その逆の表示操作端末100から電子機器200へ操作入力を伝える操作入力信号142の転送を端末送信部140および機器受信部230が担う。
これらの通信のために採用できる通信接続規約(通信プロトコル)は、例えばMiracast(またはWiDi)や、LTE Direct、Bluetooth(登録商標)(以下「BT」と記す)、BLE(Bluetooth(登録商標) Low Energy)、WiFi Direct(いずれも登録商標)を採用することができる。典型的には本実施形態におけるいずれの通信でもサーバーを利用しないP2P(Peer to Peer)通信を行う。ここに例示したものもP2P通信を行うためのものである。
2-4.双方向通信
本実施形態の表示操作分離システム10において、端末受信部130および機器送信部240間での表示信号132のための通信と、端末送信部140および機器受信部230間での操作入力信号142のための通信との両者においてプロトコルは互いに同一であってもよく、また異なっていてもよい。一般に、表示信号132のための通信に含まれる表示コンテンツの表示内容は画像や映像を含んでおり、データ量が多い。これに対し操作入力信号142のための通信はタッチ操作入力部120による入力データなどであり、データ量は少ない。このようなデータ量の違いを反映させるべく、表示信号132のための通信との操作入力信号142のための通信とのそれぞれために適切なプロトコルが別々に選択され組合わされるものでもよい。その結果、採用される各プロトコルが機器の相互の認証(ペアリング)の手続についての規定を含んでいるようなものであったとしても、本実施形態でのペアリングのためにその認証の手続を当該規定通りに実行することは必須ではない。例えば、電子機器200から表示操作端末100への表示信号132のための通信にあるプロトコルを採用する場合に、当該プロトコルでは双方向の通信が規定され相互認証ができるものであったとする。そのような場合であっても、本実施形態の表示操作分離システム10では、その相互認証ではなく、表示操作端末100から電子機器200への操作入力信号142のための通信に用いる別のプロトコルにおいて相互認証することもできる。
本実施形態の表示操作分離システム10において、端末受信部130および機器送信部240間での表示信号132のための通信と、端末送信部140および機器受信部230間での操作入力信号142のための通信との両者においてプロトコルは互いに同一であってもよく、また異なっていてもよい。一般に、表示信号132のための通信に含まれる表示コンテンツの表示内容は画像や映像を含んでおり、データ量が多い。これに対し操作入力信号142のための通信はタッチ操作入力部120による入力データなどであり、データ量は少ない。このようなデータ量の違いを反映させるべく、表示信号132のための通信との操作入力信号142のための通信とのそれぞれために適切なプロトコルが別々に選択され組合わされるものでもよい。その結果、採用される各プロトコルが機器の相互の認証(ペアリング)の手続についての規定を含んでいるようなものであったとしても、本実施形態でのペアリングのためにその認証の手続を当該規定通りに実行することは必須ではない。例えば、電子機器200から表示操作端末100への表示信号132のための通信にあるプロトコルを採用する場合に、当該プロトコルでは双方向の通信が規定され相互認証ができるものであったとする。そのような場合であっても、本実施形態の表示操作分離システム10では、その相互認証ではなく、表示操作端末100から電子機器200への操作入力信号142のための通信に用いる別のプロトコルにおいて相互認証することもできる。
2-5.さらなる改良
本実施形態の表示操作分離システム10は様々な適用用途や使用目的に対応することができる。このため、任意選択として、上述した構成に追加の構成や特徴を付与することができる。
本実施形態の表示操作分離システム10は様々な適用用途や使用目的に対応することができる。このため、任意選択として、上述した構成に追加の構成や特徴を付与することができる。
その一例が、データセキュリティの観点から採用される、いわゆるシンクライアントに近い構成である。すなわち電子機器200との接続が解除された後の表示操作端末100には、表示内容を再現できるような情報(データ)を保持しないという構成である。表示操作端末100は、通常の実装方法で作製する場合、それ自体を機能させるためのソフトウェア(プログラム)、オペレーティングシステム(OS)を用い、マイクロプロセッサ(図示しない)を動作させるコンピューティング機器として作製する。そのような場合、表示操作端末100も実装形態に合わせ不揮発性記録媒体を備えている可能性が高い。上述した表示信号132のための通信の無線通信が断続するリスクなども考えた場合には、そのような不揮発性記録媒体に通信内容を一時的に蓄積したりする構成が考えられる。しかし、表示操作端末100がユーザーの意図しないタイミングで秘匿すべき情報をそれ自体のみで再生するとセキュリティ上のリスクを伴う。このため、上述した不揮発性記憶媒体からは、表示内容が消去することが有用である。
本実施形態の表示操作分離システム10において、表示操作端末100には、例えばボタンなどの追加の指操作入力部をさらに備えていることが好ましい。この指操作入力部は、典型的には、使用者からの指による操作入力を受け付け、表示エリア110aから外れた位置に配置されている。このような指操作入力部による信号は、端末送信部140が送る操作入力信号の一部に含めて電子機器に送信されると有用である。特に組合わされる電子機器200が何らかの指操作入力部を実装したものである場合には、表示操作端末100における指操作入力部も同様の機能を果たすと有利である。さらに、表示エリア110aの一部にボタン要素を表示させ、同様の機能を持たせることも可能である。その場合にボタン要素に対する操作をユーザーが行うと、ボタン要素に対する操作であることを示す情報を伴うタッチ操作信号が生成され、操作入力信号の一部となって伝達される。
指操作入力部以外の追加の入力部も表示操作端末100に装備することも好ましい。例えば全体の向きやその変化を検知するセンサーを表示操作端末100に内蔵し、表示操作端末100全体の傾きを操作入力信号の一部に含めることもできる。全体を傾ければ、「進む」ことを意味するようにプログラムしておけば、ユーザーは頁単位で表示される表示コンテンツ(電子書籍など)を表示して表示操作端末100を片手で保持して閲覧している時にも頁送り操作を容易に行うことができる。さらには、表示操作端末100の全体が少なくとも部分的に可撓性を示すように作られている場合には、ユーザーが撓ませることを検知するセンサーを表示操作端末100に装備することも好ましい。ユーザーが操作端末100を撓ませることは、例えば頁送りに利用することもできる。また、好ましくは表示操作端末100には傾きまたは加速度を検知するセンサーを設けることができる。表示操作端末100がユーザーを傾けたことを検知して頁送りを行うことも、ユーザビリティーを一層向上させる点で有用である。
表示操作端末100の利便性を極大化するべく究極的な薄型の形状を実現する場合、多くの電子機器同様に電池の問題がつきまとう。本実施形態の表示操作分離システム10で採用される表示操作端末100も、ごく典型的には電池により動作させる。それ以外にも、使用される電力の一部または全部を、無線で電力接続される外部電源または外部電池によりまかなうことが有用である。無線での電力接続は、Qi(米国Wireless Power Consortium)などの非接触電力伝送技術により実用化されている。また、この電力接続を表示操作端末100の内蔵電池の充電のために利用することもできる。上述した外部電池は、表示操作端末100と電子機器200と互いに近接させて同時使用する用途では、操作端末100に装備されていて表示操作端末100の電力に加え、電子機器200の電力の全部または一部をまかなうようなものであってもよい。また、電子機器200に装備される電池を表示操作端末100にとっての外部電池として利用することもできる。さらに、表示操作端末100が無線での電力接続を利用するものであれば、表示操作端末100からコネクター類を削減したり排除したりできるため、防滴・防水といった利便性を高める設計が容易になり、無菌室に持込む際にアルコール消毒を受けるような使い方にも障害が少なくなる。
本実施形態の表示操作端末100では、端末表示部110が可撓性を示すものであると好ましい。可撓性がある表示部110は、例えばプラスティックフィルム基板を利用して作製される有機EL表示装置や液晶表示装置で実現できる。可撓性を持つ表示部110は、例えばガラス基板を利用したものに比べ一般に衝撃に強い。そのため、表示操作端末100の筐体に付与すべき表示部110の衝撃保護機能を簡略化でき、表示操作端末100の軽量化が可能となる。さらに、表示操作端末100の筐体自体も可撓性を付与し、例えば搭載される回路基板や電池などもそれに対応できるようなものとすることも有用である。可撓性をもつ表示操作端末100の筐体や表示部110に併せて例えばフレキシブル基板や可撓性を示すリチウムポリマー電池を採用すれば、表示操作端末100全体にある程度の可撓性や弾性を付与することができる。可撓性や弾性をもつ表示操作端末100は極めて手軽に利用できるものとなるため、ユーザーに極大化された利便性を提供することができる。
3.電子機器の構成
次に表示操作分離システム10において表示操作端末100と組み合わせて使用される電子機器200について説明する。電子機器200となりうるものを例示すれば、スマートフォン、ポータブルPC、タブレット端末、が典型である。これらは、単独である程度の可搬性が付与され、ユーザーによる直接の操作が予定され、それ自体が表示部(機器表示部)を持っている。これら以外に電子機器200となりうるものは、デスクトップPC、サーバーコンピュータなどである。電子機器200といいうるための要件は、コンピューティング機器であり、それ自体でユーザーに表示機能を提供し、ユーザーからの入力を受け付け、必要な通信機能を実装しているもの、といえる。以下、主に電子機器200としてスマートフォンを想定した説明を行うが、本実施形態の電子機器200はこれに限定されるものではない。
次に表示操作分離システム10において表示操作端末100と組み合わせて使用される電子機器200について説明する。電子機器200となりうるものを例示すれば、スマートフォン、ポータブルPC、タブレット端末、が典型である。これらは、単独である程度の可搬性が付与され、ユーザーによる直接の操作が予定され、それ自体が表示部(機器表示部)を持っている。これら以外に電子機器200となりうるものは、デスクトップPC、サーバーコンピュータなどである。電子機器200といいうるための要件は、コンピューティング機器であり、それ自体でユーザーに表示機能を提供し、ユーザーからの入力を受け付け、必要な通信機能を実装しているもの、といえる。以下、主に電子機器200としてスマートフォンを想定した説明を行うが、本実施形態の電子機器200はこれに限定されるものではない。
電子機器200のために既存のスマートフォンを用いる場合に、必要なハードウェア要件は、特別なものではない。上述した要件に加え、無線通信をするなら必要な通信プロトコルでの無線通信が可能であることといった要件が存在する程度である。表示操作分離システム10に採用される電子機器200はそれまで使用されているスマートフォンに比べむしろ制約が少ない面もある。例えば、電子機器200は極めて小型でもかまわない。表示や入力を表示操作端末100に任せることができれば表示部のサイズを利便性の点から拡大する必要はないからである。このため、電子機器200のために既存のスマートフォンを採用する場合には、表示操作端末100が十分なサイズであるなら、電子機器200のサイズをユーザビリティーの目的で大きくする要請が緩和されるという実用上の意義がある。ただし、本実施形態は、表示操作端末100と電子機器200のいずれかのサイズを特段限定するものでない。
なお、既存のスマートフォンやタブレット端末類に実装される機能のうちには、製造者が他者による拡張機能の実装を制限するためにプロテクトを設けているものがある(例:米国Apple社iOS搭載製品群)。そのようなプロテクトは本実施形態の実施上の本質的障害とはならない。当該製造者にとってプロテクトは解除可能無関係であり、またプロテクトはポリシーの変更により解除できるからである。このため、本実施形態の電子機器200のためにそのようなもプロテクトを実装しているものを採用することもできる。
4.システムの動作(概要)
次に本実施形態の表示操作分離システム10全体の構成および動作について動作について追加して説明する。表示操作分離システム10は、典型的には図1に示したように、表示操作端末100と電子機器200とを一台ずつ組み合せる1対1接続にて利用される。
次に本実施形態の表示操作分離システム10全体の構成および動作について動作について追加して説明する。表示操作分離システム10は、典型的には図1に示したように、表示操作端末100と電子機器200とを一台ずつ組み合せる1対1接続にて利用される。
4-1.1対1接続
1対1の接続において利用される場合、典型的には表示操作端末100は、電子機器200との組合せを、ある程度想定した状態で使用される。表示操作端末100と電子機器200を互いに接続する際に無線接続を行う場合、相互認証のための処理(ペアリングの処理)が必要となる。
1対1の接続において利用される場合、典型的には表示操作端末100は、電子機器200との組合せを、ある程度想定した状態で使用される。表示操作端末100と電子機器200を互いに接続する際に無線接続を行う場合、相互認証のための処理(ペアリングの処理)が必要となる。
表示操作分離システム10では、このペアリングの処理におけるユーザーの介入を最小化する自動スタートの機能を実装することが好ましい。図2は、こ無線通信を利用する表示操作端末100にこのような機能を実装する場合の構成を示す模式図である。表示操作端末100は上述した構成に追加して、自動スタートの機能のために、通信制御部162、ペアリング情報記録部164、電波強度検知部166を備えている。通信制御部162は、端末受信部130および端末送信部140による電子機器200との接続の確立および解除を制御する。ペアリング情報記録部164は、電子機器200を接続認証済み機器の一つとして登録するためのペアリング情報164aを格納する。ペアリング情報164aは、例えば、表示操作端末100を機能させるためのオペレーティングシステム上で管理されるファイルの形式に実装される。そして、電波強度検知部166は、端末受信部130に接続されて受信可能な種類の電波の強度を決定でき、端末受信部130による受信電波強度を示しうる検知信号166aを送出する。電波強度検知部166が検出するのは、電子機器200と表示操作端末100が通信接続を確立した後に接続を維持するのに支障があるかないかを示す電波強度である。この検出動作のため表示操作端末100は、例えば端末送信部140を通じて電子機器200を探索する信号を発し、それに応じた受信確認として電子機器200が発する電波を検出するなどの手法を採用することができる。
典型的には、表示操作端末100と電子機器200は、あらかじめペアリングを完了しており、表示操作端末100のペアリング情報164aには、電子機器200が接続認証済み機器として登録を済ませてある。ペアリング情報164aに登録されているのは、無線通信のためのペアリング情報一般であり、例えばMiracast、BT、NFCなど、通常それらのみの通信では最初にペアリングのために互いの認証情報を必要とするような任意の通信プロトコルのものである。そのような場合には通信制御部162は、電波強度検知部166からの検知信号166aに基づいて受信電波強度が所定の強度基準値より強いかどうかを判定する。十分な受信電波強度が得られている場合、通信制御部162は、端末受信部130および端末送信部140を制御して電子機器200との接続を確立させる。このような動作によって少なくとも一度ペアリングの処理を完了し登録を済ませている電子機器200が表示操作端末100にとって通信可能な状態になると、表示操作端末100は少ない手順で電子機器200との接続を確立することができ、ユーザーに高い利便性を提供することができる。
より詳細には、通信の接続確立を3段階で行う例が考えられる。最初の第1段階として、NFCにより電子機器200がごく接近していることを表示操作端末100が検出する。その時点では、端末受信部130による表示内容の受信はまだできない。NFCによる通信のためにはペアリング情報164aに格納されているNFCのためのペアリング情報が利用される。NFCでの接続が確立するためには機器が互いに接近している必要があるため、表示操作端末100による電子機器200の検出自体が電波強度検知部166の動作となる。次に第2段階として、NFCの接続確立を契機にしてMiracastでの接続を確立する。そのためにも、ペアリング情報164aに格納されているMiracastのためのペアリング情報が利用される。これにより、表示操作端末100は端末受信部130を通じて表示内容を示す表示信号132を受信できるようになる。さらに第3段階として、BTでの通信が確立される。その際にも、ペアリング情報164aに格納されているBTのためのペアリング情報が利用される。これにより、表示操作端末100はタッチ操作信号を含む操作入力信号142を端末送信部140により電子機器200に送信できるようになる。
図2に示した自動スタートの機能は、例えば表示操作端末100の電源が切られている状態から電源が投入される際にも実行される。ペアリング情報記録部164を不揮発性メモリーなどにより実装すれば、電源を切ってもその情報は保持される。
表示操作分離システム10では、複数の通信プロトコルをミラーリングのために使用することが好ましい。通信プロトコルには、伝送速度と、表示帯域によって定まる表示品質等と、到達距離と、消費電力との関係にトレードオフがみられることが多い。このため例えば、通信状態が良いときには表示品質を優先した通信プロトコルを採用し、逆に悪くなると、表示品質よりも到達距離を優先し通信確立が容易な通信プロトコルを採用することが有利である。そのような場合には、複数の通信プロトコルに接続を試行する順位を与えておくと実用性が高い。本実施形態では特に問題となるのが表示内容を伝送してミラーリングを行う通信チャネルであるため、表示操作端末100からみた場合の受信を主に対象にすることが好ましい。図3は、表示操作端末100に複数の通信プロトコルを実装してミラーリングをあらかじめ指定した試行順位に合わせてレベル分けして行う場合の構成を示す模式図である。そのような好適な構成の表示操作端末100は上述した構成に加えて、複数プロトコルによるレベル分けしたミラーリングの機能のために、受信制御部172、プロトコル別ペアリング情報記録部174、試行シーケンス設定部176を備えている。
受信制御部172は端末受信部130による電子機器200との受信接続の確立および解除を制御するように動作する。プロトコル別ペアリング情報記録部174は、複数の通信プロトコルそれぞれと対応させて電子機器200を接続認証済み機器の一つとして登録するためのプロトコル別ペアリング情報174aを格納している。そして、試行シーケンス設定部176は、表示信号の受信のための複数の通信プロトコルについて、各通信プロトコルの接続確立を試行する試行順位および試行時間を設定する試行シーケンス情報176aを格納している。ここで、端末受信部130は、電子機器200からの表示信号を複数の通信プロトコルにより受信しうるものである。さらに、受信制御部172は、プロトコル別ペアリング情報174aに接続認証済みと登録されている機器からの受信接続を確立しようとする試行処理を、通信プロトコルを切り替えながら実行する。その際、試行シーケンス設定部176の試行順位および試行時間に対応するような複数の通信プロトコルの順序および各通信プロトコルの待機時間が用いられる。典型的な場合、試行順位は、先に表示品質を優先したもの、後ろに通信確立が容易なもの、という順序で並べられる。
さらに、表示操作端末100と電子機器200とが無線通信に加え有線通信が可能なものである場合には、同様のミラーリングのレベル分けにおいて無線通信よりも優先される上位に有線通信を設定することが有利である。その場合、端末受信部130および端末送信部140のいずれかまたは双方がさらに有線通信により電子機器200と通信する。プロトコル別ペアリング情報174aは有線通信について電子機器を接続認証済み機器の一つとして登録している。そして、試行シーケンス設定部176が格納している試行シーケンス情報176aは、有線通信について試行順位を無線通信よりも上位の試行順位に定めている。有線通信では無線通信と異なり試行時間を定める必要は必ずしも無いため、必ずしも試行時間は設定されていなくてもよい。
加えて表示操作分離システム10では、有線通信を無線通信のために更に活用することも好ましい。無線通信のプロトコルにおいてペアリングのための手続はユーザーにとって比較的手間のかかる処理である。有線接続ではユーザーがその接続の行為をもって表示操作端末100と電子機器200の間での接続の意思を示すことができる。この有線通信の接続を契機に表示操作端末100と電子機器200とを無線通信でもペアリングされる組み合せとして登録してしまうことはユーザーの手間を省き高い利便性をもたらすものといえる。
図4は有線通信でペアリングの動作を行う表示操作分離システム10の構成を示す模式図である。図中の白抜き両矢印は有線通信による接続を確立した状態を示している。すなわち有線通信でペアリングの動作を行う表示操作分離システム10は、端末受信部130および機器送信部240が互いに有線通信により通信するものであるか、または、端末送信部140および機器受信部230が互いに有線通信により通信するものとされる。表示操作端末100は、端末受信部130および端末送信部140のいずれかによる電子機器200との接続の確立および解除を制御する端末通信制御部162を備える。また、端末ペアリング情報記録部164は、電子機器200を接続認証済み機器の一つとして登録するためのペアリング情報164aを格納する。そして、端末通信制御部162は、端末ペアリング情報記録部164に接続認証済み機器とは記録されていない電子機器200が端末送信部140または端末受信部130を通じて表示操作端末100に有線通信で接続された場合に、端末送信部140または端末受信部130を制御して表示操作端末100と電子機器200とを互いに認証する手順を実行させる。そして、電子機器200との接続が確立した後に電子機器200が接続認証済み機器であると端末ペアリング情報164aに登録される。
このような動作により、表示操作端末100は、一度電子機器200と有線接続された後にはペアリング済みの装置として電子機器200を認識し、無線通信の際に省略された手順で電子機器200との接続を確立することができる。
上述した有線通信のための機能や処理は、表示操作端末100に加えて、または表示操作端末100に代えて電子機器200側に実装することもできる。その場合の構成も図4に示すように、電子機器200が機器通信制御部262と機器ペアリング情報記録部264を備えている。機器通信制御部262は、機器受信部230および機器送信部240の双方による表示操作端末100との接続の確立および解除を制御する。機器ペアリング情報記録部264は、表示操作端末100を接続認証済み機器の一つとして登録するためのペアリング情報264aを格納する。機器通信制御部262は、機器ペアリング情報記録部264に接続認証済み機器とは記録されていない表示操作端末100が機器送信部240または機器受信部230を通じて電子機器に有線通信で接続された場合に機器送信部240または機器受信部230を制御して、電子機器200と表示操作端末100とを互いに認証する手順を実行させ、表示操作端末100との接続が確立した後に表示操作端末100が接続認証済み機器であると機器ペアリング情報264aに登録する。
これらの動作におけるソフトウェアによる動作は次のようになる。あらかじめ電子機器200に表示操作端末100との初期化設定を行うためのプログラム(初期化用アプリケーションプログラム)をインストールしておく。同様に表示操作端末100にも、電子機器200との初期化用アプリケーションプログラムをインストールしておく。そして、電子機器200と表示操作端末100が、例えばUSB(Universal Serial Bus)等の有線により接続される。この接続確立をきっかけに、表示操作端末100と電子機器200のそれぞれで初期化用アプリケーションプログラムを起動させる。両初期化用アプリケーションプログラムは互いに通信することによりペアリング用の初期化設定を完了させる。
表示操作分離システム10を使用する最も典型的な場面は、電子機器200があるユーザーの所有するスマートフォンであり、そのユーザーが自ら表示操作端末100を使用するという状況である。そのユーザーは、スマートフォンの表示部を拡大して得られる高い利便性を期待して表示操作端末100を利用するのである。電子機器200が特定のユーザーによる使用を前提としたものであれば、このような使用形態での表示操作端末100もそのユーザーのものである可能性が高い。そのような場合には、表示操作端末100と電子機器200は、同一の所在地で実質的に一人のユーザーにより使用される可能性が高く、結果、表示操作端末100と電子機器200を無線接続するのに加え、ケーブル類を用いることなく直接接続したいとも考えるであろう。図5は、このような直接接続を行う表示操作端末100と電子機器200の構造を示す模式図である。典型的な表示操作端末100の形状は、表示操作端末100が使用時において平板をなす形状をもち、表示操作端末100の端末表示部110は平板の厚みをなす両面の一方の面100aに沿って配置されている。そのような場合、表示操作端末100の両面のうちの他方の面100bに端末接続端子群150が設けられていると、その端末接続端子群150を利用した直接接続(有線接続)が可能となる。電子機器200では、端末接続端子群150と接続可能な機器接続端子群250がいずれかの面である接続面200cに設けられている。電子機器200は、端末接続端子群150と機器接続端子群250とが互いに接続された状態で表示操作端末100の他方の面100bに取り付けられる。こうして直接接続された場合には、有線接続の利点、すなわち、狭い空間で多数のユーザーが各人の表示操作端末100を同時に使用しても無線接続特有の混雑は問題にならず、高い転送レートも実現する。また、無線接続のためのペアリング用の初期化設定を有線接続を利用して実行するという処理(上述)を端末接続端子群150と機器接続端子群250の直接接続により行うことも可能となる。
4-2.画面
本実施形態の表示操作分離システム10では、ミラーリング動作の際の画面の表示を工夫することが好ましい。これは、表示操作端末100にミラーリングすることによって生じかねない種々の問題や無駄を軽減することができるためである。このような問題や無駄が生じるのは、典型的には電子機器200の表示内容が元来は電子機器200自体の機器表示部210に表示されることを予定しているにもかかわらず、基本的にそのまま表示操作端末100にて表示するためである。これに対処するための工夫の一つは、主に消費電力の観点からのものであり、もう一つは、電子機器200が音声通話機能を持つ場合に、表示操作端末100を活用するためのものである。
本実施形態の表示操作分離システム10では、ミラーリング動作の際の画面の表示を工夫することが好ましい。これは、表示操作端末100にミラーリングすることによって生じかねない種々の問題や無駄を軽減することができるためである。このような問題や無駄が生じるのは、典型的には電子機器200の表示内容が元来は電子機器200自体の機器表示部210に表示されることを予定しているにもかかわらず、基本的にそのまま表示操作端末100にて表示するためである。これに対処するための工夫の一つは、主に消費電力の観点からのものであり、もう一つは、電子機器200が音声通話機能を持つ場合に、表示操作端末100を活用するためのものである。
図6は、ミラーリング時に電子機器200にて電子機器200の機器表示部210の動作を制御する様子を示す模式図である。電子機器200は、機器表示部210を備えており、その機器表示部210は表示内容を使用者に呈示しうるものである。電子機器200は、上述した構成に加え、リモート入力受付部282と、動作制御部284とを備えている。リモート入力受付部282は、表示操作端末100の端末送信部140から送信され機器受信部230にて受信した操作入力信号を受け付ける。動作制御部284は、リモート入力受付部282からの信号に基づいて機器表示部210の省電力動作または停止動作への移行、またはいずれかの動作からの復帰を制御する。表示操作端末100は、電子機器200の機器表示部210の表示動作を省電力動作または停止動作させるべきことについての判断を促す設定プロンプト112を追加表示内容として表示内容に重ねて端末表示部110に表示させる。そして、設定プロンプト112に対し使用者からタッチ操作入力部120が受け付けた省電力動作または停止動作させるべきことを示す設定結果の入力を含む操作入力信号を、端末送信部140を通じて送信するように表示操作端末100が動作する。電子機器200の動作制御部284は、機器受信部230を通じリモート入力受付部282が操作入力信号を受信すると、設定結果を含む操作入力信号に基づいて機器表示部210を省電力動作または停止動作に移行させるように動作する。
図7は、電子機器200がスマートフォン等であり音声通話機能を提供するものである場合に、音声通話中にも表示操作端末100を活用するための構成を示す模式図である。電子機器200は、上述した構成に追加して、機器表示部210、音声通話処理部202、機能管理制御部204、およびリモート入力受付部282を備えている。機器表示部210の表示内容を電子機器200の使用者に呈示することができる。機能管理制御部204は、使用者が音声通話するための音声通話機能を提供する話中の期間に動作される。この機能管理制御部204は、音声通話処理部を含む電子機器自体の機能処理部を選択的に起動、休止、または停止させるために使用される。機能管理制御部204は、機器表示部210の表示内容の制御も実行する。電子機器200を単独のスマートフォンの音声通話に使うためには、通常は、機器表示部210には、電子機器200をユーザーが直接口と耳にあてがう前またはその途中に、ダイヤラー画面(音声通話用画面)を表示して音声通信のための動作をおこなう。例えばコール動作のための相手先選択画面を表示し、呼び出しボタンからコール動作への遷移を受け付けたり、相手方からコールされた場合には、アドレス帳データの相手方の情報を提示したり、単に通知された番号を表示する。そして例えば近接センサー(図示しない)でユーザーの顔に近付けられたことを検知すると、画面が暗転されたりする。ユーザーがマイクロフォンつきイヤホンセットで通話をする場合には、ダイヤラー画面をそのまま表示しつづけることも行われる。いずれにしても、電子機器200を単独で使用すると、通常、音声通話のみに適した表示がなされる。これに対し、図7に示す表示操作分離システム10では、電子機器200に端末送信部140から送信され機器受信部230にて受信した操作入力信号を受け付けるリモート入力受付部282が備わっている。この場合、音声通話処理部202を動作させる話中の状態において、機器表示部210の表示内容は、典型的には、音声通話処理部202の起動時に呈示される音声通話用画面を表示する直前の音声通話用画面を含まない画面のものに戻すか、または操作の既定画面であるホーム画面のものにするか、のいずれかとなるように機能管理制御部204によって制御される。この表示内容は、表示操作端末100にもミラーリングされているので、端末表示部110にて当該表示内容が呈示される。表示操作端末100の使用者がタッチ操作入力部120に入力することによりタッチ操作入力部120が出力した操作入力信号は、端末送信部140、機器受信部230を経由してリモート入力受付部282で受け付けられる。この操作は、通話開始前の音声通話用画面を含まない画面であるか、ホーム画面に対するユーザーの入力であるので、ユーザーは、音声通話用画面を見る必要はなくなり、表示操作端末100のサイズを生かした利便性を音声通話中にも享受することができる。この用途での電子機器200の使用者は、典型的には表示操作端末100の使用者と同一人物であるため、その人物は、通話中に、例えば電子機器200に保存されている通話内容に関係する情報や関係しない情報の資料データを、表示操作端末100の大きな表示部110で閲覧することができる。
4-3.入力
本実施形態の表示操作分離システム10では、たとえ電子機器200が小型のものであったとしても、表示操作端末100のサイズを生かした利便性をユーザーが享受することができる。その一例が表示操作端末100の表示部110およびタッチ操作入力部120のサイズを生かしたタッチ式キーボードである。正確な数値の入力といったキーボード操作を行うためには、表示画面にソフトウェアによってキーボードのキー配列を表示し、タッチ操作による入力をキー入力に見立てるタッチ式キーボードは有用である。
本実施形態の表示操作分離システム10では、たとえ電子機器200が小型のものであったとしても、表示操作端末100のサイズを生かした利便性をユーザーが享受することができる。その一例が表示操作端末100の表示部110およびタッチ操作入力部120のサイズを生かしたタッチ式キーボードである。正確な数値の入力といったキーボード操作を行うためには、表示画面にソフトウェアによってキーボードのキー配列を表示し、タッチ操作による入力をキー入力に見立てるタッチ式キーボードは有用である。
図8は、本実施形態の表示操作分離システム10においてタッチ式キーボードを表示操作端末100に表示する場合の構成を示す模式図である。電子機器200は、上述した構成に加え、機器表示部210、カーソル制御部212、入力制御部222、そしてリモート入力受付部282を備えている。機器表示部210は、表示内容を使用者に呈示する。カーソル制御部212は、入力位置を示す入力カーソルを機器表示部210の表示内容に含まれる入力可能欄210bに表示させる。入力制御部222は、機器表示部210にて入力位置への入力表示内容を制御する。リモート入力受付部282は表示操作端末100の端末送信部140から送信され機器受信部230にて受信した操作入力信号を受け付ける。表示操作端末100はタッチキーボード制御部122を備えている。タッチキーボード制御部122は、タッチ操作入力部120からのタッチ操作信号からキーコードを含む入力キー信号を生成する。さらにタッチキーボード制御部122は、端末表示部110において使用者に呈示されたキーボード画像に含まれるキーのうち、キーの入力に対応するタッチ入力操作がされたキーに対する位置をタッチ操作信号が示す場合に、少なくともそのキーのキーコードを示す入力キー信号を出力する。端末送信部140は、タッチキーボード制御部122からの入力キー信号またはその入力キー信号に対応する入力キーデータを操作入力信号に含めて送信する。機器受信部230が端末送信部140からの操作入力信号を受信し、リモート入力受付部282は、入力キー信号または対応する入力キーデータを含む操作入力信号を受け付ける。カーソル制御部212および入力制御部222は、リモート入力受付部282からの入力キー信号または入力キー信号に対応する入力キーデータが示すキーコードに基づいて、当キーコードが示すキーが押下された場合に生じるべき表示上の変化を入力カーソルに対応する入力可能欄210bでの表示内容に反映させる。この表示上の変化は、典型的には、文字入力されたキーの表示、バックスペースキー、エンターキー、ESCキーによる操作表示内容の消去、入力の確定や肯定入力、キャンセルや、その結果としての画面の遷移などを含む。また、ここでのキーコードが生成される操作は、いわゆるQWERTYキーなどのアルファベットや記号の入力に加え、数値キーのみを表示しての数値入力、いわゆる携帯キー入力やフリック入力等のような、キー押下に相当するタッチ回数やキータッチ後の指のアクションを検知するものも含む。
特に電子機器200における入力可能欄210bがタッチキーボードによる入力を想定していない場合において、表示操作端末100にはさらに工夫がなされると好ましい。具体的には、カーソルを手がかりに表示を拡大する処理を表示操作端末100が行えば、利便性の向上が図れる。このような構成の表示操作端末100は、上述した構成に加え、表示制御部114およびカーソル探索部116を備えている。表示制御部114は表示内容を端末表示部110にて使用者に呈示する際の表示位置および拡大率を制御する。カーソル探索部116は、表示内容に含まれる入力カーソルを探索し、入力カーソルの位置を示すカーソル位置信号を出力する。表示制御部114は、カーソル探索部116からのカーソル位置信号が示す入力カーソルの表示内容における位置が、キーボード画像110bと重ならない位置になるよう相対的表示位置を制御する。例えば、表示エリア110a上において、キーボード画像110bのすぐ上方110cに入力カーソルが位置するように画面の全体をシフトする。このシフトは、画像データを一時的に蓄積するフレームメモリー(図示しない)の読み出しアドレスをシフトすることにより容易に実行することができる。さらに、必要に応じ、表示制御部114は、入力カーソルを含む近傍の表示内容を拡大して表示する。このようなタッチ式キーボードによる入力を補助する機能を用いることにより、たとえ電子機器200における表示内容が機器表示部210による表示を前提としているものであっても、表示操作端末100のサイズを生かした入力を行うことができ利便性が高い。
4-4.コンテンツ
本実施形態の表示操作分離システム10は、電子機器200から表示操作端末100への表示コンテンツの送信の機能の利便性をさらに高めることもできる。これまでの説明においては電子機器200の表示内容を基本的にそのまま表示操作端末100にミラーリングする構成を説明してきた。しかし、実際の使用場面となると、電子機器200の電源持続時間に問題が生じたり、無線通信自体が何らかの障害を受けたり、制限されたりする事態が生じうる。このような場合には、閲覧または視聴のための表示コンテンツを、ユーザーがひとまとまりにあつかうサイズのコンテンツ(単位コンテンツと呼ぶ)を単位として、表示操作端末100の使用のタイミングより前に電子機器200からその単位分だけ転送することが好ましい。この単位コンテンツは、典型的にはコンピュータファイル1つである。図9は単位コンテンツのために用いられる表示操作分離システム10の構成を示す模式図である。そのような工夫のために表示操作分離システム10では、電子機器200が機器コンテンツ記録部292をさらに備え、表示操作端末100が、端末コンテンツ記録部192をさらに備えていると好ましい。機器コンテンツ記録部292、端末コンテンツ記録部192は、ともに閲覧または視聴の単位となる単位コンテンツの全体を格納可能なものである。電子機器200は、機器コンテンツ記録部292に格納しているある単位コンテンツ全体を、接続を確立した表示操作端末100に機器送信部240を通じ送信する。表示操作端末100は、送信された単位コンテンツの全体を端末受信部130を通じて受信し、端末コンテンツ記録部192に格納する。無線通信は、単位コンテンツ全体の送受信が完了した後に、電子機器200および表示操作端末100のいずれかまたは両方の側から互いの接続を解除することによって停止される。これにより表示操作端末100は、電子機器200との接続が解除された後に、端末コンテンツ記録部192に格納された単位コンテンツのうちの表示に関する内容を端末表示部110に表示することができる。なお上述した無線接続の解除は、少なくとも一時的に解除することを意味しており、その後再度接続が確立される可能性が残されている。
本実施形態の表示操作分離システム10は、電子機器200から表示操作端末100への表示コンテンツの送信の機能の利便性をさらに高めることもできる。これまでの説明においては電子機器200の表示内容を基本的にそのまま表示操作端末100にミラーリングする構成を説明してきた。しかし、実際の使用場面となると、電子機器200の電源持続時間に問題が生じたり、無線通信自体が何らかの障害を受けたり、制限されたりする事態が生じうる。このような場合には、閲覧または視聴のための表示コンテンツを、ユーザーがひとまとまりにあつかうサイズのコンテンツ(単位コンテンツと呼ぶ)を単位として、表示操作端末100の使用のタイミングより前に電子機器200からその単位分だけ転送することが好ましい。この単位コンテンツは、典型的にはコンピュータファイル1つである。図9は単位コンテンツのために用いられる表示操作分離システム10の構成を示す模式図である。そのような工夫のために表示操作分離システム10では、電子機器200が機器コンテンツ記録部292をさらに備え、表示操作端末100が、端末コンテンツ記録部192をさらに備えていると好ましい。機器コンテンツ記録部292、端末コンテンツ記録部192は、ともに閲覧または視聴の単位となる単位コンテンツの全体を格納可能なものである。電子機器200は、機器コンテンツ記録部292に格納しているある単位コンテンツ全体を、接続を確立した表示操作端末100に機器送信部240を通じ送信する。表示操作端末100は、送信された単位コンテンツの全体を端末受信部130を通じて受信し、端末コンテンツ記録部192に格納する。無線通信は、単位コンテンツ全体の送受信が完了した後に、電子機器200および表示操作端末100のいずれかまたは両方の側から互いの接続を解除することによって停止される。これにより表示操作端末100は、電子機器200との接続が解除された後に、端末コンテンツ記録部192に格納された単位コンテンツのうちの表示に関する内容を端末表示部110に表示することができる。なお上述した無線接続の解除は、少なくとも一時的に解除することを意味しており、その後再度接続が確立される可能性が残されている。
本実施形態の表示操作分離システム10は、扱うコンテンツが静止画を主体とするものである場合には、さらに工夫をすることができる。なおこの静止画を主体とするコンテンツの例としては、例えば複数頁をもつ閲覧用文書ファイルや電子書籍のファイル、ウエブページ、ツイッター(登録商標)画面、テキストメッセージアプリケーションプログラム画面、メールメッセージの画面、を挙げることができる。この場合にも電子機器200の電源持続時間の問題や、無線通信自体の障害や制限、に対応しつつ画像コンテンツを快適に閲覧することができれば、利便性が高まる。図9は画像コンテンツのために用いられる表示操作分離システム10の構成も示す。そのような構成において、電子機器が機器画像コンテンツ記録部294を、表示操作端末が端末画像コンテンツ記録部194を、それぞれ備えている。機器画像コンテンツ記録部294および端末画像コンテンツ記録部194は、複数の画像を含む画像コンテンツの少なくとも一の画像を格納可能なものである。
電子機器200は、機器画像コンテンツ記録部294に格納している画像コンテンツの複数の画像のうちの一以上の画像を、接続を確立した表示操作端末100に対し機器送信部240を通じて送信する。表示操作端末100は、送信された画像コンテンツの複数の画像のうち接続が解除されるまでに送信された一以上の画像を、端末受信部130を通じて受信し端末画像コンテンツ記録部194に格納する。そして電子機器200および表示操作端末100は、一以上の画像の送受信が完了した後に、いずれかまたは両方の側から互いの接続を解除する。表示操作端末100は、電子機器200との接続が解除された後に、端末コンテンツ記録部192に格納された最新の画像を端末表示部110に表示することができる。
4-5.多様な接続形態
本実施形態の表示操作分離システム10は、個人ユーザーが所有する電子機器200を同一の個人ユーザーが所有する表示操作端末100を通じて使用する場合には上述した電子機器の数と表示操作端末の数がともに1台である場合が典型である。しかし本実施形態は必ずしも各1台の電子機器と表示操作端末という組合せに限定されず、多様な接続形態により高い利便性を提供することができる。その一つは、電子機器の数を1台、表示操作端末の数を2台以上、とするものであり、他の一つは電子機器の数を2台以上、表示操作端末の数を1台とするものである。なお、本出願を通じ表示操作分離システム10に関する記載は、明示のない限り、以下に説明する表示操作分離システム12、14(図10および図11)も同時に説明する記載の一部をなすものとする。
本実施形態の表示操作分離システム10は、個人ユーザーが所有する電子機器200を同一の個人ユーザーが所有する表示操作端末100を通じて使用する場合には上述した電子機器の数と表示操作端末の数がともに1台である場合が典型である。しかし本実施形態は必ずしも各1台の電子機器と表示操作端末という組合せに限定されず、多様な接続形態により高い利便性を提供することができる。その一つは、電子機器の数を1台、表示操作端末の数を2台以上、とするものであり、他の一つは電子機器の数を2台以上、表示操作端末の数を1台とするものである。なお、本出願を通じ表示操作分離システム10に関する記載は、明示のない限り、以下に説明する表示操作分離システム12、14(図10および図11)も同時に説明する記載の一部をなすものとする。
図10は、本実施形態において電子機器の数を1台、表示操作端末の数を2台以上とする場合の動作の典型例を示す模式図である。この動作は、図10に示すように、電子機器の数を1台とし表示操作端末を2台とした表示操作分離システム12で説明される。この二つの表示操作端末(第1表示操作端末100A、第2表示操作端末100B)は、ともにこれまで説明してきた表示操作端末100と同様の特徴を備えることができる。電子機器200の機器送信部240は、第1表示操作端末100Aと第2表示操作端末100Bとの双方に共通した表示内容を示す共通表示信号を、第1表示操作端末100Aに対する表示信号と第2表示操作端末100Bに対する表示信号とのそれぞれに含めて送信する。電子機器200の機器受信部230は、第1表示操作端末100Aおよび第2表示操作端末100Bそれぞれからの操作入力信号を互いに区別して受信するものである。このような構成を取ることにより、第1表示操作端末100A、第2表示操作端末100Bの双方において電子機器200ための表示内容を確認することができ、さらに双方から電子機器200に対する入力操作を行うことができる。
この際、電子機器200にとっての入力を、第1表示操作端末100A、第2表示操作端末100Bのどちらから入力される内容とするかを設定することも有用である。すなわち、電子機器200は、上述した構成に加え、機器入力受付部286、リモート入力受付部282、および機器表示制御部288を備えている。機器入力受付部286は、使用者からの操作入力を受け付ける。リモート入力受付部282は、第1および第2表示操作端末100A、100Bから機器受信部230を経由し受信した操作入力信号を受け付ける。そして、機器表示制御部288は機器入力受付部286およびリモート入力受付部282からの信号に基づいて機器表示部にて呈示する追加表示内容を制御する。機器受信部230は、第1および第2表示操作端末100Aおよび100Bを区別して受信動作を行えるようになっている。機器表示制御部288は、第1表示操作端末100Aと第2表示操作端末100Bのとのいずれからの操作入力信号を受け付けるべきかを選択するための選択プロンプト288aを追加表示内容として表示内容に重ねて機器表示部210に表示させるものであり、機器入力受付部286は、電子機器の使用者からの選択結果の入力を受け付けるようになっている。機器入力受付部286は、例えばタッチ操作入力部220からのタッチ入力による信号を受け付ける。それ以降、リモート入力受付部282は、選択結果に応じ、第1表示操作端末100Aと第2表示操作端末100Bとのいずれかからの操作入力信号を選択的に受け付けるように動作する。
次に他の一つの接続形態である電子機器の数を2台以上、表示操作端末の数を1台とするものについて説明する。図11は、電子機器の数を2台以上、表示操作端末の数を1台とする表示操作分離システム14の構成を示す模式図である。第1電子機器200Aと第2電子機器200Bは、ともに上述した電子機器200の各特徴を備えている。表示操作端末100の端末受信部130は、第1電子機器200Aの表示内容である第1表示内容と第2電子機器200Bの表示内容である第2表示内容とを互いに区別して受信するようになっており、端末表示部110は第1表示内容と第2表示内容とを表示する。タッチ操作入力部120は、第1表示内容と第2表示内容とのいずれに対する入力であるかがタッチ位置から判別可能であり、それに応じたタッチ操作信号を生成する。端末送信部140は、タッチ操作信号を含む操作入力信号を、端末表示部110にて表示されている第1表示内容に対応している第1操作入力信号と、端末表示部にて表示されている第2表示内容に対応している第2操作入力信号とを互いに区別可能なようにして、第1電子機器200Aおよび第2電子機器200Bそれぞれに向けて送信するようになっている。
5.用途
5-1.発展性
本実施形態にて説明した表示操作分離システム10、12、14は、極めて汎用性が高く、既存のコンピューティング機器との連携も容易である。その結果表示操作分離システム10は極めて多様な用途に適用することができる。その用途を想定するために考慮されるのは表示操作分離システム10にて提案される構成が今後も引き続き改良され進化しうる点である。具体的には本発明者らは、表示操作分離システム10は概ね三段階の進歩によりシステムが進化し続けるものと考えている。第1は、表示操作端末100のハードウェアそのものの進歩、第2は、表示操作端末100のコンセプトを生かしたハードウェアの素材による進歩である。第3は、表示操作分離システム10、12、14のコンセプトを実現するソフトウェアの進歩である。
5-1.発展性
本実施形態にて説明した表示操作分離システム10、12、14は、極めて汎用性が高く、既存のコンピューティング機器との連携も容易である。その結果表示操作分離システム10は極めて多様な用途に適用することができる。その用途を想定するために考慮されるのは表示操作分離システム10にて提案される構成が今後も引き続き改良され進化しうる点である。具体的には本発明者らは、表示操作分離システム10は概ね三段階の進歩によりシステムが進化し続けるものと考えている。第1は、表示操作端末100のハードウェアそのものの進歩、第2は、表示操作端末100のコンセプトを生かしたハードウェアの素材による進歩である。第3は、表示操作分離システム10、12、14のコンセプトを実現するソフトウェアの進歩である。
第1のハードウェアそのものの進歩は、薄型・軽量化、大画面化、省電力化といった、一般的に指向されるハードウェアの発展の方向性に沿ったものをいう。これらは従来のコンピューティング機器においても現実的な制約の中で一般的に指向されている。しかし本実施形態の表示操作分離システム10では、表示操作端末100の電力消費をみた場合、表示およびタッチ入力機能と、それらを通信するための機能のためのもの以外は無視できる程度である。したがって、薄型にしたり軽量にしたりするための電池まで含めた構成は従来に比してはるかに対処しやすい。つまり同じ技術レベルであっても、薄型化や軽量化といった目的が容易に達成されるのが表示操作分離システム10の大きな利点である。
第2は、表示操作端末100のコンセプトを生かしつつ、例えば柔らかい素材や防水機能と入った素材の進化を取り入れることができる点である。表示とタッチ入力そしてそれらの通信と限定された要素によって構成される表示操作端末100では、素材の進化の際に制約となったり要求される技術項目が少ない。結果、素材の進化の恩恵をいち早く受けることができる表示操作端末100は、具体的な実施時の製品の魅力を高めやすいものとなる。
第3のソフトウェアの進化は、表示操作分離システム10の使用場面にこれまでに無い用途を加えることになる。例えば、表示操作端末100は単一の表示部110を備える構成により説明したが、例えば2画面などの複数の画面を利用することも有用である。さらにスマートフォンのために提供されているゲームなどエンタテイメントの分野では、ユーザー体験に画面サイズの違いによる決定的な差が生じる。
5-2.用途例:学習ツール/高齢者向け/病院向け
上記第1~第3の進化を組み合わせることにより、従来は対象とならなかった新たな、ユーザーのニーズに応える用途も開拓することができる。たとえば家庭では親子が一緒に操作する端末として、または学校まで含めれば子どもの学習ツールが開発できるであろう。例えば小型の表示装置では、従来は文字を大きく表示した場合に表示内容を削減せざるをえなかったのに対し、本実施形態を利用したものでは、直観的な操作を可能としたままでより大きな画面を採用することができ、表示内容の削減を最小化することができる。この特徴は子どもばかりでなく高齢者向けにも有用であろう。さらに、IT機器の使いこなしや重いタブレットやPCに障壁を感じることがある方々も、本実施形態を利用する機器を利用すれば、容易に情報コンテンツにアクセスすることができる。また、筐体表面や表示部110表面がアルコール消毒可能な材料で製造されていれば、ポータブルPCを持ち込めない環境(無菌室など)に医学的理由で隔離される患者なども情報コンテンツを利用することができるようになる。
上記第1~第3の進化を組み合わせることにより、従来は対象とならなかった新たな、ユーザーのニーズに応える用途も開拓することができる。たとえば家庭では親子が一緒に操作する端末として、または学校まで含めれば子どもの学習ツールが開発できるであろう。例えば小型の表示装置では、従来は文字を大きく表示した場合に表示内容を削減せざるをえなかったのに対し、本実施形態を利用したものでは、直観的な操作を可能としたままでより大きな画面を採用することができ、表示内容の削減を最小化することができる。この特徴は子どもばかりでなく高齢者向けにも有用であろう。さらに、IT機器の使いこなしや重いタブレットやPCに障壁を感じることがある方々も、本実施形態を利用する機器を利用すれば、容易に情報コンテンツにアクセスすることができる。また、筐体表面や表示部110表面がアルコール消毒可能な材料で製造されていれば、ポータブルPCを持ち込めない環境(無菌室など)に医学的理由で隔離される患者なども情報コンテンツを利用することができるようになる。
5-3.用途例:ビジュアルガイド
さらに、表示操作分離システム12および14(図10および図11)のような表示操作端末100と電子機器200の少なくともいずれかが複数であるシステムにおいては、その利点を生かした新たな用途も視野に入ってくる。その一つが美術館・博物館等におけるビジュアルガイドである。現在多くの美術館・博物館等では音声ガイドが用いられている。これは個別の観覧者にイヤホンを通して各展示物の解説音声が提供するものである。同様の用途での解説コンテンツを静止画のみならず動画を含めたビジュアルな画像・映像によって提供することができれば、目の前の展示物に対する知識を補足するためのより印象深い情報を提供することができる。画像や映像を使う表示ならではの情報の例としては、拡大して視認できる微細な構造の顕微鏡像や展示状態では確認できない内部構造を示す画像などを挙げることができる。さらに、インタラクティブなアンケートを実施することや学習プログラムを動作させる、といった極めて多様な体験も提供することができる。その場合、多数展示されている展示物の前を次々に回遊する観覧者が、自らの興味に従い各自のタイミングでコンテンツを起動する。このための電子機器200は、個別の第1表示操作端末100A、第2表示操作端末100B等に適切なタイミングで表示内容を配信する、ストリーミング配信のような様な動作が好ましい。その場合には、図9に示した、単位コンテンツを第1表示操作端末100Aに一時保存する等の技術を適用することにより、より多数の表示操作端末を利用することができるであろう。
さらに、表示操作分離システム12および14(図10および図11)のような表示操作端末100と電子機器200の少なくともいずれかが複数であるシステムにおいては、その利点を生かした新たな用途も視野に入ってくる。その一つが美術館・博物館等におけるビジュアルガイドである。現在多くの美術館・博物館等では音声ガイドが用いられている。これは個別の観覧者にイヤホンを通して各展示物の解説音声が提供するものである。同様の用途での解説コンテンツを静止画のみならず動画を含めたビジュアルな画像・映像によって提供することができれば、目の前の展示物に対する知識を補足するためのより印象深い情報を提供することができる。画像や映像を使う表示ならではの情報の例としては、拡大して視認できる微細な構造の顕微鏡像や展示状態では確認できない内部構造を示す画像などを挙げることができる。さらに、インタラクティブなアンケートを実施することや学習プログラムを動作させる、といった極めて多様な体験も提供することができる。その場合、多数展示されている展示物の前を次々に回遊する観覧者が、自らの興味に従い各自のタイミングでコンテンツを起動する。このための電子機器200は、個別の第1表示操作端末100A、第2表示操作端末100B等に適切なタイミングで表示内容を配信する、ストリーミング配信のような様な動作が好ましい。その場合には、図9に示した、単位コンテンツを第1表示操作端末100Aに一時保存する等の技術を適用することにより、より多数の表示操作端末を利用することができるであろう。
5-4.用途例:会議用端末
本実施形態が有効に実施される別の用途が会議用端末である。従来ビジネスの様々な場面における会議のために印刷物により資料が配付されることが行われている。しかし現在においてはほとんどの資料が電子的に作成されており、それを一度限りの会議のために印刷物にて配布することは無駄が多い。他方で作成した電子的な資料がそのまま電子媒体により配布されないのは秘密管理が難しく情報漏洩のリスクなどが問題になることが多いためである。図10に関連し説明した本実施形態の電子機器の数を1台とし表示操作端末を2台以上とした表示操作分離システム12を採用すれば、電子的な資料をそのまま用いる利点と、情報の秘密管理の容易さとを両立することができる。
本実施形態が有効に実施される別の用途が会議用端末である。従来ビジネスの様々な場面における会議のために印刷物により資料が配付されることが行われている。しかし現在においてはほとんどの資料が電子的に作成されており、それを一度限りの会議のために印刷物にて配布することは無駄が多い。他方で作成した電子的な資料がそのまま電子媒体により配布されないのは秘密管理が難しく情報漏洩のリスクなどが問題になることが多いためである。図10に関連し説明した本実施形態の電子機器の数を1台とし表示操作端末を2台以上とした表示操作分離システム12を採用すれば、電子的な資料をそのまま用いる利点と、情報の秘密管理の容易さとを両立することができる。
その際には、例えば電子機器200が比較的高機能なコンピュータ機器であり、電子機器200の資料ファイルを同時に2台以上の表示操作端末100A、100Bに閲覧させることができる。各ユーザーが同時に表示操作端末100A、100Bで一つのファイルの別々の頁を閲覧することも、マルチユーザーを前提とするサーバー用オペレーティングシステムを電子機器200が採用していれば特段支障は無い。さらに、同様に電子機器200と2台以上の表示操作端末100A、100Bを採用していても、表示操作端末100A、100Bの表示を完全に同一とすることもできる。そのような場合、表示操作端末100A、100Bの間で閲覧している対象ファイルに入力すれば、情報を共有することが可能となり、互いが書き込める白板を模した用途を各ユーザーが各自着席したまま利用することができる。
さらに、情報管理の観点で特に好ましくは、表示内容のデータを再現可能な形では保持しないシンクライアントの構成によって情報漏洩のリスクを極小化することができる。加えて、会議用端末においても、例えば採決を取る作業の補助にも使用することができるであろう。
5-5.用途例:テーブル形ミラーリング端末
本実施形態の汎用性は極めて高く、表示操作分離システム10、12、14の用途は上述した手持ち機器のみに限定されるものではない。例えば近時の大型・高精細表示装置の一般化により、複数の電子機器の表示を一つの表示装置に同時に表示しても十分に高品質な表示を実現できる。例えば複数のユーザーが持ち寄る各自のスマートフォンを一つの表示装置に表示することも現実的である。例えばテーブル型で各自が各辺に対向して着席し、テーブルトップを共有するような使用者に対して、そのテーブルトップの一部または全部に表示装置を配置するようなテーブル一体型の端末(「テーブル形ミラーリング端末」と呼ぶ)も考えられる。その場合、各自の座る位置へ、自分のまたは他人の画面を移動したり、また互いに内容を見せ合うために、画面を自在に180度反転したりすることができる。このようにテーブル形ミラーリング端末で使用者の操作で画像の表示位置や向き、順序や組合せを設定することができれば、ユーザーは、単に表示を共有するだけでなく、各自のスマートフォンの画面を好みの着席位置から参照したり他者に見せたりでき、議論などが容易になる。さちに、複数人数でパーティやイベントに参加した後、各自が撮影した動画や写真を動画面で閲覧したり、スマートフォンの操作を通じて動画や写真ファイルを送りあったり、といった体験の振り返りや周知が、集合したその場所で可能となる。また、ユーザーが自分のスマートフォンに収められている、画像データや文章データなどを、他のユーザーに提示することで、自らの体験を通常のスマートフォン操作の中で可能となる。各自のスマートフォンにて、同じゲームアプリケーションを動作させることで、複数のユーザーで一緒にゲームをおこなうころが可能となる。テーブル形ミラーリング端末の用途でも、シンクライアントの構成は有用である。例えばデータをストアする機能を持たなければ、使用が終了して各ユーザーのスマートフォンと切断した後には、一切のデータが残らない。結果、テーブル形ミラーリング端末を通じたセキュリティの確保が容易となる。これにより、本テーブル形ミラーリング端末を公共の場所に設置して、所有者でない人々が一時的に使用することも可能となる。
本実施形態の汎用性は極めて高く、表示操作分離システム10、12、14の用途は上述した手持ち機器のみに限定されるものではない。例えば近時の大型・高精細表示装置の一般化により、複数の電子機器の表示を一つの表示装置に同時に表示しても十分に高品質な表示を実現できる。例えば複数のユーザーが持ち寄る各自のスマートフォンを一つの表示装置に表示することも現実的である。例えばテーブル型で各自が各辺に対向して着席し、テーブルトップを共有するような使用者に対して、そのテーブルトップの一部または全部に表示装置を配置するようなテーブル一体型の端末(「テーブル形ミラーリング端末」と呼ぶ)も考えられる。その場合、各自の座る位置へ、自分のまたは他人の画面を移動したり、また互いに内容を見せ合うために、画面を自在に180度反転したりすることができる。このようにテーブル形ミラーリング端末で使用者の操作で画像の表示位置や向き、順序や組合せを設定することができれば、ユーザーは、単に表示を共有するだけでなく、各自のスマートフォンの画面を好みの着席位置から参照したり他者に見せたりでき、議論などが容易になる。さちに、複数人数でパーティやイベントに参加した後、各自が撮影した動画や写真を動画面で閲覧したり、スマートフォンの操作を通じて動画や写真ファイルを送りあったり、といった体験の振り返りや周知が、集合したその場所で可能となる。また、ユーザーが自分のスマートフォンに収められている、画像データや文章データなどを、他のユーザーに提示することで、自らの体験を通常のスマートフォン操作の中で可能となる。各自のスマートフォンにて、同じゲームアプリケーションを動作させることで、複数のユーザーで一緒にゲームをおこなうころが可能となる。テーブル形ミラーリング端末の用途でも、シンクライアントの構成は有用である。例えばデータをストアする機能を持たなければ、使用が終了して各ユーザーのスマートフォンと切断した後には、一切のデータが残らない。結果、テーブル形ミラーリング端末を通じたセキュリティの確保が容易となる。これにより、本テーブル形ミラーリング端末を公共の場所に設置して、所有者でない人々が一時的に使用することも可能となる。
このようなテーブル形ミラーリング端末は、例えば、テーブルを同時に使用する人数と同数の、ミラーリング用の画像データ伝送路を本実施形態の表示操作端末であるに実装する。この画像データ伝送路は、各自のスマートフォンと1対1でペアリングされる。典型例として、WiFi DirectおよびBTを使用する場合は、複数のWiFiおよびBT送受信機が該テーブルに実装される。また、有線接続による伝送を行う場合は、USB端子の接続口が実装される。テーブル形ミラーリング端末のテーブルトップ上面には画面が実装され、複数の人が同時に同一画面を見下ろすような姿勢で使用することができる。任意の数のミラーリング画面はテーブル形ミラーリング端末上の指定された領域に表示される。ミラーリング伝送路としては、無線ではMiracast(またはWiFi Direct)を使用することで実現できる。この接続は有線でも構わない。例えばUSBケーブル接続によって実現できる。また、それぞれのスマートフォンとテーブル形ミラーリング端末の間で、BT接続、ケーブル接続などでテーブル形ミラーリング端末のタッチ入力の操作を、互いに区別してそれぞれのスマートフォンへ伝送路する。また、テーブル形ミラーリング端末がスピーカーを装備している場合に、そこから発する音声は、接続されたスマートフォンからの音声を全て合成して出力することも有用である。
本発明における通信制御部では特定の通信キャリア、もしくは特定の電子機器とのみ双方向通信を行う制御をすること、例えば、表示操作端末の制御と電子機器からの画像を表示させることができる。さらに、特定以外の通信キャリア、もしくは電子機器とは、片方向、例えば、電子機器からの画像を表示することのみできるように設定することも可能である。
6.変形例
本実施形態は様々な変形を行うことが可能である。
本実施形態の電子機器200または表示操作端末100は、機能ブロックを組合わせて構成されるように構成しても実施することもできる。なお、機能ブロックとは、電子機器または表示操作端末の構成要素となるべきパーツを、互いの組合せの自由度をある程度持たせるようにあらかじめ準備し、ユーザーが単体で機能することが可能な機能ブロックを取捨選択して一つの端末を構成できるようにする手法をさす。ユーザーは機能ブロックを選択し、機能ブロック同士を接続することで必要な機能を実現することができ、したがって、必要最小限の機能のみのコスト負担で電子機器または表示操作端末の機能を実現できる。
本実施形態は様々な変形を行うことが可能である。
本実施形態の電子機器200または表示操作端末100は、機能ブロックを組合わせて構成されるように構成しても実施することもできる。なお、機能ブロックとは、電子機器または表示操作端末の構成要素となるべきパーツを、互いの組合せの自由度をある程度持たせるようにあらかじめ準備し、ユーザーが単体で機能することが可能な機能ブロックを取捨選択して一つの端末を構成できるようにする手法をさす。ユーザーは機能ブロックを選択し、機能ブロック同士を接続することで必要な機能を実現することができ、したがって、必要最小限の機能のみのコスト負担で電子機器または表示操作端末の機能を実現できる。
電子機器または表示操作端末で使用している最小限の構成ブロック以外の特定の機能ブロックが故障したりもしくは性能を向上させるために交換が必要であれば該機能ブロック単体のみを交換することで対応することができ、電子機器または表示操作端末全体を交換する必要はない。電子機器または表示操作端末のための各機能ブロックには、制御するためのCPUが実装され、機能部品を制御する。機能ブロックは共通のシリアル伝送端子が実装され、任意の機能ブロックが機械的、電気的、情報伝送路として接続されることが可能となるように構成される。各機能ブロックは、シリアル伝送端子を通じて、自らが何の機能ブロックであるかを通知する機能を持ち、同時に何の機能ブロックが自らに接続されているかを知る機能を有する。各機能ブロックのCPUは、シリアル伝送端子に何の機能ブロックが接続されているかを認識し、その組み合わせによって実現する全体機能を決定し、それに対応したソフトウェアが動作する。
電子機器または表示操作端末のための主要な機能ブロック、すなわち、ディスプレイ部、電池部、WiFiおよびBT無線部、およびカメラ部、テレビ受信部は以下のように実現される。
ディスプレイ部は、主にパネル、パネルドライバ、単数もしくは複数のシリアル信号端子から構成される。USBなどのシリアル端子より映像情報を受信し、パネルドライバにて該情報をデコード処理し、画像情報からパネルへ表示するための制御処理をおこなう。電源は同シリアル端子を通じて外部から供給される。これによって、外部から入力された映像信号をパネルに表示する。
電池部は、主に電池セルと電源管理ICから構成される、単数もしくは複数のシリアル信号端子から構成される。USBなどのシリアル端子に、給電装置もしくは充電用電源が接続された際には、それを感知して外部から給電される電力を電池セルへ充電する。また、該シリアル端子に電力供給を必要とする機器もしくは機能ブロックが接続された場合、電池セルに充電されている電力を供給する。電源管理ICはこれらの制御をおこなう。
アプリCPU部は、主に、アプリケーションプログラムを動作させるCPU、ストレージ、単数もしくは複数のシリアル信号端子、モーションセンサー、ホームボタン、電源ボタンから構成される。アプリCPU部の動作は次のようなものである。まず、USBなどのシリアル端子に、何が接続されたかを認識し、接続された機能ブロックに応じて適切な入力および出力動作をCPUにて判断して実施する。ディスプレイ部が接続された際には入力されている映像情報を出力する。無線部、テレビ受信部もしくは携帯電話やパーソナルコンピュータが接続されている場合は、データ通信をおこない、映像信号を受信した場合は、それを感知して接続されているディスプレイ部に該映像信号を出力する。本CPU部においては、不揮発性記憶領域にアプリケーションソフトが収められ、ユーザーの操作によって本アプリケーションが実行される。電源は同シリアル端子を通じて外部から供給される。
WiFiおよびBT無線部は、主にWiFi信号処理、BT信号処理およびRF無線部、単数もしくは複数のシリアル端子から構成される。シリアル端子から電源が供給されると、WiFiおよびBT無線部は動作を開始し、データ通信をおこない、映像信号を受信した場合は、接続されているディスプレイ部へ出力する。
セルラー無線部は、主にセルラー信号処理部、RF無線部、アンテナ部、単数もしくは複数のシリアル端子から構成される。アプリCPU部が接続されている場合は、受送信するデータはアプリCPU部とやりとりし、また制御自体もアプリCPU部から送信されるコマンドによって動作する。
カメラ部は、主にカメラ本体、ボタン、画像処理プロセッサから構成され、ボタンの押下もしくは外部からのコマンドによって、画像を撮影する。アプリCPU部が接続されている場合は、該アプリCPU部へ画像データを出力する。アプリCPU部が接続されずにディスプレイ部のみが接続されている場合は、該ディスプレイ部へ画像データを出力する。
テレビ受信部は、主に、テレビ受信チューナー、テレビアンテナ、信号処理プロセッサ、単数もしくは複数のシリアル端子から構成される。外部から電源が供給されると動作を開始し、アンテナで受信したテレビ電波を復調して映像信号を受信する。該受信映像信号は、アプリCPU部が接続されている場合は、該アプリ信号処理部へ出力し、これが接続されずにディスプレイ部が接続されている場合は、ディスプレイ部へ出力する。
これらの機能ブロックを組み合わせて動作させるスタイルには次のようなものがあり得る。
(1)ディスプレイ部単体
ディスプレイ部単体それ自体を動作させる場合、USBなどシリアル通信ケーブルでパーソナルコンピュータや携帯電話および電源と接続することで、表示画面が本ディスプレイ部にミラーリング表示される。
(2)電池部単体
電池部単体それ自体を動作させることとは、USBなどシリアル通信用ケーブルで接続することで、電子機器への充電すること、など電源として使用することに他ならない。
(3)ディスプレイ部+WiFi、BT無線部部+電池部:
これらを動作させる一例は、電子機器からペアリングしたMiracastなどのP2P無線部通信によって、電子機器本体の表示画面をミラーリング表示するものである。電子機器から、ペアリングしたMiracastなどのP2P無線部通信によって、電子機器の表示画面をミラーリング表示することができる。
(4)ディスプレイ部+アプリCPU部+WiFi、BT無線部+電池部
この組合わせを動作させるには、電子機器からペアリングしたMiracastなどのP2P無線部通信を行い、電子機器の表示画面をミラーリング表示することができる。あわせて、アプリCPU部でアプリケーションソフトを動作させ、WiFi無線部にてネット接続をおこなうことで、従来のタブレットと同様の機能を実現することができる。使用時に、電源供給のUSB接続は必ずしも必要ないので、屋外で携帯して使用することが可能となる。
(5)ディスプレイ部+アプリCPU部+セルラー無線部+電池部
この組合せは、従来の電子機器(携帯電話など)と同様の使用が可能となる。
(6)ディスプレイ部+カメラ部+電池部
この組合せにより、従来のカメラ撮影機と同様の使用が可能となる。
(7)ディスプレイ部+テレビ受信部
この組合せにより、従来のテレビ受信機と同様の機能を実現する。
(1)ディスプレイ部単体
ディスプレイ部単体それ自体を動作させる場合、USBなどシリアル通信ケーブルでパーソナルコンピュータや携帯電話および電源と接続することで、表示画面が本ディスプレイ部にミラーリング表示される。
(2)電池部単体
電池部単体それ自体を動作させることとは、USBなどシリアル通信用ケーブルで接続することで、電子機器への充電すること、など電源として使用することに他ならない。
(3)ディスプレイ部+WiFi、BT無線部部+電池部:
これらを動作させる一例は、電子機器からペアリングしたMiracastなどのP2P無線部通信によって、電子機器本体の表示画面をミラーリング表示するものである。電子機器から、ペアリングしたMiracastなどのP2P無線部通信によって、電子機器の表示画面をミラーリング表示することができる。
(4)ディスプレイ部+アプリCPU部+WiFi、BT無線部+電池部
この組合わせを動作させるには、電子機器からペアリングしたMiracastなどのP2P無線部通信を行い、電子機器の表示画面をミラーリング表示することができる。あわせて、アプリCPU部でアプリケーションソフトを動作させ、WiFi無線部にてネット接続をおこなうことで、従来のタブレットと同様の機能を実現することができる。使用時に、電源供給のUSB接続は必ずしも必要ないので、屋外で携帯して使用することが可能となる。
(5)ディスプレイ部+アプリCPU部+セルラー無線部+電池部
この組合せは、従来の電子機器(携帯電話など)と同様の使用が可能となる。
(6)ディスプレイ部+カメラ部+電池部
この組合せにより、従来のカメラ撮影機と同様の使用が可能となる。
(7)ディスプレイ部+テレビ受信部
この組合せにより、従来のテレビ受信機と同様の機能を実現する。
特定の機能ブロックが接続されて、ある組合せ(端末種類Aという)が実現されている場合に、新たな機能ブロックを接続するなど、別の組合せ(端末種類B)へと遷移するシーケンスは以下のような手順となる。
ステップ1:端末種類Aが実現されている状態で新たな機能ブロックが追加されたことを、各機能ブロックが検知する。これは、シリアル端子を経由して、接続された機能ブロックが何かを周期的に問い合わせることで実現することが可能である。各機能ブロックが独自に端末種類Bに変更されることを判断する。
ステップ2:アプリCPU部が接続されている場合、本機能ブロックが全ての接続機能ブロックが何かを検知し、端末種類Bに変更されることを判断する。
ステップ3:各機能ブロックにおいて、端末種類Bを実現するためのソフトウェアを起動する。
ステップ1:端末種類Aが実現されている状態で新たな機能ブロックが追加されたことを、各機能ブロックが検知する。これは、シリアル端子を経由して、接続された機能ブロックが何かを周期的に問い合わせることで実現することが可能である。各機能ブロックが独自に端末種類Bに変更されることを判断する。
ステップ2:アプリCPU部が接続されている場合、本機能ブロックが全ての接続機能ブロックが何かを検知し、端末種類Bに変更されることを判断する。
ステップ3:各機能ブロックにおいて、端末種類Bを実現するためのソフトウェアを起動する。
以上本発明の実施形態について具体的に説明した。上述の各実施形態および構成例は、発明を説明するために記載されたものであり、本出願の発明の範囲は、請求の範囲の記載に基づいて定められるべきものである。また、各実施形態の他の組合せを含む本発明の範囲内に存在する変形例もまた請求の範囲に含まれるものである。
本発明の表示操作用端末およびそれを用いる表示操作分離システムは、任意のコンピューティング機器に利用可能である。
10、12、14 表示操作分離システム
100 表示操作端末
100a 一方の面
100b 他方の面
110 表示部、端末表示部
110a 表示エリア
110b キーボード画像
112 設定プロンプト
114 表示制御部
116 カーソル探索部
120 タッチ操作入力部
122 タッチキーボード制御部
130 端末受信部
132 表示信号
140 端末送信部
142 操作入力信号
150 端末接続端子群
162 通信制御部、端末通信制御部
164 ペアリング情報記録部、端末ペアリング情報記録部
164a ペアリング情報、端末ペアリング情報
166 電波強度検知部
166a 検知信号
172 受信制御部
174 プロトコル別ペアリング情報記録部
174a プロトコル別ペアリング情報
176 試行シーケンス設定部
176a 試行シーケンス情報
192 端末コンテンツ記録部
194 端末画像コンテンツ記録部
200 電子機器
200A 第1電子機器
200B 第2電子機器
200c 接続面
202 音声通話処理部
204 機能管理制御部
210 表示部、機器表示部
210a 表示エリア
210b 入力可能欄
212 カーソル制御部
220 タッチ操作入力部
222 入力制御部
230 機器受信部
240 機器送信部
250 機器接続端子群
262 機器通信制御部
264 機器ペアリング情報記録部
264a ペアリング情報、機器ペアリング情報
282 リモート入力受付部
284 動作制御部
286 機器入力受付部
288 機器表示制御部
288a 選択プロンプト
292 機器コンテンツ記録部
294 機器画像コンテンツ記録部
100 表示操作端末
100a 一方の面
100b 他方の面
110 表示部、端末表示部
110a 表示エリア
110b キーボード画像
112 設定プロンプト
114 表示制御部
116 カーソル探索部
120 タッチ操作入力部
122 タッチキーボード制御部
130 端末受信部
132 表示信号
140 端末送信部
142 操作入力信号
150 端末接続端子群
162 通信制御部、端末通信制御部
164 ペアリング情報記録部、端末ペアリング情報記録部
164a ペアリング情報、端末ペアリング情報
166 電波強度検知部
166a 検知信号
172 受信制御部
174 プロトコル別ペアリング情報記録部
174a プロトコル別ペアリング情報
176 試行シーケンス設定部
176a 試行シーケンス情報
192 端末コンテンツ記録部
194 端末画像コンテンツ記録部
200 電子機器
200A 第1電子機器
200B 第2電子機器
200c 接続面
202 音声通話処理部
204 機能管理制御部
210 表示部、機器表示部
210a 表示エリア
210b 入力可能欄
212 カーソル制御部
220 タッチ操作入力部
222 入力制御部
230 機器受信部
240 機器送信部
250 機器接続端子群
262 機器通信制御部
264 機器ペアリング情報記録部
264a ペアリング情報、機器ペアリング情報
282 リモート入力受付部
284 動作制御部
286 機器入力受付部
288 機器表示制御部
288a 選択プロンプト
292 機器コンテンツ記録部
294 機器画像コンテンツ記録部
Claims (26)
- 表示内容を示す表示信号を少なくとも一つの電子機器から受信する端末受信部と、
該表示信号が示す前記表示内容を静止画および動画の少なくともいずれかまたはそれらの組み合わせによって使用者に呈示する表示エリアをもつ端末表示部と、
該使用者からのタッチ操作による入力を受け付け、タッチ操作信号を生成するタッチ操作入力部と、
前記タッチ操作信号を含む操作入力信号を前記電子機器に送信する端末送信部と、
前記端末受信部および前記端末送信部の少なくともいずれかによる前記電子機器との接続の確立および解除を制御する通信制御部と、
前記端末受信部に接続され、受信可能な種類の電波の強度を測定でき、前記端末受信部による受信電波強度を示しうる検知信号を送出する電波強度検知部と
を備えており、
前記通信制御部は、前記電波強度検知部からの前記検知信号に基づいて前記端末受信部および前記端末送信部の少なくともいずれかを制御して前記電子機器との接続を確立させるものである
表示操作端末。 - 前記電子機器を接続認証済み機器の一つとして登録するためのペアリング情報を格納するペアリング情報記録部をさらに備えており、
前記通信制御部は、前記ペアリング情報に登録されている接続認証済み機器を対象に、前記電波強度検知部からの前記検知信号に基づいて前記受信電波強度が所定の強度基準値より強い場合に、前記端末受信部および前記端末送信部の少なくともいずれかを制御して前記電子機器との接続を確立させるものである、
請求項1に記載の表示操作端末。 - 前記端末受信部による前記電子機器との受信接続の確立および解除を制御する受信制御部と、
複数の通信プロトコルそれぞれと対応させて前記電子機器を接続認証済み機器の一つとして登録するためのプロトコル別ペアリング情報を格納するプロトコル別ペアリング情報記録部と、
前記表示信号の受信のための複数の通信プロトコルについて、各通信プロトコルの接続確立を試行する試行順位および試行時間を設定する試行シーケンス情報を格納する試行シーケンス設定部と
をさらに備えており、
前記端末受信部が、前記電子機器からの前記表示信号を前記複数の通信プロトコルにより受信しうるものであり、
前記受信制御部は、前記プロトコル別ペアリング情報に接続認証済みと登録されている前記電子機器からの受信接続を確立しようとする試行処理を、前記試行シーケンス設定部の試行順位および試行時間に対応する前記複数の通信プロトコルの順序および各通信プロトコルの待機時間で、通信プロトコルを切り替えながら実行するものである、
請求項1に記載の表示操作端末。 - 前記端末受信部および前記端末送信部のいずれかまたは双方がさらに有線通信により前記電子機器と通信するものであり、
前記プロトコル別ペアリング情報が、前記有線通信について前記電子機器を接続認証済み機器の一つとして登録しており、
前記試行シーケンス設定部が格納している前記試行シーケンス情報は、前記有線通信についての試行順位を無線通信よりも上位となるように試行順位を定めているものである、
請求項3に記載の表示操作端末。 - 前記端末送信部は、前記電子機器との受信接続を確立させようとする通信プロトコルのための識別情報の送信を、当該通信プロトコルとは別の通信プロトコルで行いうるものである、
請求項3または請求項4に記載の表示操作端末。 - 前記使用者からの指による操作入力を受け付けるための、前記表示エリアから外れた位置に配置された指操作入力部をさらに備えており、
前記端末送信部は、該指操作入力部からの信号を前記操作入力信号の一部に含めて前記電子機器に送信するものである、
請求項1に記載の表示操作端末。 - 前記電子機器との接続を解除した後に前記表示内容を再現しうる情報を保持しない
請求項1に記載の表示操作端末。 - 使用される電力の一部または全部を無線で電力接続される外部電源または外部電池により賄う
請求項1に記載の表示操作端末。 - 前記端末表示部が可撓性を示すものである
請求項1に記載の表示操作端末。 - 請求項1~請求項9のいずれか1項に記載の表示操作端末と、
前記表示信号を送信する機器送信部と前記操作入力信号を受信する機器受信部とを備えた電子機器と
を備えており、
前記電子機器のための表示内容が前記表示操作端末に送信され、前記表示操作端末のためのタッチ操作入力が前記電子機器に送信されることにより、該電子機器の表示内容の表示とそれに対するタッチ操作が前記表示操作端末において実行される
表示操作分離システム。 - 前記端末受信部および前記機器送信部が互いに有線通信により通信するものであるか、または、前記端末送信部および前記機器受信部が互いに有線通信により通信するものであり、
前記表示操作端末は、
前記端末受信部および前記端末送信部の双方による前記電子機器との接続の確立および解除を制御する端末通信制御部と、
前記電子機器を接続認証済み機器の一つとして登録するためのペアリング情報を格納する端末ペアリング情報記録部と
をさらに備えており、
前記端末通信制御部は、前記端末ペアリング情報記録部に接続認証済み機器とは記録されていない前記電子機器が前記端末送信部または前記端末受信部を通じて前記表示操作端末に前記有線通信で接続された場合に前記端末送信部および前記端末受信部の少なくともいずれかを制御して前記表示操作端末と前記電子機器とを互いに認証する手順を実行させ、前記電子機器との接続が確立した後に前記電子機器が接続認証済み機器であると前記端末ペアリング情報に登録するものである、
請求項10に記載の表示操作分離システム。 - 前記端末受信部および前記機器送信部が互いに有線通信により通信するものであるか、または、前記端末送信部および前記機器受信部が互いに有線通信により通信するものであり、
前記電子機器は、
前記機器受信部および前記機器送信部の双方による前記表示操作端末との接続の確立および解除を制御する機器通信制御部と、
前記表示制御端末を接続認証済み機器の一つとして登録するためのペアリング情報を格納する機器ペアリング情報記録部と
をさらに備えており、
前記機器通信制御部は、前記機器ペアリング情報記録部に接続認証済み機器とは記録されていない前記表示操作端末が前記機器送信部または前記機器受信部を通じて前記電子機器に前記有線通信で接続された場合に前記機器送信部および前記機器受信部の少なくともいずれかを制御して前記電子機器と前記表示操作端末とを互いに認証する手順を実行させ、前記表示操作端末との接続が確立した後に前記表示操作端末が接続認証済み機器であると前記機器ペアリング情報に登録するものである
請求項10に記載の表示操作分離システム。 - 前記電子機器は、
前記表示内容を使用者に呈示しうる機器表示部と、
前記端末送信部から送信され前記機器受信部にて受信した操作入力信号を受け付けるリモート入力受付部と、
該リモート入力受付部からの信号に基づいて前記機器表示部の省電力動作または停止動作への移行またはいずれかの動作からの復帰を制御する動作制御部と
を備えるものであり、
前記表示操作端末は、前記電子機器の前記機器表示部の表示動作を省電力動作または停止動作させるべきことについての設定プロンプトを追加表示内容として前記表示内容に重ねて前記端末表示部に表示させ、該設定プロンプトに対し使用者から前記タッチ操作入力部が受け付けた省電力動作または停止動作させるべきことを示す設定結果の入力を含む前記操作入力信号を前記端末送信部を通じて送信するように動作し、
前記動作制御部は、前記機器受信部を通じ前記リモート入力受付部が前記操作入力信号を受信すると、前記設定結果を含む前記操作入力信号に基づいて前記機器表示部を省電力動作または停止動作に移行させるように動作するものである、
請求項10に記載の表示操作分離システム。 - 前記電子機器は、
前記表示内容を該電子機器の使用者に呈示しうる機器表示部と、
該使用者が音声通話するための音声通話機能を提供する、当該電子機器自体の機能処理部が動作していても話中の動作を継続できる音声通話処理部と、
該音声通話処理部を含む電子機器自体の機能処理部を選択的に起動、休止、または停止させうる機能管理制御部と、
前記端末送信部から送信され前記機器受信部にて受信した操作入力信号を受け付けるリモート入力受付部と
を備えており、
前記機能管理制御部は、前記音声通話処理部を動作させる話中の状態において、
前記機器表示部の表示内容を、前記音声通話処理部の起動時に呈示される音声通話用画面を表示する直前の該音声通話用画面を含まない画面のものに戻すか、または操作の既定画面であるホーム画面のものにするか、のいずれかとなるように制御し、
前記端末表示部にて制御後の当該表示内容が呈示された前記表示操作端末の使用者からの前記タッチ操作入力部の入力を受け付け該タッチ操作入力部が出力した操作入力信号を前記リモート入力受付部で受け付ける
ものである、
請求項10に記載の表示操作分離システム。 - 前記電子機器は、
前記表示内容を使用者に呈示しうる機器表示部と、
入力位置を示す入力カーソルを前記機器表示部の表示内容に含まれる入力可能欄に表示させるカーソル制御部と、
前記機器表示部にて前記入力位置への入力表示内容を制御する入力制御部と、
前記表示送信部から送信され前記機器受信部にて受信した操作入力信号を受け付けるリモート入力受付部と
を備えるものであり、
前記表示操作端末は前記タッチ操作入力部からの前記タッチ操作信号からキーコードを含む入力キー信号を生成するタッチキーボード制御部を備えており、
該タッチキーボード制御部は、前記端末表示部において使用者に呈示されたキーボード画像に含まれるキーのうち、キーの入力に対応するタッチ入力操作がされたキーに対する位置を前記タッチ操作信号が示す場合に、少なくとも当該キーのキーコードを示す前記入力キー信号を出力するものであり、
前記端末送信部は、該タッチキーボード制御部からの該入力キー信号または対応する入力キーデータを前記操作入力信号に含めて送信し、
前記機器受信部が前記端末送信部からの前記操作入力信号を受信し、
前記リモート入力受付部は、前記入力キー信号または対応する前記入力キーデータを含む前記操作入力信号を受け付けるものであり、
前記カーソル制御部および前記入力制御部は、前記リモート入力受付部からの前記入力キー信号または対応する前記入力キーデータが示す前記キーコードに基づいて、当該キーコードが示すキーが押下された場合に生じるべき表示上の変化を前記入力カーソルに対応する前記入力位置での前記表示内容に反映させるものである、
請求項10に記載の表示操作分離システム。 - 前記表示操作端末は、
表示内容を前記端末表示部にて前記使用者に呈示する際の表示位置および拡大率を制御する表示制御部と、
前記表示内容に含まれる入力カーソルを探索し、該入力カーソルの位置を示すカーソル位置信号を出力するカーソル探索部と
をさらに備えており、
前記表示制御部は、該カーソル探索部からの前記カーソル位置信号が示す前記入力カーソルの前記表示内容における位置が、前記キーボード画像と重ならない位置になるよう表示位置を制御し、該入力カーソルを含む近傍の表示内容を拡大して表示するものである、
請求項15に記載の表示操作分離システム - 前記電子機器が、閲覧または視聴の単位となる単位コンテンツの全体を格納可能な機器コンテンツ記録部をさらに備え、
前記表示操作端末が、閲覧または視聴の単位となる単位コンテンツの全体を格納可能な端末コンテンツ記録部をさらに備え、
前記電子機器は、接続を確立した前記表示操作端末に対して前記機器コンテンツ記録部に格納しているある単位コンテンツ全体を前記機器送信部を通じて送信するものであり、
前記表示操作端末は、送信された前記単位コンテンツの全体を前記端末受信部を通じて受信して前記端末コンテンツ記録部に格納するものであり、
前記電子機器および前記表示操作端末は、前記単位コンテンツ全体の送受信が完了した後に、いずれかまたは両方の側から互いの接続を解除するものであり、
前記表示操作端末は、前記電子機器との接続が解除された後に、前記端末コンテンツ記録部に格納された前記単位コンテンツの表示に関する内容を前記端末表示部に表示しうるものである、
請求項10に記載の表示操作分離システム。 - 前記電子機器が、複数の画像を含む画像コンテンツの少なくとも一の画像を格納可能な機器画像コンテンツ記録部をさらに備え、
前記表示操作端末が、複数の画像を含む画像コンテンツの少なくとも一の画像を格納可能な端末画像コンテンツ記録部をさらに備え、
前記電子機器は、接続を確立した前記表示操作端末に対して前記機器画像コンテンツ記録部に格納しているある画像コンテンツの複数の画像のうちの一以上の画像を前記機器送信部を通じて送信するものであり、
前記表示操作端末は、送信された前記画像コンテンツの前記複数の画像のうち接続が解除されるまでに送信された前記一以上の画像を前記端末受信部を通じて受信し前記端末画像コンテンツ記録部に格納するものであり、
前記電子機器および前記表示操作端末は、前記前記一以上の画像の送受信が完了した後に、いずれかまたは両方の側から互いの接続を解除するものであり、
前記表示操作端末は、前記電子機器との接続が解除された後に、前記端末コンテンツ記録部に格納された前記最後に送信された画像を前記端末表示部に表示することができるものである、
請求項10に記載の表示操作分離システム。 - ともに前記表示操作端末である第1表示操作端末と第2表示操作端末とを備えており、
前記電子機器の前記機器送信部は、該第1表示操作端末と該第2表示操作端末との双方に共通した表示内容を示す共通表示信号を、前記第1表示操作端末に対する表示信号と前記第2表示操作端末に対する表示信号とのそれぞれに含めて送信するものであり、
前記電子機器の前記機器受信部は、該第1表示操作端末と該第2表示操作端末とからのそれぞれの操作入力信号を互いに区別して受信するものである、
請求項10に記載の表示操作分離システム。 - 前記電子機器は、
前記表示内容を使用者に呈示しうる機器表示部と、
該使用者からの操作入力を受け付ける機器入力受付部と、
前記前記第1表示操作端末および前記第2表示操作端末から前記機器受信部を経由し受信した操作入力信号を受け付けるリモート入力受付部と、
前記機器入力受付部および該リモート入力受付部からの信号に基づいて前記機器表示部にて呈示する追加表示内容を制御する機器表示制御部と
を備えるものであり、
該機器表示制御部は、前記第1表示操作端末と前記第2表示操作端末とのいずれからの操作入力信号を受け付けるべきかを選択するための選択プロンプトを前記追加表示内容として前記表示内容に重ねて前記機器表示部に表示させるものであり、
前記機器入力受付部は、前記電子機器の前記使用者からの選択結果の入力を受け付けるようになっており、
前記リモート入力受付部は、該選択結果に応じ、前記第1表示操作端末と前記第2表示操作端末とのいずれかからの操作入力信号を選択的に受け付けるようになっている
請求項19に記載の表示操作分離システム。 - ともに前記電子機器である第1電子機器と第2電子機器とを備えており、
前記表示操作端末の前記端末受信部は、該第1電子機器の表示内容である第1表示内容と該第2電子機器の表示内容である第2表示内容とを互いに区別して受信するようになっており、
前記端末表示部は前記第1表示内容と前記第2表示内容とを表示するものであり、
前記タッチ操作入力部は、前記第1表示内容と前記第2表示内容とのいずれに対する入力であるかがタッチ位置から判別可能となりうる前記タッチ操作信号を生成し、
前記端末送信部は、前記タッチ操作信号を含む前記操作入力信号を、前記端末表示部にて表示されている前記第1表示内容に対応している第1操作入力信号と前記端末表示部にて表示されている前記第2表示内容に対応している第2操作入力信号とを互いに区別可能なようにして、前記第1電子機器および前記第2電子機器それぞれに向けて送信するようになっている、
請求項10に記載の表示操作分離システム。 - 前記表示操作端末は使用時において平板をなす形状をもち、
前記表示操作端末の前記端末表示部は該平板の厚みをなす両面の一方の面に沿って配置されているものであり、
前記表示操作端末は、前記両面の他方の面に端末接続端子群が設けられており、
前記電子機器は、前記端末接続端子群と接続可能な機器接続端子群がいずれかの面である接続面に設けられており、
前記電子機器は、前記端末接続端子群と前記機器接続端子群とが互いに接続された状態で前記表示操作端末の前記他方の面に取り付けられるものである、
請求項10に記載の表示操作分離システム。 - 前記機器送信部と前記端末受信部とが無線通信により通信を行うものである、
請求項10に記載の表示操作分離システム。 - 前記機器受信部と前記端末送信部とが無線通信により通信を行うものである、
請求項10に記載の表示操作分離システム。 - 前記表示操作端末が、前記電子機器との接続を解除した後に前記表示内容を再現しうる情報を保持しないものである、
請求項10に記載の表示操作分離システム。 - 前記端末送信部は、前記電子機器との受信接続を確立させようとする通信プロトコルのための識別情報の送信を、当該通信プロトコルとは別の通信プロトコルで行いうるものである、
請求項10に記載の表示操作分離システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017035891 | 2017-02-28 | ||
JP2017-035891 | 2017-02-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018159579A1 true WO2018159579A1 (ja) | 2018-09-07 |
Family
ID=63370696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/007129 WO2018159579A1 (ja) | 2017-02-28 | 2018-02-27 | 表示操作端末およびそれを用いる表示操作分離システム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2018159579A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7377108B2 (ja) | 2019-04-22 | 2023-11-09 | 北京小米移動軟件有限公司 | 無線充電システム、無線充電装置及び無線受電装置 |
KR20250012099A (ko) | 2022-06-01 | 2025-01-23 | 가부시키가이샤 팀에스 | 정보 처리 단말 및 프로그램 |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002198887A (ja) * | 2000-12-25 | 2002-07-12 | Shin Caterpillar Mitsubishi Ltd | 作業機械用の通信制御方法およびその装置 |
JP2002202941A (ja) * | 2000-08-25 | 2002-07-19 | 4C Soft Inc | マルチメディア電子学習システムおよび学習方法 |
JP2003244343A (ja) * | 2002-02-21 | 2003-08-29 | Toyota Motor Corp | 表示装置、携帯端末及び情報表示システム |
JP2006512794A (ja) * | 2002-07-12 | 2006-04-13 | ソニー・エリクソン・モバイルコミュニケーションズ, エービー | 着脱可能なアクティブハウジングと関連コネクタを備えた無線通信端末 |
JP2010530110A (ja) * | 2007-06-29 | 2010-09-02 | ノキア コーポレイション | オフラインブラウジングのためのコンテンツをダウンロードするシステム、方法、装置及びコンピュータプログラム製品 |
JP2011176591A (ja) * | 2010-02-24 | 2011-09-08 | Nec Corp | 携帯端末を用いた無線通信システム |
JP2012019413A (ja) * | 2010-07-08 | 2012-01-26 | Toshiba Corp | 表示システム、端末装置、表示装置、及びプログラム |
US20120242687A1 (en) * | 2011-03-25 | 2012-09-27 | Choi Sungha | Image processing apparatus and image processing method |
US20130113717A1 (en) * | 2011-11-09 | 2013-05-09 | Peter Anthony VAN EERD | Touch-sensitive display method and apparatus |
JP2013536613A (ja) * | 2010-07-10 | 2013-09-19 | アイシーイー コンピューター、インコーポレイテッド | インテリジェントプラットフォーム |
JP2013219420A (ja) * | 2012-04-04 | 2013-10-24 | Denso Corp | 通信装置、プログラムおよび通信確立方法 |
JP2013228562A (ja) * | 2012-04-25 | 2013-11-07 | Sharp Corp | 表示装置、送信装置、表示システム、表示装置の制御方法、送信装置の制御方法、制御プログラムおよび記録媒体 |
JP2014525065A (ja) * | 2011-05-31 | 2014-09-25 | アップル インコーポレイテッド | 文書操作のためのデバイス、方法及びグラフィカルユーザインタフェース |
JP2014236351A (ja) * | 2013-05-31 | 2014-12-15 | 株式会社アイ・オー・データ機器 | 通信接続システムおよび通信接続システムのプログラム |
JP2015133577A (ja) * | 2014-01-10 | 2015-07-23 | 株式会社Nttドコモ | 通信装置、通信方法及びプログラム |
JP2015191487A (ja) * | 2014-03-28 | 2015-11-02 | 株式会社日立ソリューションズ | プレゼンテーションサーバ及びモバイル端末 |
JP2016046797A (ja) * | 2014-08-25 | 2016-04-04 | 現代自動車株式会社Hyundaimotor Company | 有線連結を介したブルートゥースペアリング方法 |
WO2016084485A1 (ja) * | 2014-11-27 | 2016-06-02 | ソニー株式会社 | 情報処理装置および情報処理方法 |
JP2016219416A (ja) * | 2015-05-18 | 2016-12-22 | 株式会社半導体エネルギー研究所 | 蓄電体および電子機器 |
-
2018
- 2018-02-27 WO PCT/JP2018/007129 patent/WO2018159579A1/ja active Application Filing
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002202941A (ja) * | 2000-08-25 | 2002-07-19 | 4C Soft Inc | マルチメディア電子学習システムおよび学習方法 |
JP2002198887A (ja) * | 2000-12-25 | 2002-07-12 | Shin Caterpillar Mitsubishi Ltd | 作業機械用の通信制御方法およびその装置 |
JP2003244343A (ja) * | 2002-02-21 | 2003-08-29 | Toyota Motor Corp | 表示装置、携帯端末及び情報表示システム |
JP2006512794A (ja) * | 2002-07-12 | 2006-04-13 | ソニー・エリクソン・モバイルコミュニケーションズ, エービー | 着脱可能なアクティブハウジングと関連コネクタを備えた無線通信端末 |
JP2010530110A (ja) * | 2007-06-29 | 2010-09-02 | ノキア コーポレイション | オフラインブラウジングのためのコンテンツをダウンロードするシステム、方法、装置及びコンピュータプログラム製品 |
JP2011176591A (ja) * | 2010-02-24 | 2011-09-08 | Nec Corp | 携帯端末を用いた無線通信システム |
JP2012019413A (ja) * | 2010-07-08 | 2012-01-26 | Toshiba Corp | 表示システム、端末装置、表示装置、及びプログラム |
JP2013536613A (ja) * | 2010-07-10 | 2013-09-19 | アイシーイー コンピューター、インコーポレイテッド | インテリジェントプラットフォーム |
US20120242687A1 (en) * | 2011-03-25 | 2012-09-27 | Choi Sungha | Image processing apparatus and image processing method |
JP2014525065A (ja) * | 2011-05-31 | 2014-09-25 | アップル インコーポレイテッド | 文書操作のためのデバイス、方法及びグラフィカルユーザインタフェース |
US20130113717A1 (en) * | 2011-11-09 | 2013-05-09 | Peter Anthony VAN EERD | Touch-sensitive display method and apparatus |
JP2013219420A (ja) * | 2012-04-04 | 2013-10-24 | Denso Corp | 通信装置、プログラムおよび通信確立方法 |
JP2013228562A (ja) * | 2012-04-25 | 2013-11-07 | Sharp Corp | 表示装置、送信装置、表示システム、表示装置の制御方法、送信装置の制御方法、制御プログラムおよび記録媒体 |
JP2014236351A (ja) * | 2013-05-31 | 2014-12-15 | 株式会社アイ・オー・データ機器 | 通信接続システムおよび通信接続システムのプログラム |
JP2015133577A (ja) * | 2014-01-10 | 2015-07-23 | 株式会社Nttドコモ | 通信装置、通信方法及びプログラム |
JP2015191487A (ja) * | 2014-03-28 | 2015-11-02 | 株式会社日立ソリューションズ | プレゼンテーションサーバ及びモバイル端末 |
JP2016046797A (ja) * | 2014-08-25 | 2016-04-04 | 現代自動車株式会社Hyundaimotor Company | 有線連結を介したブルートゥースペアリング方法 |
WO2016084485A1 (ja) * | 2014-11-27 | 2016-06-02 | ソニー株式会社 | 情報処理装置および情報処理方法 |
JP2016219416A (ja) * | 2015-05-18 | 2016-12-22 | 株式会社半導体エネルギー研究所 | 蓄電体および電子機器 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7377108B2 (ja) | 2019-04-22 | 2023-11-09 | 北京小米移動軟件有限公司 | 無線充電システム、無線充電装置及び無線受電装置 |
KR20250012099A (ko) | 2022-06-01 | 2025-01-23 | 가부시키가이샤 팀에스 | 정보 처리 단말 및 프로그램 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220197581A1 (en) | Mobile terminal and electronic device having mobile terminal | |
EP3086538B1 (en) | Mobile terminal and communication system using said terminal | |
JP7146951B2 (ja) | 移動端末機および移動端末機を備える電子機器 | |
CN103577066B (zh) | 电子装置和使用电子装置的电子笔记系统 | |
JP6509695B2 (ja) | 移動端末機及びその制御方法 | |
KR20160013748A (ko) | 휴대 전자기기 및 그것의 제어방법 | |
KR102626633B1 (ko) | 단말기 및 그 제어 방법 | |
KR101642808B1 (ko) | 이동단말기 및 그 제어방법 | |
KR20160049235A (ko) | 휴대 전자기기 | |
KR101917696B1 (ko) | 이동 단말기 및 그것의 제어 방법 | |
KR102223728B1 (ko) | 이동단말기 및 그 제어방법 | |
CN109992231A (zh) | 投屏方法及终端 | |
KR20180037844A (ko) | 이동 단말기 | |
KR102658803B1 (ko) | 이동 단말기 및 이동 단말기를 구비한 전자장치 | |
JP2016201090A (ja) | 移動端末機及びその制御方法 | |
KR102674753B1 (ko) | 이동 단말기 및 이동 단말기를 구비한 전자장치 | |
KR20160031305A (ko) | 이동 단말기 및 그 제어 방법 | |
KR20180028211A (ko) | 헤드 마운티드 디스플레이 및 그 제어 방법 | |
KR20170099088A (ko) | 전자 기기 및 그 제어방법 | |
CN111837378A (zh) | 移动终端及具有移动终端的电子设备 | |
CN109886000B (zh) | 一种图像加密方法及移动终端 | |
KR20160097035A (ko) | 이동 단말기 | |
US12101427B2 (en) | Mobile terminal, electronic device comprising mobile terminal, and method for controlling electronic device | |
WO2018159579A1 (ja) | 表示操作端末およびそれを用いる表示操作分離システム | |
KR20170001219A (ko) | 이동 단말기 및 그의 잠금 해제 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18761014 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18761014 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |